WO2010008233A2 - 실감 효과 표현 방법 및 그 장치 및 사용자 환경 정보 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체 - Google Patents

실감 효과 표현 방법 및 그 장치 및 사용자 환경 정보 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체 Download PDF

Info

Publication number
WO2010008233A2
WO2010008233A2 PCT/KR2009/003944 KR2009003944W WO2010008233A2 WO 2010008233 A2 WO2010008233 A2 WO 2010008233A2 KR 2009003944 W KR2009003944 W KR 2009003944W WO 2010008233 A2 WO2010008233 A2 WO 2010008233A2
Authority
WO
WIPO (PCT)
Prior art keywords
information
sensory
metadata
effect
environment information
Prior art date
Application number
PCT/KR2009/003944
Other languages
English (en)
French (fr)
Other versions
WO2010008233A3 (ko
Inventor
최범석
주상현
이해룡
박승순
박광로
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/054,660 priority Critical patent/US8712958B2/en
Publication of WO2010008233A2 publication Critical patent/WO2010008233A2/ko
Publication of WO2010008233A3 publication Critical patent/WO2010008233A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division

Definitions

  • the present invention relates to a sensory effect expression method and apparatus, and a computer readable recording medium having user environment information metadata recorded thereon.
  • media includes audio (including voice and sound) or video (including still images and video).
  • audio including voice and sound
  • video including still images and video
  • metadata is data about the media.
  • devices for reproducing media have also been changed from devices for reproducing media recorded in analog form to devices for reproducing digitally recorded media.
  • FIG. 1 is a diagram schematically illustrating a conventional media technology.
  • the media 102 is output to the user by the media playback device 104.
  • the conventional media playback device 104 includes only a device for outputting audio and video.
  • the conventional service in which one media is played through one device is called a single media single device (SMSD) based service.
  • SMSD single media single device
  • a display technology that processes an audio signal into a multi-channel signal or a multi-object signal, or processes a video into a high definition image, a stereoscopic image, or a 3D image.
  • MPEG Moving picture experts group
  • MPEG-1 defines a format for storing audio and video
  • MPEG-2 focuses on media transport
  • MPEG-4 defines an object-based media structure
  • MPEG-7 defines a meta It deals with data
  • MPEG-21 deals with media distribution framework technology.
  • an object of the present invention is to provide a sensory effect expression method and apparatus capable of maximizing the playback effect of media by realizing the sensory effect when providing media.
  • the present invention provides a method for providing user environment information, the method comprising: receiving user preference information about a predetermined sensory effect and generating user environment metadata including user preference information; And the user environment information metadata includes personal environment information describing the preference information.
  • the present invention also provides an apparatus for providing user environment information, comprising: an input unit for receiving preference information for a predetermined sensory effect from a user, and a controller for generating user environment information metadata including preference information, and user environment information metadata. Another feature is that it includes personal environment information describing the preference information.
  • the present invention also provides a method for expressing sensory effects, the method comprising: receiving sensory effect metadata including sensory effect information on sensory effects applied to media, analyzing sensory effect metadata to obtain sensory effect information, and Sensory device for controlling sensory device corresponding to sensory effect information by receiving user environment information metadata including user preference information about sensory effect of the user and referring to preference information included in user environment information metadata Generating control metadata (Sensory Device Command metadata), and the user environment information metadata may further include personal environment information describing the preference information.
  • the present invention provides a sensory effect expression device, the sensory effect metadata including sensory effect information on the sensory effect applied to the media, the user environment information metadata including user preference information for a predetermined sensory effect is inputted Sensing device control metadata for analyzing the sensory effect metadata to obtain the sensory effect information, and controlling the sensory device corresponding to the sensory effect information by referring to the preference information included in the user environment information metadata. And a control unit for generating a user environment, and the user environment information metadata further includes personal environment information describing preference information.
  • the present invention also provides a computer-readable recording medium in which metadata is recorded, wherein the metadata includes user environment information metadata including preference information for a predetermined sensory effect, and the user environment information metadata includes preference information. It is another feature to include the personal environment information describing the.
  • FIG. 1 is a diagram schematically illustrating a conventional media technology.
  • FIG. 2 is a conceptual diagram of a realistic media implementation according to the present invention.
  • FIG. 3 is a block diagram of a SMMD (Single Media Multiple Devices) system for expressing the sensory effect according to the present invention.
  • SMMD Single Media Multiple Devices
  • FIG. 4 is a block diagram showing the configuration of a sensory media generating apparatus according to the present invention.
  • FIG. 5 is a block diagram showing the configuration of a sensory effect expression apparatus according to the present invention.
  • FIG. 6 is a block diagram showing the configuration of a sensory device performance information providing apparatus according to the present invention.
  • FIG. 7 is a configuration diagram showing a configuration of a user environment information providing apparatus according to the present invention.
  • FIG. 8 is a diagram for explaining user environment information metadata according to the present invention.
  • GeneralInfo included in user environment information metadata according to the present invention.
  • FIG. 10 is a view for explaining personal preference information (PersonalPreference) included in user preference information metadata according to the present invention.
  • FIG. 11 is a view for explaining personal information (PersonalInfo) included in user environment information metadata according to the present invention.
  • FIG. 11 is a view for explaining personal information (PersonalInfo) included in user environment information metadata according to the present invention.
  • FIG. 12 is a view for explaining environment description information (PreferenceDescription) included in user environment information metadata according to the present invention.
  • FIG. 13 is a view for explaining effect environment information (EffectPreference) included in user environment information metadata according to the present invention.
  • the generation or consumption (reproduction) of the conventional media has been directed only to audio and video.
  • humans can recognize senses such as smell or touch in addition to vision and hearing.
  • home appliances which are controlled by analog signals used in general homes, are being changed to be controlled by digital signals.
  • the current media service is mainly based on a single media single device (SMSD) service, in which one media is reproduced on one device.
  • SMSD single media single device
  • a service based on SMMD (Single Media Multi Devices) reproduced in conjunction with a device may be implemented. Therefore, there is a need for media technology to evolve into a sensory effect media that satisfies the human senses as well as simply about seeing and listening.
  • Such immersive media can expand the market for the media industry and sensory effect devices, and provide richer experiences to users by maximizing the playback effect of the media, thereby providing There is an effect that can promote consumption.
  • the media 202 and sensory effect metadata are input to a sensory effect engine (RoSE Engine) 204.
  • the media 202 and sensory effect metadata may be input to the sensory media presentation device 204 by separate providers.
  • media 202 may be provided by a media provider (not shown) and sensory effect metadata may be provided by a sensory effect provider (not shown).
  • the media 202 includes audio or video
  • the sensory effect metadata includes sensory effect information for representing or realizing the sensory effect of the media 202. It may include all information that can maximize the reproduction effect of 202).
  • the sensory effect on the three senses of sight, smell, and touch will be described as an example. Accordingly, the sensory effect information in FIG. 2 includes visual effect information, olfactory effect information, and tactile effect information.
  • the sensory media presentation device 204 receives the media 202 and controls the media output device 206 to play the media 202. Also, the sensory media presentation device 204 controls the sensory devices 208, 210, 212, and 214 using visual effect information, olfactory effect information, and tactile effect information included in the sensory effect metadata. Specifically, the lighting device 210 is controlled using the visual effect information, the smell generating device 214 is controlled using the olfactory effect information, and the vibrating chair 208 and the fan 212 using the tactile effect information. ).
  • the light device 210 blinks, and when the image including a scene such as food or a field is reproduced, the smell generating device 214 is controlled.
  • the vibrating chair 208 and the fan 212 may be controlled to provide a realistic effect corresponding to the image to be watched.
  • sensory effect metadata SEM
  • SEM sensory effect metadata
  • the sensory media presentation device 204 should have information about various sensory devices in advance in order to express the sensory effect. Therefore, metadata that can express information about sensory devices should be defined. This is called sensory devide capability metadata (SDCap).
  • SDCap sensory devide capability metadata
  • the sensory device performance metadata includes location information, direction information, and information on detailed performance of each device.
  • a user watching the media 202 may have various preferences for a particular sensory effect, which may affect the expression of sensory effects. For example, some users may dislike red lighting, and some users may want dark lighting and low sound as they watch the media 202 at night.
  • metadata is referred to as user sensory preference metadata (USP).
  • the sensory media presentation device 204 receives the sensory device performance metadata from the sensory devices before expressing the sensory effect, and the user environment information metadata through the sensory device or a separate input terminal. Get input.
  • the sensory media presentation device 204 may issue control commands for the sensory devices by referring to the input sensory effect metadata, sensory device performance metadata, and user environment information metadata. These control commands are transmitted to each sensory device in the form of metadata, which is called sensory device command metadata (SDCmd).
  • SDCmd sensory device command metadata
  • An entity that provides sensory effect metadata may provide media related to sensory effect metadata.
  • Sensory Effect Metadata, Sensory Device Capabilities metadata, and / or User Sensory Preference Metadata are received and based on the Sensory Device Control Metadata An object that generates Commands metadata.
  • An entity that receives sensory device control metadata and provides sensory device performance metadata may also be referred to as a consumer device.
  • Sensory devices are a subset of consumer devices.
  • Human input devices such as fans, lights, scent devices, TVs with remote controllers
  • SMMD single media multiple devices
  • the SMMD system includes a sensory media generation device 302, a sensory effect expression device (RoSE Engine) 304, a sensory device 306, and a media playback device 308.
  • RoSE Engine a sensory effect expression device
  • the sensory media generating device 302 receives sensory effect information on sensory effects applied to the media, and generates sensory effect metadata (SEM) including the received sensory effect information.
  • SEM sensory effect metadata
  • the sensory media generating device 302 then transmits the generated sensory effect metadata to the sensory effect presentation device 304.
  • the sensory media generating device 302 may transmit media together with sensory effect metadata.
  • the sensory media generating apparatus 302 serves to transmit only sensory effect metadata, and the media is sensed through a device separate from the sensory media generating apparatus 302. May be sent to the effect presentation device 304 or the media playback device 308.
  • the sensory media generation device 302 may package the generated sensory effect metadata and the media to generate sensory media, and transmit the generated sensory media to the sensory effect expression apparatus 304. .
  • the sensory effect expression apparatus 304 receives sensory effect metadata including sensory effect information about sensory effects applied to the media, and analyzes the received sensory effect metadata to obtain sensory effect information.
  • the sensory effect expression apparatus 304 uses the acquired sensory effect information to control the sensory device 306 of the user to express the sensory effect during media playback.
  • the sensory effect expression apparatus 304 generates sensory device control metadata SDCmd and transmits the generated sensory device control metadata to the sensory device 306.
  • FIG. 3 only one sensor device 306 is shown for convenience of description, but one or more sensor devices may exist according to a user.
  • the sensory effect expression apparatus 304 in order to generate the sensory effect control metadata, the sensory effect expression apparatus 304 must have performance information on each sensory device 306 in advance. Therefore, before generating sensory device control metadata, the sensory effect expression apparatus 304 receives sensory device performance metadata SDCap including performance information about the sensory device 306 from the sensory device 306. The sensory effect expression apparatus 304 may obtain information on the state, performance, etc. of each sensory device 306 through sensory device performance metadata, and implement the sensory effect that may be implemented by each sensory device using the information. To create sensory device control metadata.
  • the control of the sensory device here includes synchronizing the sensory devices with the scene played by the media playback device 308.
  • the sensory effect expression apparatus 304 and the sensory device 306 may be connected to each other by a network.
  • technologies such as LonWorks and Universal Plug and Play (UPnP) may be applied.
  • media technologies such as MPEG (including MPEG-7, MPEG-21, etc.) may be applied together to effectively provide media.
  • a user who owns the sensory device 306 and the media playback device 308 may have various preferences for specific sensory effects. For example, a user may dislike a particular color or may want a stronger vibration.
  • the user's preference information may be input through the sensory device 306 or a separate input terminal (not shown), and may be generated in a metadata format.
  • metadata is called user environment information metadata (USP).
  • USP user environment information metadata
  • the generated user environment information metadata is transmitted to the sensory effect expression apparatus 304 through the sensory device 306 or an input terminal (not shown).
  • the sensory effect expression apparatus 304 may generate sensory device control metadata in consideration of the received user environment information metadata.
  • the sensory device 306 is a device for implementing sensory effects applied to the media. Examples of the sensory device 306 are as follows, but are not limited thereto.
  • Visual devices monitors, TVs, wall screens, etc.
  • Sound devices speakers, music instruments, bells, etc.
  • Wind device fan, wind injector, etc.
  • Temperature devices heaters, coolers, etc.
  • Lighting device light bulb, dimmer, color LED, flash, etc.
  • Shading devices curtains, roll screens, doors, etc.
  • Vibration device trembling chair, joystick, tickler, etc.
  • Scent devices perfume generators, etc.
  • Diffusion device spraying, etc.
  • One or more sensory devices 306 may be present depending on the user.
  • the media player 308 refers to a player such as a TV for playing existing media. Since the media reproducing apparatus 308 is also a kind of device for expressing vision and hearing, the media reproducing apparatus 308 may belong to the category of the sensory device 306 in a broad sense. However, in FIG. 3, the media player 308 is represented as a separate entity from the sensor 306 for convenience of description. The media reproducing apparatus 308 plays a role of receiving and playing media by the sensory effect expression apparatus 304 or by a separate path.
  • the method for generating sensory media includes receiving sensory effect information on sensory effects applied to the media and generating sensory effect metadata including sensory effect information.
  • the metadata includes sensory effect description information describing the sensory effect, and the sensory effect description information includes media position information indicating a position where the sensory effect is to be applied in the media.
  • the sensory media generation method may further include transmitting the generated sensory effect metadata to the sensory effect expression apparatus.
  • Sensory effect metadata may be transmitted as separate data separate from the media. For example, when a user requests to provide a movie viewing service, the provider may transmit media (movie) data and sensory effect metadata to be applied to the media. If the user already has a certain media (movie), the provider can send only the sensory effect metadata to the user to be applied to the media.
  • the sensory media generation method may further include generating sensory media by packaging the generated sensory effect metadata and media, and transmitting the generated sensory media.
  • the provider may generate sensory effect metadata for the media, combine the sensory effect metadata with the package, or package the generated sensory effect metadata to generate sensory media, and transmit the sensory effect metadata to the sensory effect expression apparatus.
  • the sensory media may be composed of files in a sensory media format for expressing sensory effects.
  • the sensory media format may be a file format to be standardized of media for expressing sensory effects.
  • the sensory effect metadata may include sensory effect description information describing the sensory effect, and may further include general information including information on generation of the metadata.
  • the sensory effect description information may include media position information indicating a position to which the sensory effect is applied in the media, and may further include sensory effect segment information applied to a segment of the media.
  • the sensory effect segment information may include effect list information to be applied in the segment of the media, effect variable information, and segment position information indicating a position to which the sensory effect is to be applied in the segment.
  • the effect variable information may include sensory effect fragment information including one or more sensory effect variables applied at the same time.
  • FIG. 4 is a block diagram showing the configuration of the sensory media generating apparatus according to the present invention.
  • the sensory media generating device 402 generates sensory effect metadata for generating sensory effect metadata including an input unit 404 that receives sensory effect information about sensory effects applied to the media, and sensory effect information.
  • the generation unit 406 is included.
  • the sensory effect metadata includes sensory effect description information describing the sensory effect
  • the sensory effect description information includes media position information indicating a position to which the sensory effect is applied in the media.
  • the sensory media generation device 402 may further include a transmitter 410 for transmitting the generated sensory effect metadata to the sensory effect expression apparatus.
  • the media may be input through the input unit 404 and then transmitted to the sensory effect expression apparatus or the media playback apparatus through the transmitter 410.
  • the media may not be input through the input unit 404 but may be transmitted to a sensory effect expression apparatus or a media playback apparatus through a separate path.
  • the sensory media generation device 402 may further include a sensory media generator 408 for packaging sensory effect metadata and media to generate sensory media.
  • the transmitter 410 may transmit the sensory media to the sensory effect expression apparatus.
  • the input unit 404 may further receive the media, and the sensory media generator 408 may input the media and the sensory effect metadata generated by the sensory effect metadata generator 408. Combine or package to create sensory media.
  • the sensory effect metadata includes sensory effect description information describing the sensory effect, and may further include general information including information on generation of the metadata.
  • the sensory effect description information may include media position information indicating a position to which the sensory effect is applied in the media, and may further include sensory effect segment information applied to a segment of the media.
  • the sensory effect segment information may include effect list information to be applied in the segment of the media, effect variable information, and segment position information indicating a position to which the sensory effect is to be applied in the segment.
  • the effect variable information may include sensory effect fragment information including one or more sensory effect variables applied at the same time.
  • the method includes receiving sensory effect metadata including sensory effect information on sensory effects applied to the media, analyzing sensory effect metadata to obtain sensory effect information, and sensory effect information. And generating sensory device command metadata for controlling the sensory device corresponding to the sensory device command metadata.
  • the sensory effect expression method may further include transmitting the generated sensory device control metadata to the sensory device.
  • the sensory device control metadata includes sensory device control technology information for controlling the sensory device.
  • the method for expressing sensory effects according to the present invention may further include receiving sensory device capability metadata including sensory device capability metadata.
  • the generating of the sensory device control metadata may further include referencing the performance information included in the sensory device performance metadata.
  • the method for expressing sensory effects according to the present invention may further include receiving user sensory preference metadata including user preference information for a predetermined sensory effect.
  • the generating of the sensory device control metadata may further include referencing preference information included in the user environment information metadata.
  • the sensory device control technology information included in the sensory device control metadata may include general device control information including information on whether the sensory device is switched on or off, a position to be set, and a direction to be set. It may include. Also, the sensory device control technology information may include device control detail information including detailed operation commands for the sensory device.
  • the sensory effect expression apparatus 502 includes an input unit 504 for receiving sensory effect metadata including sensory effect information on sensory effects applied to media, and input sensory effect metadata.
  • the controller 506 may be configured to obtain sensory effect information and generate sensory device control metadata for controlling sensory device corresponding to the sensory effect information.
  • the sensory device control metadata includes sensory device control technology information for controlling the sensory device.
  • the sensory effect expression apparatus 502 may further include a transmitter 508 for transmitting the generated sensory device control metadata to the sensory device.
  • the input unit 504 may receive sensory device performance metadata including performance information about the sensory device.
  • the controller 506 may generate sensory device control metadata by referring to the performance information included in the input sensory device performance metadata.
  • the input unit 504 may receive user environment information metadata including user preference information for a predetermined sensory effect.
  • the controller 506 may generate sensory device control metadata by referring to the preference information included in the input user environment information metadata.
  • the sensory device control technology information included in the sensory device control metadata may include general device control information including information on whether the sensory device is switched on / off, a position to be set, and a direction to be set. Also, the sensory device control technology information may include device control detail information including detailed operation commands for the sensory device.
  • the method of providing sensory device capability information according to the present invention includes obtaining performance information on the sensory device and generating sensory device capability metadata including the performance information.
  • the sensory device performance metadata includes device performance information that describes the performance information.
  • the method for providing sensory device performance information according to the present invention may further include transmitting the generated sensory device performance metadata to the sensory effect expression apparatus.
  • the method for providing sensory device performance information may further include receiving sensory device control metadata from the sensory effect expression device and implementing sensory effect using the sensory device control metadata.
  • the sensory effect expression apparatus generates sensory device control metadata by referring to the transmitted sensory device performance metadata.
  • the device performance information included in the sensory device performance metadata may include device performance common information including location information and direction information of the sensory device.
  • the device performance information may include device performance details including information on detailed performance of the sensory device.
  • FIG. 6 is a block diagram showing the configuration of a sensory device performance information providing apparatus according to the present invention.
  • the sensory device performance information providing device 602 of FIG. 6 may be a device having the same function as the sensory device or the sensory device itself. Also, the sensory device performance information providing device 602 may exist as a separate device from the sensory device.
  • the sensory device performance information providing apparatus 602 includes a control unit 606 for obtaining sensory device performance information and generating sensory device performance metadata including the performance information. do.
  • the sensory device performance metadata includes device performance information that describes the performance information.
  • the sensory device performance information providing apparatus 602 may further include a transmitter 608 for transmitting the generated sensory device performance metadata to the sensory effect expression apparatus.
  • the sensory device performance information providing apparatus 602 may further include an input unit 604 that receives sensory device control metadata from the sensory effect expression apparatus.
  • the sensory effect expression apparatus generates sensory device control metadata with reference to the received sensory device performance metadata.
  • the controller 606 may implement a sensory effect using the input sensory device control metadata.
  • the device performance information included in the sensory device performance metadata may include device performance common information including location information and direction information of the sensory device.
  • the device performance information may include device performance details including information on detailed performance of the sensory device.
  • the method for providing user environment information according to the present invention includes receiving preference information for a predetermined sensory effect from a user and generating user environment preference metadata including user preference information.
  • the user environment information metadata includes personal environment information describing the preference information.
  • the method for providing user environment information according to the present invention may further include transmitting the generated user environment information metadata to the sensory effect expression apparatus.
  • the method for providing user environment information according to the present invention may further include receiving sensory device command metadata from the sensory effect expression device and implementing sensory effect by using sensory device control metadata.
  • the sensory effect expression apparatus generates sensory device control metadata by referring to the received user environment information metadata.
  • the personal environment information may include personal information for distinguishing a plurality of users and environment description information describing sensory effect preference information of each user.
  • the environmental description information may include effect environment information including detailed parameters for one or more sensory effects.
  • FIG. 7 is a configuration diagram showing the configuration of a user environment information providing apparatus according to the present invention.
  • the user environment information providing apparatus 702 of FIG. 7 may be a device having the same function as the sensory device or the sensory device itself. Also, the user environment information providing device 702 may exist as a separate device from the sensory device.
  • the apparatus 702 for providing user environment information generates user environment information metadata including preference information 704 and preference information for receiving preference information for a predetermined sensory effect from a user.
  • the control unit 706 is included.
  • the user environment information metadata includes personal environment information describing the preference information.
  • the user environment information providing apparatus 702 according to the present invention may further include a transmission unit 708 for transmitting the generated user environment information metadata to the sensory effect expression apparatus.
  • the input unit 704 may receive sensory device control metadata from the sensory effect expression apparatus.
  • the sensory effect expression apparatus generates sensory device control metadata by referring to the received user environment information metadata.
  • the controller 706 may implement the sensory effect by using the sensory device control metadata.
  • the personal environment information included in the user environment information metadata may include personal information for distinguishing a plurality of users and environment description information describing sensory effect preference information of each user.
  • the environmental description information may include effect environment information including detailed parameters for one or more sensory effects.
  • the RoSE framework which enhances the user's sensory experience, covers a wide variety of effects and ranges. Accordingly, there is a need to adjust sensory devices that render effects by reflecting user environment information metadata USP.
  • the present invention defines an XML schema for describing user environment information.
  • the framework proposed in the present invention has a simple structure and is machine-readable because it is made of standard XML technology.
  • the present invention defines a USP schema capable of describing the environment information of each individual or group.
  • This schema supports the ability to add other people's environment information, remove the environment information for a specific effect, and modify the predefined environment information.
  • environmental information of a family member can be expressed.
  • the schema proposed in the present invention may describe environmental information on complex properties of sensory effects.
  • the present invention provides the flexibility to choose a level-type or unit-type.
  • the present invention makes it possible to reduce or increase the specific sensory effect by using a preference ratio. (For example, if the user wants a stronger cooling effect in the summer)
  • the user environment information metadata schema is intended for the RoSE Engine to efficiently render the sensory effect in consideration of the user environment information.
  • the present invention divides user environment information metadata into three levels of personal preference information, preference description information, and effect preference information.
  • Personal Preference describes each user's information and environment information. It is also possible to include environment information of various users.
  • the metadata may store environmental information of a family member. Users may select one of the environmental information, or the sensory effect presentation device may estimate the environmental information of the family. )
  • Preference Description stores different environment information of each user, and thus allows the sensory effect presentation device to flexibly provide the effect by the user's environment. (For example, if the user wants to watch a movie late at night, the sensory effect expression device may recommend night environment information that is not too loud for the user.)
  • Effect Preference provides a list of effect properties.
  • the present invention arranges the features of the sensory effect at the same level. (For example, it is possible to describe a purple fog effect with low temperature and high dampness.)
  • the present invention used the Description Metadata Type of MPEG-7, and referred to the LonWorks standard to specify the unit of sensory effect.
  • the user environment information metadata according to the present invention may be combined with a technology related to a media such as MPEG-7 and a technology related to a network such as LonWorks.
  • Standard network variable types SNVTs
  • SNVTs network-related technologies
  • a namespace prefix may be used to distinguish the type of metadata according to the technology to be applied.
  • the namespace of the user environment information metadata will be ": USP: ver1: represent: UserSensoryPreference: 2008: 07".
  • certain namespace prefixes are used. Table 1 shows these prefixes and corresponding namespaces.
  • FIG. 8 is a diagram for explaining user environment information metadata according to the present invention.
  • user preference information metadata (USP) 801 includes one or more personal preferences (803).
  • the user environment information metadata (USP) 801 may further include general information (GeneralInfo) 802. This is summarized in [Table 2].
  • GeneralInfo 802 includes information related to the generation of user environment information metadata (USP) 801.
  • Personal Preference 803 includes personal information and sensory effect environment information.
  • GeneralInfo is a view for explaining general information (GeneralInfo) included in the user environment information metadata according to the present invention.
  • GeneralInfo 901 includes Confidence 902, Version 903, LastUpdate 904, Comment 905, PublicIdentifier 906, PrivateIdentifier 907, Creator 908, CreationLocation 909, CreationTime 910, Instrument 911, and Rights 912.
  • GeneralInfo 901 may include information related to the generation of general metadata. For example, it may include information such as version, date of last update, author, author time, authoring place, copyright, and the like.
  • the type of GeneralInfo 901 may be referenced by mpeg7: DescriptionMetadataType of MPEG-7.
  • An example of a schema for general information 901 is as follows.
  • FIG. 10 is a diagram for explaining personal preference information (PersonalPreference) included in user environment information metadata according to the present invention.
  • PersonalPreference includes information about all effects applied to the media.
  • Personal preferences may include a plurality of preferences.
  • the personal preference information 1001 may include personal information 1002 and preference description 1003. This is summarized in [Table 3].
  • Personal Information 1002 describes personal information using mpeg7: PersonType.
  • the preference description 1003 includes sensory effect environment information of each user.
  • FIG. 10 An example of a schema for a personal preference 1001 associated with FIG. 10 is as follows.
  • FIG. 11 is a view for explaining personal information (PersonalInfo) included in the user environment information metadata according to the present invention.
  • Personal information includes personal information inquired by the sensory effect expression apparatus.
  • the type of PersonInfoType is an extension based on mpeg7: PersonType.
  • the personal information (PersonalInfo) 1101 may include an identifier (id) 1102, a timebase 1103, a time unit 1104, a media timebase 1105. , MediaTimeUnit 1106, Header 1107, Icon 1108, Name 1109, NameTerm 1110, Affiliation ( 1111, nationality 1112, electronic address 1113, age 1114, sex 1115, and additional information 1116. This is summarized in [Table 4].
  • Identifier (id) 1102, timebase (timeBase) 1103, time unit (timeUnit) 1104, media timebase (mediaTimeBase) 1105, media time unit (mediaTimeUnit) 1106, header (1107), Icon (1108), Name (1109), NameTerm (1110), Affiliation (1111), Nationality (1112) and Electronic Address (ElectronicAddress) 1111 is defined in mpeg7: PersonType.
  • Age 1114 represents the age of the user using an unsignedInt type.
  • Sex 1115 indicates a user's gender using a boolean type.
  • Additional information 1116 indicates additional information using a string type (eg, “color blindness”).
  • An example of a schema for a personal information 1101 associated with FIG. 11 is as follows.
  • FIG. 12 is a diagram for describing environment description information (PreferenceDescription) included in user environment information metadata according to the present invention.
  • PreferenceDescription includes environment information descriptors and subordinate effects environment information.
  • the PreferenceDescription element describes detailed sensory effect environment information of the user.
  • the preference description 1201 includes a preference information identifier 1202, a priority information 1203, all all effects removal information 1204, an effect environment.
  • the preference information identifier 1202 is an preference information identifier attribute using an ID type.
  • Priority information 1203 is an attribute representing the priority of environment information using an unsigned integer type.
  • All effect removal information 1204 is a switch attribute for whether to turn off all effects using a Boolean type.
  • EffectPreference 1205 is an element including detailed environment information of each sensory effect property.
  • Miscellaneous information 1206 is an element that expresses other elements for future extensions using USP: OtherType as follows.
  • FIG. 13 is a diagram for describing effect environment information (EffectPreference) included in user environment information metadata according to the present invention.
  • EffectPreference includes an element for describing detailed sensory effect environment information. In consideration of the intrinsic properties of various sensory effects, the present invention selects properties that properly describe user environment information. EffectPreference represents specific parameters of sensory effect attributes to be used for device adatation. It may describe the user environment information as a ratio of environment information (for example, wind speed of 10 m / s speed or wind speed of 50% to maximum speed). Referring to FIG. 13, the effect environment information (EffectPreference) 1301 may include a reference effect identifier (RefEffectID) 1302, an effect type (EffectType) 1303, and information on whether to remove the effect (DisableEffect) 1304. .
  • RefEffectID reference effect identifier
  • EffectType effect type
  • the effect environment information (EffectPreference) 1301 includes direction avoidance information (AvoidDirectionFrom) 1305, maximum brightness information (MaxBrightness) 1306, maximum brightness level information (MaxBrightnessLevel) 1307, and maximum flash frequency information (MaxFlashFreq) ( 1308), maximum flash frequency level information (MaxFlashFreqLevel) (1309), avoidance color information (AvoidColor) (1310), maximum wind speed information (MaxWindSpeed) (1311), maximum wind speed level information (MaxWindSpeedLevel) (1312), maximum temperature Information (MaxTemperature) 1313, maximum temperature level information (MaxTemperatureLevel) 1314, minimum temperature information (MinTemperature) 1315, minimum temperature level information (MinTemperatureLevel) 1316, maximum vibration frequency Hz information (MaxVibrationFreqHz) (1317) ), Maximum vibration intensity information (MaxVibrationAmplitude) 1318, maximum vibration level information (MaxVibrationLevel) 1319, maximum diffusion information (MaxDiffusion) 1320, maximum diffusion level
  • the reference effect identifier (RefEffectID) 1302 is an attribute indicating a reference of a specific effect identifier in the sensory effect presentation device media using the ID type.
  • EffectType 1303 is an attribute indicating a sensory effect type using a string type.
  • Effect removal information (DisableEffect) 1304 is a switch attribute for expressing or not expressing specific effect environment information using a Boolean type.
  • Direction avoidance information (AvoidDirectionFrom) 1305 is an element for describing the direction of the sensory effect to be excluded.
  • the direction avoidance information (AvoidDirectionFrom) 1305 uses USP: DirectionFromType as follows.
  • the maximum brightness information (MaxBrightness) 1306 is an element that describes the maximum allowable brightness value that can be supported by the lighting effect device in lux units, and the type is LuxType.
  • the maximum brightness level information (MaxBrightnessLevel) 1307 is an element for describing a maximum allowable brightness value that can be supported by the lighting effect device in units of levels, and the type is LevelType.
  • the maximum flash frequency information (MaxFlashFreq) 1308 is an element for describing a maximum allowable frequency of a flickering effect using FrequencyType.
  • the maximum flash frequency level information (MaxFlashFreqLevel) 1309 is an element for describing the maximum allowable frequency level of the flashing effect using LevelType.
  • the avoided color information (AvoidColor) 1310 is an element for describing color values to be considered for the user who is color blind and uses ColorType as follows.
  • the maximum wind speed information (MaxWindSpeed) 1311 is an element describing the maximum allowable value for the wind speed, and the type is WindSpeedType.
  • Maximum wind speed level information (MaxWindSpeedLevel) 1312 is an element that describes the maximum allowable level for wind speed, and the type is LevelType.
  • MaxTemperature 1313 is an element for describing a maximum allowable temperature value using TemperatureType.
  • the maximum temperature level information (MaxTemperatureLevel) 1314 is an element that describes the maximum allowable temperature level using LevelType.
  • the minimum temperature information (MinTemperature) 1315 is an element for describing a minimum allowable temperature value using a TemperatureType.
  • the minimum temperature level information (MinTemperatureLevel) 1316 is an element for describing the minimum allowable temperature level using LevelType.
  • Maximum vibration frequency Hz information (MaxVibrationFreqHz) 1317 is an element for describing the maximum allowable vibration frequency, and the type is FrequencyType.
  • Maximum vibration intensity information (MaxVibrationAmplitude) 1318 is an element describing the maximum allowable vibration intensity (mm), and the type is unsighedInt.
  • Maximum vibration level information (MaxVibrationLevel) 1319 is an element for describing the maximum allowable vibration level, and the type is LevelType.
  • the maximum spreading information (MaxDiffusion) 1320 is an element describing the maximum allowable spreading value, and the type is DiffusionType.
  • the maximum diffusion level information (MaxDiffusionLevel) 1321 is an element for describing the maximum diffusion level, and the type is LevelType.
  • the diffusion avoidance source identifier (AvoidDiffusionSourceID) 1322 is an element for describing identifiers of diffusion materials to be excluded and uses an ID type. (For example, the user may not want vapor fog.)
  • An odor avoidance identifier (AvoidScentID) 1323 is an element describing an identifier of an odor to be excluded and uses an ID type. (For example, the user may not want any floral scent.)
  • MaxDensity 1324 is an element that describes the maximum allowable density value using DensityType.
  • the maximum density level information (MaxDensityLevel) 1325 is an element for describing the maximum allowable density level using LevelType.
  • Maximum humidity information 1326 is an element for describing a maximum allowable humidity value using a HumidityType.
  • Maximum humidity level information (MaxHumidityLevel) 1327 is an element for describing a maximum allowable humidity value using LevelType.
  • Shadow avoiding mode information (AvoidShadingMode) 1328 is an element for describing an identifier of a shading style of a device to be excluded, and uses a limited string type as follows.
  • the maximum shadow level information (MaxShadeLevel) 1329 is an element that describes the maximum allowable openness of the device using the LevelType. (For example, a user may want all curtains to open.)
  • Brightness adjustment ratio information (BrightnessPrefRatio) 1330 is an element for describing a ratio of increasing or decreasing the brightness using a float type. (For example, a brightness ratio of 2.0 means that the user wants twice the brightness.) FlashFreqPrefRatio 1331 can use the float type to increase or decrease the frequency of the flash effect. The factor describing the ratio.
  • Wind speed control ratio information (WindSpdPrefRatio) 1332 is an element for describing a ratio of increasing or decreasing wind speed by using a float type.
  • Temperature control ratio information (TemperaturePrefRatio) 1333 is an element for describing a rate of increasing or decreasing the temperature by using a float type.
  • Vibration control ratio information (VibrationPrefRatio) 1334 is an element that describes the ratio to increase or decrease the vibration intensity by using a float type.
  • the diffusion control ratio information (DiffusionPrefRatio) 1335 is an element for describing a ratio of increasing or decreasing diffusion intensity by using a float type.
  • Density control ratio information (DensityPrefRatio) 1336 is an element for describing a ratio of increasing or decreasing the density of the effect by using a float type.
  • Humidity control ratio information (HumidityPrefRatio) 1335 is an element that describes the ratio of increasing or decreasing the humidity of the effect using a float type.
  • shadeLevelPrefRatio is an element for describing a ratio of increasing or decreasing the shade level by using a float type.
  • OtherPreferences1339 is an element representing other elements for future expansion using OtherType as shown below.
  • [Table 7] is for explaining the Simple Type.
  • the intensity value of the sensory effect needs to be limited.
  • a simple type for each sensory effect measurement unit is defined and referenced in the user environment information metadata.
  • LonWorks offers an open networking platform consisting of protocols created by Echelon Corporation for twisted pairs, powerlines, fiber optics and networking devices over RF. It is (1) a dedicated microprocessor (also known as the Neuron chip) highly optimized for devices on the control network, (2) transceivers that transmit protocols over specific media, such as twisted pairs or power lines, and (3) open. Network database (also called the LNS network operating system), an essential software component of the control system. (4) Defines the Internet connection with Standard Network Variable Types (SNVTs). One of the elements of information processing interoperability in LonWorks is the standardization of SNVTs. Thermostats using temperature SNVT, for example, have numbers from 0 to 65535, equivalent to 6279.5 ° C.
  • DRESS media is rendered through devices that can be controlled by media metadata for special effects.
  • Metadata schemas for describing special effects may be designed based on a limited set of SNVT data types for device control. Table 8 shows the SNVT representation in LonWorks.
  • Type categories represent variable types using predefined variable types such as unsignedInt, float, decimal, and boolean.
  • the Valid Type Range limits the range of values, and the Tye Resolution defines the resolution at which the value can be expressed.
  • Units means a unit that can represent an SNVT type. In the case of SNVT_angle_deg, Units are degrees.
  • Table 9 describes some SNVTs that are converted to XML schemas.
  • the present invention aims to provide a concise and flexible framework for user environment information metadata for a sensory effect presentation apparatus.
  • the schema which is proposed in the present invention, divided into three levels of personal preferences, preference descriptions, and effect preferences, is used by various users for sensory effects within a single metadata. Appropriate for describing environmental information in context.
  • the present invention thus provides the most appropriate metadata for describing the user sensory environment information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 실감 효과 표현 방법 및 그 장치, 그리고 사용자 환경 정보 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다. 본 발명의 사용자 환경 정보 제공 방법은, 사용자로부터 소정의 실감 효과에 대한 선호도 정보를 입력받는 단계 및 선호도 정보를 포함하는 사용자 환경 정보 메타데이터(User Sensory Preference metadata)를 생성하는 단계를 포함하고, 사용자 환경 정보 메타데이터는 선호도 정보를 기술하는 개인 환경 정보를 포함한다. 본 발명에 의하면 미디어를 제공할 때 실감 효과를 함께 구현함으로써 미디어의 재생 효과를 극대화시킬 수 있는 효과가 있다.

Description

실감 효과 표현 방법 및 그 장치 및 사용자 환경 정보 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
본 발명은 실감 효과 표현 방법 및 그 장치, 그리고 사용자 환경 정보 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
일반적으로 미디어라 함은 오디오(음성, 음향 포함) 또는 비디오(정지화상, 동영상을 포함)를 포함한다. 사용자(user)가 미디어를 소비 또는 재생하는 경우, 미디어에 대한 데이터인 메타데이터를 이용하여 미디어에 대한 정보를 획득할 수 있다. 한편, 미디어를 재생하기 위한 기기(device)들 역시 기존에 아날로그 형태로 기록된 미디어를 재생하는 기기들로부터 디지털로 기록된 미디어를 재생하는 기기로 변화되었다.
종래의 미디어 기술은 스피커와 같은 오디오 출력 장치와 디스플레이 기기와 같은 비디오 출력 장치만을 이용하여 왔다.
도 1은 종래의 미디어 기술을 개략적으로 설명하기 위한 도면이다. 도 1을 참조하면, 미디어(102)는 미디어 재생 장치(104)에 의해 사용자에게 출력된다. 이처럼 종래의 미디어 재생 장치(104)는 오디오와 비디오를 출력하기 위한 장치만을 포함하고 있다. 이처럼 하나의 미디어가 하나의 기기를 통해 재생되는 종래의 서비스를 SMSD(Single Media Single Device)기반 서비스라고 한다.
한편, 사용자에게 미디어를 효과적으로 제공하기 위해 오디오와 비디오에 대한 기술의 개발이 진행되고 있다. 예를 들어, 오디오 신호를 다채널 신호 또는 다객체 신호로 처리하거나, 비디오를 고화질 영상, 스테레오스코픽(stereoscopic) 영상 또는 3차원 영상으로 처리하는 디스플레이 기술이 이에 해당한다.
이러한 미디어 기술과 관련하여 MPEG(moving picture experts group)은 MPEG-1부터 MPEG-2, MPEG-4, MPEG-7, 그리고 MPEG-21까지 진행되면서 미디어 개념의 발전과 멀티미디어 처리기술의 발전을 보여주고 있다. MPEG-1에서는 오디오와 비디오를 저장하기 위한 포맷을 정의하고 있고, MPEG-2에서는 미디어 전송에 초점을 맞추고 있으며, MPEG-4는 객체기반 미디어 구조를 정의하고 있고, MPEG-7은 미디어에 관한 메타데이터를 다루고 있으며, MPEG-21은 미디어의 유통 프레임워크 기술을 다루고 있다.
이와 같이 미디어 기술이 발전함에 따라, 3차원 시청각 기기(3-D audio/visual devices)등을 통해 현실 체험(realistic experiences)을 제공하는 것이 가능하게 되었지만, 종래의 시청각 기기 및 미디어 만으로는 실감 효과(sensory effects)를 구현(realize)하는 것은 매우 어려운 일이다.
따라서 본 발명은 미디어를 제공할 때, 실감 효과를 함께 구현함으로써 미디어의 재생 효과를 극대화시킬 수 있는 실감 효과 표현 방법 및 그 장치를 제공하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이러한 목적을 달성하기 위한 본 발명은 사용자 환경 정보 제공 방법에 있어서, 사용자로부터 소정의 실감 효과에 대한 선호도 정보를 입력받는 단계 및 선호도 정보를 포함하는 사용자 환경 정보 메타데이터(User Sensory Preference metadata)를 생성하는 단계를 포함하고, 사용자 환경 정보 메타데이터는 선호도 정보를 기술하는 개인 환경 정보를 포함하는 것을 일 특징으로 한다.
또한 본 발명은 사용자 환경 정보 제공 장치에 있어서, 사용자로부터 소정의 실감 효과에 대한 선호도 정보를 입력받는 입력부 및 선호도 정보를 포함하는 사용자 환경 정보 메타데이터를 생성하는 제어부를 포함하고, 사용자 환경 정보 메타데이터는 선호도 정보를 기술하는 개인 환경 정보를 포함하는 것을 다른 특징으로 한다.
또한 본 발명은 실감 효과 표현 방법에 있어서, 미디어에 적용되는 실감 효과에 대한 실감 효과 정보를 포함하는 실감 효과 메타데이터를 입력받는 단계, 실감 효과 메타데이터를 분석하여 실감 효과 정보를 획득하는 단계, 소정의 실감 효과에 대한 사용자의 선호도 정보를 포함하는 사용자 환경 정보 메타데이터를 입력받는 단계 및 사용자 환경 정보 메타데이터에 포함된 선호도 정보를 참조하여, 실감 효과 정보에 대응하는 실감 기기를 제어하기 위한 실감 기기 제어 메타데이터(Sensory Device Command metadata)를 생성하는 단계를 포함하고, 사용자 환경 정보 메타데이터는 선호도 정보를 기술하는 개인 환경 정보를 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 실감 효과 표현 장치에 있어서, 미디어에 적용되는 실감 효과에 대한 실감 효과 정보를 포함하는 실감 효과 메타데이터, 소정의 실감 효과에 대한 사용자의 선호도 정보를 포함하는 사용자 환경 정보 메타데이터를 입력받는 입력부, 실감 효과 메타데이터를 분석하여 상기 실감 효과 정보를 획득하고, 사용자 환경 정보 메타데이터에 포함된 상기 선호도 정보를 참조하여, 실감 효과 정보에 대응하는 실감 기기를 제어하기 위한 실감 기기 제어 메타데이터를 생성하는 제어부를 포함하고, 사용자 환경 정보 메타데이터는 선호도 정보를 기술하는 개인 환경 정보를 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 메타데이터는 소정의 실감 효과에 대한 선호도 정보를 포함하는 사용자 환경 정보 메타데이터를 포함하고, 사용자 환경 정보 메타데이터는 선호도 정보를 기술하는 개인 환경 정보를 포함하는 것을 또 다른 특징으로 한다.
전술한 바와 같은 본 발명에 의하면, 미디어를 제공할 때 실감 효과를 함께 구현함으로써 미디어의 재생 효과를 극대화시킬 수 있는 장점이 있다.
도 1은 종래의 미디어 기술을 개략적으로 설명하기 위한 도면.
도 2는 본 발명에 따른 실감형 미디어 구현에 대한 개념도.
도 3은 본 발명에 의한 실감 효과 표현을 위한 SMMD(Single Media Multiple Devices) 시스템의 구성도.
도 4는 본 발명에 의한 실감 미디어 생성 장치의 구성을 나타내는 구성도.
도 5는 본 발명에 의한 실감 효과 표현 장치의 구성을 나타내는 구성도.
도 6은 본 발명에 의한 실감 기기 성능 정보 제공 장치의 구성을 나타내는 구성도.
도 7은 본 발명에 의한 사용자 환경 정보 제공 장치의 구성을 나타내는 구성도.
도 8은 본 발명에 의한 사용자 환경 정보 메타데이터에 대해 설명하기 위한 도면.
도 9는 본 발명에 의한 사용자 환경 정보 메타데이터에 포함되는 일반 정보(GeneralInfo)를 설명하기 위한 도면.
도 10은 본 발명에 의한 사용자 환경 정보 메타데이터에 포함되는 개인 환경 정보(PersonalPreference)를 설명하기 위한 도면.
도 11은 본 발명에 의한 사용자 환경 정보 메타데이터에 포함되는 개인 정보(PersonalInfo)를 설명하기 위한 도면.
도 12는 본 발명에 의한 사용자 환경 정보 메타데이터에 포함되는 환경 기술 정보(PreferenceDescription)를 설명하기 위한 도면.
도 13은 본 발명에 의한 사용자 환경 정보 메타데이터에 포함되는 효과 환경 정보(EffectPreference)를 설명하기 위한 도면.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
종래의 미디어의 생성 또는 소비(재생)는 오디오와 비디오만을 그 대상으로 하여 왔다. 그러나, 인간은 시각과 청각 외에 후각 또는 촉각 등의 감각을 인지할 수 있다. 최근에는 촉각과 후각 등 인간의 오감을 자극할 수 있는 기기에 대한 연구가 활발히 진행되고 있다.
한편, 일반 가정에서 사용되던 아날로그 신호에 의해 제어되던 가전 기기들은 디지털 신호에 의하여 제어되도록 변화하고 있다.
따라서, 인간의 후각 또는 촉각 등의 감각을 자극하는 기기를 미디어와 연동하여 제어하면, 과거의 오디오 또는 비디오만으로 한정되었던 미디어의 개념을 확장할 수 있다. 즉, 현재의 미디어 서비스는 하나의 미디어가 하나의 기기에서 재현되는 SMSD(Single Media Single Device)기반의 서비스가 주를 이루고 있으나, 유비쿼터스 홈에서의 미디어 재현효과를 극대화하기 위해서는 하나의 미디어가 복수 개의 기기와 연동하여 재현되는 SMMD(Single Media Multi Devices)기반의 서비스가 구현될 수 있다. 따라서, 미디어 기술은 단순히 보는 것과 듣는 것에 대한 것뿐만 아니라 인간의 오감을 만족시키는 실감(Sensory Effect)형 미디어로 진화할 필요성이 있다. 이러한 실감형 미디어로 인해, 미디어 산업과 실감기기(Sensory Effect Device)의 시장을 확대시킬 수 있으며, 미디어의 재생 효과를 극대화함으로써 사용자에게 보다 풍부한 경험(experiences)을 제공할 수 있고, 이로 인해 미디어의 소비를 촉진시킬 수 있는 효과가 있다.
도 2는 본 발명에 따른 실감형 미디어 구현에 대한 개념도이다. 도 2를 참조하면, 미디어(202)와 실감 효과 메타데이터는 실감 미디어 표현 장치(Representation of Sensory Effect Engine: RoSE Engine)(204)에 입력된다. 여기서, 미디어(202)와 실감 효과 메타데이터는 별개의 제공자에 의해 실감 미디어 표현 장치(204)에 입력될 수 있다. 예를 들어, 미디어(202)는 미디어 제공자(도시되지 않음)에 의해 제공되고, 실감 효과 메타데이터는 실감 효과 제공자(도시되지 않음)에 의해 제공될 수 있다.
미디어(202)는 오디오 또는 비디오를 포함하고, 실감 효과 메타데이터는 미디어(202)의 실감 효과 표현(represent) 또는 구현(realize)을 위한 실감 효과 정보(sensory effect information)를 포함하는 것으로서, 미디어(202)의 재생 효과를 극대화할 수 있는 모든 정보를 포함할 수 있다. 도 2에서는 실감 효과로서, 시각, 후각, 촉각의 3가지 감각에 대한 실감 효과를 예로 들어 설명하도록 한다. 따라서, 도 2에서 실감 효과 정보는 시각효과 정보, 후각효과 정보 및 촉각효과 정보를 포함한다.
실감 미디어 표현 장치(204)는 미디어(202)를 입력받아 미디어 출력장치(206)에서 재생되도록 제어한다. 또한, 실감 미디어 표현 장치(204)는 실감 효과 메타데이터에 포함된 시각효과 정보, 후각효과 정보 및 촉각효과 정보를 이용하여 실감기기(208, 210, 212, 214)를 제어한다. 구체적으로는, 시각효과 정보를 이용하여 전등 기기(210)를 제어하고, 후각효과 정보를 이용하여 냄새 발생 기기(214)를 제어하며, 촉각효과 정보를 이용하여 진동 의자(208), 팬(212)을 제어한다.
따라서, 미디어에서 천둥 또는 번개와 같은 장면이 포함된 영상이 재생될 때에는 전등 기기(210)를 점멸시키고, 음식 또는 들판과 같은 장면이 포함된 영상이 재생될 때에는 냄새 발생 기기(214)를 제어하며, 래프팅 또는 자동차 추격과 같은 동적인 장면이 포함된 영상이 재생될 때에는 진동 의자(208)와 팬(212)을 제어함으로써, 시청하는 영상과 대응되는 실감 효과를 제공할 수 있다.
이처럼 바람의 세기, 조명의 색깔, 진동의 세기 등 실감 효과 정보를 표준화된 방식으로 표현하기 위한 스키마(schema)가 정의될 필요가 있는데, 이를 실감 효과 메타데이터(Sensory Effect Metadata: SEM)라고 한다. 실감 효과 메타데이터가 미디어(202)와 함께 실감 미디어 표현 장치(204)에 입력되면, 실감 미디어 표현 장치(204)는 미디어(202)를 재생하는 동시에, 미리 특정 시간에 실감 효과가 구현되도록 기술된 실감 효과 메타데이터를 분석하고, 미디어(202)와 동기를 맞추어 실감 기기들을 동작시키게 된다.
이 때, 실감 미디어 표현 장치(204)는 실감 효과를 표현하기 위해 다양한 실감 기기들에 대한 정보를 미리 가지고 있어야 한다. 따라서 실감 기기들에 대한 정보를 표현할 수 있는 메타데이터가 정의되어야 하는데, 이를 실감 기기 성능 메타데이터(Sensory Devide Capability metadata: SDCap)이라고 한다. 실감 기기 성능 메타데이터에는 위치 정보, 방향 정보 및 각 기기의 세부 성능에 대한 정보 등이 포함되어 있다.
한편, 미디어(202)를 시청하는 사용자는 특정 실감 효과에 대하여 다양한 선호도(preference)를 가질 수 있으며, 이러한 선호도는 실감 효과 표현에 영향을 줄 수 있다. 예를 들어, 어떤 사용자는 빨간 색의 조명을 싫어할 수 있으며, 어떤 사용자는 야간에 미디어(202)를 시청하므로 어두운 조명과 낮은 소리를 원할 수 있다. 이러한 사용자의 특정 실감 효과에 대한 선호도를 메타데이터로 표현함으로써 각 사용자별로 다른 실감 효과를 제공할 수 있는데, 이러한 메타데이터를 사용자 환경 정보 메타데이터(User Sensory Preference metadata: USP)라고 한다.
실감 효과 메타데이터를 입력받은 실감 미디어 표현 장치(204)는 실감 효과를 표현하기 전에, 각 실감 기기들로부터 실감 기기 성능 메타데이터를 입력받으며, 실감 기기 또는 별도의 입력 단말을 통해 사용자 환경 정보 메타데이터를 입력받는다. 실감 미디어 표현 장치(204)는 입력받은 실감 효과 메타데이터, 실감 기기 성능 메타데이터 및 사용자 환경 정보 메타데이터를 참조하여 실감 기기들에 대한 제어 명령을 내리게 된다. 이러한 제어 명령은 메타데이터 형식으로 각 실감 기기들에 전달되는데, 이를 실감 기기 제어 메타데이터(Sensory Device Command metadata: SDCmd)라고 한다.
이하에서는 실시예를 통해 본 발명에 의한 실감 효과 표현 방법 및 장치에 대해 보다 자세히 설명한다.
<용어 정의>
1. 제공자(provider)
실감 효과 메타데이터를 제공하는 개체를 의미하며, 실감 효과 메타데이터와 관련된 미디어를 제공할 수도 있음.
예) 방송 사업자
2. 실감 효과 표현 장치(Representation of Sensory Effect(RoSE) engine)
실감 효과 메타데이터(Sensory Effect Metadata), 실감 기기 성능 메타데이터(Sensory Device Capabilities metadata) 및/또는 사용자 환경 정보 메타데이터(User Sensory Preference metadata)를 입력받고, 이에 기반하여 실감 기기 제어 메타데이터(Sensory Device Commands metadata)를 생성하는 개체.
3. 소비자 기기(consumer devices)
실감 기기 제어 메타데이터를 입력받으며, 실감 기기 성능 메타데이터를 제공하는 개체. 또한, 사용자 환경 정보 메타데이터를 제공하는 개체 또한 소비자 기기로 언급될 수 있음. 실감 기기(sensory devices)는 소비자 기기의 부분 집합(sub-set)임.
예) 팬(fans), 조명(lights), 냄새 발생 기기(scent devices), 리모트 컨트롤러가 구비된 TV와 같은 인간 입력 장치(human input devices)
4. 실감 효과(sensory effects)
멀티미디어 어플리케이션의 특정 장면(scene)에서, 인간의 감각을 자극함으로써 지각(perception)을 증대(augment)시키기 위한 효과.
예) 냄새, 바람, 빛 등
5. 실감 효과 메타데이터(Sensory Effect Metadata: SEM)
실감 효과를 표현하기 위한 기술 개요(description schemes) 및 기술자(descriptors)를 정의.
6. 실감 효과 전송 포맷(Sensory Effect Delievery Format)
SEM을 전송하기 위한 수단을 정의.
예) MPEG2-TS 페이로드 포맷, 파일 포맷, RTP 페이로드 포맷 등
7. 실감 기기(sensory devices)
대응하는 실감 효과가 만들어질 수 있는 소비자 기기.
예) 조명(light), 팬(fans), 히터(heater) 등
8. 실감 기기 성능(Sensory Device Capability)
실감 기기의 특성을 나타내기 위한 기술 개요 및 기술자를 정의.
예) XML 스키마(schema)
9. 실감 기기 성능 전송 포맷(Sensory Device Capability Delivery Format)
실감 기기 성능을 전송하기 위한 수단을 정의.
예) HTTP, UPnP 등
10. 실감 기기 제어 명령(Sensory Device Command)
실감 기기를 제어하기 위한 기술 개요 및 기술자를 정의.
예) XML 스키마
11. 실감 기기 제어 명령 전송 포맷(Sensory Device Command Delivery Format)
실감 기기 제어 명령을 전송하기 위한 수단을 정의.
예) HTTP, UPnP 등
12. 사용자 환경 정보(User Sensory Preference)
실감 효과의 렌더링과 관련된 사용자 환경 정보를 나타내기 위한 기술 개요 및 기술자를 정의.
예) XML 스키마
13. 사용자 환경 정보 전송 포맷(User Sensory Preference Delievery Format)
사용자 환경 정보를 전송하기 위한 수단을 정의.
예) HTTP, UPnP 등
<실감 효과 표현을 위한 전체 시스템>
이하에서는 실감 효과 표현을 위한 전체 시스템의 구성 및 동작에 대해 상세히 설명한다.
도 3은 본 발명에 의한 실감 효과 표현을 위한 SMMD(Single Media Multiple Devices) 시스템의 구성도이다.
도 3을 참조하면, 본 발명에 의한 SMMD 시스템은 실감 미디어 생성 장치(302), 실감 효과 표현 장치(RoSE Engine)(304), 실감 기기(306), 미디어 재생 장치(308)를 포함한다.
실감 미디어 생성 장치(302)는 미디어에 적용되는 실감 효과에 대한 실감 효과 정보를 입력받고, 입력받은 실감 효과 정보를 포함하는 실감 효과 메타데이터(SEM)를 생성한다. 그 후 실감 미디어 생성 장치(302)는 생성된 실감 효과 메타데이터를 실감 효과 표현 장치(304)에 전송한다. 이 때 실감 미디어 생성 장치(302)는 실감 효과 메타데이터와 함께 미디어를 전송할 수 있다.
도 3에는 도시되어 있지 않으나, 본 발명의 다른 실시예에서 실감 미디어 생성 장치(302)는 실감 효과 메타데이터만을 전송하는 역할을 하고, 미디어는 실감 미디어 생성 장치(302)와는 별도의 장치를 통해 실감 효과 표현 장치(304) 또는 미디어 재생 장치(308)에 전송될 수 있다. 본 발명의 또 다른 실시예에서, 실감 미디어 생성 장치(302)는 생성된 실감 효과 메타데이터와 미디어를 패키징하여 실감 미디어를 생성하고, 생성된 실감 미디어를 실감 효과 표현 장치(304)에 전송할 수도 있다.
실감 효과 표현 장치(304)는 미디어에 적용되는 실감 효과에 대한 실감 효과정보를 포함하는 실감 효과 메타데이터를 입력받고, 입력받은 실감 효과 메타데이터를 분석하여 실감 효과 정보를 획득한다. 실감 효과 표현 장치(304)는 획득한 실감 효과 정보를 이용하여, 미디어 재생시 실감 효과의 표현을 위해 사용자의 실감 기기(306)를 제어한다. 실감 기기(306)의 제어를 위해, 실감 효과 표현 장치(304)는 실감 기기 제어 메타데이터(SDCmd)를 생성하고, 생성된 실감 기기 제어 메타데이터를 실감 기기(306)에 전송한다. 도 3에서는 설명의 편의를 위해 하나의 실감 기기(306)만을 나타내었으나, 사용자에 따라 하나 이상의 실감 기기가 존재할 수 있다.
이 때 실감 효과 표현 장치(304)가 실감 기기 제어 메타데이터를 생성하기 위해서는 각 실감 기기(306)에 대한 성능 정보를 미리 가지고 있어야 한다. 따라서 실감 기기 제어 메타데이터를 생성하기 전에, 실감 효과 표현 장치(304)는 실감 기기(306)로부터 실감 기기(306)에 대한 성능 정보를 포함하는 실감 기기 성능 메타데이터(SDCap)를 전송받는다. 실감 효과 표현 장치(304)는 실감 기기 성능 메타데이터 통해 각 실감 기기(306)의 상태, 성능 등에 대한 정보를 얻을 수 있으며, 이러한 정보를 이용하여 각 실감 기기에 의해 구현될 수 있는 실감 효과의 구현을 위해 실감 기기 제어 메타데이터를 생성한다. 여기서 실감 기기에 대한 제어는 미디어 재생 장치(308)에 의해 재생되는 장면과 실감 기기들을 동기화하는 것을 포함한다.
실감 기기(306)에 대한 제어를 위해 실감 효과 표현 장치(304)와 실감 기기(306)는 서로 네트워크로 연결될 수 있다. 이러한 네트워크 기술로서 LonWorks, UPnP(Universal Plug and Play)등의 기술이 적용될 수 있다. 또한, 미디어의 효과적인 제공을 위해 MPEG(MPEG-7, MPEG-21 등을 포함함)과 같은 미디어 기술을 함께 적용할 수 있다.
한편, 실감 기기(306) 및 미디어 재생 장치(308)를 소유한 사용자는 특정 실감 효과에 대하여 다양한 선호도를 가질 수 있다. 예를 들어, 사용자는 특정한 색을 싫어할 수도 있고, 좀 더 강한 진동을 원할 수도 있다. 이러한 사용자의 선호도 정보는 실감 기기(306) 또는 별도의 입력 단말(미도시)을 통해 입력되고, 메타데이터 형식으로 생성될 수 있다. 이러한 메타데이터를 사용자 환경 정보 메타데이터(USP)라고 한다. 생성된 사용자 환경 정보 메타데이터는 실감 기기(306) 또는 입력 단말(미도시)을 통해 실감 효과 표현 장치(304)에 전송된다. 실감 효과 표현 장치(304)는 전송받은 사용자 환경 정보 메타데이터를 고려하여 실감 기기 제어 메타데이터를 생성할 수 있다.
실감 기기(306)는 미디어에 적용되는 실감 효과를 구현하기 위한 기기이다. 실감 기기(306)의 예시는 다음과 같으나, 이에 한정되는 것은 아니다.
- 시각 기기(visual device): 모니터, TV, 월 스크린(wall screen) 등
- 음향 기기(sound device): 스피커, 악기(music instrument), 벨 등
- 바람 기기(wind device): 팬(fan), 윈드 인젝터(wind injector) 등
- 온도 기기(temperature device): 히터, 쿨러 등
- 조명 기기(lighting device): 전구, 조광기(dimmer), 컬러 LED, 플래쉬(flash) 등
- 음영 기기(shading device): 커튼, 롤 스크린, 문(door) 등
- 진동 기기(vibration device): 진동 의자(trembling chair), 조이스틱, 티클러(tickler) 등
- 냄새 기기(scent device): 향수 발생기(perfumer) 등
- 확산 기기(diffusion device): 스프레이 등
- 기타(other device): 미정의된(undefined) 효과에 대한 기기 또는 위 기기들에 의한 효과의 조합
실감 기기(306)는 사용자에 따라 하나 이상이 존재할 수 있다. 실감 효과 표현 장치(304)로부터 실감 기기 제어 메타데이터를 전송받은 실감 기기(306)는 미디어 재생 장치(308)에서 재생되는 미디어와 동기를 맞추어 각 장면(scene)에 정의된 실감 효과를 구현한다.
미디어 재생 장치(308)는 기존의 미디어를 재생하기 위한 TV와 같은 재생 장치를 의미한다. 미디어 재생 장치(308) 또한 시각과 청각을 표현하기 위한 기기의 일종이므로, 넓은 의미에서는 실감 기기(306)의 범주에 속할 수 있다. 하지만 도 3에서는 설명의 편의를 위해 미디어 재생 장치(308)를 실감 기기(306)와는 별도의 개체로 표시하였다. 미디어 재생 장치(308)는 실감 효과 표현 장치(304)에 의해, 또는 별도의 경로에 의해 미디어를 전달받아 재생하는 역할을 한다.
<실감 미디어 생성 방법 및 장치>
이하에서는 본 발명에 의한 실감 미디어의 생성 방법 및 장치에 대해 상세히 설명한다.
본 발명에 의한 실감 미디어 생성 방법은 미디어에 적용되는 실감 효과에 대한 실감 효과 정보를 입력받는 단계 및 실감 효과 정보를 포함하는 실감 효과 메타데이터(Sensory Effect Metadata)를 생성하는 단계를 포함하고, 실감 효과 메타데이터는 실감 효과를 기술하는 실감 효과 기술 정보를 포함하며, 실감 효과 기술 정보는 미디어 내에서 실감 효과가 적용될 위치를 나타내는 미디어 위치 정보를 포함한다.
본 발명에 의한 실감 미디어 생성 방법은 생성된 실감 효과 메타데이터를 실감 효과 표현 장치에 전송하는 단계를 더 포함할 수 있다. 실감 효과 메타데이터는 미디어와 분리된 별도의 데이터로서 전송될 수 있다. 예를 들어, 사용자가 영화 보기 서비스 제공을 요청하면, 제공자는 사용자에게 미디어(영화) 데이터와 해당 미디어에 적용될 실감 효과 메타데이터를 함께 전송할 수 있다. 만약 사용자가 이미 특정 미디어(영화)를 보유한 경우, 제공자는 해당 미디어에 적용될 실감 효과 메타데이터만을 사용자에게 전송할 수 있다.
본 발명에 의한 실감 미디어 생성 방법은 생성된 실감 효과 메타데이터와 미디어를 패키징하여 실감 미디어를 생성하는 단계 및 생성된 실감 미디어를 전송하는 단계를 더 포함할 수 있다. 제공자는 미디어에 대한 실감 효과 메타데이터를 생성하고, 생성된 실감 효과 메타데이터를 미디어와 결합 또는 패키징하여 실감 미디어를 생성하여 실감 효과 표현 장치에 전송할 수 있다. 실감 미디어는 실감 효과 표현을 위한 실감 미디어 포맷의 파일로 구성될 수 있다. 그리고 실감 미디어 포맷은 실감 효과 표현을 위한 미디어의 표준화될 파일 포맷일 수 있다.
본 발명에 의한 실감 미디어 생성 방법에서 실감 효과 메타데이터는 실감 효과를 기술하는 실감 효과 기술 정보를 포함하며, 메타데이터의 생성에 대한 정보를 포함하는 일반 정보(general information)를 더 포함할 수 있다. 실감 효과 기술 정보는 미디어 내에서 실감 효과가 적용될 위치를 나타내는 미디어 위치 정보를 포함할 수 있으며, 미디어의 세그먼트에 적용되는 실감 효과 세그먼트 정보를 더 포함할 수 있다. 실감 효과 세그먼트 정보는 미디어의 세그먼트에서 적용될 효과 목록 정보, 효과 변수 정보 및 세그먼트에서 실감 효과가 적용될 위치를 나타내는 세그먼트 위치 정보를 포함할 수 있다. 효과 변수 정보는 같은 시간에 적용되는 하나 이상의 실감 효과 변수를 포함하는 실감 효과 프래그먼트 정보를 포함할 수 있다.
도 4는 본 발명에 의한 실감 미디어 생성 장치의 구성을 나타내는 구성도이다.
도 4를 참조하면, 실감 미디어 생성 장치(402)는 미디어에 적용되는 실감 효과에 대한 실감 효과 정보를 입력받는 입력부(404) 및 실감 효과 정보를 포함하는 실감 효과 메타데이터를 생성하는 실감 효과 메타데이터 생성부(406)를 포함한다. 여기서 실감 효과 메타데이터는 실감 효과를 기술하는 실감 효과 기술 정보를 포함하며, 실감 효과 기술 정보는 미디어 내에서 실감 효과가 적용될 위치를 나타내는 미디어 위치 정보를 포함한다. 실감 미디어 생성 장치(402)는 생성된 실감 효과 메타데이터를 실감 효과 표현 장치에 전송하는 전송부(410)를 더 포함할 수 있다. 이 때 미디어는 입력부(404)를 통해 입력된 후 전송부(410)를 통해 실감 효과 표현 장치 또는 미디어 재생 장치 등으로 전송될 수 있다. 또한 미디어는 입력부(404)를 통해 입력되지 않고 별도의 경로를 통해 실감 효과 표현 장치 또는 미디어 재생 장치 등으로 전송될 수도 있다.
한편, 본 발명에 의한 실감 미디어 생성 장치(402)는 생성된 실감 효과 메타데이터와 미디어를 패키징하여 실감 미디어를 생성하는 실감 미디어 생성부(408)를 더 포함할 수 있다. 이 때 전송부(410)는 실감 미디어를 실감 효과 표현 장치에 전송할 수 있다. 실감 미디어를 생성하는 경우, 입력부(404)는 미디어를 더 입력받을 수 있고, 실감 미디어 생성부(408)는 입력된 미디어와 실감 효과 메타데이터 생성부(408)에 의해 생성된 실감 효과 메타데이터를 결합 또는 패키징하여 실감 미디어를 생성한다.
실감 효과 메타데이터는 실감 효과를 기술하는 실감 효과 기술 정보를 포함하며, 메타데이터의 생성에 대한 정보를 포함하는 일반 정보를 더 포함할 수 있다. 실감 효과 기술 정보는 미디어 내에서 실감 효과가 적용될 위치를 나타내는 미디어 위치 정보를 포함할 수 있으며, 미디어의 세그먼트에 적용되는 실감 효과 세그먼트 정보를 더 포함할 수 있다. 실감 효과 세그먼트 정보는 미디어의 세그먼트에서 적용될 효과 목록 정보, 효과 변수 정보 및 세그먼트에서 실감 효과가 적용될 위치를 나타내는 세그먼트 위치 정보를 포함할 수 있다. 효과 변수 정보는 같은 시간에 적용되는 하나 이상의 실감 효과 변수를 포함하는 실감 효과 프래그먼트 정보를 포함할 수 있다.
<실감 효과 표현 방법 및 장치>
이하에서는 본 발명에 의한 실감 효과 표현 방법 및 장치에 대해 상세히 설명한다.
본 발명에 의한 실감 효과 표현 방법은 미디어에 적용되는 실감 효과에 대한 실감 효과 정보를 포함하는 실감 효과 메타데이터를 입력받는 단계, 실감 효과 메타데이터를 분석하여 실감 효과 정보를 획득하는 단계 및 실감 효과 정보에 대응하는 실감 기기를 제어하기 위한 실감 기기 제어 메타데이터(Sensory Device Command metadata)를 생성하는 단계를 포함한다. 그리고 실감 효과 표현 방법은 생성된 실감 기기 제어 메타데이터를 실감 기기에 전송하는 단계를 더 포함할 수 있다. 여기서 실감 기기 제어 메타데이터는 실감 기기를 제어하기 위한 실감 기기 제어 기술 정보를 포함한다.
본 발명에 의한 실감 효과 표현 방법은 실감 기기에 대한 성능 정보를 포함하는 실감 기기 성능 메타데이터(Sensory Device Capabilites metadata)를 입력받는 단계를 더 포함할 수 있다. 이 때 실감 기기 제어 메타데이터를 생성하는 단계는 실감 기기 성능 메타데이터에 포함된 성능 정보를 참조하는 단계를 더 포함할 수 있다.
또한 본 발명에 의한 실감 효과 표현 방법은 소정의 실감 효과에 대한 사용자의 선호도 정보를 포함하는 사용자 환경 정보 메타데이터(User Sensory Preference metadata)를 입력받는 단계를 더 포함할 수 있다. 이 때 실감 기기 제어 메타데이터를 생성하는 단계는 사용자 환경 정보 메타데이터에 포함된 선호도 정보를 참조하는 단계를 더 포함할 수 있다.
본 발명에 의한 실감 효과 표현 방법에서 실감 기기 제어 메타데이터에 포함된 실감 기기 제어 기술 정보는 실감 기기의 스위치 온/오프 여부, 세팅될 위치, 세팅될 방향에 대한 정보를 포함하는 기기 제어 일반 정보를 포함할 수 있다. 또한 실감 기기 제어 기술 정보는 실감 기기에 대한 세부 동작 명령을 포함하는 기기 제어 세부 정보를 포함할 수 있다.
도 5는 본 발명에 의한 실감 효과 표현 장치의 구성을 나타내는 구성도이다.
도 5를 참조하면, 본 발명에 의한 실감 효과 표현 장치(502)는 미디어에 적용되는 실감 효과에 대한 실감 효과 정보를 포함하는 실감 효과 메타데이터를 입력받는 입력부(504) 및 입력된 실감 효과 메타데이터를 분석하여 실감 효과 정보를 획득하고, 실감 효과 정보에 대응하는 실감 기기를 제어하기 위한 실감 기기 제어 메타데이터를 생성하는 제어부(506)를 포함한다. 여기서 실감 기기 제어 메타데이터는 실감 기기를 제어하기 위한 실감 기기 제어 기술 정보를 포함한다. 실감 효과 표현 장치(502)는 생성된 실감 기기 제어 메타데이터를 실감 기기에 전송하는 전송부(508)를 더 포함할 수 있다.
한편, 입력부(504)는 실감 기기에 대한 성능 정보를 포함하는 실감 기기 성능 메타데이터를 입력받을 수 있다. 이 때 제어부(506)는 입력된 실감 기기 성능 메타데이터에 포함된 성능 정보를 참조하여 실감 기기 제어 메타데이터를 생성할 수 있다.
또한 입력부(504)는 소정의 실감 효과에 대한 사용자의 선호도 정보를 포함하는 사용자 환경 정보 메타데이터를 입력받을 수 있다. 이 때 제어부(506)는 입력된 사용자 환경 정보 메타데이터에 포함된 선호도 정보를 참조하여 실감 기기 제어 메타데이터를 생성할 수 있다.
여기서 실감 기기 제어 메타데이터에 포함된 실감 기기 제어 기술 정보는 실감 기기의 스위치 온/오프 여부, 세팅될 위치, 세팅될 방향에 대한 정보를 포함하는 기기 제어 일반 정보를 포함할 수 있다. 또한 실감 기기 제어 기술 정보는 실감 기기에 대한 세부 동작 명령을 포함하는 기기 제어 세부 정보를 포함할 수 있다.
<실감 기기 성능 정보 제공 방법 및 장치>
이하에서는 본 발명에 의한 실감 기기 성능 정보 제공 방법 및 장치에 대해 상세히 설명한다.
본 발명에 의한 실감 기기 성능 정보 제공 방법은 실감 기기에 대한 성능 정보를 획득하는 단계 및 성능 정보를 포함하는 실감 기기 성능 메타데이터(Sensory Device Capabilities metadata)를 생성하는 단계를 포함한다. 여기서 실감 기기 성능 메타데이터는 성능 정보를 기술하는 기기 성능 정보를 포함한다. 본 발명에 의한 실감 기기 성능 정보 제공 방법은 생성된 실감 기기 성능 메타데이터를 실감 효과 표현 장치에 전송하는 단계를 더 포함할 수 있다.
한편, 본 발명에 의한 실감 기기 성능 정보 제공 방법은 실감 효과 표현 장치로부터 실감 기기 제어 메타데이터를 입력받는 단계 및 실감 기기 제어 메타데이터를 이용하여 실감 효과를 구현하는 단계를 더 포함할 수 있다. 여기서 실감 효과 표현 장치는 전송받은 실감 기기 성능 메타데이터를 참조하여 실감 기기 제어 메타데이터를 생성한다.
본 발명에 의한 실감 기기 성능 정보 제공 방법에서 실감 기기 성능 메타데이터에 포함된 기기 성능 정보는 실감 기기의 위치 정보, 방향 정보를 포함하는 기기 성능 공통 정보를 포함할 수 있다. 또한 기기 성능 정보는 실감 기기의 세부 성능에 관한 정보를 포함하는 기기 성능 세부 정보를 포함할 수 있다.
도 6은 본 발명에 의한 실감 기기 성능 정보 제공 장치의 구성을 나타내는 구성도이다.
도 6의 실감 기기 성능 정보 제공 장치(602)는 실감 기기와 동일한 기능을 갖는 기기이거나 실감 기기 그 자체일 수 있다. 또한 실감 기기 성능 정보 제공 장치(602)는 실감 기기와는 별도의 장치로서 존재할 수도 있다.
도 6에 나타난 바와 같이, 본 발명에 의한 실감 기기 성능 정보 제공 장치(602)는 실감 기기에 대한 성능 정보를 획득하고, 성능 정보를 포함하는 실감 기기 성능 메타데이터를 생성하는 제어부(606)를 포함한다. 여기서 실감 기기 성능 메타데이터는 성능 정보를 기술하는 기기 성능 정보를 포함한다. 또한 실감 기기 성능 정보 제공 장치(602)는 생성된 실감 기기 성능 메타데이터를 실감 효과 표현 장치에 전송하는 전송부(608)를 더 포함할 수 있다.
실감 기기 성능 정보 제공 장치(602)는 실감 효과 표현 장치로부터 실감 기기 제어 메타데이터를 입력받는 입력부(604)를 더 포함할 수 있다. 실감 효과 표현 장치는 전송받은 실감 기기 성능 메타데이터를 참조하여 실감 기기 제어 메타데이터를 생성한다. 이 때 제어부(606)는 입력된 실감 기기 제어 메타데이터를 이용하여 실감 효과를 구현할 수 있다.
여기서 실감 기기 성능 메타데이터에 포함된 기기 성능 정보는 실감 기기의 위치 정보, 방향 정보를 포함하는 기기 성능 공통 정보를 포함할 수 있다. 또한 기기 성능 정보는 실감 기기의 세부 성능에 관한 정보를 포함하는 기기 성능 세부 정보를 포함할 수 있다.
<사용자 환경 정보 제공 방법 및 장치>
이하에서는 본 발명에 의한 사용자 환경 정보 제공 방법 및 장치에 대해 상세히 설명한다.
본 발명에 의한 사용자 환경 정보 제공 방법은 사용자로부터 소정의 실감 효과에 대한 선호도 정보를 입력받는 단계 및 선호도 정보를 포함하는 사용자 환경 정보 메타데이터(User Sensory Preference metadata)를 생성하는 단계를 포함한다. 여기서 사용자 환경 정보 메타데이터는 선호도 정보를 기술하는 개인 환경 정보를 포함한다. 본 발명에 의한 사용자 환경 정보 제공 방법은 생성된 사용자 환경 정보 메타데이터를 실감 효과 표현 장치에 전송하는 단계를 더 포함할 수 있다.
본 발명에 의한 사용자 환경 정보 제공 방법은 실감 효과 표현 장치로부터 실감 기기 제어 메타데이터(Sensory Device Command metadata)를 입력받는 단계 및 실감 기기 제어 메타데이터를 이용하여 실감 효과를 구현하는 단계를 더 포함할 수 있다. 여기서 실감 효과 표현 장치는 전송받은 사용자 환경 정보 메타데이터를 참조하여 실감 기기 제어 메타데이터를 생성한다.
본 발명에 의한 사용자 환경 정보 제공 방법에서 개인 환경 정보는 여러 명의 사용자를 구별하기 위한 개인 정보, 각 사용자의 실감 효과 선호도 정보를 기술하는 환경 기술 정보를 포함할 수 있다. 또한 환경 기술 정보는 하나 이상의 실감 효과에 대한 세부 파라메터를 포함하는 효과 환경 정보를 포함할 수 있다.
도 7은 본 발명에 의한 사용자 환경 정보 제공 장치의 구성을 나타내는 구성도이다.
도 7의 사용자 환경 정보 제공 장치(702)는 실감 기기와 동일한 기능을 갖는 기기이거나 실감 기기 그 자체일 수 있다. 또한 사용자 환경 정보 제공 장치(702)는 실감 기기와는 별도의 장치로서 존재할 수도 있다.
도 7에 나타난 바와 같이, 본 발명에 의한 사용자 환경 정보 제공 장치(702)는 사용자로부터 소정의 실감 효과에 대한 선호도 정보를 입력받는 입력부(704) 및 선호도 정보를 포함하는 사용자 환경 정보 메타데이터를 생성하는 제어부(706)를 포함한다. 여기서 사용자 환경 정보 메타데이터는 선호도 정보를 기술하는 개인 환경 정보를 포함한다. 본 발명에 의한 사용자 환경 정보 제공 장치(702) 생성된 사용자 환경 정보 메타데이터를 실감 효과 표현 장치에 전송하는 전송부(708)를 더 포함할 수 있다.
한편 입력부(704)는 실감 효과 표현 장치로부터 실감 기기 제어 메타데이터를 입력받을 수 있다. 여기서 실감 효과 표현 장치는 전송받은 사용자 환경 정보 메타데이터를 참조하여 실감 기기 제어 메타데이터를 생성한다. 이 때 제어부(706)는 입력받은 실감 기기 제어 메타데이터를 이용하여 실감 효과를 구현할 수 있다.
여기서 사용자 환경 정보 메타데이터에 포함된 개인 환경 정보는 여러 명의 사용자를 구별하기 위한 개인 정보, 각 사용자의 실감 효과 선호도 정보를 기술하는 환경 기술 정보를 포함할 수 있다. 또한 환경 기술 정보는 하나 이상의 실감 효과에 대한 세부 파라메터를 포함하는 효과 환경 정보를 포함할 수 있다.
<사용자 환경 정보 메타데이터>
이하에서는 사용자 환경 정보 메타데이터에 관해 상세히 설명한다.
사용자의 실감 체험을 증대시키는 실감 효과 표현 프레임워크(RoSE framework)는 다양한 종류의 효과 및 범위를 커버한다. 따라서, 사용자 환경 정보 메타데이터(USP)를 반영함으로써 효과들을 렌더링하는 실감 기기들을 조정할 필요가 있다. RoSE 프레임워크에 대한 일반적인 요구사항 및 사용자 환경 정보 메타데이터에 대한 일반적인 요구사항을 만족시키기 위하여, 본 발명에서는 사용자 환경 정보를 기술하는 XML 스키마를 정의한다. 본 발명에서 제안된 프레임워크는 간단한 구조를 가지며, 표준 XML 기술로 이루어지기 때문에 기계 판독(machine-readable)이 가능하다.
확장성(extensibility)을 보장하기 위하여, 본 발명에서는 각 개인 또는 그룹의 환경정보를 기술하는 것이 가능한 USP 스키마를 정의한다. 이러한 스키마는 다른 사람의 환경정보를 추가하는 기능, 특정 효과에 대한 환경정보를 제거하는 기능, 미리 정의된 환경정보를 수정하는 기능 등을 지원한다. (예를 들어, 가족 구성원의 환경정보가 표현 가능함.) 또한, 본 발명에서 제안되는 스키마는 실감 효과의 복합 속성(complex properties)에 대한 환경정보를 기술할 수 있다. (예를 들어, 앞 쪽에서의 꽃 향기와 함께 따뜻한 바람 효과) 본 발명은 레벨 타입(level-type) 또는 유닛 타입(unit-type)을 선택할 수 있는 유연성을 제공한다. 또한, 본 발명은 환경정보 비율(preference ratio)을 이용하여 특정 실감 효과를 감소 또는 증대시킬 수 있도록 한다. (예를 들어, 사용자가 여름에 좀 더 강한 냉각 효과를 원하는 경우)
사용자 환경 정보 메타데이터 스키마는 실감 효과 표현 장치(RoSE Engine)로 하여금 사용자 환경 정보를 고려하여 실감 효과를 효율적으로 렌더링하도록 의도되었다. 확장성(extensibility)을 보장하기 위하여, 본 발명에서는 사용자 환경 정보 메타데이터를 개인 환경정보(Personal Preference), 환경 기술 정보(Preference Description) 및 효과 환경정보(Effect Preference)의 세 개 레벨로 나눈다.
개인 환경정보(Personal Preference)에서는 각 사용자의 정보 및 환경정보를 기술한다. 또한, 그것은 다양한 사용자의 환경정보를 포함하는 것도 가능하다. (예를 들어, 그 메타데이터는 가족 구성원의 환경정보를 저장할 수 있다. 사용자들이 그 환경정보 중 하나를 선택할 수 있거나, 실감 효과 표현 장치가 그 가족의 환경정보를 추정(estimate)할 수 있다.)
환경 기술 정보(Preference Description)는 각 사용자의 서로 다른 환경정보를 저장하며, 따라서 그것은 실감 효과 표현 장치로 하여금 사용자의 환경에 의해 유연하게 효과를 제공하도록 한다. (예를 들어, 사용자가 늦은 밤에 영화를 보기 원하는 경우, 실감 효과 표현 장치는 사용자에게 너무 시끄럽지 않은 야간 환경정보를 추천할 수 있다.)
효과 환경정보(Effect Preference)는 효과 속성(effect properties)의 목록을 제공한다. 미래에 출현할 새로운 종류의 실감 효과를 기술하기 위해, 본 발명에서는 실감 효과의 특징(features)을 같은 레벨로 배열한다. (예를 들어, 낮은 온도 및 높은 눅눅함과 함께하는 보라색 안개 효과를 기술하는 것이 가능하다.)
메타데이터 정보 및 개인 정보를 기술하기 위하여, 본 발명에서는 MPEG-7의 Description Metadata Type을 이용했으며, 실감 효과의 유닛을 특정하기 위하여 LonWorks 표준을 참조하였다.
한편, 본 발명에 따른 사용자 환경 정보 메타데이터는 MPEG-7과 같은 미디어와 관련된 기술과 LonWorks와 같은 네트워크와 관련된 기술이 함께 접목될 수 있다. LonWorks와 같은 네트워크와 관련된 기술에는 SNVTs(Standard Network Variable Types)이 이용될 수 있다. 이러한 경우, 접목되는 기술에 따른 메타데이터의 타입을 구별하기 위해 네임스페이스 프리픽스(Namaspace Prefix)를 사용할 수 있다. 본 발명에서, 사용자 환경 정보 메타데이터의 네임스페이스는 ":USP:ver1:represent:UserSensoryPreference:2008:07"가 될 것이다. 명확함을 위해, 일정한 네임스페이스 프리픽스가 사용된다. [표 1]은 이러한 프리픽스 및 대응하는 네임스페이스를 나타낸다.
[규칙 제26조에 의한 보정 07.10.2009]　
표 1
Figure WO-DOC-TABLE-1
이하에서는 사용자 환경 정보 메타데이터 스키마 정의 및 의미(semantics)에 대해 상세히 설명한다.
도 8은 본 발명에 의한 사용자 환경 정보 메타데이터에 대해 설명하기 위한 도면이다.
도 8을 참조하면, 사용자 환경 정보 메타데이터(USP)(801)는 하나 이상의 개인 환경 정보(PersonalPreference)(803)를 포함한다. 또한 사용자 환경 정보 메타데이터(USP)(801)는 일반 정보(GeneralInfo)(802)를 더 포함할 수 있다. 이를 정리하면 [표 2]와 같다.
[규칙 제26조에 의한 보정 07.10.2009]　
표 2
Figure WO-DOC-TABLE-2
일반 정보(GeneralInfo)(802)는 사용자 환경 정보 메타데이터(USP)(801)의 생성과 관련된 정보를 포함한다. 개인 환경 정보(PersonalPreference)(803)는 개인 정보 및 실감 효과 환경 정보를 포함한다.
도 8과 관련된 사용자 환경 정보 메타데이터(USP)(801)에 대한 스키마의 일 예는 아래와 같다.
<element name="USP" type="USP:USPType"/>
<complexType name="USPType">
<sequence>
<element name="GeneralInfo" type="mpeg7:DescriptionMetadataType" minOccurs="0"/>
<element name="PersonalPreference" type="USP:PersonalPreferencesType" maxOccurs="unbounded"/>
</sequence>
</complexType>
도 9는 본 발명에 의한 사용자 환경 정보 메타데이터에 포함되는 일반 정보(GeneralInfo)를 설명하기 위한 도면이다.
일반 정보(GeneralInfo)는 실감 효과 메타데이터의 생성과 관련된 정보를 포함한다. 도 9를 참조하면, 일반 정보(GeneralInfo)(901)는 Confidence(902), Version(903), LastUpdate(904), Comment(905), PublicIdentifier(906), PrivateIdentifier(907), Creator(908), CreationLocation(909), CreationTime(910), Instrument(911) 및 Rights(912)를 포함할 수 있다.
일반 정보(GeneralInfo)(901)는 일반적인 메타데이터의 생성과 관련된 정보를 포함할 수 있다. 예를 들면, 버전, 최종 업데이트 일자, 저작자, 저작 시간, 저작 장소, 저작권 등의 정보를 포함할 수 있다. 일반 정보(GeneralInfo)(901)의 타입은 MPEG-7의 mpeg7:DescriptionMetadataType 에 의해 참조될 수 있다.
일반 정보(GeneralInfo)(901)에 대한 스키마의 일 예는 아래와 같다.
<complexType name="DescriptionMetadataType">
<complexContent>
<extension base="mpeg7:HeaderType">
<sequence>
<element name="Confidence" type="mpeg7:zeroToOneType" minOccurs="0"/>
<element name="Version" type="string" minOccurs="0"/>
<element name="LastUpdate" type="mpeg7:timePointType" minOccurs="0"/>
<element name="Comment" type="mpeg7:TextAnnotationType" minOccurs="0"/>
<element name="PublicIdentifier" type="mpeg7:UniqueIDType" minOccurs="0" maxOccurs="unbounded"/>
<element name="PrivateIdentifier" type="string" minOccurs="0" maxOccurs="unbounded"/>
<element name="Creator" type="mpeg7:CreatorType" minOccurs="0" maxOccurs="unbounded"/>
<element name="CreationLocation" type="mpeg7:PlaceType" minOccurs="0"/>
<element name="CreationTime" type="mpeg7:timePointType" minOccurs="0"/>
<element name="Instrument" type="mpeg7:CreationToolType" minOccurs="0" maxOccurs="unbounded"/>
<element name="Rights" type="mpeg7:RightsType" minOccurs="0"/>
</sequence>
</extension>
</complexContent>
</complexType>
도 10은 본 발명에 의한 사용자 환경 정보 메타데이터에 포함되는 개인 환경 정보(PersonalPreference)를 설명하기 위한 도면이다.
개인 환경 정보(PersonalPreference)는 미디어에 적용되는 모든 효과에 대한 정보를 포함한다. 개인 환경 정보(PersonalPreference)는 다수의 환경 정보를 포함할 수 있다. 도 10을 참조하면, 개인 환경 정보(PersonalPreference)(1001)는 개인 정보(PersonalInfo)(1002) 및 환경 기술 정보(PreferenceDescription)(1003)를 포함할 수 있다. 이를 정리하면 [표 3]과 같다.
[규칙 제26조에 의한 보정 07.10.2009]　
표 3
Figure WO-DOC-TABLE-3
개인 정보(PersonalInfo)(1002)는 mpeg7:PersonType을 이용하여 개인 정보를 기술한다. 환경 기술 정보(PreferenceDescription)(1003)는 각 사용자의 실감 효과 환경정보를 포함한다.
도 10과 관련된 개인 환경 정보(PersonalPreference)(1001)에 대한 스키마의 일 예는 아래와 같다.
<element name="PersonalPreferences" type="USP:PersonalPreferencesType"/>
<complexType name="PersonalPreferencesType">
<sequence>
<element name="PersonInfo" type="mpeg7:PersonType"/>
<element name="PreferenceDescription" type="USP:PreferenceDescriptionType" maxOccurs="unbounded"/>
</sequence>
</complexType>
도 11은 본 발명에 의한 사용자 환경 정보 메타데이터에 포함되는 개인 정보(PersonalInfo)를 설명하기 위한 도면이다.
개인 정보(PersonalInfo)는 실감 효과 표현 장치에 의해 조회되는 개인 정보를 포함한다. PersonInfoType의 타입은 mpeg7:PersonType에 기반한 확장이다. 도 11을 참조하면, 개인 정보(PersonalInfo)(1101)는 식별자(id)(1102), 타임 베이스(timeBase)(1103), 타임 유닛(timeUnit)(1104), 미디어 타임 베이스(mediaTimeBase)(1105), 미디어 타임 유닛(mediaTimeUnit)(1106), 헤더(Header)(1107), 아이콘(Icon)(1108), 이름(Name)(1109), 이름 텀(NameTerm)(1110), 가입 여부(Affiliation)(1111), 국적(Citizenship)(1112), 전자 주소(ElectronicAddress)(1113), 나이(Age)(1114), 성별(Sex)(1115) 및 부가 정보(AdditionalInfo)(1116)를 포함할 수 있다. 이를 정리하면 [표 4]와 같다.
[규칙 제26조에 의한 보정 07.10.2009]　
표 4
Figure WO-DOC-TABLE-4
식별자(id)(1102), 타임 베이스(timeBase)(1103), 타임 유닛(timeUnit)(1104), 미디어 타임 베이스(mediaTimeBase)(1105), 미디어 타임 유닛(mediaTimeUnit)(1106), 헤더(Header)(1107), 아이콘(Icon)(1108), 이름(Name)(1109), 이름 텀(NameTerm)(1110), 가입 여부(Affiliation)(1111), 국적(Citizenship)(1112) 및 전자 주소(ElectronicAddress)(1113)에 대해서는 mpeg7:PersonType에 정의되어 있다. 나이(Age)(1114)는 부호 없는 정수(unsignedInt) 타입을 이용하여 사용자의 나이를 나타낸다. 성별(Sex)(1115)은 불리언(boolean) 타입을 이용하여 사용자의 성별을 나타낸다. 부가 정보(AdditionalInfo)(1116)는 스트링(string) 타입(예를 들어, "색맹(color blindness")을 이용하여 부가 정보를 나타낸다.
도 11과 관련된 개인 정보(PersonalInfo)(1101)에 대한 스키마의 일 예는 아래와 같다.
<element name="PersonInfo" type="USP:PersonInfoType"/>
<complexType name="PersonInfoType">
<complexContent>
<extension base="mpeg7:PersonType">
<sequence>
<element name="Age" type="unsignedInt" minOccurs="0"/>
<element name="Sex" type="boolean" minOccurs="0"/>
<element name="AdditionalInfo" type="string" minOccurs="0"/>
</sequence>
</extension>
</complexContent>
</complexType>
도 12는 본 발명에 의한 사용자 환경 정보 메타데이터에 포함되는 환경 기술 정보(PreferenceDescription)를 설명하기 위한 도면이다.
환경 기술 정보(PreferenceDescription)는 환경 정보 기술자(descriptors) 및 하위 효과(subordinate effects) 환경 정보를 포함한다. 환경 기술 정보(PreferenceDescription) 요소는 사용자의 상세한 실감 효과 환경 정보에 대해 기술한다. 도 12를 참조하면, 환경 기술 정보(PreferenceDescription)(1201)는 환경 정보 식별자(PreferenceID)(1202), 우선순위 정보(Priority)(1203), 모든 효과 제거 여부 정보(DisableAllEffect)(1204), 효과 환경 정보(EffectPreference)(1205) 및 기타 정보(1206)를 포함할 수 있다. 이를 정리하면 [표 5]와 같다.
[규칙 제26조에 의한 보정 07.10.2009]　
표 5
Figure WO-DOC-TABLE-5
환경 정보 식별자(PreferenceID)(1202)는 ID 타입을 이용한 환경 정보 식별자 속성(attribute)이다. 우선순위 정보(Priority)(1203)는 부호 없는 정수 타입을 이용한 환경 정보의 우선순위를 나타내는 속성이다. 모든 효과 제거 여부 정보(DisableAllEffect)(1204)는 불리언 타입을 이용하여 모든 효과를 제거(turn off)할 것인지에 대한 스위치 속성이다. 효과 환경 정보(EffectPreference)(1205)는 각각의 실감 효과 속성(properties)의 세부적인 환경 정보를 포함하는 요소이다. 기타 정보(1206)는 아래와 같이 USP:OtherType을 이용하여 미래의 확장에 대한 다른 요소들을 표현하는 요소이다.
<complexType name="OtherType" mixed="true">
<sequence>
<any namespace="##any"/>
</sequence>
</complexType>
도 12와 관련된 환경 기술 정보(PreferenceDescription)(1201)에 대한 스키마의 일 예는 아래와 같다.
<element name="PreferenceDescription" type="USP:PreferenceDescriptionType"/>
<complexType name="PreferenceDescriptionType">
<sequence>
<element name="EffectPreference" type="USP:EffectPreferenceType" maxOccurs="unbounded"/>
<element name="Other" type="USP:OtherType" minOccurs="0"/>
</sequence>
<attribute name="PreferenceID" type="ID" use="required"/>
<attribute name="Priority" type="unsignedInt"/>
<attribute name="DisableAllEffect" type="boolean"/>
</complexType>
도 13은 본 발명에 의한 사용자 환경 정보 메타데이터에 포함되는 효과 환경 정보(EffectPreference)를 설명하기 위한 도면이다.
효과 환경 정보(EffectPreference)는 세부적인 실감 효과 환경 정보를 기술하기 위한 요소를 포함한다. 다양한 실감 효과의 고유한 속성(intrinsic properties)를 고려하여, 본 발명에서는 사용자 환경 정보를 적절하게 묘사하는 속성들을 선택하였다. 효과 환경 정보(EffectPreference)는 기기 적응(device adatation)을 위해 사용될 실감 효과 속성들의 특정 파라메터들을 표현한다. 그것은 사용자 환경 정보를 환경 정보 비율(예를 들어, 10m/s 속도의 바람 속도 또는 최대 속도 대비 50%의 바람 속도)로서 기술할 수 있다. 도 13을 참조하면, 효과 환경 정보(EffectPreference)(1301)는 참조 효과 식별자(RefEffectID)(1302), 효과 타입(EffectType)(1303), 효과 제거 여부 정보(DisableEffect)(1304)를 포함할 수 있다. 또한 효과 환경 정보(EffectPreference)(1301)는 방향 회피 정보(AvoidDirectionFrom)(1305), 최대 밝기 정보(MaxBrightness)(1306), 최대 밝기 레벨 정보(MaxBrightnessLevel)(1307), 최대 플래시 빈도 정보(MaxFlashFreq)(1308), 최대 플래쉬 빈도 레벨 정보(MaxFlashFreqLevel)(1309), 회피 컬러 정보(AvoidColor)(1310), 최대 바람 속도 정보(MaxWindSpeed)(1311), 최대 바람 속도 레벨 정보(MaxWindSpeedLevel)(1312), 최대 온도 정보(MaxTemperature)(1313), 최대 온도 레벨 정보(MaxTemperatureLevel)(1314), 최소 온도 정보(MinTemperature)(1315), 최소 온도 레벨 정보(MinTemperatureLevel)(1316), 최대 진동 빈도 Hz 정보(MaxVibrationFreqHz)(1317), 최대 진동 세기 정보(MaxVibrationAmplitude)(1318), 최대 진동 레벨 정보(MaxVibrationLevel)(1319), 최대 확산 정보(MaxDiffusion)(1320), 최대 확산 레벨 정보(MaxDiffusionLevel)(1321), 확산 회피 소스 식별자(AvoidDiffusionSourceID)(1322), 냄새 회피 식별자(AvoidScentID)(1323), 최대밀도 정보(MaxDensity)(1324), 최대 밀도 레벨 정보(MaxDensityLevel)(1325), 최대 습도 정보(MaxHumidity)(1326), 최대 습도 레벨 정보(MaxHumidityLevel)(1327), 음영 회피 모드 정보(AvoidShadingMode)(1328), 최대 음영 레벨 정보(MaxShadeLevel)(1329), 밝기 조절 비율 정보(BrightnessPrefRatio)(1330), 플래쉬 빈도 조절 비율 정보(FlashFreqPrefRatio)(1331), 바람 속도 조절 비율 정보(WindSpdPrefRatio)(1332), 온도 조절 비율 정보(TemperaturePrefRatio)(1333),진동 조절 비율 정보(VibrationPrefRatio)(1334), 확산 조절 비율 정보(DiffusionPrefRatio)(1335), 밀도 조절 비율 정보(DensityPrefRatio)(1336), 습도 조절 비율 정보(HumidityPrefRatio)(1337), 음영 레벨 조절 비율 정보(ShadeLevelPrefRatio)(1338) 및 기타 환경 정보(OtherPreferences)(1339)를 포함할 수 있다. 이를 정리하면 [표 6]과 같다.
[규칙 제26조에 의한 보정 07.10.2009]　
표 6
Figure WO-DOC-TABLE-6
[규칙 제26조에 의한 보정 07.10.2009]　
Figure WO-DOC-TABLE-6-1
[규칙 제26조에 의한 보정 07.10.2009]　
Figure WO-DOC-TABLE-6-2
참조 효과 식별자(RefEffectID)(1302)는 ID 타입을 이용하여 실감 효과 표현 장치 미디어 내의 특정 효과 식별자의 참조를 나타내는 속성(attribute)이다. 효과 타입(EffectType)(1303)은 스트링 타입을 이용하여 실감 효과 타입을 나타내는 속성이다. (예를 들어, 플래쉬 조명(flashlight)) 효과 제거 여부 정보(DisableEffect)(1304)는 불리언 타입을 이용하여 특정 효과 환경 정보를 표현 또는 표현하지 않기 위한 스위치 속성이다.
방향 회피 정보(AvoidDirectionFrom)(1305)는 제외(exclude)되어야 할 실감 효과의 방향을 기술하는 요소이다. 방향 회피 정보(AvoidDirectionFrom)(1305)는 다음과 같이 USP:DirectionFromType을 이용한다.
<complexType name="DirectionFromType">
<attribute name="Front" type="boolean" use="optional"/>
<attribute name="Rear" type="boolean" use="optional"/>
<attribute name="Left" type="boolean" use="optional"/>
<attribute name="Right" type="boolean" use="optional"/>
<attribute name="Upper" type="boolean" use="optional"/>
<attribute name="Lower" type="boolean" use="optional"/>
</complexType>
최대 밝기 정보(MaxBrightness)(1306)는 조명 효과 기기가 지원할 수 있는 최대 허용 밝기 값을 럭스(lx) 단위로 기술하는 요소이며, 타입은 LuxType이다. 최대 밝기 레벨 정보(MaxBrightnessLevel)(1307)는 조명 효과 기기가 지원할 수 있는 최대 허용 밝기 값을 레벨 단위로 기술하는 요소이며, 타입은 LevelType이다. 최대 플래시 빈도 정보(MaxFlashFreq)(1308)는 점멸 효과(flickering effect)의 최대 허용 빈도(frequency)를 FrequencyType을 이용하여 기술하는 요소이다. 최대 플래쉬 빈도 레벨 정보(MaxFlashFreqLevel)(1309)는 점멸 효과의 최대 허용 빈도 레벨을 LevelType을 이용하여 기술하는 요소이다. 회피 컬러 정보(AvoidColor)(1310)는 색맹인 사용자를 위하여 고려되어야 할 컬러 값들을 기술하는 요소이며, 다음과 같이 ColorType을 이용한다.
<complexType name="ColorType">
<attribute name="r" use="required">
<simpleType>
<restriction base="unsignedInt">
<minInclusive value="0"/>
<maxInclusive value="255"/>
</restriction>
</simpleType>
</attribute>
<attribute name="g" use="required">
<simpleType>
<restriction base="unsignedInt">
<minInclusive value="0"/>
<maxInclusive value="255"/>
</restriction>
</simpleType>
</attribute>
<attribute name="b" use="required">
<simpleType>
<restriction base="unsignedInt">
<minInclusive value="0"/>
<maxInclusive value="255"/>
</restriction>
</simpleType>
</attribute>
</complexType>
최대 바람 속도 정보(MaxWindSpeed)(1311)는 바람 속도에 대한 최대 허용 값을 기술하는 요소이며, 타입은 WindSpeedType이다. 최대 바람 속도 레벨 정보(MaxWindSpeedLevel)(1312)는 바람 속도에 대한 최대 허용 레벨을 기술하는 요소이며, 타입은 LevelType이다. 최대 온도 정보(MaxTemperature)(1313)는 TemperatureType을 이용하여 최대 허용 온도 값을 기술하는 요소이다. 최대 온도 레벨 정보(MaxTemperatureLevel)(1314)는 LevelType을 이용하여 최대 허용 온도 레벨을 기술하는 요소이다. 최소 온도 정보(MinTemperature)(1315)는 TemperatureType을 이용하여 최소 허용 온도 값을 기술하는 요소이다. 최소 온도 레벨 정보(MinTemperatureLevel)(1316)는 LevelType을 이용하여 최소 허용 온도 레벨을 기술하는 요소이다.
최대 진동 빈도 Hz 정보(MaxVibrationFreqHz)(1317)는 최대 허용 진동 빈도를 기술하는 요소이며, 타입은 FrequencyType이다. 최대 진동 세기 정보(MaxVibrationAmplitude)(1318)는 최대 허용 진동 세기(mm)를 기술하는 요소이며, 타입은 unsighedInt이다. 최대 진동 레벨 정보(MaxVibrationLevel)(1319)는 최대 허용 진동 레벨을 기술하는 요소이며, 타입은 LevelType이다.
최대 확산 정보(MaxDiffusion)(1320)는 최대 허용 확산 값을 기술하는 요소이며, 타입은 DiffusionType이다. 최대 확산 레벨 정보(MaxDiffusionLevel)(1321)는 최대 확산 레벨을 기술하는 요소이며, 타입은 LevelType이다. 확산 회피 소스 식별자(AvoidDiffusionSourceID)(1322)는 제외되어야 할 확산 물질들의 식별자를 기술하는 요소이며, ID 타입을 이용한다. (예를 들어, 사용자는 증기 안개(vapor fog)를 원치 않을 수 있음.)
냄새 회피 식별자(AvoidScentID)(1323)는 제외되어야 할 냄새의 식별자를 기술하는 요소이며, ID 타입을 이용한다. (예를 들어, 사용자는 어떠한 꽃 향기도 원치 않을 수 있음.) 최대밀도 정보(MaxDensity)(1324)는 DensityType을 이용하여 최대 허용 밀도 값을 기술하는 요소이다. 최대 밀도 레벨 정보(MaxDensityLevel)(1325)는 LevelType을 이용하여 최대 허용 밀도 레벨을 기술하는 요소이다. 최대 습도 정보(MaxHumidity)(1326)는 HumidityType을 이용하여 최대 허용 습도 값을 기술하는 요소이다. 최대 습도 레벨 정보(MaxHumidityLevel)(1327)는 LevelType을 이용하여 최대 허용 습도 값을 기술하는 요소이다.
음영 회피 모드 정보(AvoidShadingMode)(1328)는 제외되어야 할 기기의 음영 스타일의 식별자를 기술하는 요소이며, 아래와 같이 제한된 스트링 타입을 이용한다.
<restriction base="string">
<enumeration value="SideOpen"/>
<enumeration value="RollOpen"/>
<enumeration value="PullOpen"/>
<enumeration value="PushOpen"/>
</restriction>
최대 음영 레벨 정보(MaxShadeLevel)(1329)는 LevelType을 이용하여 기기의 최대 허용 개방 상태(openness)를 기술하는 요소이다. (예를 들어, 사용자는 커튼이 모두 열리기를 원할 수 있음.)
밝기 조절 비율 정보(BrightnessPrefRatio)(1330)는 float 타입을 이용하여 밝기를 증가 또는 감소시킬 비율을 기술하는 요소이다. (예를 들어, 2.0의 밝기 비율은 사용자가 2배 더 높은 밝기를 원하는 것을 의미함.) 플래쉬 빈도 조절 비율 정보(FlashFreqPrefRatio)(1331)는 float 타입을 이용하여 플래쉬 효과의 빈도를 증가 또는 감소시킬 비율을 기술하는 요소이다. 바람 속도 조절 비율 정보(WindSpdPrefRatio)(1332)는 float 타입을 이용하여 바람 속도를 증가 또는 감소시킬 비율을 기술하는 요소이다. 온도 조절 비율 정보(TemperaturePrefRatio)(1333)는 float 타입을 이용하여 온도를 증가 또는 감소시킬 비율을 기술하는 요소이다. 진동 조절 비율 정보(VibrationPrefRatio)(1334)는 float 타입을 이용하여 진동 강도를 증가 또는 감소시킬 비율을 기술하는 요소이다. 확산 조절 비율 정보(DiffusionPrefRatio)(1335)는 float 타입을 이용하여 확산 강도를 증가 또는 감소시킬 비율을 기술하는 요소이다. 밀도 조절 비율 정보(DensityPrefRatio)(1336)는 float 타입을 이용하여 그 효과의 밀도를 증가 또는 감소시킬 비율을 기술하는 요소이다. 습도 조절 비율 정보(HumidityPrefRatio)(1337)는 float 타입을 이용하여 그 효과의 습도를 증가 또는 감소시킬 비율을 기술하는 요소이다. 음영 레벨 조절 비율 정보(ShadeLevelPrefRatio)(1338)는 float 타입을 이용하여 음영 레벨을 증가 또는 감소시킬 비율을 기술하는 요소이다. 기타 환경 정보(OtherPreferences)(1339)는 아래와 같이 OtherType을 이용하여 미래의 확장을 위한 다른 요소들을 나타내는 요소이다.
<complexType name="OtherType" mixed="true">
<sequence>
<any namespace="##any"/>
</sequence>
</complexType>
도 13과 관련된 효과 환경 정보(EffectPreference)의 스키마의 일 예는 아래와 같다.
<element name="EffectPreference" type="USP:EffectPreferenceType"/>
<complexType name="EffectPreferenceType">
<sequence>
<element name="AvoidDirectionFrom" type="USP:DirectionFromType" minOccurs="0"/>
<element name="MaxBrightness" type="USP:LuxType" minOccurs="0"/>
<element name="MaxBrightnessLevel" type="USP:LevelType" minOccurs="0"/>
<element name="MaxFlashFreq" type="unsignedInt" minOccurs="0"/>
<element name="MaxFlashFreqLevel" type="USP:LevelType" minOccurs="0"/>
<element name="AvoidColor" type="USP:ColorType" minOccurs="0" maxOccurs="unbounded"/>
<element name="MaxWindSpeed" type="USP:WindSpeedType" minOccurs="0"/>
<element name="MaxWindSpeedLevelScale" type="USP:LevelType" minOccurs="0"/>
<element name="MaxTemperature" type="USP:TemperatureType" minOccurs="0"/>
<element name="MaxTemperatureLevelScale" type="unsignedInt" minOccurs="0"/>
<element name="MinTemperature" type="USP:TemperatureType" minOccurs="0"/>
<element name="MinTemperatureLevel" type="USP:LevelType" minOccurs="0"/>
<element name="MaxVibrationFreqHz" type="USP:FrequencyType" minOccurs="0"/>
<element name="MaxVibrationAmplitude" type="unsignedInt" minOccurs="0"/>
<element name="MaxVibrationLevel" type="USP:LevelType" minOccurs="0"/>
<element name="MaxDiffusion" type="USP:DiffusionType" minOccurs="0"/>
<element name="MaxDiffusionLevel" type="USP:LevelType" minOccurs="0"/>
<element name="AvoidDiffusionSourceID" type="ID" minOccurs="0" maxOccurs="unbounded"/>
<element name="AvoidScentID" type="ID" minOccurs="0" maxOccurs="unbounded"/>
<element name="MaxDensity" type="USP:DensityType" minOccurs="0"/>
<element name="MaxDensityLevel" type="USP:LevelType" minOccurs="0"/>
<element name="MaxHumidity" type="USP:HumidityType" minOccurs="0"/>
<element name="MaxHumidityLevel" type="USP:LevelType" minOccurs="0"/>
<element name="AvoidShadingMode" minOccurs="0" maxOccurs="unbounded">
<simpleType>
<restriction base="string">
<enumeration value="SideOpen"/>
<enumeration value="RollOpen"/>
<enumeration value="PullOpen"/>
<enumeration value="PushOpen"/>
</restriction>
</simpleType>
</element>
<element name="MaxShadeLevel" type="USP:LevelType" minOccurs="0"/>
<element name="FlashFreqPrefRatio" type="float" minOccurs="0"/>
<element name="WindSpdPrefRatio" type="float" minOccurs="0"/>
<element name="TemperaturePrefRatio" type="float" minOccurs="0"/>
<element name="VibrationPrefRatio" type="float" minOccurs="0"/>
<element name="DiffusionPrefRatio" type="float" minOccurs="0"/>
<element name="DensityPrefRatio" type="float" minOccurs="0"/>
<element name="HumidityPrefRatio" type="float" minOccurs="0"/>
<element name="BrightnessPrefRatio" type="float" minOccurs="0"/>
<element name="ShadeLevelPrefRatio" type="float" minOccurs="0"/>
<element name="OtherPreferences" type="USP:OtherType" minOccurs="0"/>
</sequence>
<attribute name="RefEffectID" type="ID"/>
<attribute name="EffectType" type="string"/>
<attribute name="DisableEffect" type="boolean" use="required"/>
</complexType>
[표 7]은 심플 타입(Simple Type)을 설명하기 위한 것이다. 실감 효과 표현의 안전성(safety)을 위하여, 실감 효과의 강도 값(intensity value)은 제한될 필요가 있다. 본 발명에서는 각각의 실감 효과 측정 단위에 대한 심플 타입을 정의하고, 그것을 사용자 환경 정보 메타데이터 내에서 참조한다.
[규칙 제26조에 의한 보정 07.10.2009]　
표 7
Figure WO-DOC-TABLE-7
[규칙 제26조에 의한 보정 07.10.2009]　
Figure WO-DOC-TABLE-7-1
이하에서는 실감 기기들과의 네트워크와 관련하여, LonWorks와 관련된 SNVT스키마의 정의 및 의미에 대해 설명한다.
LonWorks는 트위스티드 페어(twisted pair), 파워라인(powerlines), 광섬유(fiber optics) 및 RF를 통한 네트워킹 기기를 위해 Echelon Corporation에 의해 만들어진 프로토콜로 이루어진 오픈 네트워킹 플랫폼(open networking platform)을 제공한다. 그것은 (1) 제어 네트워크상의 기기들에 대해 고도로 최적화된 (뉴론 칩(Neuron chip)으로도 알려진)전용 마이크로프로세서 (2)트위스티드 페어나 파워라인과 같은 특정 미디어 상의 프로토콜을 전송하는 송수신기 (3) 오픈 컨트롤 시스템의 필수 소프트웨어 컴포넌트인 네트워크 데이터베이스(LNS 네트워크 운영 체제로도 불림) (4) SNVTs(Standard Network Variable Types)와의 인터넷 연결을 정의한다. LonWorks에서 정보처리 상호운용 가능성(interoperability)에 대한 요소 중 하나는 SNVTs의 표준화이다. 예를 들어 온도 SNVT를 이용하는 자동 온도 조절 장치(thermostat)는 -274℃에서 6279.5℃와 동등한, 0에서 65535의 숫자를 갖는다. DRESS 미디어는 특별 효과(special effects)를 위한 미디어 메타데이터에 의해 제어될 수 있는 기기들을 통해 렌더링된다. 특별 효과를 기술하기 위한 메타데이터 스키마는 기기 제어를 위한 SNVT 데이터 타입의 제한된 집합에 기반하여 설계될 수 있다. [표 8]는 LonWorks에서의 SNVT 표현을 나타낸다.
[규칙 제26조에 의한 보정 07.10.2009]　
표 8
Figure WO-DOC-TABLE-8
[표 8]에서 굵게 표시된 부분은 XML 스키마로 번역된다. 타입 카테고리(Type Category)는 unsignedInt, float, decimal and boolean와 같이 미리 정의된 변수 타입을 이용하여 변수 타입을 표현한다. 유효 타입 범위(Valid Type Range)는 값의 범위를 제한하고, 타입 해상도(Tyoe Resolution)는 그 값을 표현할 수 있는 해상도를 정의한다. 유닛(Units)은 SNVT 타입을 표현할 수 있는 유닛을 의미한다. SNVT_angle_deg의 경우, 유닛(Units)은 각도(degrees)이다.
[표 9]는 XML 스키마로 전환되는 몇몇 SNVT를 기술한다.
[규칙 제26조에 의한 보정 07.10.2009]　
표 9
Figure WO-DOC-TABLE-9
[규칙 제26조에 의한 보정 07.10.2009]　
Figure WO-DOC-TABLE-9-1
[규칙 제26조에 의한 보정 07.10.2009]　
Figure WO-DOC-TABLE-9-2
[규칙 제26조에 의한 보정 07.10.2009]　
Figure WO-DOC-TABLE-9-3
지금까지 설명한 바와 같이, 본 발명은 실감 효과 표현 장치를 위한 사용자 환경 정보 메타데이터에 대한 간결하고 유연한 프레임워크를 제공하는 것을 목적으로 한다.
본 발명에서 제안된, 개인 환경 정보(personal preference), 환경 기술 정보(preference description) 및 효과 환경 정보(effect preference)의 3개 레벨로 분리된 스키마는 단일 메타데이터 내에서 실감 효과에 대한 다양한 사용자의 상황에 따른 환경 정보를 기술하는 데 적절하다. 본 발명은 이와 같이 사용자 실감 환경 정보를 기술하기 위한 가장 적절한 메타데이터를 제공한다.
전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims (15)

  1. 사용자로부터 소정의 실감 효과에 대한 선호도 정보를 입력받는 단계; 및
    상기 선호도 정보를 포함하는 사용자 환경 정보 메타데이터(User Sensory Preference metadata)를 생성하는 단계를 포함하고,
    상기 사용자 환경 정보 메타데이터는
    상기 선호도 정보를 기술하는 개인 환경 정보를 포함하는, 사용자 환경 정보 제공 방법.
  2. 제1항에 있어서,
    상기 사용자 환경 정보 메타데이터를 실감 효과 표현 장치에 전송하는 단계를 더 포함하는, 사용자 환경 정보 제공 방법.
  3. 제2항에 있어서,
    상기 실감 효과 표현 장치로부터 실감 기기 제어 메타데이터(Sensory Device Command metadata)를 입력받는 단계; 및
    상기 실감 기기 제어 메타데이터를 이용하여 실감 효과를 구현하는 단계를 더 포함하는, 사용자 환경 정보 제공 방법.
  4. 제1항에 있어서,
    상기 개인 환경 정보는
    여러 명의 사용자를 구별하기 위한 개인 정보, 각 사용자의 실감 효과 선호도 정보를 기술하는 환경 기술 정보를 포함하는, 사용자 환경 정보 제공 방법.
  5. 제4항에 있어서,
    상기 환경 기술 정보는
    하나 이상의 실감 효과에 대한 세부 파라메터를 포함하는 효과 환경 정보를 포함하는, 사용자 환경 정보 제공 방법.
  6. 사용자로부터 소정의 실감 효과에 대한 선호도 정보를 입력받는 입력부; 및
    상기 선호도 정보를 포함하는 사용자 환경 정보 메타데이터를 생성하는 제어부를 포함하고,
    상기 사용자 환경 정보 메타데이터는
    상기 선호도 정보를 기술하는 개인 환경 정보를 포함하는, 사용자 환경 정보 제공 장치.
  7. 제6항에 있어서,
    상기 개인 환경 정보는
    여러 명의 사용자를 구별하기 위한 개인 정보, 각 사용자의 실감 효과 선호도 정보를 기술하는 환경 기술 정보를 포함하는, 사용자 환경 정보 제공 장치.
  8. 제7항에 있어서,
    상기 환경 기술 정보는
    하나 이상의 실감 효과에 대한 세부 파라메터를 포함하는 효과 환경 정보를 포함하는, 사용자 환경 정보 제공 장치.
  9. 미디어에 적용되는 실감 효과에 대한 실감 효과 정보를 포함하는 실감 효과 메타데이터를 입력받는 단계;
    상기 실감 효과 메타데이터를 분석하여 상기 실감 효과 정보를 획득하는 단계;
    소정의 실감 효과에 대한 사용자의 선호도 정보를 포함하는 사용자 환경 정보 메타데이터를 입력받는 단계; 및
    상기 사용자 환경 정보 메타데이터에 포함된 상기 선호도 정보를 참조하여, 상기 실감 효과 정보에 대응하는 실감 기기를 제어하기 위한 실감 기기 제어 메타데이터(Sensory Device Command metadata)를 생성하는 단계를 포함하고,
    상기 사용자 환경 정보 메타데이터는
    상기 선호도 정보를 기술하는 개인 환경 정보를 포함하는, 실감 효과 표현 방법.
  10. 제9항에 있어서,
    상기 개인 환경 정보는
    여러 명의 사용자를 구별하기 위한 개인 정보, 각 사용자의 실감 효과 선호도 정보를 기술하는 환경 기술 정보를 포함하는, 실감 효과 표현 방법.
  11. 제10항에 있어서,
    상기 환경 기술 정보는
    하나 이상의 실감 효과에 대한 세부 파라메터를 포함하는 효과 환경 정보를 포함하는, 실감 효과 표현 방법.
  12. 미디어에 적용되는 실감 효과에 대한 실감 효과 정보를 포함하는 실감 효과 메타데이터, 소정의 실감 효과에 대한 사용자의 선호도 정보를 포함하는 사용자 환경 정보 메타데이터를 입력받는 입력부; 및
    상기 실감 효과 메타데이터를 분석하여 상기 실감 효과 정보를 획득하고, 상기 사용자 환경 정보 메타데이터에 포함된 상기 선호도 정보를 참조하여, 상기 실감 효과 정보에 대응하는 실감 기기를 제어하기 위한 실감 기기 제어 메타데이터를 생성하는 제어부를 포함하고,
    상기 사용자 환경 정보 메타데이터는
    상기 선호도 정보를 기술하는 개인 환경 정보를 포함하는, 실감 효과 표현 장치.
  13. 제12항에 있어서,
    상기 개인 환경 정보는
    여러 명의 사용자를 구별하기 위한 개인 정보, 각 사용자의 실감 효과 선호도 정보를 기술하는 환경 기술 정보를 포함하는, 실감 효과 표현 장치.
  14. 제13항에 있어서,
    상기 환경 기술 정보는
    하나 이상의 실감 효과에 대한 세부 파라메터를 포함하는 효과 환경 정보를 포함하는, 실감 효과 표현 장치.
  15. 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    상기 메타데이터는 소정의 실감 효과에 대한 선호도 정보를 포함하는 사용자 환경 정보 메타데이터를 포함하고,
    상기 사용자 환경 정보 메타데이터는
    상기 선호도 정보를 기술하는 개인 환경 정보를 포함하는, 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2009/003944 2008-07-16 2009-07-16 실감 효과 표현 방법 및 그 장치 및 사용자 환경 정보 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체 WO2010008233A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/054,660 US8712958B2 (en) 2008-07-16 2009-07-16 Method and apparatus for representing sensory effects and computer readable recording medium storing user sensory preference metadata

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US8136108P 2008-07-16 2008-07-16
US61/081,361 2008-07-16

Publications (2)

Publication Number Publication Date
WO2010008233A2 true WO2010008233A2 (ko) 2010-01-21
WO2010008233A3 WO2010008233A3 (ko) 2010-05-14

Family

ID=41550866

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/003944 WO2010008233A2 (ko) 2008-07-16 2009-07-16 실감 효과 표현 방법 및 그 장치 및 사용자 환경 정보 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체

Country Status (3)

Country Link
US (1) US8712958B2 (ko)
KR (1) KR20100008775A (ko)
WO (1) WO2010008233A2 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090038835A (ko) * 2007-10-16 2009-04-21 한국전자통신연구원 실감 미디어 생성 및 소비 방법 및 그 장치 및 실감 미디어메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록매체
KR101746453B1 (ko) * 2010-04-12 2017-06-13 삼성전자주식회사 실감 효과 처리 시스템 및 방법
KR20140104537A (ko) * 2013-02-18 2014-08-29 한국전자통신연구원 생체 신호 기반의 감성 인터랙션 장치 및 방법
US9654757B2 (en) 2013-03-01 2017-05-16 Nokia Technologies Oy Method, apparatus, and computer program product for including device playback preferences in multimedia metadata
KR101727592B1 (ko) * 2013-06-26 2017-04-18 한국전자통신연구원 감성추론 기반 사용자 맞춤형 실감미디어 재현 장치 및 방법
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9648091B2 (en) * 2014-07-18 2017-05-09 The Boeing Company Transforming sensory representations
KR102231676B1 (ko) * 2014-12-23 2021-03-25 한국전자통신연구원 실감 효과 메타데이터 생성 장치 및 방법
CA3004644C (en) * 2015-02-13 2021-03-16 Shanghai Jiao Tong University Implementing method and application of personalized presentation of associated multimedia content
GB2548152A (en) 2016-03-11 2017-09-13 Sony Corp Apparatus, method and computer program
US11162703B2 (en) 2016-08-19 2021-11-02 Fraunhofer Usa, Inc. System and method for characterization of retrofit opportunities in building using data from communicating thermostats
US20220187921A1 (en) * 2019-04-10 2022-06-16 Sony Group Corporation Information processing apparatus, information processing method, and program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040003073A1 (en) * 2002-06-27 2004-01-01 Openpeak Inc. Method, system, and computer program product for managing controlled residential or non-residential environments
US20040188511A1 (en) * 2002-12-20 2004-09-30 Sprigg Stephen A. System to automatically process components on a device
US20050021866A1 (en) * 2003-04-17 2005-01-27 Samsung Electronics Co., Ltd. Method and data format for synchronizing contents
US20060230183A1 (en) * 2005-04-07 2006-10-12 Samsung Electronics Co., Ltd. Method and apparatus for synchronizing content with a collection of home devices
US20080046944A1 (en) * 2006-08-17 2008-02-21 Lee Hae-Ryong Ubiquitous home media service apparatus and method based on smmd, and home media service system and method using the same
KR20090061516A (ko) * 2007-12-11 2009-06-16 한국전자통신연구원 멀티미디어 콘텐츠 메타데이터 분석에 따른 홈 네트워크제어 장치 및 방법
KR20090065355A (ko) * 2007-12-17 2009-06-22 한국전자통신연구원 실감형 멀티미디어 재생 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466232B1 (en) * 1998-12-18 2002-10-15 Tangis Corporation Method and system for controlling presentation of information to a user based on the user's condition
JP2004135789A (ja) 2002-10-16 2004-05-13 Toshiba Eng Co Ltd 体感演出システム
KR20050005653A (ko) 2003-07-07 2005-01-14 엘지전자 주식회사 바람정보 수신 기능을 갖는 영상표시기기 및 그 제어방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040003073A1 (en) * 2002-06-27 2004-01-01 Openpeak Inc. Method, system, and computer program product for managing controlled residential or non-residential environments
US20040188511A1 (en) * 2002-12-20 2004-09-30 Sprigg Stephen A. System to automatically process components on a device
US20050021866A1 (en) * 2003-04-17 2005-01-27 Samsung Electronics Co., Ltd. Method and data format for synchronizing contents
US20060230183A1 (en) * 2005-04-07 2006-10-12 Samsung Electronics Co., Ltd. Method and apparatus for synchronizing content with a collection of home devices
US20080046944A1 (en) * 2006-08-17 2008-02-21 Lee Hae-Ryong Ubiquitous home media service apparatus and method based on smmd, and home media service system and method using the same
KR20090061516A (ko) * 2007-12-11 2009-06-16 한국전자통신연구원 멀티미디어 콘텐츠 메타데이터 분석에 따른 홈 네트워크제어 장치 및 방법
KR20090065355A (ko) * 2007-12-17 2009-06-22 한국전자통신연구원 실감형 멀티미디어 재생 시스템 및 방법

Also Published As

Publication number Publication date
US20110125787A1 (en) 2011-05-26
KR20100008775A (ko) 2010-01-26
US8712958B2 (en) 2014-04-29
WO2010008233A3 (ko) 2010-05-14

Similar Documents

Publication Publication Date Title
WO2010008233A2 (ko) 실감 효과 표현 방법 및 그 장치 및 사용자 환경 정보 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2010008232A2 (ko) 실감 효과 표현 방법 및 그 장치 및 실감 효과 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2010008234A2 (ko) 실감 효과 표현 방법 및 그 장치 및 실감 기기 성능 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2010008235A2 (ko) 실감 효과 표현 방법 및 그 장치 및 실감 기기 제어 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2010033006A2 (ko) 실감 효과 표현 방법 및 장치
WO2010120137A2 (ko) 감각 효과를 위한 메타데이터 제공 방법 및 장치, 감각 효과를 위한 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체, 감각 재생 방법 및 장치
WO2014003394A1 (en) Apparatus and method for processing an interactive service
WO2013133601A1 (en) Video display apparatus and operating method thereof
WO2013103273A1 (en) Video display apparatus and operating method thereof
WO2017039223A1 (en) Display apparatus and control method thereof
WO2011065654A1 (en) Method of processing epg metadata in network device and network device for controlling the same
WO2013119082A1 (ko) 영상 표시 장치 및 그 동작 방법
WO2015178598A1 (ko) 디스플레이 적응적 영상 재생을 위한 비디오 데이터 처리 방법 및 장치
WO2014014252A1 (en) Method and apparatus for processing digital service signals
WO2014129803A1 (en) Video display apparatus and operating method thereof
WO2014030924A1 (en) Apparatus and method for processing an interactive service
WO2012026651A1 (en) Method for synchronizing contents and display device enabling the method
WO2014126422A1 (en) Video display apparatus and operating method thereof
WO2012011639A1 (en) Electronic device, electronic system, and method of providing information using the same
WO2011034283A1 (en) Method of processing epg metadata in network device and the network device for controlling the same
WO2014042368A1 (en) Apparatus and method for processing an interactive service
WO2011129641A2 (en) Purchase transaction method for iptv product and iptv receiver thereof
WO2016171496A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2011021867A2 (en) Method of processing epg metadata in network device and network device for controlling the same
WO2015080414A1 (ko) 트릭 플레이 서비스 제공을 위한 방송 신호 송수신 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09798136

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13054660

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 09798136

Country of ref document: EP

Kind code of ref document: A2