WO2018123279A1 - 情報処理システム、情報処理装置及びプログラム - Google Patents
情報処理システム、情報処理装置及びプログラム Download PDFInfo
- Publication number
- WO2018123279A1 WO2018123279A1 PCT/JP2017/040157 JP2017040157W WO2018123279A1 WO 2018123279 A1 WO2018123279 A1 WO 2018123279A1 JP 2017040157 W JP2017040157 W JP 2017040157W WO 2018123279 A1 WO2018123279 A1 WO 2018123279A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- client
- metadata
- information
- video
- reference color
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims description 58
- 238000000034 method Methods 0.000 claims description 116
- 230000008569 process Effects 0.000 claims description 92
- 230000005540 biological transmission Effects 0.000 claims description 78
- 238000012545 processing Methods 0.000 claims description 73
- 239000003086 colorant Substances 0.000 claims description 66
- 238000009826 distribution Methods 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000037433 frameshift Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 9
- 239000008186 active pharmaceutical agent Substances 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
- H04H60/31—Arrangements for monitoring the use made of the broadcast services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
- H04H60/38—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
- H04H60/40—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
- H04H60/73—Systems specially adapted for using specific information, e.g. geographical or meteorological information using meta-information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25891—Management of end-user data being end-user preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
- H04H60/33—Arrangements for monitoring the users' behaviour or opinions
Definitions
- the present invention relates to an information processing system, an information processing apparatus, and a program.
- Patent Document 1 the technique disclosed in Patent Document 1 described above has a problem that it is vulnerable to fraud (so-called cheat action) because a feature amount prepared in advance by a user can be used as a query.
- cheat action a feature amount prepared in advance by a user can be used as a query.
- the technique of the above-mentioned patent document 2 since the information itself of the captured image is transmitted to the server side and collated on the server side, it can be used for unreliable input. However, it is difficult to withstand the simultaneous check-in of a large number of viewers (so-called scalability is low). As described above, the check-in technology using a smartphone or the like for television broadcasting has many problems.
- the present invention has been made in view of such a situation, and it is highly accurate and high-speed that an unspecified number of viewers are watching a predetermined video by a “check-in” operation using a camera. Provide technology that can be confirmed.
- an information processing system includes: In an information processing system consisting of a client and a server, The client While a content including a video composed of a plurality of unit images is broadcast according to a predetermined time schedule, received by a predetermined playback device and played back, the display surface on which the video is displayed has a predetermined imaging Video acquisition means for acquiring video information obtained as a result of being imaged by the device for a predetermined period as client-side video information; A reference color list indicated by a permutation of N reference colors (N is an integer value of 2 or more) is acquired based on transmission information transmitted from the server during a predetermined period before the broadcast of the content or before the start of the broadcast.
- a reference color list acquisition means for Each of the M unit images (M is an integer value of 2 or more) constituting the client-side video is set as a processing target, and each pixel or each block in the processing target is determined based on the reference color list. And generating information indicating the distribution state of the N reference colors for the processing target, and indicating information indicating the distribution state of each of the M unit images.
- Client side metadata generation means for generating as side video metadata
- Metadata transmission control means for executing control to transmit the metadata of the client-side video to the server
- the server Necessary for creating the reference color list itself or the reference color list in which at least one of the type and permutation of the reference color differs for each group to which the client or the client belongs before or during the broadcasting of the content
- Generating means such as a reference color list for generating information as the transmission information
- a transmission control means such as a reference color list for executing control for transmitting the transmission information to the client during a predetermined period before the broadcast of the content or before the start of the broadcast for each of the clients or the group
- Each of the plurality of unit images constituting the video in the content is a processing target, and each pixel or each block in the processing target is N based on the reference color list for the client or the group
- the information processing method and program of one embodiment of the present invention are also provided as a method and program corresponding to the information processing system of one embodiment of the present invention.
- the present invention it is possible to provide a technique capable of confirming with high accuracy and high speed that an unspecified number of viewers are viewing a predetermined video by a “check-in” operation using a camera. it can.
- the “moving image” includes an image displayed by each of the following first to third processes.
- the first process refers to a process in which a series of still images composed of a plurality of images are continuously switched and displayed over time for each operation of an object (for example, an anime character) in a planar image (2D image).
- an object for example, an anime character
- 2D image planar image
- two-dimensional animation so-called flip-flopping processing, corresponds to the first processing.
- the second process is a process in which motions corresponding to respective actions of an object (for example, an anime character) in a stereoscopic image (3D model image) are set, and the motions are changed and displayed over time. .
- a three-dimensional animation corresponds to the second process.
- the third process refers to a process in which videos (that is, moving images) corresponding to respective actions of an object (for example, an anime character) are prepared and the video is played over time.
- the “video (that is, moving image)” is composed of a plurality of images such as frames and fields (hereinafter referred to as “unit images”).
- the unit image is assumed to be a frame.
- the video is transmitted by television broadcasting.
- “television” is abbreviated as “television”.
- the present invention realizes a distributed architecture that executes analysis processing of video such as a television program on a user terminal in order to realize check-in (validity confirmation) using a television image captured in real time.
- An outline of an information processing system according to an embodiment of the present invention will be described with reference to FIG.
- the information processing system shown in FIG. 1 realizes “check-in” for confirming in real time that a user is watching a television broadcast or the like that is on the air.
- “check-in” refers to confirming whether a predetermined user has performed a specific matter or procedure.
- “check-in” in the present embodiment is a technique for confirming in real time whether a predetermined user is watching a specific television program or the like.
- the information processing system shown in FIG. 1 is useful for television broadcasting and Internet broadcasting assuming large-scale viewing.
- the service provider can apply to various services such as games provided by a smartphone or the like using the check-in result of such a television broadcast or the like.
- the information processing system shown in FIG. 1 executes a series of processes including a process a common to all users, a process b unique to each user / group, and a check-in authentication process c.
- the information processing system shown in FIG. 1 is a system including a user terminal 1 used by a user and a server 2.
- the user terminal 1 and the server 2 are connected to each other via a predetermined network such as the Internet.
- a predetermined network such as the Internet.
- the user terminal 1 is, for example, a smartphone operated by a user, and when a video such as a TV program for performing a check-in performed by the server 2 is displayed on the display screen of the TV, the display screen Take photos.
- a video such as a TV program for performing a check-in performed by the server 2
- the display screen Take photos.
- an image exclusively including a portion of a display surface of a television is referred to as a “television image” in the present specification.
- the server 2 is managed by the service provider, and checks in whether a predetermined user is watching a specific television program or the like.
- the process a common to all users and the process b unique to each user / group are video analysis processes executed on the user terminal 1 side.
- Process a common to all users is a pre-processing stage process in which all users generate common information.
- the process b unique to each user / group is a post-processing process for generating different information (metadata described later) for each user or for each group to which a plurality of users belong.
- a camera or the like built in the user terminal 1 captures an image of content (for example, a television broadcast program) reflected on the display surface of the TV by a user operation.
- the resulting TV video information is output.
- This TV video information is information of a certain time interval (for example, indicating a certain time direction range) in the content image, that is, information of all frames or a plurality of frames included in the certain time interval.
- the information of each frame is information mapped to a uniform color space (for example, an HSV space), that is, information having each element of the color space as a pixel value.
- the uniform color space refers to a color space designed so that the distance between two points on the coordinates of the color space and the color difference with the naked eye coincide as much as possible.
- the RGB space for expressing colors on the user terminal 1 is a color space with no uniformity, and the distance between any two points in the space and the color difference with the naked eye are greatly different. That is, image information obtained from the camera of the user terminal 1 is RGB image information, and it is necessary to convert each pixel value into a pixel value in a uniform color space such as HSV.
- the conversion from RGB to HSV can be defined as in the following equations (1) to (3).
- the above is the description of the process a common to all users. The details of the process b unique to each user / group and the check-in authentication process c will be described with reference to FIG. 1 and subsequent drawings.
- a method of clustering the color of each pixel constituting the frame into a predetermined color that is, a method applied in the above-described post-processing stage (for example, for each user / group in FIG. 1).
- the unique process b) will be described.
- a clustering color list (hereinafter referred to as “reference color list”) will be described as a premise for explaining clustering.
- about 120 kinds of colors are prepared as a population of colors that can be used as a clustering reference (hereinafter referred to as “reference colors”), and information indicating these colors is stored in the server 2. ing.
- a list indicated by a permutation of information on N colors (N is an integer value of 2 or more) selected from about 120 colors is adopted as the reference color list.
- FIG. 2 is a diagram illustrating an example of a method for clustering the reference colors applied to the information processing system according to the embodiment of the present invention.
- An image ⁇ in FIG. 2 shows the image itself taken by the camera of the user terminal 1 or the like.
- An image ⁇ 1 in FIG. 2 is an image obtained as a result of clustering using the reference color list of 90 of the reference colors described above. As a result, the complex colors of the image ⁇ are classified into any of the 90 reference colors.
- the image ⁇ 2 in FIG. 2 is an image clustered using the reference color list of 30 of the above-mentioned reference colors, and is more monotonous than the image ⁇ 1 clustered with 90 colors.
- An image ⁇ is represented.
- the complex colors of the image ⁇ can be appropriately clustered using a reference color list of various predetermined colors.
- N limited colors such as 90 colors and 30 colors in this way, the original image (image ⁇ in FIG. 2) can be obtained regardless of the heterogeneity of models such as television receivers and smartphones.
- the images are reproduced as images having high similarity (image ⁇ 1 and image ⁇ 2 in FIG. 2). Therefore, it is possible to absorb the heterogeneity of models such as a television receiver and a smartphone.
- FIG. 3 is a diagram illustrating an example of a procedure of a color suitability measurement process applied to the information processing system according to the embodiment of the present invention.
- information of the captured video C1 is acquired by being imaged by the user terminal 1 in a state where the video C such as a television program to be checked in is reflected on the display surface of the television.
- the information of the captured image C1 is trimmed in the above-described pre-processing stage (for example, process a common to all users in FIG. 1), and the portion other than the display surface (specifically, the display screen other than the display surface on which the TV program is displayed). (For example, another part of the monitor, the background, etc.) are removed and become the information of the television image C1.
- the clustering method is not particularly limited, but a method of performing clustering based on the measurement of the distance between the color of the original image and the color of the reference color is employed. For this distance measurement, it is possible to use a goodlove color difference system, CIE2000, or the like, but in this embodiment, the Euclidean distance in a conical space that has been confirmed to be effective by an evaluation experiment is adopted. To do.
- “metadata” in the present specification means information different from video information itself, and specifically, an analysis of at least a part of the video (for example, a predetermined number of frames).
- a television video C2 is a video displayed by information obtained as a result of clustering information of the television video C1.
- the original video D1 is a video displayed by information obtained as a result of clustering information of the original video D.
- the television image C2 and the original image D1 are merely drawn in FIG. 3 for convenience of explanation, and in the present embodiment, the information of the television image C2 and the original image D1 is not actually generated. .
- the time series color histogram matrix M defined by the following equation (4) is generated as metadata, with the television image C1 and the original image D being processed images.
- n and m are arbitrary integer values of 1 or more
- m corresponds to the type of color to be identified, that is, the number of bins in the histogram
- n is a time series constituting the video to be processed.
- the video to be processed for generating metadata is the television video C1. Therefore, clustering based on the reference color list CL is performed on the information of the television image C1. From this clustering result, a time series color histogram matrix M is generated as metadata.
- the metadata generated by the process performed on the user terminal 1 side is hereinafter referred to as “C metadata”.
- the server 2 performs clustering on the information of the original video D using the reference color list CL described above. Although the details will be described with reference to FIG. 7, the two reference color lists CL use the same reference color list.
- the server 2 generates a time series color histogram matrix M as metadata from the clustering result.
- the metadata generated by the process performed on the server 2 side is hereinafter referred to as “S metadata”.
- the server 2 determines the C metadata and the comparison target portion of the S metadata.
- the similarity (difference) is calculated.
- the server 2 repeats the calculation of the similarity (difference) while shifting the comparison target part by shifting the frame in time series in the S metadata.
- the server 2 determines whether or not check-in is possible based on a plurality of similarities (differences) calculated by the repeated calculation.
- the comparison target portion of the S metadata refers to the following portion. That is, the S metadata is a collection of histograms of time-series frames constituting the entire original video such as a television program to be checked in.
- the C metadata is a collection of histograms of time-series frames constituting a part of a television image such as the television program (a part that was broadcast when captured on the user terminal 1 side). It is. Therefore, a part of the S metadata that can be compared with the C metadata, that is, a set of histograms of time-series frames constituting a part of the original video is a comparison target part.
- a predetermined frame is set as a start point frame, and M frames in time series including the start point frame (M is A set of color histograms of each frame of the number of frames (the number of histograms in the C metadata) is a comparison target portion.
- the comparison target portion is changed in the S metadata by performing the following frame shift, and each time the change is made, the similarity (difference) with the C metadata is produced.
- the C metadata was broadcasted at a time slightly before the transmission time to the server 2 (or the generation time of C metadata, the imaging time of a television image corresponding to the C metadata, etc.)
- the corresponding frame of the original video is initially set as the start point frame.
- a set of color histograms of M frames in time series including the start point frame is first set as a comparison target portion.
- the broadcast time of the first start point frame is determined based on broadcast time information and broadcast area information, which will be described later.
- the first similarity (difference) is calculated for the first comparison target portion of the S metadata and the C metadata. Thereafter, a frame that is later in time than the start point frame is set as a new start point frame (frame shift for one frame is performed). A set of color histograms of each of the M time-series frames including the start point frame is newly set as a comparison target portion. That is, the comparison target portion changes. Similarity (difference) is newly calculated for the comparison target portion after the change of the S metadata and the C metadata. Every time such a frame shift for each frame is repeatedly performed and the comparison target portion changes, the similarity (difference) between the comparison target portion after the change of the S metadata and the C metadata is updated. Is calculated.
- Whether or not check-in is possible is determined based on a plurality of similarities (differences) calculated by repeating the frame shift for each frame. For example, if the highest similarity among a plurality of similarities (differences) is a certain value or more (the smallest difference is a certain value or less), the user's check-in (validity) is determined. In other words, when a comparison target part having the same or a certain degree of similarity (difference amount below a certain level) with C metadata exists among a plurality of comparison target parts set by repeating such frame shifts The user's check-in (validity) is determined.
- the generated metadata is compared with each other as if the information of the television image C1 and the original image D are compared, and the check-in authentication process c of FIG. 1 is performed. Has been made.
- the image data has a large amount of information, if it is transmitted to the server 2 as it is, the network bandwidth is directly compressed, so the scalability is dramatically deteriorated.
- the size of the metadata sent for one check-in is: The sum of 120 colors, 4 bytes (floating point), 3 frames, and 5 seconds is approximately 7 kilobytes.
- the time-series color histogram matrix M (time-series color histogram matrix CMD in the example of FIG. 1) is converted into C metadata with a small amount of information and transmitted from the user terminal 1 to the server 2.
- the server 2 compares the comparison target portion of the S metadata as the time series color histogram matrix M (time series color histogram matrix SMD in the example of FIG. 1) created from the original video, and authenticates the check-in. Is done.
- the amount of information processed on the server 2 side can be dramatically suppressed, and scalability that can withstand simultaneous check-in by a large number of viewers can be realized.
- a reference color list necessary for creating such a time-series color histogram matrix M is obtained during a certain period of time during the broadcast of a TV program or the like (content) to be checked in or before the start of the broadcast. It is transmitted from the server 2 to the user terminal 1. Therefore, it is virtually impossible for a third party to reproduce this reference color list and forge C metadata. That is, it is possible to prevent unauthorized check-in.
- FIG. 4 is a diagram showing an example of reference colors for creating a reference color list applied to the information processing system according to the embodiment of the present invention.
- 10 colors such as R / V, YR / V, Y / V,... These represent the colors of the respective reference colors.
- R / V indicates that the color is red and the color tone is Vivid.
- the color tone indicates a balance between brightness and saturation, and is classified into, for example, 12 levels. That is, in the example of FIG. 4, a total of 120 types of colors obtained by integrating 10 types of colors and 12 types of tones are adopted as a reference color and are listed.
- the greatest feature of the check-in process in the present embodiment is that a reference color list different for each user / group is distributed to the user terminal 1 immediately before broadcasting, or the user terminal 1 at the time of check-in.
- the user terminal 1 By downloading the reference color list, the user terminal 1 generates check-in data (C metadata) that cannot be created in advance and cannot be shared with other users.
- C metadata check-in data
- the result of clustering on the user terminal 1 side may be illegally forged, or other users It is possible to prevent other users who are not actually watching the video from checking in.
- the dynamic distribution of the reference color list can prevent both sharing of C metadata among users and batch generation of C metadata by prior analysis.
- the dynamic distribution of the reference color list realizes both the improvement of scalability and the prevention of cheat by the distributed processing, which has been impossible in the past.
- FIG. 5 is a block diagram showing a hardware configuration of the user terminal 1 according to an embodiment of the present invention.
- the user terminal 1 is configured with a smartphone or the like.
- the user terminal 1 includes a CPU (Central Processing Unit) 21, a ROM (Read Only Memory) 22, a RAM (Random Access Memory) 23, a bus 24, an input / output interface 25, a touch operation input unit 26, a display A unit 27, an input unit 28, a storage unit 29, a communication unit 30, an imaging unit 31, and a drive 32.
- a CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- the CPU 21 executes various processes according to a program recorded in the ROM 22 or a program loaded from the storage unit 29 to the RAM 23.
- the RAM 23 appropriately stores information necessary for the CPU 21 to execute various processes.
- the CPU 21, ROM 22, and RAM 23 are connected to each other via a bus 24.
- An input / output interface 25 is also connected to the bus 24.
- a touch operation input unit 26, a display unit 27, an input unit 28, a storage unit 29, a communication unit 30, an imaging unit 31, and a drive 32 are connected to the input / output interface 25.
- the touch operation input unit 26 includes, for example, a capacitance type or resistance film type (pressure sensitive) position input sensor stacked on the display unit 27, and detects the coordinates of the position where the touch operation is performed.
- the display unit 27 includes a display such as a liquid crystal display, and displays various images such as an image related to a game.
- the touch operation input unit 26 and the display unit 27 constitute a touch panel.
- the display part 27 is not simply meant but the "touch panel" comprised from the touch operation input part 26 and the display part 27 is meant.
- the input unit 28 is configured with various hardware buttons and the like, and inputs various information according to a user's instruction operation.
- the storage unit 29 is configured with a hard disk, a DRAM (Dynamic Random Access Memory), or the like, and stores various types of information.
- the communication unit 30 controls communication performed with another device (a server (not shown) or another user terminal (not shown)) via a network including the Internet (not shown).
- the imaging unit 31 is a camera or the like that images a subject.
- the drive 32 is provided as necessary.
- a removable medium 41 composed of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately attached to the drive 32.
- the program read from the removable medium 41 by the drive 32 is installed in the storage unit 29 as necessary.
- the removable medium 41 can also store various information stored in the storage unit 29 in the same manner as the storage unit 29.
- FIG. 6 is a block diagram showing a hardware configuration of the server 2 according to the embodiment of the present invention.
- the server 2 includes a CPU 51, a ROM 52, a RAM 53, a bus 54, an input / output interface 55, an output unit 56, an input unit 57, a storage unit 58, a communication unit 59, and a drive 60. . Since the configuration of the server 2 is basically the same as the configuration excluding the touch panel of the user terminal 1, the description thereof is omitted here. The same applies to the removable medium 61.
- FIG. 5 Various kinds of processing can be executed in the user terminal 1 and the server 2 by the cooperation of the various hardware and software of the user terminal 1 in FIG. 5 and the server 2 in FIG. That is, the user terminal 1 and the server 2 have a functional configuration as shown in FIG.
- FIG. 7 is a functional block diagram illustrating an example of functional configurations of the user terminal 1 and the server 2 in FIG. 7, in the CPU 21 of the user terminal 1, a user interface control unit 101, a C metadata generation unit 102, a C metadata transmission control unit 103, a reference color list acquisition unit 104, and a determination acquisition unit 105 functions.
- the CPU 51 of the server 2 the C metadata acquisition unit 201, the reference color list generation unit 202, the reference color list transmission control unit 203, the S metadata generation unit 204, the program information management unit 205, The determination unit 206 and the determination transmission control unit 207 function.
- an RVDB Raw Video Data Base 300
- a CLDB Color List Data Base
- a CMDB Color Metadata Data Base
- TVPDB TV Program Data Base
- a frame indicated by a dotted line in FIG. 7 means that it corresponds to a process indicated by a lead line in FIG. 7 among the processes a, b, and c described in FIG.
- broadcast time information information on the broadcast times of various TV programs broadcast from broadcast stations
- broadcast area information information on broadcast areas
- program detailed information information on broadcast areas
- program detailed information are assumed to be stored in the TVPDB 600 in advance.
- the program information management unit 205 manages such detailed program information. For example, when a predetermined timing is reached before or during the broadcast time of a television program to be checked in, the program information management unit 205 notifies the reference color list generation unit 202 or the like. Notice.
- the reference color list generation unit 202 Based on the reference color list stored in the CLDB 400, the reference color list generation unit 202 generates a reference color list for each user or for each group to which a plurality of users belong.
- the CLDB 400 is a database that stores a plurality of currently valid reference color lists.
- the generation timing of the reference color list is not particularly limited as long as it is before the transmission timing of the reference color list to the user terminal 1, and may be immediately before the transmission timing or may be a predetermined timing before that. That is, the reference color list can be generated in advance.
- the reference color list transmission control unit 203 receives the reference color list generated by the reference color list generation unit 202 at the timing notified from the program information management unit 205, that is, before the broadcast time of the TV program to be checked in or broadcasted. At a predetermined timing, control for transmission to the user terminal 1 is executed.
- the reference color list generated by the reference color list generation unit 202 is a predetermined timing after the generation of the reference color list, that is, a predetermined timing before or during the broadcast time of the television program to be checked in (reference color list).
- the transmission timing to the user terminal 1 does not necessarily coincide with the transmission timing of the user terminal 1).
- the S metadata generation unit 204 acquires information about the original video of the television program to be checked in from the RVDB 300.
- the S metadata generation unit 204 applies clustering by applying the reference color list generated for each user or group by the reference color list generation unit 202 to each information of each frame constituting the acquired original video. Do.
- the S metadata generation unit 204 generates a collection of color histograms of time-series frames constituting the clustered video as S metadata for each user or each group.
- the S metadata generated in this way is stored in the CMDB 500.
- S metadata and a reference color list used for generating the S metadata are stored in association with each other.
- the user interface control unit 101 performs user interface control using a touch panel.
- the user interface control unit 101 is provided with a video acquisition unit 121 and a display control unit 122.
- the user When checking in, the user operates the imaging unit 31 of the user terminal 1 so as to include the display screen in a state where the video of the TV program or the like to be checked in is displayed on the display screen, Take a picture of a TV program display screen.
- the video acquisition unit 121 acquires the information of the video captured by the imaging unit 31 of the user terminal 1 in this way in units of frames.
- the video information referred to here is information of an RGB image holding RGB as described above. Note that the video acquisition unit 121 executes a process corresponding to the process a common to all users in FIG.
- the reference color list acquisition unit 104 acquires the reference color list transmitted from the server 2 in this way via the communication unit 30.
- the C metadata generation unit 102 performs clustering by applying the reference color list acquired by the reference color list acquisition unit 104 to each information of each frame constituting the video acquired by the video acquisition unit 121. Do. Then, the C metadata generation unit 102 generates a collection of color histograms of time-series frames constituting the clustered video as C metadata.
- the C metadata transmission control unit 103 executes control for transmitting the C metadata generated by the C metadata generation unit 102 to the server 2 via the communication unit 30.
- the determination acquisition unit 105 acquires the determination result transmitted from the server 2 via the communication unit 30.
- the display control unit 122 executes control for displaying the determination result acquired by the determination acquisition unit 105 on the display unit 27.
- the C metadata acquisition unit 201 acquires the C metadata transmitted from the user terminal 1 via the communication unit 59.
- the validity determination unit 206 extracts the S metadata generated from the CMDB 500 using the same reference color list for generating the acquired C metadata.
- the extraction target does not need to be all of the S metadata, but the amount that enables the frame shift described above (sequential shift of the time series of the start point frame), that is, sequentially with the C metadata while repeating the frame shift. An amount that can be compared is sufficient.
- the legitimacy determination unit 206 determines an extraction target in consideration of broadcast time information, broadcast area information, and the like managed by the program information management unit 205.
- the correctness determination unit 206 shifts the comparison target portion including the start point frame while sequentially shifting the above-described start point frames in time series (repeating frame shift) with respect to the S metadata extracted in this way by the CMDB 500. Set sequentially. Each time the comparison target portion is set, the validity determination unit 206 calculates the similarity (difference) between the comparison target portion and the C metadata acquired by the C metadata acquisition unit 201. The validity determination unit 206 determines the user's check-in (validity) when there is a comparison target portion having a degree of similarity equal to or greater than or equal to that of the C metadata in the result of these repeated calculations.
- a suitability evaluation function is employed for calculating the similarity (difference) between the comparison target portion and the C metadata in the S metadata.
- the suitability evaluation function in the present embodiment is based on the comparison target portion of the time-series color histogram matrix M (for example, S metadata) generated from the information of the original video and the result of the display screen imaged by the user terminal 1. It can be defined as a function that evaluates the compatibility with a time-series color histogram matrix Q (for example, C metadata) generated from the information of the obtained television image and returns the compatibility of each frame as a real number of 0 or more. Details of the equations are shown below.
- This frameshifting (M, Q) function is used to calculate each of the comparison target portions when each frame of the time-series color histogram matrix M is a start point frame and the suitability of the time-series color histogram matrix Q, respectively.
- a function to evaluate. A score indicating the compatibility between each of the comparison target portions when each frame of the time-series color histogram matrix M is a start point frame (hereinafter referred to as “compatibility score”). ) Is represented by Sm.
- the fitness score Sm is a real value greater than or equal to 0, preferably a real value normalized from 0 to 1. That is, the correctness determination unit 206 calculates k + 1 fitness scores S0 to Sk by repeating k frame shifts. Then, the legitimacy determination unit 206 determines whether or not check-in is possible by using, for example, a score closest to 0 among the suitability scores S0 to Sk.
- the determination transmission control unit 207 performs control for transmitting the result of determination by the validity determination unit 206 regarding whether or not check-in is possible to the user terminal 1.
- FIG. 8 is a flowchart illustrating an example of a process flow on the user terminal 1 side.
- FIG. 9 is a flowchart for explaining an example of the processing flow on the server 2 side.
- FIG. 10 is an arrow chart for explaining the relationship between the process on the user terminal 1 side and the process on the server 2 side.
- step S ⁇ b> 1 the video acquisition unit 121 of the user interface control unit 101 acquires TV video information by performing trimming processing or the like on the video information output from the imaging unit 31.
- step S2 the reference color list acquisition unit 104 determines whether there is a reference color list.
- the reference color list is generated by the server 2 before the check-in target TV program is broadcast and has already been acquired by the user terminal 1
- the reference color list is detected by the reference color list acquisition unit 104, In step S2, it is determined to be YES.
- steps S3 and S4 are not executed, and the process directly proceeds to step S5.
- the reference color list is not yet acquired by the user terminal 1, it is determined as NO in Step S2, and the process proceeds to Step S3. And after execution of processing of Step S3 and Step S4, processing progresses to Step S5.
- step S ⁇ b> 3 the reference color list acquisition unit 104 requests the server 2 for a reference color list. Then, on the server 2 side, it is determined that the transmission condition is satisfied (see step S22 described later), and the reference color list is transmitted (see step S23 described later).
- step S ⁇ b> 4 the reference color list acquisition unit 104 acquires the reference color list transmitted from the server 2.
- step S5 the C metadata generation unit 102 generates C metadata from the TV video information acquired in step S1, using the reference color list detected in step S2 or acquired in step S4. .
- step S6 the C metadata transmission control unit 103 transmits the C metadata generated in step S5 to the server 2.
- step S41 YES and step S42 described later
- step S43 A part is extracted (see step S43 described later).
- step S44 whether or not the user can check in is determined (see step S44 described later), and the result of the determination is sent to the user terminal 1. It is transmitted (see step S45 described later).
- step S ⁇ b> 7 the determination acquisition unit 105 acquires the determination result transmitted from the server 2 via the communication unit 30.
- step S8 the display control unit 122 of the user interface control unit 101 causes the display unit 27 to display the determination result acquired in step S7.
- step S9 the CPU 21 of the user terminal 1 determines whether or not there is an instruction to end the process.
- an instruction to end the process is not particularly limited, but in this embodiment, power-off of the user terminal 1 is adopted. That is, when the power is turned off in the user terminal 1, it is determined as YES in step S9, and the process of the user terminal 1 is ended. On the other hand, unless the user terminal 1 is powered off, it is determined as NO in step S9 and the process returns to step S1, and the subsequent processes are repeated.
- FIG. 9A executed as a preparation process before the process of FIG.
- the timing of the process of FIG. 9A is not particularly limited as long as it is before the process of FIG. 9B, but when it is started before or during the broadcast of a TV program or the like to be checked in. Good. This is because the generation timing of the reference color list is effective as a cheat countermeasure as close as possible to the use timing.
- step S ⁇ b> 21 the reference color list generation unit 202 generates a reference color list from the CLDB 400.
- step S22 the reference color list transmission control unit 203 determines whether or not the transmission condition of the reference color list generated in step S21 is satisfied.
- various conditions can be adopted as the transmission condition of the reference color list. For example, in this example, it is a predetermined timing before or during the broadcast of a TV program or the like to be checked in, and there is a transmission request from the user terminal 1 (the process of step S3 in FIG. 8 is executed). It is assumed that the following two conditions are adopted. When it is determined that neither of the two transmission conditions is satisfied, it is determined as NO in Step S22, and the process returns to Step S21.
- Step S22 if at least one transmission condition of the two reference color lists is satisfied, it is determined as YES in Step S22, and the process proceeds to Step S23.
- the reference color list transmission control unit 203 transmits the reference color list to the user terminal 1.
- the S metadata generation unit 204 generates S metadata from the reference color list created in step S ⁇ b> 21 and original video information such as a television broadcast program stored in the RVDB 300.
- the S metadata generation unit 204 stores the S metadata generated in step S24 in the CMDB 500.
- step S26 the CPU 51 of the server 2 determines whether or not there is an instruction to end the process.
- an instruction to end the process is not particularly limited, but in this embodiment, power-off of the server 2 is adopted. That is, when the power is cut off in the server 2, it is determined as YES in step S26, and the processing of the server 2 is ended. In contrast, unless the server 2 is powered off, it is determined NO in step S26 and the process returns to step S21, and the subsequent processes are repeated.
- step S ⁇ b> 41 the C metadata acquisition unit 201 determines whether C metadata has been transmitted from the user terminal 1. If it is not detected by the C metadata acquisition unit 201 that C metadata has been transmitted, it is determined as NO in step S41, and the process returns to step S41. On the other hand, if the C metadata is transmitted from the user terminal 1 in step S6 of FIG. 8 and is detected by the C metadata acquisition unit 201, it is determined as YES in step S41, and the process is step. Proceed to S42. In step S ⁇ b> 42, the C metadata acquisition unit 201 acquires C metadata transmitted from the user terminal 1.
- step S43 the validity determination unit 206 generates S metadata generated using the same reference color list for generating C metadata acquired in step S42 (see step S24 in FIG. 9A). Is extracted from the CMDB 500.
- step S44 the validity determination unit 206 determines whether or not check-in is possible based on a part of the S metadata extracted in step S43 and the C metadata acquired in step S42.
- step S ⁇ b> 45 the determination transmission control unit 207 transmits the determination result about whether or not check-in is possible to the user terminal 1.
- step S46 the CPU 51 of the server 2 determines whether or not there is an instruction to end the process.
- an instruction to end the process is not particularly limited, but in this embodiment, power-off of the server 2 is adopted.
- step S46 when the power is cut off in the server 2, it is determined as YES in step S46, and the processing of the server 2 is ended. On the other hand, unless the server 2 is powered off, it is determined NO in step S46, the process returns to step S41, and the subsequent processes are repeated.
- FIG. 11 is a diagram illustrating an example of a method of capturing a target TV screen by the user.
- the user is running application software for shooting a television image.
- a television image reading area 301 and an explanatory text display area 302 are arranged on the display unit 27. Is done.
- the user maintains the screen of the target TV program in the center of the TV image reading area 301 and shoots the TV image, whereby the above-described check-in process is started.
- the explanatory note display area 302 a message “Please wait for 3 seconds by putting a TV screen on which animation is displayed in a frame” is displayed.
- a message indicating an explanatory note or the like for the user to smoothly shoot a television image is displayed.
- any method may be used as an operation method for capturing a television image.
- the specification may be such that the image can be captured when a touch operation is performed on any part of the display unit 27.
- it may be separately provided on a button display unit for photographing.
- the reference color list is generated on the server 2 side, but it is not necessary to generate the reference color list only on either the server 2 side or the user terminal 1 side.
- the user terminal 1 has a predetermined predetermined type of color fixedly, and the server 2 uses the reference color list order information generated so that the permutation of the reference colors is different for each user terminal 1 or group.
- “generation of reference color list” means N colors (N is an integer value of 2 or more and less than a predetermined number) selected from a predetermined number of colors prepared in advance as described above. Is selected as a reference color, and a series of processes until the permutation of those N reference colors is determined.
- N reference colors are described, but the N colors referred to here are concepts including N types of concepts.
- the reference colors use N types of colors, all of which are different from each other.
- the suitability evaluation function used in the above embodiment does not depend on a specific suitability function, and any suitability evaluation function can be used.
- the following suitability evaluation function is used. It is possible to use it. Details of the equations are shown below.
- n is the size of the time-series color histogram matrix Q in the time axis direction
- m corresponds to the number of reference color lists.
- k corresponds to the number of frames for moving the start point frame along the time axis.
- the following expression can be used as an arbitrary function for measuring the dissimilarity of the histogram. Details of the equations are shown below.
- Mi is a histogram corresponding to the i-th frame of the original video
- Qi is a histogram corresponding to the i-th of the query video (television video or the like)
- the distance function dist is the distance between the two histograms. Any function that measures as a real number from 0 to 1. Using the plurality of suitability obtained in this way and the current time, it is confirmed that the C metadata transmitted from the user matches the S metadata of the original video currently broadcast.
- the information processing system can be implemented as two independent APIs.
- One is an API that inquires the server 2 for a reference color list for clustering, and the other is an API that actually accepts a check-in.
- the user terminal 1 calls a reference color list API, which is a first API, receives the reference color list, and analyzes the video obtained from the camera using the reference color list. Then, the user terminal 1 completes the check-in process by transmitting the analysis result to the check-in API that is the second API.
- the series of processes described above can be executed by hardware or can be executed by software.
- the functional configuration of FIG. 7 is merely an example, and is not particularly limited. That is, it is sufficient that the information processing system has a function capable of executing the above-described series of processes as a whole, and what functional block is used to realize this function is not particularly limited to the example of FIG. Further, the location of the functional block is not particularly limited to that shown in FIG. 7, and may be arbitrary. In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.
- a program constituting the software is installed in a computer or the like from a network or a recording medium.
- the computer may be a computer incorporated in dedicated hardware.
- the computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose smartphone or personal computer other than a server.
- the recording medium including such a program is not only constituted by a removable medium (not shown) distributed separately from the apparatus main body in order to provide the program to the user, but is also incorporated in the apparatus main body in advance And a recording medium provided to the user.
- the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually.
- the process to be executed is also included.
- the term “system” means an overall apparatus configured by a plurality of devices, a plurality of means, and the like.
- an information processing system to which the present invention is applied can take various embodiments having the following configurations. That is, an information processing system to which the present invention is applied is An information processing system including a client (for example, the user terminal 1 in FIG. 1) and a server (for example, the server 2 in FIG. 1), The client While a content including a video composed of a plurality of unit images is broadcast according to a predetermined time schedule, received by a predetermined playback device and played back, the display surface on which the video is displayed has a predetermined imaging Video acquisition means (for example, a video acquisition unit 121 in FIG.
- a reference color list indicated by a permutation of N reference colors (N is an integer value of 2 or more) is acquired based on transmission information transmitted from the server during a predetermined period before the broadcast of the content or before the start of the broadcast.
- Reference color list acquisition means (for example, reference color list acquisition unit 104 in FIG. 7);
- M is an integer value of 2 or more
- Each of the M unit images (M is an integer value of 2 or more) constituting the client-side video is set as a processing target, and each pixel or each block in the processing target is determined based on the reference color list.
- Client-side metadata generation means (for example, the C metadata generation unit 102 in FIG. 7) that generates the side video metadata;
- Metadata transmission control means (for example, the C metadata transmission control unit 103 in FIG. 7) that executes control for transmitting the metadata of the client-side video to the server;
- the server Necessary for creating the reference color list itself or the reference color list in which at least one of the type and permutation of the reference color differs for each group to which the client or the client belongs before or during the broadcasting of the content
- a reference color list generation unit (for example, a reference color list generation unit 202 in FIG.
- Transmission control means such as a reference color list (for example, the reference color list in FIG. 7) that executes control for transmitting the transmission information to the client during a certain period before the broadcast of the content or before the start of broadcasting for each client or the group Transmission control unit 203),
- Each of the plurality of unit images constituting the video in the content is a processing target, and each pixel or each block in the processing target is N based on the reference color list for the client or the group
- Server-side metadata generation means for example, the S metadata generation unit 204 in FIG.
- the metadata of the client-side video is compared with the metadata about the M unit images of the server-side metadata, and the validity of the client-side video is determined based on the comparison result Determination means (for example, the validity determination unit 206 in FIG. 7);
- An information processing system comprising
- the information processing system to which the present invention is applied is based on the scalability to withstand simultaneous check-in of a large number of viewers, the heterogeneity of TV and smartphone models, and the disguise of metadata for validity verification. Three points of prevention of unauthorized check-in can be realized.
- the information processing system to which the present invention is applied has the following advantages. Since the metadata generated by the information processing system to which the present invention is applied is about several kilobytes, it can be transmitted on the network at high speed.
- the frame shift color difference distance system which is a core function of check-in authentication, is a relatively high-speed algorithm, so that check-in authentication can be performed in real time. By having real-time properties, for example, even a user who has not been authenticated due to poor lighting or a way of holding a smartphone can check in again.
- the information processing system to which the present invention is applied is a non-invasive check-in authentication mechanism without having to embed a two-dimensional code or a characteristic image in video content.
- the dynamic change function of the reference color by the information processing system to which the present invention is applied makes it possible to set a reference color list from which color features can be easily extracted according to the characteristics of the camera of a specific smartphone model, for example. To do. As a result, the authentication accuracy can be further improved.
- An information processing apparatus functioning as the client in an information processing system including a client and a server, While a content including a video composed of a plurality of unit images is broadcast according to a predetermined time schedule, received by a predetermined playback device and played back, the display surface on which the video is displayed has a predetermined imaging Video acquisition means (for example, a video acquisition unit 121 in FIG. 7) for acquiring information on a video obtained as a result of imaging by a device for a predetermined period as information on a client side video; This is a reference color list indicated by a permutation of N reference colors (N is an integer value of 2 or more) based on transmission information transmitted from the server during a predetermined period before the broadcast of the content or before the start of the broadcast.
- N is an integer value of 2 or more
- a reference color list acquisition unit (for example, a reference color list acquisition unit 104 in FIG. 7) that acquires the reference color list in which at least one of the type and permutation of the reference color differs for each client or group to which the client belongs.
- Each of the M unit images (M is an integer value of 2 or more) constituting the client-side video is set as a processing target, and each pixel or each block in the processing target is determined based on the reference color list. And generating information indicating the distribution state of the N reference colors for the processing target, and indicating information indicating the distribution state of each of the M unit images.
- Client-side metadata generation means (for example, the C metadata generation unit 102 in FIG.
- Metadata transmission control means (for example, C metadata transmission control in FIG. 7) that executes control to transmit the metadata of the client-side video to the server as information used to determine the validity of the client-side video.
- Metadata transmission control means (for example, C metadata transmission control in FIG. 7) that executes control to transmit the metadata of the client-side video to the server as information used to determine the validity of the client-side video.
- It can also be set as the information processing apparatus provided with. Accordingly, it is possible to confirm with high accuracy and high speed that an unspecified number of viewers are viewing a predetermined video by a “check-in” operation using a camera. In other words, in the “check-in” operation using a camera, scalability that can withstand the simultaneous check-in of a large number of viewers, the heterogeneity of TV and smartphone models, and the metadata for verifying the validity are impersonated. The effect of the invention of preventing unauthorized check-in due to this can be realized.
- server-side metadata is generated from the video of the content based on the same reference color list as the metadata of the client-side video, and is compared with the metadata of the client-side video. The validity of the client-side video is determined.
- the metadata of the client-side video and the metadata of the M unit images of the server-side metadata have M units images that are temporally continuous as elements.
- the other of the row or the column can be a matrix having the N reference colors as elements.
- each of the client side metadata for example, C metadata in FIG. 7
- the server side metadata for example, S metadata in FIG. 7 uses the same reference color obtained based on the same reference color list as elements.
- the same client for example, the user terminal 1 in FIG.
- the video acquisition means extracts extraction means (for example, information corresponding to the display surface on which the content is displayed from each of the information of the M unit images from the information on the client side video (for example, (One function of the video acquisition unit 121 of FIG. 7),
- the client side metadata generation means uses the information extracted by the extraction means as the processing target. As a result, it is possible to remove information other than the display surface from the information on the client-side video and extract information on the content video (TV video, etc.) shown on the display surface. It can be carried out.
- An information processing apparatus functioning as the server in an information processing system including a client and a server,
- a content including a video composed of a plurality of unit images is broadcast according to a predetermined time schedule, received by a predetermined playback device and played back
- the display surface on which the video is displayed has a predetermined imaging
- Video information obtained as a result of imaging by the device for a predetermined period is acquired as client-side video information (eg, video acquisition unit 121 in FIG. 7).
- a reference color list indicated by a permutation of N reference colors (N is an integer value of 2 or more) is acquired based on transmission information transmitted from the server during a predetermined period before the broadcast of the content or before the start of the broadcast.
- Each of M unit images (M is an integer value of 2 or more) constituting the client-side video is a processing target, and each pixel or each block in the processing target is determined based on the reference color list.
- Information that is classified into any of the N reference colors and indicates the distribution state of the N reference colors for the processing target is generated, and the information that indicates the distribution state of each of the M unit images is It is generated as metadata of the client-side video (for example, the C metadata generation unit 102 in FIG.
- a reference color list generation unit (for example, a reference color list generation unit 202 in FIG. 7) that generates information as the transmission information; Transmission control means such as a reference color list (for example, the reference color list in FIG.
- Each of the plurality of unit images constituting the video in the content is a processing target, and each pixel or each block in the processing target is N based on the reference color list for the client or the group And generating information indicating the distribution states of the N reference colors for the processing target, and indicating the distribution states of the plurality of unit images as server-side meta data.
- Server-side metadata generation means for example, the S metadata generation unit 204 in FIG.
- the metadata of the client-side video is compared with the metadata about the M unit images of the server-side metadata, and the validity of the client-side video is determined based on the comparison result Determination means (for example, the validity determination unit 206 in FIG. 7); It can be set as the information processing apparatus provided with. By performing a “check-in” operation using the camera, it is possible to confirm with high accuracy and high speed that an unspecified number of viewers are viewing a predetermined video.
- the metadata of the client-side video and the metadata of the M unit images of the server-side metadata are elements of M units images that are temporally continuous in one of rows or columns. And the other of the rows or columns can be a matrix having N reference colors as elements.
- each of the client side metadata (for example, C metadata in FIG. 7) and the server side metadata (for example, S metadata in FIG. 7) uses the same reference color obtained based on the same reference color list as elements.
- the same client for example, the user terminal 1 in FIG. 1
- check-in Since it is a check-in condition, it is difficult to disguise client-side metadata, and as a result, a more accurate “check-in” operation can be performed.
- check-in can be performed at a high speed as a high-speed process of comparing the histograms of time-series unit images.
- the determination unit starts processing using a unit image of a predetermined time before the acquisition time of the metadata of the client video among the server side metadata as a start image, and is continuous in time from the start image.
- the process of comparing the metadata about the M unit images to be performed and the metadata of the client-side video is repeatedly executed while shifting the unit images that are the start images one by one, and based on the execution results
- the validity of the client-side video can be determined. As a result, it is possible to accurately perform a “check-in” operation on temporally continuous images, and as a result, a more accurate “check-in” operation can be performed.
- the transmission control means such as the reference color list associates the reference color list for each client or the group with the ID of the user who operates the client or the ID of the group to which the user belongs. It is possible to execute control for transmitting the reference color list for each client or group as the transmission information to the client during a certain period of time during broadcasting of the content or before the start of broadcasting. This makes it possible to use a different reference color list for each user or group, and effectively prevent a “check-in” operation by an unauthorized means.
- the information processing apparatus further includes first management means for managing the broadcast time of the content, and based on a determination result of the first management means, the reference color list generation means generates the transmission information, and the reference information
- the color list transmission control means can execute control for transmitting the transmission information.
- the information processing apparatus further includes second management means for managing the broadcast area of the content, and based on the determination result of the second management means, the reference color list generation means generates the transmission information, and the reference color list
- the equal transmission control means can execute control for transmitting the transmission information.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
カメラを用いた「チェックイン」操作により、不特定多数の視聴者が所定の映像を視聴していることを高精度かつ高速に確認することができる技術を提供する。 サーバ2の基準色リスト生成部202は、番組情報管理部205から通知されたタイミングでCLDB400に格納された基準色リストに基づいて基準色リストを生成する。Sメタデータ生成部204は、RVDB300に格納されたテレビ番組の情報と、基準色リストからSメタデータを生成する。ユーザ端末1のCメタデータ生成部102は、撮像画像を構成する各フレームの各情報と基準色リストからCメタデータを生成する。正当判定部206は、取得されたCメタデータと、CMDB500により抽出されたSメタデータと、番組情報管理部205により管理された番組詳細情報に基づいて、ユーザのチェックインの可否を判定する。
Description
本発明は、情報処理システム、情報処理装置及びプログラムに関する。
近年、テレビジョン放送とスマートフォン等のアプリを連動し、所定のテレビジョン放送等の視聴状況に応じてサービスの提供を行うことは広く一般的に行われている。
そのようなサービスを提供するに辺り、スマートフォン等のカメラを用いた「チェックイン」操作により、視聴者が特定のテレビジョン番組を視聴していることを確認する技術は、極めて有用である。
従来では、二次元バーコードや可聴域外の音波を用いてチェックインを行っていた。しかしながら、これらの技術は、コンテンツと直接関係ないコード等を画面上に表示することや、特殊なスピーカーを必要とするものであり、テレビジョン放送に直接適用することはできなかった。
この点、テレビジョン放送に適用することができる技術としては、あらかじめシステムに格納されているビデオ映像を対象に特徴量を抽出し、その特徴量に応じてチェックインの照合を行う技術(例えば特許文献1を参照)が存在する。また、テレビジョン映像を携帯電話機で撮像した画像の情報をそのままサーバに送信し、その画像の情報を対象として、チェックインの照合を行う技術が存在する(例えば特許文献2を参照)。
そのようなサービスを提供するに辺り、スマートフォン等のカメラを用いた「チェックイン」操作により、視聴者が特定のテレビジョン番組を視聴していることを確認する技術は、極めて有用である。
従来では、二次元バーコードや可聴域外の音波を用いてチェックインを行っていた。しかしながら、これらの技術は、コンテンツと直接関係ないコード等を画面上に表示することや、特殊なスピーカーを必要とするものであり、テレビジョン放送に直接適用することはできなかった。
この点、テレビジョン放送に適用することができる技術としては、あらかじめシステムに格納されているビデオ映像を対象に特徴量を抽出し、その特徴量に応じてチェックインの照合を行う技術(例えば特許文献1を参照)が存在する。また、テレビジョン映像を携帯電話機で撮像した画像の情報をそのままサーバに送信し、その画像の情報を対象として、チェックインの照合を行う技術が存在する(例えば特許文献2を参照)。
しかしながら、例えば、上述の特許文献1の技術では、利用者が事前に用意した特徴量をクエリとして用いることができるため、不正行為(いわゆるチート行為)に対して脆弱であるという問題があった。
他方、上述の特許文献2の技術では、撮影した画像の情報自体をサーバ側に送信し、サーバ側で照合するため、信頼できない入力に対しても用いることができるものの、画像の情報自体をサーバ側に送信するため大量の視聴者の同時チェックインに耐えることが難しい(いわゆるスケーラビリティが低い)という問題があった。
以上のように、テレビジョン放送へのスマートフォン等を用いたチェックイン技術には、多くの問題が含有していた。
そのような従来技術の課題を解決すべく、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビジョン受像機やスマートフォン機種の異種性の吸収と、テレビジョン映像を偽装することによる不正なチェックイン防止の3点を実現することができるチェックイン技術の開発が望まれていた。
他方、上述の特許文献2の技術では、撮影した画像の情報自体をサーバ側に送信し、サーバ側で照合するため、信頼できない入力に対しても用いることができるものの、画像の情報自体をサーバ側に送信するため大量の視聴者の同時チェックインに耐えることが難しい(いわゆるスケーラビリティが低い)という問題があった。
以上のように、テレビジョン放送へのスマートフォン等を用いたチェックイン技術には、多くの問題が含有していた。
そのような従来技術の課題を解決すべく、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビジョン受像機やスマートフォン機種の異種性の吸収と、テレビジョン映像を偽装することによる不正なチェックイン防止の3点を実現することができるチェックイン技術の開発が望まれていた。
本発明は、このような状況に鑑みてなされたものであり、カメラを用いた「チェックイン」操作により、不特定多数の視聴者が所定の映像を視聴していることを高精度かつ高速に確認することができる技術を提供する。
上記目的を達成するため、本発明の一態様の情報処理システムは、
クライアントとサーバからなる情報処理システムにおいて、
前記クライアントは、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストを取得する基準色リスト取得手段と、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段と、
前記クライアント側映像の前記メタデータを、前記サーバに送信する制御を実行するメタデータ送信制御手段と、
を備え、
前記サーバは、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段と、
を備える。
クライアントとサーバからなる情報処理システムにおいて、
前記クライアントは、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストを取得する基準色リスト取得手段と、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段と、
前記クライアント側映像の前記メタデータを、前記サーバに送信する制御を実行するメタデータ送信制御手段と、
を備え、
前記サーバは、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段と、
を備える。
本発明の一態様の情報処理方法及びプログラムも、本発明の一態様の情報処理システムに対応する方法及びプログラムとして提供される。
本発明によれば、カメラを用いた「チェックイン」操作により、不特定多数の視聴者が所定の映像を視聴していることを高精度かつ高速に確認することができる技術を提供することができる。
以下、本発明の実施形態について、図面を用いて説明する。
なお、以下において、単に「画像」と呼ぶ場合には、「動画像」と「静止画像」との両方を含むものとする。
また、「動画像」には、次の第1処理乃至第3処理の夫々により表示される画像を含むものとする。
第1処理とは、平面画像(2D画像)におけるオブジェクト(例えばアニメのキャラクタ)の夫々の動作に対して、複数枚からなる一連の静止画像を時間経過と共に連続的に切り替えて表示させる処理をいう。具体的には例えば、2次元アニメーション、いわゆるパラパラ漫画的な処理が第1処理に該当する。
第2処理とは、立体画像(3Dモデルの画像)におけるオブジェクト(例えばアニメのキャラクタ)の夫々の動作に対応するモーションを設定しておき、時間経過と共に当該モーションを変化させて表示させる処理をいう。具体的には例えば、3次元アニメーションが第2処理に該当する。
第3処理とは、オブジェクト(例えばアニメのキャラクタ)の夫々の動作に対応した映像(即ち動画)を準備しておき、時間経過と共に当該映像を流していく処理をいう。
ここで、「映像(即ち動画)」は、複数のフレームやフィールド等の画像(以下、「単位画像」と呼ぶ)から構成される。なお以下の例では、単位画像はフレームであるものとして説明する。
また、後述する本実施形態では、映像は、テレビジョン放送により伝達されるが、以下、「テレビジョン」を「テレビ」と省略する。
また、「動画像」には、次の第1処理乃至第3処理の夫々により表示される画像を含むものとする。
第1処理とは、平面画像(2D画像)におけるオブジェクト(例えばアニメのキャラクタ)の夫々の動作に対して、複数枚からなる一連の静止画像を時間経過と共に連続的に切り替えて表示させる処理をいう。具体的には例えば、2次元アニメーション、いわゆるパラパラ漫画的な処理が第1処理に該当する。
第2処理とは、立体画像(3Dモデルの画像)におけるオブジェクト(例えばアニメのキャラクタ)の夫々の動作に対応するモーションを設定しておき、時間経過と共に当該モーションを変化させて表示させる処理をいう。具体的には例えば、3次元アニメーションが第2処理に該当する。
第3処理とは、オブジェクト(例えばアニメのキャラクタ)の夫々の動作に対応した映像(即ち動画)を準備しておき、時間経過と共に当該映像を流していく処理をいう。
ここで、「映像(即ち動画)」は、複数のフレームやフィールド等の画像(以下、「単位画像」と呼ぶ)から構成される。なお以下の例では、単位画像はフレームであるものとして説明する。
また、後述する本実施形態では、映像は、テレビジョン放送により伝達されるが、以下、「テレビジョン」を「テレビ」と省略する。
本発明は、リアルタイムに撮像されるテレビ映像を用いたチェックイン(正当性の確認)を実現するために、テレビ番組等の映像の分析処理をユーザ端末上で実行する分散アーキテクチャを実現する。
図1を用いて、本発明の一実施形態に係る情報処理システムの概要について説明する。
図1に示す情報処理システムは、オンエア中のテレビ放送等をユーザが視聴していることをリアルタイムに確認するための「チェックイン」を実現する。
ここで「チェックイン」とは、所定のユーザが、ある特定の事柄や手続きを行ったか否かを確認することである。
特に本実施形態における「チェックイン」とは、所定のユーザが、特定のテレビ番組等を視聴しているか否かをリアルタイムに確認するための技術である。
特に図1に示す情報処理システムは、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン等の機種の異種性の吸収と、正当性検証のためのデータ(後述するメタデータ)を偽装することによる不正なチェックインの防止との3点を同時に実現することができる。
その結果、図1に示す情報処理システムは、大規模な視聴を想定したテレビ放送やインターネット放送に有用である。
サービス提供者は、このようなテレビ放送等のチェックインの結果を用いて、例えば、スマートフォン等で提供されるゲーム等における様々なサービスにも応用することができる。
図1を用いて、本発明の一実施形態に係る情報処理システムの概要について説明する。
図1に示す情報処理システムは、オンエア中のテレビ放送等をユーザが視聴していることをリアルタイムに確認するための「チェックイン」を実現する。
ここで「チェックイン」とは、所定のユーザが、ある特定の事柄や手続きを行ったか否かを確認することである。
特に本実施形態における「チェックイン」とは、所定のユーザが、特定のテレビ番組等を視聴しているか否かをリアルタイムに確認するための技術である。
特に図1に示す情報処理システムは、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン等の機種の異種性の吸収と、正当性検証のためのデータ(後述するメタデータ)を偽装することによる不正なチェックインの防止との3点を同時に実現することができる。
その結果、図1に示す情報処理システムは、大規模な視聴を想定したテレビ放送やインターネット放送に有用である。
サービス提供者は、このようなテレビ放送等のチェックインの結果を用いて、例えば、スマートフォン等で提供されるゲーム等における様々なサービスにも応用することができる。
さらに図1を用いて、本発明の一実施形態に係る情報処理システムの行う一連のプロセスについて説明していく。
図1に示す情報処理システムは、全ユーザに共通のプロセスaと、各ユーザ/グループに固有のプロセスbと、チェックイン認証のプロセスcという3つのプロセスからなる一連の処理を実行する。
図1に示す情報処理システムは、ユーザにより使用されるユーザ端末1と、サーバ2とを含むシステムである。
ユーザ端末1とサーバ2とは、インターネット等の所定のネットワークを介して相互に接続されている。
なお、図1には1台のユーザ端末1のみが図示されているが、実際には多数のユーザが存在し、その分だけユーザ端末1の台数も多数存在する。
ここでユーザ端末1は、ユーザによって操作される例えばスマートフォン等であって、サーバ2が行うチェックインを行うためのテレビ番組等の映像がテレビの表示画面に表示されている場合に、その表示面の撮影等を行う。なお、テレビの表示面の部分を専ら含む映像を本明細書では「テレビ映像」と呼んでいる。
サーバ2は、サービス提供者によって管理され、所定のユーザが、特定のテレビ番組等を視聴しているか否かのチェックインを行う。
図1に示す情報処理システムは、全ユーザに共通のプロセスaと、各ユーザ/グループに固有のプロセスbと、チェックイン認証のプロセスcという3つのプロセスからなる一連の処理を実行する。
図1に示す情報処理システムは、ユーザにより使用されるユーザ端末1と、サーバ2とを含むシステムである。
ユーザ端末1とサーバ2とは、インターネット等の所定のネットワークを介して相互に接続されている。
なお、図1には1台のユーザ端末1のみが図示されているが、実際には多数のユーザが存在し、その分だけユーザ端末1の台数も多数存在する。
ここでユーザ端末1は、ユーザによって操作される例えばスマートフォン等であって、サーバ2が行うチェックインを行うためのテレビ番組等の映像がテレビの表示画面に表示されている場合に、その表示面の撮影等を行う。なお、テレビの表示面の部分を専ら含む映像を本明細書では「テレビ映像」と呼んでいる。
サーバ2は、サービス提供者によって管理され、所定のユーザが、特定のテレビ番組等を視聴しているか否かのチェックインを行う。
次に、全ユーザに共通のプロセスaと各ユーザ/グループに固有のプロセスbとについて説明する。全ユーザに共通のプロセスaと各ユーザ/グループに固有のプロセスbとは、ユーザ端末1側で実行される映像分析プロセスである。
全ユーザに共通のプロセスaは、全ユーザが共通の情報を生成する前処理段階のプロセスである。
各ユーザ/グループに固有のプロセスbは、ユーザ毎又は複数のユーザが属するグループ毎に異なる情報(後述するメタデータ)を生成する後処理段階のプロセスである。
全ユーザに共通のプロセスaは、全ユーザが共通の情報を生成する前処理段階のプロセスである。
各ユーザ/グループに固有のプロセスbは、ユーザ毎又は複数のユーザが属するグループ毎に異なる情報(後述するメタデータ)を生成する後処理段階のプロセスである。
前処理段階の全ユーザに共通のプロセスaにおいて、ユーザ端末1に内蔵されるカメラ等は、ユーザの操作により、テレビの表示面に映るコンテンツ(例えばテレビの放送番組等)の映像を撮像し、その結果得られるテレビ映像の情報を出力する。
このテレビ映像の情報は、コンテンツの映像のうちの一定時区間(例えば一定の時間方向範囲を示す)の情報、即ち一定時区間に含まれる全フレーム又は複数フレームの各情報である。各フレームの情報は、均等性のある色空間(例えば、HSV空間等を示す)に写像された情報、即ち色空間の各要素を画素値として有する情報である。
ここで、均等性のある色空間とは、色空間の座標上の2点間距離と肉眼での色差感とが可能な限り一致するように設計された色空間のことを言う。
一般に、ユーザ端末1上で色を表現するRGB空間は、均等性がない色空間であり、空間内の任意の2点間の距離と、肉眼での色差感は大きく乖離している。即ち、ユーザ端末1のカメラ等から得られた画像の情報は、RGB画像の情報であり、それぞれの画素値をHSV等の均等性のある色空間の画素値に変換する必要がある。
なお、RGBからHSVへの変換は、次の式(1)から(3)のように定義することができる。
以上が、全ユーザ共通のプロセスaについての説明である。引き続き、各ユーザ/グループに固有のプロセスb及びチェックイン認証のプロセスcの詳細については、図1以降の図面を使って説明していく。
このテレビ映像の情報は、コンテンツの映像のうちの一定時区間(例えば一定の時間方向範囲を示す)の情報、即ち一定時区間に含まれる全フレーム又は複数フレームの各情報である。各フレームの情報は、均等性のある色空間(例えば、HSV空間等を示す)に写像された情報、即ち色空間の各要素を画素値として有する情報である。
ここで、均等性のある色空間とは、色空間の座標上の2点間距離と肉眼での色差感とが可能な限り一致するように設計された色空間のことを言う。
一般に、ユーザ端末1上で色を表現するRGB空間は、均等性がない色空間であり、空間内の任意の2点間の距離と、肉眼での色差感は大きく乖離している。即ち、ユーザ端末1のカメラ等から得られた画像の情報は、RGB画像の情報であり、それぞれの画素値をHSV等の均等性のある色空間の画素値に変換する必要がある。
なお、RGBからHSVへの変換は、次の式(1)から(3)のように定義することができる。
次に、図2を用いて、フレームを構成する各画素の色を予め決められた色にクラスタリングする手法、即ち、前述の後処理段階で適用される手法(例えば図1の各ユーザ/グループに固有のプロセスb)について説明する。
ここで、クラスタリングについて説明するための前提として、クラスタリング用カラーリスト(以下、「基準色リスト」と呼ぶ)について説明する。本実施形態では、クラスタリングの基準となり得る色(以下、「基準色」と呼ぶ)の母集合として、例えば120種類程度の色が用意されており、これらの色を示す情報がサーバ2に記憶されている。そして、この120種類程度の色の中から選ばれたN個(Nは2以上の整数値)の色に関する情報の順列によって示されるリストが、基準色リストとして採用される。
ここで、クラスタリングについて説明するための前提として、クラスタリング用カラーリスト(以下、「基準色リスト」と呼ぶ)について説明する。本実施形態では、クラスタリングの基準となり得る色(以下、「基準色」と呼ぶ)の母集合として、例えば120種類程度の色が用意されており、これらの色を示す情報がサーバ2に記憶されている。そして、この120種類程度の色の中から選ばれたN個(Nは2以上の整数値)の色に関する情報の順列によって示されるリストが、基準色リストとして採用される。
図2は、本発明の一実施形態に係る情報処理システムに適用される基準色にクラスタリングする手法の一例を示す図である。図2の画像αは、ユーザ端末1のカメラ等で撮影された画像そのものを示している。
そして、図2の画像β1は、上述の基準色のうち90色の基準色リストを用いてクラスタリングをした結果得られる画像である。これにより、画像αの複雑な色彩は、基準となる90色のいずれかの色に分類される。
さらに、図2の画像β2は、上述の基準色のうち30色の基準色リストを用いてクラスタリングした画像であり、90色でクラスタリングを行った画像β1に比べ、さらに単調な色彩のみで元の画像αが表現されている。
なお、このように画像αの複雑な色彩は、様々な所定の色の基準色リストを用いて、適宜、クラスタリングすることが可能である。
このように90色や30色等の限定されたN個の色にクラスタリングを行うことで、テレビ受像器やスマートフォン等の機種の異種性によらず、元の画像(図2の画像α)に比較して、類似性の高い画像(図2の画像β1や画像β2)として再現される。したがって、テレビ受像器やスマートフォン等の機種の異種性の吸収することができる。
そして、図2の画像β1は、上述の基準色のうち90色の基準色リストを用いてクラスタリングをした結果得られる画像である。これにより、画像αの複雑な色彩は、基準となる90色のいずれかの色に分類される。
さらに、図2の画像β2は、上述の基準色のうち30色の基準色リストを用いてクラスタリングした画像であり、90色でクラスタリングを行った画像β1に比べ、さらに単調な色彩のみで元の画像αが表現されている。
なお、このように画像αの複雑な色彩は、様々な所定の色の基準色リストを用いて、適宜、クラスタリングすることが可能である。
このように90色や30色等の限定されたN個の色にクラスタリングを行うことで、テレビ受像器やスマートフォン等の機種の異種性によらず、元の画像(図2の画像α)に比較して、類似性の高い画像(図2の画像β1や画像β2)として再現される。したがって、テレビ受像器やスマートフォン等の機種の異種性の吸収することができる。
図3を用いて、色彩の適合性計量プロセス(例えば図1のチェックイン認証のプロセスc)について説明する。
図3は、本発明の一実施形態に係る情報処理システムに適用される色彩の適合性計量プロセスの手順の一例を示す図である。
図3は、本発明の一実施形態に係る情報処理システムに適用される色彩の適合性計量プロセスの手順の一例を示す図である。
サーバ2側での色彩の適合性計量プロセスを説明するにあたり、ユーザ端末1側で行うプロセスについて簡単に説明する。
まず、チェックインの対象となるテレビ番組等の映像Cがテレビの表示面に映っている状態で、ユーザ端末1によって撮像されることで、その撮像映像C1の情報が取得される。
この撮像映像C1の情報は、前述の前処理段階(例えば図1の全ユーザ共通のプロセスa)においてトリミングにより、表示面以外の部分(具体的には、テレビ番組が表示された表示面以外の、例えばモニタの別の部分や背景等)が除去されて、テレビ映像C1の情報となる。
さらに、このトリミング後のテレビ映像C1の情報に対して、基準色リストCLによるクラスタリングが行われることで、当該テレビ映像C1の分析結果を示す情報としてメタデータが生成される。
ここで、クラスタリングの手法は、特に限定されないが、元画像の色と基準色の色との距離の計量に基づいてクラスタリングを行う手法が採用されている。この距離の計量には、goodlove色差系や、CIE2000等を用いることも考えられるが、本実施形態では、評価実験により有効であることが確認された、円錐空間上のユークリッド距離を採用するものとする。
このように、本明細書でいう「メタデータ」とは、映像の情報そのものとは異なる情報の意であり、具体的には、その映像の少なくとも一部(例えば所定枚数の各フレーム)に関する分析結果を示す情報である。
本実施形態では、処理対象の映像を構成する時系列の各フレームについてクラスタリングされ、各フレームのクラスタリングの結果から、メタデータが生成される。具体的には例えば次の式(4)で定義される時系列カラーヒストグラム行列Mが、メタデータとして採用されている。
なお、図3中、テレビ映像C2は、テレビ映像C1の情報をクラスタリングした結果得られる情報により表示される映像である。オリジナルの映像D1は、オリジナルの映像Dの情報をクラスタリングした結果得られる情報により表示される映像である。これらのテレビ映像C2及びオリジナルの映像D1は、説明の便宜上図3中に描画しているに過ぎず、本実施形態では、これらのテレビ映像C2及びオリジナルの映像D1の情報は実際には生成されない。即ち、本実施形態では、テレビ映像C1やオリジナルの映像Dが処理対象の映像として、次の式(4)で定義される時系列カラーヒストグラム行列Mが、メタデータとして生成される。
ここで、nとmは1以上の任意の整数値であり、mは、識別する色の種類、即ち、ヒストグラムのビンの数に対応し、nは、処理対象の映像を構成する時系列の各フレームの数に対応する。
ユーザ端末1側で行うプロセスでは、メタデータを生成するための処理対象の映像は、テレビ映像C1である。従って、テレビ映像C1の情報に対して、前述の基準色リストCLによるクラスタリングが実行される。このクラスタリングンの結果から、時系列カラーヒストグラム行列Mが、メタデータとして生成される。
このようにしてユーザ端末1側で行うプロセスにより生成されるメタデータを、以下、「Cメタデータ」と呼ぶ。
まず、チェックインの対象となるテレビ番組等の映像Cがテレビの表示面に映っている状態で、ユーザ端末1によって撮像されることで、その撮像映像C1の情報が取得される。
この撮像映像C1の情報は、前述の前処理段階(例えば図1の全ユーザ共通のプロセスa)においてトリミングにより、表示面以外の部分(具体的には、テレビ番組が表示された表示面以外の、例えばモニタの別の部分や背景等)が除去されて、テレビ映像C1の情報となる。
さらに、このトリミング後のテレビ映像C1の情報に対して、基準色リストCLによるクラスタリングが行われることで、当該テレビ映像C1の分析結果を示す情報としてメタデータが生成される。
ここで、クラスタリングの手法は、特に限定されないが、元画像の色と基準色の色との距離の計量に基づいてクラスタリングを行う手法が採用されている。この距離の計量には、goodlove色差系や、CIE2000等を用いることも考えられるが、本実施形態では、評価実験により有効であることが確認された、円錐空間上のユークリッド距離を採用するものとする。
このように、本明細書でいう「メタデータ」とは、映像の情報そのものとは異なる情報の意であり、具体的には、その映像の少なくとも一部(例えば所定枚数の各フレーム)に関する分析結果を示す情報である。
本実施形態では、処理対象の映像を構成する時系列の各フレームについてクラスタリングされ、各フレームのクラスタリングの結果から、メタデータが生成される。具体的には例えば次の式(4)で定義される時系列カラーヒストグラム行列Mが、メタデータとして採用されている。
なお、図3中、テレビ映像C2は、テレビ映像C1の情報をクラスタリングした結果得られる情報により表示される映像である。オリジナルの映像D1は、オリジナルの映像Dの情報をクラスタリングした結果得られる情報により表示される映像である。これらのテレビ映像C2及びオリジナルの映像D1は、説明の便宜上図3中に描画しているに過ぎず、本実施形態では、これらのテレビ映像C2及びオリジナルの映像D1の情報は実際には生成されない。即ち、本実施形態では、テレビ映像C1やオリジナルの映像Dが処理対象の映像として、次の式(4)で定義される時系列カラーヒストグラム行列Mが、メタデータとして生成される。
ユーザ端末1側で行うプロセスでは、メタデータを生成するための処理対象の映像は、テレビ映像C1である。従って、テレビ映像C1の情報に対して、前述の基準色リストCLによるクラスタリングが実行される。このクラスタリングンの結果から、時系列カラーヒストグラム行列Mが、メタデータとして生成される。
このようにしてユーザ端末1側で行うプロセスにより生成されるメタデータを、以下、「Cメタデータ」と呼ぶ。
次に、サーバ2側でのプロセスについて説明する。
サーバ2側では、チェックインの対象のテレビ番組のオリジナルの映像Dの情報が保管されている。サーバ2は、このオリジナルの映像Dの情報に対して、前述の基準色リストCLによるクラスタリングを実行する。なお、詳細については図7を用いて説明するが、上記2つの基準色リストCLは同一の基準色リストを使用するものとする。
サーバ2は、このクラスタリングの結果から、時系列カラーヒストグラム行列Mを、メタデータとして生成する。
このようにしてサーバ2側で行うプロセスにより生成されるメタデータを、以下、「Sメタデータ」と呼ぶ。
サーバ2側では、チェックインの対象のテレビ番組のオリジナルの映像Dの情報が保管されている。サーバ2は、このオリジナルの映像Dの情報に対して、前述の基準色リストCLによるクラスタリングを実行する。なお、詳細については図7を用いて説明するが、上記2つの基準色リストCLは同一の基準色リストを使用するものとする。
サーバ2は、このクラスタリングの結果から、時系列カラーヒストグラム行列Mを、メタデータとして生成する。
このようにしてサーバ2側で行うプロセスにより生成されるメタデータを、以下、「Sメタデータ」と呼ぶ。
このようなSメタデータが生成された後、ユーザ端末1からCメタデータがチェックインのために提供されると、サーバ2は、Cメタデータと、Sメタデータのうち比較対象部分とについて、類似度(差分)を演算する。サーバ2は、Sメタデータにおいて時系列にフレームシフトをすることで比較対象部分をずらしながら、類似度(差分)の演算を繰り返す。サーバ2は、この繰り返し演算により算出された複数の類似度(差分)に基づいて、チェックインの可否を判定する。
ここで、Sメタデータのうち比較対象部分とは、次のような部分をいう。即ち、Sメタデータは、チェックインの対象となるテレビ番組等のオリジナルの映像全体を構成する時系列の各フレームのヒストグラムの集合体である。これに対して、Cメタデータは、当該テレビ番組等のテレビ映像のうち一部分(ユーザ端末1側で撮像された際に放映されていた一部分)を構成する時系列の各フレームのヒストグラムの集合体である。従って、Sメタデータのうち、Cメタデータと比較できる一部分、即ちオリジナルの映像の一部分を構成する時系列の各フレームのヒストグラムの集合体が、比較対象部分である。
具体的には、チェックインの対象となるテレビ番組等のオリジナルの映像全体を構成する各フレームのうち、所定のフレームを開始点フレームとして、その開始点フレームを含む時系列のM枚(Mは、Cメタデータにおけるフレーム数(ヒストグラム数)を示す)の各フレームのカラーヒストグラムの集合体が、比較対象部分である。
具体的には、チェックインの対象となるテレビ番組等のオリジナルの映像全体を構成する各フレームのうち、所定のフレームを開始点フレームとして、その開始点フレームを含む時系列のM枚(Mは、Cメタデータにおけるフレーム数(ヒストグラム数)を示す)の各フレームのカラーヒストグラムの集合体が、比較対象部分である。
比較対象部分は、次のようなフレームシフトが行われることにより、Sメタデータの中で変化していき、変化する毎にCメタデータとの類似度(差分)が夫々演出される。
具体的には例えば、Cメタデータのサーバ2への送信時刻(或いはCメタデータの生成時刻や、Cメタデータに対応するテレビ映像の撮像時刻等)よりも少し前の時刻に放映された、オリジナルの映像の対応するフレームが、開始点フレームとして最初に設定される。その開始点フレームを含む時系列のM枚の各フレームのカラーヒストグラムの集合体が、比較対象部分として最初に設定される。なお、最初の開始点フレームの放映時刻は、後述する放送時間情報及び放送地域情報等により判断される。そして、Sメタデータのうち最初の比較対象部分と、Cメタデータとについて、最初の類似度(差分)が演算される。
その後、これまで開始点フレームであったものより時間的に後のフレームが、新たな開始点フレームとして設定される(フレーム1枚分のフレームシフトが行われる)。その開始点フレームを含む時系列のM枚の各フレームのカラーヒストグラムの集合体が、比較対象部分として新たに設定される。つまり、比較対象部分が変化する。Sメタデータの変化後の比較対象部分と、Cメタデータとについて、類似度(差分)が新たに演算される。
このようなフレーム1枚毎のフレームシフトが繰り返し行われて、比較対象部分が変化する毎に、Sメタデータの変化後の比較対象部分と、Cメタデータとについて、類似度(差分)が新たに演算される。
このようなフレーム1枚毎のフレームシフトの繰り返しにより演算された複数の類似度(差分)に基づいて、チェックインの可否が判定される。例えば、複数の類似度(差分)のうち最高の類似度が一定値以上(最少の差分が一定値以下)の場合、ユーザのチェックイン(正当性)が判定される。換言すると、このようなフレームシフトの繰り返しにより設定された複数の比較対象部分の中に、Cメタデータと同一又は一定以上の類似度(一定以下の差分量)を有する比較対象部分が存在した場合、ユーザのチェックイン(正当性)が判定される。
具体的には例えば、Cメタデータのサーバ2への送信時刻(或いはCメタデータの生成時刻や、Cメタデータに対応するテレビ映像の撮像時刻等)よりも少し前の時刻に放映された、オリジナルの映像の対応するフレームが、開始点フレームとして最初に設定される。その開始点フレームを含む時系列のM枚の各フレームのカラーヒストグラムの集合体が、比較対象部分として最初に設定される。なお、最初の開始点フレームの放映時刻は、後述する放送時間情報及び放送地域情報等により判断される。そして、Sメタデータのうち最初の比較対象部分と、Cメタデータとについて、最初の類似度(差分)が演算される。
その後、これまで開始点フレームであったものより時間的に後のフレームが、新たな開始点フレームとして設定される(フレーム1枚分のフレームシフトが行われる)。その開始点フレームを含む時系列のM枚の各フレームのカラーヒストグラムの集合体が、比較対象部分として新たに設定される。つまり、比較対象部分が変化する。Sメタデータの変化後の比較対象部分と、Cメタデータとについて、類似度(差分)が新たに演算される。
このようなフレーム1枚毎のフレームシフトが繰り返し行われて、比較対象部分が変化する毎に、Sメタデータの変化後の比較対象部分と、Cメタデータとについて、類似度(差分)が新たに演算される。
このようなフレーム1枚毎のフレームシフトの繰り返しにより演算された複数の類似度(差分)に基づいて、チェックインの可否が判定される。例えば、複数の類似度(差分)のうち最高の類似度が一定値以上(最少の差分が一定値以下)の場合、ユーザのチェックイン(正当性)が判定される。換言すると、このようなフレームシフトの繰り返しにより設定された複数の比較対象部分の中に、Cメタデータと同一又は一定以上の類似度(一定以下の差分量)を有する比較対象部分が存在した場合、ユーザのチェックイン(正当性)が判定される。
即ち、図3の例では、生成されたメタデータ同士を比較することであたかもテレビ映像C1とオリジナルの映像Dの情報同士が比較されて、図1のチェックイン認証のプロセスcが行われるようになされている。
これに対して、画像データは情報量が多いため、そのままサーバ2へ送信すると、直接ネットワーク帯域を圧迫するため、スケーラビリティを劇的に悪化させる。
具体的に例えば、120色の基準色リストを使用して、1秒間に3フレームを分析対象として5秒間のメタデータを生成した場合、1回のチェックインに送信されるメタデータのサイズは、120色と、4バイト(浮動小数点)と、3フレームと、5秒間との積算であり、およそ7キロバイトである。
一方、1秒間に3フレームを分析対象として5秒間分の画像の情報をそのまま送信した場合、JPEG(Joint Photographic Experts Group)等の圧縮アルゴリズムを適用しても、およそ3000キロバイト程度になる。したがって、メタデータを生成した場合と比較して、画像の情報は400倍以上大きなサイズとなる。情報量は、直接ネットワーク帯域を圧迫するため、スケーラビリティを劇的に悪化させる。
さらに言えば、画像の情報をサーバ2が直接受信した場合、サーバ2はメタデータの分析を別途行う必要があるため、サーバ2のCPU負荷は、極めて増大することになる。
このように、画像の情報を直接サーバ2へ送信してしまうと、大量の視聴者の同時チェックインに耐えるスケーラビリティを実現することができない。
そこで、本実施形態では、時系列カラーヒストグラム行列M(図1の例では時系列カラーヒストグラム行列CMD)という情報量の少ないCメタデータに変換されて、ユーザ端末1からサーバ2に送信される。そして、サーバ2において、オリジナルの映像から作成された時系列カラーヒストグラム行列M(図1の例では時系列カラーヒストグラム行列SMD)としてのSメタデータの比較対象部分と比較されて、チェックインの認証が行われる。
このようにして、サーバ2側で処理する情報量が劇的に抑えられ、大量の視聴者の同時チェックインに耐えるスケーラビリティを実現することができる。
これに対して、画像データは情報量が多いため、そのままサーバ2へ送信すると、直接ネットワーク帯域を圧迫するため、スケーラビリティを劇的に悪化させる。
具体的に例えば、120色の基準色リストを使用して、1秒間に3フレームを分析対象として5秒間のメタデータを生成した場合、1回のチェックインに送信されるメタデータのサイズは、120色と、4バイト(浮動小数点)と、3フレームと、5秒間との積算であり、およそ7キロバイトである。
一方、1秒間に3フレームを分析対象として5秒間分の画像の情報をそのまま送信した場合、JPEG(Joint Photographic Experts Group)等の圧縮アルゴリズムを適用しても、およそ3000キロバイト程度になる。したがって、メタデータを生成した場合と比較して、画像の情報は400倍以上大きなサイズとなる。情報量は、直接ネットワーク帯域を圧迫するため、スケーラビリティを劇的に悪化させる。
さらに言えば、画像の情報をサーバ2が直接受信した場合、サーバ2はメタデータの分析を別途行う必要があるため、サーバ2のCPU負荷は、極めて増大することになる。
このように、画像の情報を直接サーバ2へ送信してしまうと、大量の視聴者の同時チェックインに耐えるスケーラビリティを実現することができない。
そこで、本実施形態では、時系列カラーヒストグラム行列M(図1の例では時系列カラーヒストグラム行列CMD)という情報量の少ないCメタデータに変換されて、ユーザ端末1からサーバ2に送信される。そして、サーバ2において、オリジナルの映像から作成された時系列カラーヒストグラム行列M(図1の例では時系列カラーヒストグラム行列SMD)としてのSメタデータの比較対象部分と比較されて、チェックインの認証が行われる。
このようにして、サーバ2側で処理する情報量が劇的に抑えられ、大量の視聴者の同時チェックインに耐えるスケーラビリティを実現することができる。
さらに、このような時系列カラーヒストグラム行列M(メタデータ)を作成するために必要な基準色リストは、チェックインの対象となるテレビ番組等(コンテンツ)の放送中又は放送開始前の一定期間にサーバ2からユーザ端末1に送信されてくる。
したがって、第三者がこの基準色リストを再現してCメタデータを偽造することは実質不可能である。即ち、不正なチェックインの防止を実現することができる。
したがって、第三者がこの基準色リストを再現してCメタデータを偽造することは実質不可能である。即ち、不正なチェックインの防止を実現することができる。
図4は、本発明の一実施形態に係る情報処理システムに適用される基準色リストをつくるための基準色の一例を示す図である。
図4を見ると、例えば、上段にはR/V、YR/V、Y/V・・・と10色の色が配置されている。これらは、夫々、各基準色の色彩を表しており、例えば、R/Vは、色彩が赤で、色のトーンがVivid(鮮やか)であることを示している。
ここで、色のトーンとは、明度と彩度のバランスのことを示しており、例えば、12段階に分類される。即ち、図4の例では、10種類の色彩と12種類のトーンの積算による合計120種類の色が基準色として採用され、リスト化されているものである。
また、上述したように、本実施形態におけるチェックイン処理の最大の特徴は、ユーザ/グループ毎に異なる基準色リストが放送直前にユーザ端末1へ配信されるか、若しくは、チェックイン時にユーザ端末1側が基準色リストをダウンロードさせることにより、事前に作成できず、かつ他ユーザと共有できないチェックインデータ(Cメタデータ)をユーザ端末1側に生成させる点にある。
具体的には、図4に基づく基準色リストを、チェックインの直前等にサーバ2側で決定することにより、ユーザ端末1側でのクラスタリングの結果を不正に偽造することや、あるいは、他ユーザへ送信し、実際には映像を見ていない他ユーザにチェックインさせることを防止することができる。
即ち、ユーザ端末1側で、サーバ2側で生成される時系列カラーヒストグラム行列M(Sメタデータ)と適合性の高いCメタデータを生成するためには、サーバ2側と同一の基準色リストを使用する必要があり、かつサーバ2側と同じ映像を入力する必要があることから不正なチェックインの防止を実現することができるのである。
換言すると、基準色リストの動的配信により、ユーザ間によるCメタデータの共有、及び、事前の分析によるCメタデータのバッチ生成の両方を防止することができる。
このように、本実施形態では、基準色リストの動的な配信により、従来不可能であった分散処理によるスケーラビリティの向上とチート防止の両立を実現している。
図4を見ると、例えば、上段にはR/V、YR/V、Y/V・・・と10色の色が配置されている。これらは、夫々、各基準色の色彩を表しており、例えば、R/Vは、色彩が赤で、色のトーンがVivid(鮮やか)であることを示している。
ここで、色のトーンとは、明度と彩度のバランスのことを示しており、例えば、12段階に分類される。即ち、図4の例では、10種類の色彩と12種類のトーンの積算による合計120種類の色が基準色として採用され、リスト化されているものである。
また、上述したように、本実施形態におけるチェックイン処理の最大の特徴は、ユーザ/グループ毎に異なる基準色リストが放送直前にユーザ端末1へ配信されるか、若しくは、チェックイン時にユーザ端末1側が基準色リストをダウンロードさせることにより、事前に作成できず、かつ他ユーザと共有できないチェックインデータ(Cメタデータ)をユーザ端末1側に生成させる点にある。
具体的には、図4に基づく基準色リストを、チェックインの直前等にサーバ2側で決定することにより、ユーザ端末1側でのクラスタリングの結果を不正に偽造することや、あるいは、他ユーザへ送信し、実際には映像を見ていない他ユーザにチェックインさせることを防止することができる。
即ち、ユーザ端末1側で、サーバ2側で生成される時系列カラーヒストグラム行列M(Sメタデータ)と適合性の高いCメタデータを生成するためには、サーバ2側と同一の基準色リストを使用する必要があり、かつサーバ2側と同じ映像を入力する必要があることから不正なチェックインの防止を実現することができるのである。
換言すると、基準色リストの動的配信により、ユーザ間によるCメタデータの共有、及び、事前の分析によるCメタデータのバッチ生成の両方を防止することができる。
このように、本実施形態では、基準色リストの動的な配信により、従来不可能であった分散処理によるスケーラビリティの向上とチート防止の両立を実現している。
図5は、本発明の一実施形態に係るユーザ端末1のハードウェア構成を示すブロック図である。
ユーザ端末1は、スマートフォン等で構成される。
ユーザ端末1は、CPU(Central Processing Unit)21と、ROM(Read Only Memory)22と、RAM(Random Access Memory)23と、バス24と、入出力インターフェース25と、タッチ操作入力部26と、表示部27と、入力部28と、記憶部29と、通信部30と、撮像部31と、ドライブ32と、を備えている。
ユーザ端末1は、CPU(Central Processing Unit)21と、ROM(Read Only Memory)22と、RAM(Random Access Memory)23と、バス24と、入出力インターフェース25と、タッチ操作入力部26と、表示部27と、入力部28と、記憶部29と、通信部30と、撮像部31と、ドライブ32と、を備えている。
CPU21は、ROM22に記録されているプログラム、又は、記憶部29からRAM23にロードされたプログラムに従って各種の処理を実行する。
RAM23には、CPU21が各種の処理を実行する上において必要な情報等も適宜記憶される。
RAM23には、CPU21が各種の処理を実行する上において必要な情報等も適宜記憶される。
CPU21、ROM22及びRAM23は、バス24を介して相互に接続されている。このバス24にはまた、入出力インターフェース25も接続されている。入出力インターフェース25には、タッチ操作入力部26、表示部27、入力部28、記憶部29、通信部30、撮像部31及びドライブ32が接続されている。
タッチ操作入力部26は、例えば表示部27に積層される静電容量式又は抵抗膜式(感圧式)の位置入力センサにより構成され、タッチ操作がなされた位置の座標を検出する。
表示部27は、液晶等のディスプレイにより構成され、ゲームに関する画像等、各種画像を表示する。
このように、本実施形態では、タッチ操作入力部26と表示部27とにより、タッチパネルが構成されている。
なお、本明細書で「表示媒体」と呼ぶ場合、単に表示部27を意味せず、タッチ操作入力部26と表示部27とから構成される「タッチパネル」を意味する。
表示部27は、液晶等のディスプレイにより構成され、ゲームに関する画像等、各種画像を表示する。
このように、本実施形態では、タッチ操作入力部26と表示部27とにより、タッチパネルが構成されている。
なお、本明細書で「表示媒体」と呼ぶ場合、単に表示部27を意味せず、タッチ操作入力部26と表示部27とから構成される「タッチパネル」を意味する。
入力部28は、各種ハードウェア釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
記憶部29は、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成され、各種情報を記憶する。
通信部30は、図示せぬインターネットを含むネットワークを介して他の装置(図示せぬサーバや図示せぬ他のユーザ端末)との間で行う通信を制御する。
撮像部31は、被写体を撮像するカメラ等である。
記憶部29は、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成され、各種情報を記憶する。
通信部30は、図示せぬインターネットを含むネットワークを介して他の装置(図示せぬサーバや図示せぬ他のユーザ端末)との間で行う通信を制御する。
撮像部31は、被写体を撮像するカメラ等である。
ドライブ32は、必要に応じて設けられる。ドライブ32には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア41が適宜装着される。ドライブ32によってリムーバブルメディア41から読み出されたプログラムは、必要に応じて記憶部29にインストールされる。
また、リムーバブルメディア41は、記憶部29に記憶されている各種情報も、記憶部29と同様に記憶することができる。
また、リムーバブルメディア41は、記憶部29に記憶されている各種情報も、記憶部29と同様に記憶することができる。
図6は、本発明の一実施形態に係るサーバ2のハードウェア構成を示すブロック図である。
サーバ2は、CPU51と、ROM52と、RAM53と、バス54と、入出力インターフェース55と、出力部56と、入力部57と、記憶部58と、通信部59と、ドライブ60とを備えている。
サーバ2の構成は、ユーザ端末1のタッチパネルを除いた構成と基本的に同様であるので、ここではその説明は省略する。また、リムーバブルメディア61についても、同様である。
サーバ2の構成は、ユーザ端末1のタッチパネルを除いた構成と基本的に同様であるので、ここではその説明は省略する。また、リムーバブルメディア61についても、同様である。
このような図5のユーザ端末1及び図6のサーバ2の各種ハードウェアと各種ソフトウェアとの協働により、ユーザ端末1及びサーバ2において、各種処理の実行が可能になる。
即ち、ユーザ端末1及びサーバ2は、各種処理の実行にあたり、図7に示すような機能的構成を有する。
即ち、ユーザ端末1及びサーバ2は、各種処理の実行にあたり、図7に示すような機能的構成を有する。
図7は、図1のユーザ端末1及びサーバ2の機能的構成の一例を示す機能ブロック図である。
図7に示すように、ユーザ端末1のCPU21においては、ユーザインターフェイス制御部101と、Cメタデータ生成部102と、Cメタデータ送信制御部103と、基準色リスト取得部104と、判定取得部105とが機能する。
また、サーバ2のCPU51においては、Cメタデータ取得部201と、基準色リスト生成部202と、基準色リスト送信制御部203と、Sメタデータ生成部204と、番組情報管理部205と、正当判定部206と、判定送信制御部207とが機能する。
さらに、サーバ2の記憶部58の一領域には、RVDB(Raw Video Data Base)300と、CLDB(Color List Data Base)400と、CMDB(Color Metadata Data Base)500と、TVPDB(TV Program Data Base)600とが設けられる。
図7において点線で示す枠は、図1で上述したプロセスa、プロセスb、及びプロセスcのうち、図7中の引き出し線で示すプロセスに該当することを意味している。
図7に示すように、ユーザ端末1のCPU21においては、ユーザインターフェイス制御部101と、Cメタデータ生成部102と、Cメタデータ送信制御部103と、基準色リスト取得部104と、判定取得部105とが機能する。
また、サーバ2のCPU51においては、Cメタデータ取得部201と、基準色リスト生成部202と、基準色リスト送信制御部203と、Sメタデータ生成部204と、番組情報管理部205と、正当判定部206と、判定送信制御部207とが機能する。
さらに、サーバ2の記憶部58の一領域には、RVDB(Raw Video Data Base)300と、CLDB(Color List Data Base)400と、CMDB(Color Metadata Data Base)500と、TVPDB(TV Program Data Base)600とが設けられる。
図7において点線で示す枠は、図1で上述したプロセスa、プロセスb、及びプロセスcのうち、図7中の引き出し線で示すプロセスに該当することを意味している。
放送局から放送される各種テレビ番組の放送時間に関する情報(以下、「放送時間情報」と呼ぶ)や放送地域に関する情報(以下、「放送地域情報」と呼ぶ)等、各種テレビ番組に関する様々な情報(以下、これらの情報をまとめて「番組詳細情報」と呼ぶ)は、TVPDB600に予め格納されているものとする。
番組情報管理部205は、このような番組詳細情報を管理し、例えばチェックインの対象となるテレビ番組の放送時間前又は放送中の所定タイミングになると、その旨を基準色リスト生成部202等に通知する。
番組情報管理部205は、このような番組詳細情報を管理し、例えばチェックインの対象となるテレビ番組の放送時間前又は放送中の所定タイミングになると、その旨を基準色リスト生成部202等に通知する。
基準色リスト生成部202は、CLDB400に格納された基準色リストに基づいて、ユーザ毎又は複数のユーザが属するグループ毎に、基準色リストを生成する。ここで、CLDB400は、現在有効な基準色リストを複数個格納するデータベースである。なお、基準色リストの生成タイミングは、基準色リストのユーザ端末1への送信タイミングより前であれば特に限定されず、当該送信タイミングの直前でもよいし、それより前の所定タイミングでもよい。つまり、基準色リストは予め生成しておくことも可能である。
基準色リスト送信制御部203は、基準色リスト生成部202により生成された基準色リストを、番組情報管理部205から通知されたタイミング、即ちチェックインの対象となるテレビ番組の放送時間前又は放送中の所定タイミングにおいて、ユーザ端末1へと送信するための制御を実行する。
基準色リスト送信制御部203は、基準色リスト生成部202により生成された基準色リストを、番組情報管理部205から通知されたタイミング、即ちチェックインの対象となるテレビ番組の放送時間前又は放送中の所定タイミングにおいて、ユーザ端末1へと送信するための制御を実行する。
さらに、基準色リスト生成部202により生成された基準色リストは、基準色リストの生成後の所定タイミング、即ちチェックインの対象となるテレビ番組の放送時間前又は放送中の所定タイミング(基準色リストのユーザ端末1への送信タイミングとは必ずしも一致する必要はない)において、Sメタデータ生成部204にも提供される。
Sメタデータ生成部204は、チェックインの対象となるテレビ番組のオリジナルの映像の情報をRVDB300から取得する。Sメタデータ生成部204は、取得したオリジナルの映像を構成する各フレームの各情報に対して、基準色リスト生成部202によりユーザ毎又はグループ毎に生成された基準色リストを適用してクラスタリングを行う。そして、Sメタデータ生成部204は、クラスタリング後の映像を構成する時系列の各フレームのカラーヒストグラムの集合体を、ユーザ毎又はグループ毎のSメタデータとして生成する。
このようにして生成されたSメタデータは、CMDB500に格納される。なお、CMDB500では、Sメタデータと、その生成に使用された基準色リストとが紐づけられて格納されている。
Sメタデータ生成部204は、チェックインの対象となるテレビ番組のオリジナルの映像の情報をRVDB300から取得する。Sメタデータ生成部204は、取得したオリジナルの映像を構成する各フレームの各情報に対して、基準色リスト生成部202によりユーザ毎又はグループ毎に生成された基準色リストを適用してクラスタリングを行う。そして、Sメタデータ生成部204は、クラスタリング後の映像を構成する時系列の各フレームのカラーヒストグラムの集合体を、ユーザ毎又はグループ毎のSメタデータとして生成する。
このようにして生成されたSメタデータは、CMDB500に格納される。なお、CMDB500では、Sメタデータと、その生成に使用された基準色リストとが紐づけられて格納されている。
続いて、ユーザがチェックインする際に機能するユーザ端末1の機能的構成について説明する。
ユーザインターフェイス制御部101は、タッチパネルを用いてユーザインターフェイスの制御を実行する。このユーザインターフェイス制御部101には、映像取得部121と、表示制御部122とが設けられている。
ユーザインターフェイス制御部101は、タッチパネルを用いてユーザインターフェイスの制御を実行する。このユーザインターフェイス制御部101には、映像取得部121と、表示制御部122とが設けられている。
ユーザは、チェックインをするに際し、チェックインの対象のテレビ番組等の映像が表示画面に表示されている状態で、当該表示画面を含むようにユーザ端末1の撮像部31等を操作して、テレビ番組の表示画面を撮像する。
映像取得部121は、このようにしてユーザ端末1の撮像部31等で撮像された映像の情報をフレームを単位として取得する。ここで言う映像の情報は、前述の通り、RGBを保持したRGB画像の情報である。なお、映像取得部121は、図1の全ユーザ共通のプロセスaに該当する処理を実行する。
映像取得部121は、このようにしてユーザ端末1の撮像部31等で撮像された映像の情報をフレームを単位として取得する。ここで言う映像の情報は、前述の通り、RGBを保持したRGB画像の情報である。なお、映像取得部121は、図1の全ユーザ共通のプロセスaに該当する処理を実行する。
ここで、上述したように、チェックインの対象となるテレビ番組の放送時間前又は放送中の所定タイミングにおいて、ユーザ毎又はグループ毎の基準色リストのうちユーザ端末1に適用されるものは、当該ユーザ端末1に送信される。
そこで、基準色リスト取得部104は、このようにしてサーバ2から送信されてきた基準色リストを、通信部30を介して取得する。
そこで、基準色リスト取得部104は、このようにしてサーバ2から送信されてきた基準色リストを、通信部30を介して取得する。
Cメタデータ生成部102は、映像取得部121により取得された映像を構成する各フレームの各情報に対して、基準色リスト取得部104により取得された基準色リストを適用することで、クラスタリングを行う。そして、Cメタデータ生成部102は、クラスタリング後の映像を構成する時系列の各フレームのカラーヒストグラムの集合体を、Cメタデータとして生成する。
Cメタデータ送信制御部103は、Cメタデータ生成部102により生成されたCメタデータを通信部30を介してサーバ2へと送信するための制御を実行する。
このようにしてユーザ端末1から送信されたCメタデータは、サーバ2に受信されると、サーバ2においてチェックインの可否の判定に用いられる。そして、その可否の判定の結果はサーバ2からユーザ端末1へと送信されてくる。
そこで、判定取得部105は、サーバ2から送信されてきた当該判定の結果を、通信部30を介して取得する。
表示制御部122は、判定取得部105によって取得された判定の結果を表示部27へと表示するための制御を実行する。
そこで、判定取得部105は、サーバ2から送信されてきた当該判定の結果を、通信部30を介して取得する。
表示制御部122は、判定取得部105によって取得された判定の結果を表示部27へと表示するための制御を実行する。
以上、ユーザがチェックインする際に機能するユーザ端末1の機能的構成について説明した。次に、このようにユーザがチェックインする際のサーバ2側の機能的構成について説明する。
Cメタデータ取得部201は、前述の通り、ユーザ端末1から送信されてきたCメタデータを通信部59を介して取得する。
Cメタデータ取得部201は、前述の通り、ユーザ端末1から送信されてきたCメタデータを通信部59を介して取得する。
正当判定部206は、取得されたCメタデータの生成用の基準色リストと同一のものを用いて生成されたSメタデータをCMDB500から抽出する。ここで、抽出対象は、Sメタデータの全てである必要はなく、上述したフレームシフト(開始点フレームの時系列の順次シフト)が可能となる分量、即ちフレームシフトを繰り返しながらCメタデータと順次比較していくことが可能な分量であれば足りる。
ここで、同一の放送番組であっても、放送時間帯や放送地域によっては、同一時刻に放送される内容が異なることがある。そこで、正当判定部206は、番組情報管理部205により管理される放送時間情報及び放送地域情報等も考慮して、抽出対象を決定する。
正当判定部206は、このようにしてCMDB500により抽出されたSメタデータについて、上述した開始点フレームを時系列に順次シフトさせながら(フレームシフトを繰り返しながら)、開始点フレームを含む比較対象部分を順次設定していく。正当判定部206は、比較対象部分が設定される毎に、その比較対象部分と、Cメタデータ取得部201により取得されたCメタデータとの類似度(差分)を夫々演算する。
正当判定部206は、これらの繰り返し演算の結果において、Cメタデータと同一又は一定以上の類似度を有する比較対象部分が存在した場合、ユーザのチェックイン(正当性)を判定する。
ここで、同一の放送番組であっても、放送時間帯や放送地域によっては、同一時刻に放送される内容が異なることがある。そこで、正当判定部206は、番組情報管理部205により管理される放送時間情報及び放送地域情報等も考慮して、抽出対象を決定する。
正当判定部206は、このようにしてCMDB500により抽出されたSメタデータについて、上述した開始点フレームを時系列に順次シフトさせながら(フレームシフトを繰り返しながら)、開始点フレームを含む比較対象部分を順次設定していく。正当判定部206は、比較対象部分が設定される毎に、その比較対象部分と、Cメタデータ取得部201により取得されたCメタデータとの類似度(差分)を夫々演算する。
正当判定部206は、これらの繰り返し演算の結果において、Cメタデータと同一又は一定以上の類似度を有する比較対象部分が存在した場合、ユーザのチェックイン(正当性)を判定する。
具体的には例えば本実施形態では、Sメタデータのうち比較対象部分とCメタデータとについての類似度(差分)の演算には、適合性評価関数が採用されている。
本実施形態における適合性評価関数は、オリジナルの映像の情報から生成された時系列カラーヒストグラム行列M(例えばSメタデータ)のうち比較対象部分と、ユーザ端末1により表示画面が撮像された結果から得られるテレビ映像の情報から生成された時系列カラーヒストグラム行列Q(例えばCメタデータ)との適合性を評価し、各フレームの適合性を0以上の実数として返す関数として定義できる。以下、式の詳細を示す。
このframeshifting(M、Q)関数は、時系列カラーヒストグラム行列Mの各フレームを開始点フレームの夫々としたときの各比較対象部分の夫々と、時系列カラーヒストグラム行列Qとの適合性の夫々を評価する関数である。時系列カラーヒストグラム行列Mの各フレームを開始点フレームの夫々としたときの各比較対象部分の夫々と、時系列カラーヒストグラム行列Qとの適合性を示すスコア(以下、「適合性スコア」と呼ぶ)が、Smで表されている。適合性スコアSmは、0以上の実数値であって、好ましくは0から1に正規化された実数値である。
つまり、正当判定部206は、k回のフレームシフトの繰り返しにより、k+1個の適合性スコアS0乃至Skを演算する。そして、正当判定部206は、これらの適合性スコアS0乃至Skのうちの例えば最も0に近いものを用いてチェックインの可否を判定する。
本実施形態における適合性評価関数は、オリジナルの映像の情報から生成された時系列カラーヒストグラム行列M(例えばSメタデータ)のうち比較対象部分と、ユーザ端末1により表示画面が撮像された結果から得られるテレビ映像の情報から生成された時系列カラーヒストグラム行列Q(例えばCメタデータ)との適合性を評価し、各フレームの適合性を0以上の実数として返す関数として定義できる。以下、式の詳細を示す。
つまり、正当判定部206は、k回のフレームシフトの繰り返しにより、k+1個の適合性スコアS0乃至Skを演算する。そして、正当判定部206は、これらの適合性スコアS0乃至Skのうちの例えば最も0に近いものを用いてチェックインの可否を判定する。
判定送信制御部207は、チェックインの可否に関する正当判定部206による判定の結果を、ユーザ端末1に送信するための制御を行う。
以上、ユーザ端末1とサーバ2との機能的構成例について図7を参照して説明した。
次に、図8以降の図面を参照して、図7の機能的構成を有するユーザ端末1及びサーバ2が実行する処理の流れについて説明する。
図8は、ユーザ端末1側の処理の流れの一例を説明するフローチャートである。
図9は、サーバ2側の処理の流れの一例を説明するフローチャートである。
そして、ユーザ端末1側の処理とサーバ2側の処理との関係は、図10に示されている。
即ち、図10は、ユーザ端末1側の処理とサーバ2側の処理との関係を説明するアローチャートである。
次に、図8以降の図面を参照して、図7の機能的構成を有するユーザ端末1及びサーバ2が実行する処理の流れについて説明する。
図8は、ユーザ端末1側の処理の流れの一例を説明するフローチャートである。
図9は、サーバ2側の処理の流れの一例を説明するフローチャートである。
そして、ユーザ端末1側の処理とサーバ2側の処理との関係は、図10に示されている。
即ち、図10は、ユーザ端末1側の処理とサーバ2側の処理との関係を説明するアローチャートである。
上述したように、ユーザは、チェックインをするに際し、チェックインの対象のテレビ番組等の映像が表示画面に表示されている状態で、当該表示画面を含むようにユーザ端末1の撮像部31に撮像させる。これにより、図8のユーザ端末1側の処理が開始され、次のような一連の処理が実行される。
ステップS1において、ユーザインターフェイス制御部101の映像取得部121は、撮像部31から出力された映像の情報に対してトリミング処理等を施すことで、テレビ映像の情報を取得する。
ステップS1において、ユーザインターフェイス制御部101の映像取得部121は、撮像部31から出力された映像の情報に対してトリミング処理等を施すことで、テレビ映像の情報を取得する。
ステップS2において、基準色リスト取得部104は、基準色リストがあるか否かを判定する。
チェックインの対象のテレビ番組等が放送される前に基準色リストがサーバ2により生成され、ユーザ端末1で既に取得されている場合、当該基準色リストは基準色リスト取得部104に検出され、ステップS2においてYESであると判定される。この場合、ステップS3及びS4は実行されずに、処理はそのままステップS5に進む。
これに対して、基準色リストがユーザ端末1に未だ取得されていない場合、ステップS2においてNOであると判定されて、処理はステップS3に進む。そして、ステップS3及びステップS4の処理の実行後、処理はステップS5に進む。
チェックインの対象のテレビ番組等が放送される前に基準色リストがサーバ2により生成され、ユーザ端末1で既に取得されている場合、当該基準色リストは基準色リスト取得部104に検出され、ステップS2においてYESであると判定される。この場合、ステップS3及びS4は実行されずに、処理はそのままステップS5に進む。
これに対して、基準色リストがユーザ端末1に未だ取得されていない場合、ステップS2においてNOであると判定されて、処理はステップS3に進む。そして、ステップS3及びステップS4の処理の実行後、処理はステップS5に進む。
ステップS3において、基準色リスト取得部104は、サーバ2に基準色リストを要求する。
すると、サーバ2側では送信条件が満たされたと判定され(後述するステップS22参照)、基準色リストが送信される(後述するステップS23参照)。
ステップS4において、基準色リスト取得部104は、サーバ2から送信されてきた基準色リストを取得する。
すると、サーバ2側では送信条件が満たされたと判定され(後述するステップS22参照)、基準色リストが送信される(後述するステップS23参照)。
ステップS4において、基準色リスト取得部104は、サーバ2から送信されてきた基準色リストを取得する。
ステップS5において、Cメタデータ生成部102は、ステップS2で検出された又はステップS4で取得された基準色リストを用いて、ステップS1で取得されたテレビ映像の情報から、Cメタデータを生成する。
ステップS6において、Cメタデータ送信制御部103は、ステップS5で生成されたCメタデータをサーバ2に送信する。
ステップS6において、Cメタデータ送信制御部103は、ステップS5で生成されたCメタデータをサーバ2に送信する。
すると、サーバ2においては、Cメタデータが取得され(後述するステップS41YES、及びステップS42参照)、当該Cメタデータの生成用の基準色リストと同一のものを用いて生成されたSメタデータの一部が抽出される(後述するステップS43参照)。そして、Cメタデータと抽出されたSメタデータの一部とに基づいて、ユーザのチェックインの可否(正当性)が判定され(後述するステップS44参照)、その判定の結果がユーザ端末1に送信される(後述するステップS45参照)。
ステップS7において、判定取得部105は、サーバ2から送信されてきた判定の結果を通信部30を介して取得する。
ステップS8において、ユーザインターフェイス制御部101の表示制御部122は、ステップS7で取得された判定の結果を表示部27に表示させる。
ステップS9において、ユーザ端末1のCPU21は、処理の終了指示が有ったか否かを判断する。ここで、処理の終了指示は、特に限定されないが、本実施形態ではユーザ端末1の電源遮断が採用されている。つまり、ユーザ端末1において電源が遮断されると、ステップS9においてYESであると判断されて、ユーザ端末1の処理は終了になる。
これに対して、ユーザ端末1において電源が遮断されない限り、ステップS9においてNOであると判断されて処理はステップS1に戻され、それ以降の処理が繰り返される。
ステップS8において、ユーザインターフェイス制御部101の表示制御部122は、ステップS7で取得された判定の結果を表示部27に表示させる。
ステップS9において、ユーザ端末1のCPU21は、処理の終了指示が有ったか否かを判断する。ここで、処理の終了指示は、特に限定されないが、本実施形態ではユーザ端末1の電源遮断が採用されている。つまり、ユーザ端末1において電源が遮断されると、ステップS9においてYESであると判断されて、ユーザ端末1の処理は終了になる。
これに対して、ユーザ端末1において電源が遮断されない限り、ステップS9においてNOであると判断されて処理はステップS1に戻され、それ以降の処理が繰り返される。
図8を参照して説明したユーザ端末1側の処理に対応する、サーバ2側の処理の流れについて図9を参照しつつ説明する。
まず、後述する図9(b)の処理前に準備処理として実行される図9(a)の処理について説明する。
図9(a)の処理のタイミングは、図9(b)の処理前であれば特に限定されないが、チェックインの対象となるテレビ番組等の放送前又は放送中の所定タイミングに開始されるとよい。基準色リストの生成タイミングは、なるべく使用タイミングに近いほうが、チート対策として有効になるからである。
まず、後述する図9(b)の処理前に準備処理として実行される図9(a)の処理について説明する。
図9(a)の処理のタイミングは、図9(b)の処理前であれば特に限定されないが、チェックインの対象となるテレビ番組等の放送前又は放送中の所定タイミングに開始されるとよい。基準色リストの生成タイミングは、なるべく使用タイミングに近いほうが、チート対策として有効になるからである。
ステップS21において、基準色リスト生成部202は、CLDB400から基準色リストを生成する。
ステップS22において、基準色リスト送信制御部203は、ステップS21で生成された基準色リストの送信条件が満たされているか否かを判定する。
ここで、基準色リストの送信条件としては、各種各様な条件を採用することができる。例えば本例では、チェックインの対象となるテレビ番組等の放送前又は放送中の所定タイミングになったことと、ユーザ端末1から送信の要求があったこと(図8のステップS3の処理が実行されたこと)という2つの条件が採用されているものとする。
2つの送信条件の何れもが満たされていないと判定された場合、ステップS22においてNOであると判定されて処理はステップS21に戻される。
これに対して、2つの基準色リストのうち少なくとも一方の送信条件が満たされた場合、ステップS22においてYESであると判定されて処理はステップS23に進む。
ステップS23において、基準色リスト送信制御部203は、基準色リストをユーザ端末1に送信する。
ステップS24において、Sメタデータ生成部204は、ステップS21で作成された基準色リストと、RVDB300に格納されたテレビ放送番組等のオリジナル映像の情報とから、Sメタデータを生成する。
ステップS25において、Sメタデータ生成部204は、ステップS24で生成したSメタデータをCMDB500に格納する。
ステップS26において、サーバ2のCPU51は、処理の終了指示が有ったか否かを判断する。ここで、処理の終了指示は、特に限定されないが、本実施形態ではサーバ2の電源遮断が採用されている。つまり、サーバ2において電源が遮断されると、ステップS26においてYESであると判断されて、サーバ2の処理は終了になる。
これに対して、サーバ2において電源が遮断されない限り、ステップS26においてNOであると判断されて処理はステップS21に戻され、それ以降の処理が繰り返される。
ステップS22において、基準色リスト送信制御部203は、ステップS21で生成された基準色リストの送信条件が満たされているか否かを判定する。
ここで、基準色リストの送信条件としては、各種各様な条件を採用することができる。例えば本例では、チェックインの対象となるテレビ番組等の放送前又は放送中の所定タイミングになったことと、ユーザ端末1から送信の要求があったこと(図8のステップS3の処理が実行されたこと)という2つの条件が採用されているものとする。
2つの送信条件の何れもが満たされていないと判定された場合、ステップS22においてNOであると判定されて処理はステップS21に戻される。
これに対して、2つの基準色リストのうち少なくとも一方の送信条件が満たされた場合、ステップS22においてYESであると判定されて処理はステップS23に進む。
ステップS23において、基準色リスト送信制御部203は、基準色リストをユーザ端末1に送信する。
ステップS24において、Sメタデータ生成部204は、ステップS21で作成された基準色リストと、RVDB300に格納されたテレビ放送番組等のオリジナル映像の情報とから、Sメタデータを生成する。
ステップS25において、Sメタデータ生成部204は、ステップS24で生成したSメタデータをCMDB500に格納する。
ステップS26において、サーバ2のCPU51は、処理の終了指示が有ったか否かを判断する。ここで、処理の終了指示は、特に限定されないが、本実施形態ではサーバ2の電源遮断が採用されている。つまり、サーバ2において電源が遮断されると、ステップS26においてYESであると判断されて、サーバ2の処理は終了になる。
これに対して、サーバ2において電源が遮断されない限り、ステップS26においてNOであると判断されて処理はステップS21に戻され、それ以降の処理が繰り返される。
次に、図9(b)のサーバ2側の処理の流れについて説明する。
ステップS41において、Cメタデータ取得部201は、ユーザ端末1からCメタデータが送信されてきたか否かを判定する。
Cメタデータ取得部201によりCメタデータが送信されてきたことが検出されなければ、ステップS41においてNOであると判定されて処理はステップS41に戻される。
これに対して、図8のステップS6においてCメタデータがユーザ端末1から送信され、そのことがCメタデータ取得部201により検出されれば、ステップS41においてYESであると判定されて処理はステップS42に進む。
ステップS42において、Cメタデータ取得部201は、ユーザ端末1から送信されてきたCメタデータを取得する。
ステップS43において、正当判定部206は、ステップS42において取得されたCメタデータの生成用の基準色リストと同一のものを用いて生成されたSメタデータ(図9(a)のステップS24参照)の一部を、CMDB500から抽出する。
ステップS44において、正当判定部206は、ステップS43で抽出されたSメタデータの一部とステップS42で取得されたCメタデータとに基づいて、チェックインの可否を判定する。
ステップS45において、判定送信制御部207は、チェックインの可否についての判定の結果をユーザ端末1へ送信する。
ステップS46において、サーバ2のCPU51は、処理の終了指示が有ったか否かを判断する。ここで、処理の終了指示は、特に限定されないが、本実施形態ではサーバ2の電源遮断が採用されている。つまり、サーバ2において電源が遮断されると、ステップS46においてYESであると判断されて、サーバ2の処理は終了になる。
これに対して、サーバ2において電源が遮断されない限り、ステップS46においてNOであると判断されて処理はステップS41に戻され、それ以降の処理が繰り返される。
ステップS41において、Cメタデータ取得部201は、ユーザ端末1からCメタデータが送信されてきたか否かを判定する。
Cメタデータ取得部201によりCメタデータが送信されてきたことが検出されなければ、ステップS41においてNOであると判定されて処理はステップS41に戻される。
これに対して、図8のステップS6においてCメタデータがユーザ端末1から送信され、そのことがCメタデータ取得部201により検出されれば、ステップS41においてYESであると判定されて処理はステップS42に進む。
ステップS42において、Cメタデータ取得部201は、ユーザ端末1から送信されてきたCメタデータを取得する。
ステップS43において、正当判定部206は、ステップS42において取得されたCメタデータの生成用の基準色リストと同一のものを用いて生成されたSメタデータ(図9(a)のステップS24参照)の一部を、CMDB500から抽出する。
ステップS44において、正当判定部206は、ステップS43で抽出されたSメタデータの一部とステップS42で取得されたCメタデータとに基づいて、チェックインの可否を判定する。
ステップS45において、判定送信制御部207は、チェックインの可否についての判定の結果をユーザ端末1へ送信する。
ステップS46において、サーバ2のCPU51は、処理の終了指示が有ったか否かを判断する。ここで、処理の終了指示は、特に限定されないが、本実施形態ではサーバ2の電源遮断が採用されている。つまり、サーバ2において電源が遮断されると、ステップS46においてYESであると判断されて、サーバ2の処理は終了になる。
これに対して、サーバ2において電源が遮断されない限り、ステップS46においてNOであると判断されて処理はステップS41に戻され、それ以降の処理が繰り返される。
最後に、図11を用いてユーザがテレビ映像を読み取る方法について説明する。
図11は、ユーザによる対象となるテレビ画面の取り込み方法の一例を示す図である。
図11の状態では、ユーザがテレビ映像を撮影するためのアプリケーションソフトウェアを起動している状態であり、この状態では表示部27上に、テレビ映像の読み取り領域301と、説明文表示領域302が配置される。
ユーザは、テレビ映像の読み取り領域301の中央に対象となるテレビ番組の画面を維持し、テレビ映像の撮影を行うことで、前述のチェックイン処理が開始される。
ここで、説明文表示領域302には、「アニメが表示されているテレビ画面を枠に入れて3秒間待って下さい」というメッセージが表示されている。即ち、説明文表示領域302は、ユーザがスムーズにテレビ映像の撮影を行うための説明文等を示すメッセージが表示される。
なお、テレビ映像を撮像するための操作方法はいかなる方法でも構わないが、例えば表示部27のいずれかの部位にタッチ操作を行った場合に撮影できるような仕様としても良い。また、図示はしないが、別途、撮影用のボタン表示部上に設けても良い。
図11は、ユーザによる対象となるテレビ画面の取り込み方法の一例を示す図である。
図11の状態では、ユーザがテレビ映像を撮影するためのアプリケーションソフトウェアを起動している状態であり、この状態では表示部27上に、テレビ映像の読み取り領域301と、説明文表示領域302が配置される。
ユーザは、テレビ映像の読み取り領域301の中央に対象となるテレビ番組の画面を維持し、テレビ映像の撮影を行うことで、前述のチェックイン処理が開始される。
ここで、説明文表示領域302には、「アニメが表示されているテレビ画面を枠に入れて3秒間待って下さい」というメッセージが表示されている。即ち、説明文表示領域302は、ユーザがスムーズにテレビ映像の撮影を行うための説明文等を示すメッセージが表示される。
なお、テレビ映像を撮像するための操作方法はいかなる方法でも構わないが、例えば表示部27のいずれかの部位にタッチ操作を行った場合に撮影できるような仕様としても良い。また、図示はしないが、別途、撮影用のボタン表示部上に設けても良い。
以上本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば上述の実施形態では、サーバ2側で基準色リストの生成を行っているが、基準色リストの生成をサーバ2側若しくはユーザ端末1側のいずれか一方のみで行う必要はない。
例えば、予め決められた所定の種類の色を固定的にユーザ端末1が所持し、サーバ2は、ユーザ端末1又はグループ毎に基準色の順列が異なるよう生成された基準色リストの順序情報をユーザ端末1へと送信するという構成を取ることで、基準色リストの生成を可能にすることもできる。
なお、ここでいう「基準色リストの生成」とは、上述の通り、予め用意された所定数の色の中から選ばれたN個(Nは2以上で所定数未満の整数値)の色を基準色として選択し、それらのN個の基準色の順列を決定するまでの一連の処理のことをいう。
例えば、予め決められた所定の種類の色を固定的にユーザ端末1が所持し、サーバ2は、ユーザ端末1又はグループ毎に基準色の順列が異なるよう生成された基準色リストの順序情報をユーザ端末1へと送信するという構成を取ることで、基準色リストの生成を可能にすることもできる。
なお、ここでいう「基準色リストの生成」とは、上述の通り、予め用意された所定数の色の中から選ばれたN個(Nは2以上で所定数未満の整数値)の色を基準色として選択し、それらのN個の基準色の順列を決定するまでの一連の処理のことをいう。
例えば上述の実施形態では、基準色をN個と記載しているが、ここで言うN個とはN種類の概念を含む概念である。
また、上述の実施形態では、基準色がその全てが互いに異なるN種類の色を用いているが、基準色リストの順列の中に同一の色を含むことも自由である。即ち、ここで言うNよりも色の種類が少ない場合も本発明の技術的範囲に含まれるものである。
また、上述の実施形態では、基準色がその全てが互いに異なるN種類の色を用いているが、基準色リストの順列の中に同一の色を含むことも自由である。即ち、ここで言うNよりも色の種類が少ない場合も本発明の技術的範囲に含まれるものである。
また、上述の実施形態において使用した適合性評価関数は、特定の適合性関数に依存するものではなく、任意の適合性評価関数を用いることができるが、例えば次のような適合性評価関数を用いることが考えられる。以下、式の詳細を示す。
ここで、nは、時系列カラーヒストグラム行列Qの時間軸方向のサイズであり、mは、基準色リストの個数に対応する。なお、kは、時間軸に沿って開始点フレームを移動させるフレームの数に対応する。
また例えば、ヒストグラム差分の代わりに、ヒストグラムの非類似性を計量する任意の関数として以下のような式を用いることもできる。以下、式の詳細を示す。
ここで、Miは、オリジナル映像のi番目のフレームに対応するヒストグラムであり、Qiはクエリ映像(テレビ映像等)のi番目に対応するヒストグラムであり、距離関数distは、二つのヒストグラムの距離を0から1の実数として計量する任意の関数である。
このようにして得られた複数の適合性と、現在時刻を用いて、ユーザから送信されたCメタデータが、現在放送されているオリジナルの映像のSメタデータに適合することを確認する。
また例えば、ヒストグラム差分の代わりに、ヒストグラムの非類似性を計量する任意の関数として以下のような式を用いることもできる。以下、式の詳細を示す。
このようにして得られた複数の適合性と、現在時刻を用いて、ユーザから送信されたCメタデータが、現在放送されているオリジナルの映像のSメタデータに適合することを確認する。
また例えば、本実施形態において説明は省略したが、本発明の実装例について簡単に説明する。本発明に係る情報処理システムは、IOバウンドな処理を主とする通常のアプリケーションサーバと異なり、内部処理のほとんどが行列演算というCPUバウンドな処理であるため、キャッシュによる演算の高速化は望めない。
そのため、チェックイン用のサーバ2へ、クライアントのユーザ端末1から直接アクセスできるようにしつつ、チェックインのピークに合わせてロードバランサによる負荷分散を実施するのが好ましい。
また、チェックイン結果をデータベースに格納する際、データベーストラフィックの輻輳がおきるため、定期的にチェックイン結果を更新するのが望ましい。こうすることで、例えば50万人が同時にチェックインしてもDBは輻輳しにくい。
さらに、本発明に係る情報処理システムは、2つの独立したAPIとして実装することができる。一つは、クラスタリング用の基準色リストをサーバ2に問い合わせるAPIであり、もう一つは実際にチェックインを受付けるAPIである。ユーザ端末1は、第1のAPIである基準色リストAPIを呼び出し、基準色リストを受け取り、カメラから得た映像をその基準色リストを用いて分析する。そして、ユーザ端末1は、その分析結果を、第2のAPIであるチェックインAPIへ送信することにより、チェックイン処理を完了する。
そのため、チェックイン用のサーバ2へ、クライアントのユーザ端末1から直接アクセスできるようにしつつ、チェックインのピークに合わせてロードバランサによる負荷分散を実施するのが好ましい。
また、チェックイン結果をデータベースに格納する際、データベーストラフィックの輻輳がおきるため、定期的にチェックイン結果を更新するのが望ましい。こうすることで、例えば50万人が同時にチェックインしてもDBは輻輳しにくい。
さらに、本発明に係る情報処理システムは、2つの独立したAPIとして実装することができる。一つは、クラスタリング用の基準色リストをサーバ2に問い合わせるAPIであり、もう一つは実際にチェックインを受付けるAPIである。ユーザ端末1は、第1のAPIである基準色リストAPIを呼び出し、基準色リストを受け取り、カメラから得た映像をその基準色リストを用いて分析する。そして、ユーザ端末1は、その分析結果を、第2のAPIであるチェックインAPIへ送信することにより、チェックイン処理を完了する。
また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図7の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。また、機能ブロックの存在場所も、図7に特に限定されず、任意でよい。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
換言すると、図7の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。また、機能ブロックの存在場所も、図7に特に限定されず、任意でよい。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
また例えば、このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
以上を換言すると、本発明が適用される情報処理システムは、次のような構成を有する各種各様の実施形態を取ることができる。
即ち、本発明が適用される情報処理システムは、
クライアント(例えば図1のユーザ端末1)とサーバ(例えば図1のサーバ2)からなる情報処理システムであって、
前記クライアントは、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段(例えば図7の映像取得部121)と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストを取得する基準色リスト取得手段(例えば図7の基準色リスト取得部104)と、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段(例えば図7のCメタデータ生成部102)と、
前記クライアント側映像の前記メタデータを、前記サーバに送信する制御を実行するメタデータ送信制御手段(例えば図7のCメタデータ送信制御部103)と、
を備え、
前記サーバは、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段(例えば図7の基準色リスト生成部202)と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段(例えば図7の基準色リスト送信制御部203)と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段(例えば図7のSメタデータ生成部204)と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段(例えば図7の正当判定部206)と、
を備える情報処理システムであれば足りる。
即ち、本発明が適用される情報処理システムは、
クライアント(例えば図1のユーザ端末1)とサーバ(例えば図1のサーバ2)からなる情報処理システムであって、
前記クライアントは、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段(例えば図7の映像取得部121)と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストを取得する基準色リスト取得手段(例えば図7の基準色リスト取得部104)と、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段(例えば図7のCメタデータ生成部102)と、
前記クライアント側映像の前記メタデータを、前記サーバに送信する制御を実行するメタデータ送信制御手段(例えば図7のCメタデータ送信制御部103)と、
を備え、
前記サーバは、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段(例えば図7の基準色リスト生成部202)と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段(例えば図7の基準色リスト送信制御部203)と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段(例えば図7のSメタデータ生成部204)と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段(例えば図7の正当判定部206)と、
を備える情報処理システムであれば足りる。
これにより、カメラを用いた「チェックイン」操作により、不特定多数の視聴者が所定の映像を視聴していることを高精度かつ高速に確認することができる。
即ち、本発明が適用される情報処理システムは、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン機種の異種性の吸収と、正当性検証のためのメタデータを偽装することによる不正なチェックインの防止の3点を実現することができる。
即ち、本発明が適用される情報処理システムは、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン機種の異種性の吸収と、正当性検証のためのメタデータを偽装することによる不正なチェックインの防止の3点を実現することができる。
さらに詳細に言えば、本発明が適用される情報処理システムは、以下のような利点を有するものである。
本発明が適用される情報処理システムが生成するメタデータは、数キロバイト程度であるため、ネットワーク上を高速に送信することができる。また、チェックイン認証のコア関数であるフレームシフト色差距離系は、比較的高速なアルゴリズムであるため、リアルタイムにチェックイン認証を行うことができる。リアルタイム性を有することにより、例えば、照明やスマートフォンの持ち方が良くなかったために認証できなかったユーザであっても再度、チェックインすることが可能となる。
本発明が適用される情報処理システムは、映像コンテンツ内に、二次元コードや特徴的な画像などを埋め込む必要がなく、非侵襲的なチェックイン認証機構である。したがって、チェックインを実現するために映像コンテンツを加工する必要がない。
本発明が適用される情報処理システムによる基準色の動的変更機能により、サーバ側で生成されるSメタデータ(時系列カラーヒストグラム行列)と高い適合性を示すCメタデータを生成するためには、サーバ側と同一の基準色リスト(即ち、クラスタリング用カラーリスト)を使用する必要があり、かつ、サーバ側と同じ映像の情報を入力とする必要があるため、チートを行うことは極めて困難である。
本発明が適用される情報処理システムによる基準色の動的変更機能は、たとえば、特定の放送回の色彩に合わせて、より色彩特徴を抽出しやすい基準色リストを設定することを可能にする。これにより、認証精度をさらに向上させることが可能となる。
本発明が適用される情報処理システムによる基準色の動的変更機能は、たとえば、特定のスマートフォン機種のカメラの特性に合わせて、より色彩特徴を抽出しやすい基準色リストを設定することを可能にする。これにより、認証精度をさらに向上させることが可能となる。
本発明が適用される情報処理システムが生成するメタデータは、数キロバイト程度であるため、ネットワーク上を高速に送信することができる。また、チェックイン認証のコア関数であるフレームシフト色差距離系は、比較的高速なアルゴリズムであるため、リアルタイムにチェックイン認証を行うことができる。リアルタイム性を有することにより、例えば、照明やスマートフォンの持ち方が良くなかったために認証できなかったユーザであっても再度、チェックインすることが可能となる。
本発明が適用される情報処理システムは、映像コンテンツ内に、二次元コードや特徴的な画像などを埋め込む必要がなく、非侵襲的なチェックイン認証機構である。したがって、チェックインを実現するために映像コンテンツを加工する必要がない。
本発明が適用される情報処理システムによる基準色の動的変更機能により、サーバ側で生成されるSメタデータ(時系列カラーヒストグラム行列)と高い適合性を示すCメタデータを生成するためには、サーバ側と同一の基準色リスト(即ち、クラスタリング用カラーリスト)を使用する必要があり、かつ、サーバ側と同じ映像の情報を入力とする必要があるため、チートを行うことは極めて困難である。
本発明が適用される情報処理システムによる基準色の動的変更機能は、たとえば、特定の放送回の色彩に合わせて、より色彩特徴を抽出しやすい基準色リストを設定することを可能にする。これにより、認証精度をさらに向上させることが可能となる。
本発明が適用される情報処理システムによる基準色の動的変更機能は、たとえば、特定のスマートフォン機種のカメラの特性に合わせて、より色彩特徴を抽出しやすい基準色リストを設定することを可能にする。これにより、認証精度をさらに向上させることが可能となる。
さらにクライアントとサーバからなる情報処理システムにおける前記クライアントとして機能する情報処理装置であって、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段(例えば図7の映像取得部121)と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストであって、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる当該基準色リストを取得する基準色リスト取得手段(例えば図7の基準色リスト取得部104)と、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段(例えば図7のCメタデータ生成部102)と、
前記クライアント側映像の前記メタデータを、前記クライアント側映像の正当性を判定するために用いる情報として、前記サーバに送信する制御を実行するメタデータ送信制御手段(例えば図7のCメタデータ送信制御部103)と、
を備える情報処理装置とすることもできる。
これにより、カメラを用いた「チェックイン」操作により、不特定多数の視聴者が所定の映像を視聴していることを高精度かつ高速に確認することができる。
即ち、カメラを用いた「チェックイン」操作において、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン等の機種の異種性の吸収と、正当性検証のためのメタデータを偽装することによる不正なチェックインの防止という発明の効果を実現することができる。
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段(例えば図7の映像取得部121)と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストであって、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる当該基準色リストを取得する基準色リスト取得手段(例えば図7の基準色リスト取得部104)と、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段(例えば図7のCメタデータ生成部102)と、
前記クライアント側映像の前記メタデータを、前記クライアント側映像の正当性を判定するために用いる情報として、前記サーバに送信する制御を実行するメタデータ送信制御手段(例えば図7のCメタデータ送信制御部103)と、
を備える情報処理装置とすることもできる。
これにより、カメラを用いた「チェックイン」操作により、不特定多数の視聴者が所定の映像を視聴していることを高精度かつ高速に確認することができる。
即ち、カメラを用いた「チェックイン」操作において、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン等の機種の異種性の吸収と、正当性検証のためのメタデータを偽装することによる不正なチェックインの防止という発明の効果を実現することができる。
さらに、前記サーバにおいては、前記クライアント側映像の前記メタデータと同一の前記基準色リストに基づいて、前記コンテンツの前記映像からサーバ側メタデータが生成され、前記クライアント側映像の前記メタデータと比較されて前記クライアント側映像の正当性が判定され、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとは、行又は列の一方を、時間的に連続するM個の単位画像を要素とし、行又は列の他方を、前記N個の基準色を要素とする行列であることができる。
これにより、クライアント側メタデータ(例えば図7のCメタデータ)及びサーバ側メタデータ(例えば図7のSメタデータ)の夫々は、同一の基準色リストに基づいて得られる同一の基準色を要素とする行又は列を有し、M個の単位画像を要素とする列又は行を有する同一形態の行列で表現することができ、同一のクライアント(例えば図1のユーザ端末1)であることがチェックインの条件となっているため、クライアント側メタデータを偽装することを困難にし、結果として、より正確な「チェックイン」操作を行うことができる。また、同一形態の行列で表現することにより、時系列の各単位画像のヒストグラムの比較演算という高速な処理としてチェックインを高速に行うことができるようになる。
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとは、行又は列の一方を、時間的に連続するM個の単位画像を要素とし、行又は列の他方を、前記N個の基準色を要素とする行列であることができる。
これにより、クライアント側メタデータ(例えば図7のCメタデータ)及びサーバ側メタデータ(例えば図7のSメタデータ)の夫々は、同一の基準色リストに基づいて得られる同一の基準色を要素とする行又は列を有し、M個の単位画像を要素とする列又は行を有する同一形態の行列で表現することができ、同一のクライアント(例えば図1のユーザ端末1)であることがチェックインの条件となっているため、クライアント側メタデータを偽装することを困難にし、結果として、より正確な「チェックイン」操作を行うことができる。また、同一形態の行列で表現することにより、時系列の各単位画像のヒストグラムの比較演算という高速な処理としてチェックインを高速に行うことができるようになる。
さらに、前記映像取得手段は、前記クライアント側映像の情報から、前記M枚の単位画像の情報の夫々のうち、前記コンテンツが表示される前記表示面に対応する情報を夫々抽出する抽出手段(例えば図7の映像取得部121の一機能)をさらに備え、
前記クライアント側メタデータ生成手段は、前記抽出手段により夫々抽出された前記情報を前記処理対象として用いる。
これにより、クライアント側映像の情報から表示面以外の情報を除去して、表示面に映るコンテンツの映像(テレビ映像等)の情報を抽出できることから、結果として、より正確な「チェックイン」操作を行うことができる。
前記クライアント側メタデータ生成手段は、前記抽出手段により夫々抽出された前記情報を前記処理対象として用いる。
これにより、クライアント側映像の情報から表示面以外の情報を除去して、表示面に映るコンテンツの映像(テレビ映像等)の情報を抽出できることから、結果として、より正確な「チェックイン」操作を行うことができる。
さらにまた、
クライアントとサーバからなる情報処理システムにおける前記サーバとして機能する情報処理装置であって、
前記クライアントにおいて、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報が、クライアント側映像の情報として取得され(例えば図7の映像取得部121)、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストが取得され(例えば図7の基準色リスト取得部104)、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々が処理対象とされて、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックが前記N個の基準色の何れかに分類され、当該処理対象についての前記N個の基準色の分布状態を示す情報が生成され、M枚の単位画像の夫々の前記分布状態を示す情報が、前記クライアント側映像のメタデータとして生成され(例えば図7のCメタデータ生成部102)、
前記クライアント側映像の前記メタデータが、前記サーバに送信される場合において、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段(例えば図7の基準色リスト生成部202)と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段(例えば図7の基準色リスト送信制御部203)と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段(例えば図7のSメタデータ生成部204)と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段(例えば図7の正当判定部206)と、
を備える情報処理装置とすることができる。
カメラを用いた「チェックイン」操作により、不特定多数の視聴者が所定の映像を視聴していることを高精度かつ高速に確認することができる。
これにより、カメラを用いた「チェックイン」操作において、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン等の機種の異種性の吸収と、正当性検証のためのメタデータを偽装することによる不正なチェックインの防止という発明の効果を実現することができる。
クライアントとサーバからなる情報処理システムにおける前記サーバとして機能する情報処理装置であって、
前記クライアントにおいて、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報が、クライアント側映像の情報として取得され(例えば図7の映像取得部121)、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストが取得され(例えば図7の基準色リスト取得部104)、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々が処理対象とされて、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックが前記N個の基準色の何れかに分類され、当該処理対象についての前記N個の基準色の分布状態を示す情報が生成され、M枚の単位画像の夫々の前記分布状態を示す情報が、前記クライアント側映像のメタデータとして生成され(例えば図7のCメタデータ生成部102)、
前記クライアント側映像の前記メタデータが、前記サーバに送信される場合において、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段(例えば図7の基準色リスト生成部202)と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段(例えば図7の基準色リスト送信制御部203)と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段(例えば図7のSメタデータ生成部204)と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段(例えば図7の正当判定部206)と、
を備える情報処理装置とすることができる。
カメラを用いた「チェックイン」操作により、不特定多数の視聴者が所定の映像を視聴していることを高精度かつ高速に確認することができる。
これにより、カメラを用いた「チェックイン」操作において、大量の視聴者の同時チェックインに耐えるスケーラビリティと、テレビやスマートフォン等の機種の異種性の吸収と、正当性検証のためのメタデータを偽装することによる不正なチェックインの防止という発明の効果を実現することができる。
さらに前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとは、行又は列の一方を、時間的に連続するM個の単位画像を要素とし、行又は列の他方を、N個の基準色を要素とする行列であることができる。
これにより、クライアント側メタデータ(例えば図7のCメタデータ)及びサーバ側メタデータ(例えば図7のSメタデータ)の夫々は、同一の基準色リストに基づいて得られる同一の基準色を要素とする行又は列を有し、M個の単位画像を要素とする列又は行を有する同一形態の行列で表現することができ、同一のクライアント(例えば図1のユーザ端末1)であることがチェックインの条件となっているため、クライアント側メタデータを偽装することを困難にし、結果として、より正確な「チェックイン」操作を行うことができる。また、同一形態の行列で表現することにより、時系列の各単位画像のヒストグラムの比較演算という高速な処理としてチェックインを高速に行うことができるようになる。
これにより、クライアント側メタデータ(例えば図7のCメタデータ)及びサーバ側メタデータ(例えば図7のSメタデータ)の夫々は、同一の基準色リストに基づいて得られる同一の基準色を要素とする行又は列を有し、M個の単位画像を要素とする列又は行を有する同一形態の行列で表現することができ、同一のクライアント(例えば図1のユーザ端末1)であることがチェックインの条件となっているため、クライアント側メタデータを偽装することを困難にし、結果として、より正確な「チェックイン」操作を行うことができる。また、同一形態の行列で表現することにより、時系列の各単位画像のヒストグラムの比較演算という高速な処理としてチェックインを高速に行うことができるようになる。
さらに、前記判定手段は、前記サーバ側メタデータのうち、前記クライアント用映像の前記メタデータの取得時刻から所定時間前の単位画像を開始画像として処理を開始し、前記開始画像から時間的に連続するM枚の単位画像についてのメタデータと、前記クライアント側映像の前記メタデータを比較する処理を、前記開始画像となる単位画像を1つずつずらしながら繰り返し実行し、これらの実行結果に基づいて、前記クライアント側映像の正当性を判定することができる。
これにより、時間的に連続する画像についても正確に「チェックイン」操作を行うことが可能となり、結果として、より正確な「チェックイン」操作を行うことができる。
これにより、時間的に連続する画像についても正確に「チェックイン」操作を行うことが可能となり、結果として、より正確な「チェックイン」操作を行うことができる。
さらに、前記基準色リスト等送信制御手段は、前記クライアント又は前記グループ毎の前記基準色リストと、前記クライアントを操作するユーザのID又は前記ユーザが属するグループのIDとを紐付けたうえで、当該クライアント又は当該グループ毎の前記基準色リストを、前記送信情報として、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行することができる。
これにより、各ユーザ又や各グループ毎に異なる基準色リストを利用することが可能となり、不正な手段による「チェックイン」操作を効果的に予防することができる。
これにより、各ユーザ又や各グループ毎に異なる基準色リストを利用することが可能となり、不正な手段による「チェックイン」操作を効果的に予防することができる。
さらに前記情報処理装置は、コンテンツの放送時間を管理する第1管理手段をさらに備え、第1管理手段の判断結果に基づいて、前記基準色リスト等生成手段は前記送信情報を生成し、前記基準色リスト等送信制御手段は当該送信情報を送信する制御を実行することができる。
これにより、コンテンツの放送時間を正確に反映した「チェックイン」操作を行うことができ、結果としてより正確な「チェックイン」操作を行うことができる。
これにより、コンテンツの放送時間を正確に反映した「チェックイン」操作を行うことができ、結果としてより正確な「チェックイン」操作を行うことができる。
さらに前記情報処理装置は、コンテンツの放送地域を管理する第2管理手段をさらに備え、第2管理手段の判断結果に基づいて、基準色リスト等生成手段は前記送信情報を生成し、基準色リスト等送信制御手段は当該送信情報を送信する制御を実行することができる。
これにより、コンテンツの放送地域の差を正確に反映した「チェックイン」操作を行うことができ、結果としてより正確な「チェックイン」操作を行うことができる。
これにより、コンテンツの放送地域の差を正確に反映した「チェックイン」操作を行うことができ、結果としてより正確な「チェックイン」操作を行うことができる。
1・・・ユーザ端末、2・・・サーバ、21・・・CPU、表示部・・・27、51・・・CPU、101・・・ユーザインターフェイス制御部、102・・・Cメタデータ生成部、103・・・Cメタデータ送信制御部、104・・・基準色リスト取得部、105・・・判定取得部、121・・・映像取得部、122・・・表示制御部、201・・・Cメタデータ取得部、202・・・基準色リスト生成部、203・・・基準色リスト送信制御部、204・・・Sメタデータ生成部、205・・・番組情報管理部、206・・・正当判定部、207・・・判定送信制御部、300・・・RVDB、400・・・CLDB、500・・・CMDB、600・・・TVPDB
Claims (12)
- クライアントとサーバからなる情報処理システムにおいて、
前記クライアントは、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストを取得する基準色リスト取得手段と、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段と、
前記クライアント側映像の前記メタデータを、前記サーバに送信する制御を実行するメタデータ送信制御手段と、
を備え、
前記サーバは、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段と、
を備える情報処理システム。 - クライアントとサーバからなる情報処理システムにおける前記クライアントとして機能する情報処理装置であって、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得手段と、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストであって、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる当該基準色リストを取得する基準色リスト取得手段と、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成手段と、
前記クライアント側映像の前記メタデータを、前記クライアント側映像の正当性を判定するために用いる情報として、前記サーバに送信する制御を実行するメタデータ送信制御手段と、
を備える情報処理装置。 - 前記サーバにおいては、前記クライアント側映像の前記メタデータと同一の前記基準色リストに基づいて、前記コンテンツの前記映像からサーバ側メタデータが生成され、前記クライアント側映像の前記メタデータと比較されて前記クライアント側映像の正当性が判定され、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとは、行又は列の一方を、時間的に連続するM個の単位画像を要素とし、行又は列の他方を、前記N個の基準色を要素とする行列である、
請求項2に記載の情報処理装置。 - 前記クライアント側映像の情報から、前記M枚の単位画像の情報の夫々のうち、前記コンテンツが表示される前記表示面に対応する情報を夫々抽出する抽出手段をさらに備え、
前記クライアント側メタデータ生成手段は、前記抽出手段により夫々抽出された前記情報を前記処理対象として用いる
請求項2又は3に記載の情報処理装置。 - クライアントとサーバからなる情報処理システムにおける前記クライアントに、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報を、クライアント側映像の情報として取得する映像取得ステップと、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストであって、前記クライアント又は当該クライアントが属するグループ毎に前記コンテンツの放送中又は放送前に前記サーバにより生成された当該基準色リストを取得する基準色リスト取得ステップと、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々を処理対象として、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記M枚の単位画像の夫々の前記分布状態を示す情報を、前記クライアント側映像のメタデータとして生成するクライアント側メタデータ生成ステップと、
前記クライアント側映像の前記メタデータを、前記クライアント側映像の正当性を判定するために用いる情報として、前記サーバに送信する制御を実行するメタデータ送信制御ステップと、
を含む制御処理を実行させるプログラム。 - クライアントとサーバからなる情報処理システムにおける前記サーバとして機能する情報処理装置であって、
前記クライアントにおいて、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報が、クライアント側映像の情報として取得され、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストが取得され、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々が処理対象とされて、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックが前記N個の基準色の何れかに分類され、当該処理対象についての前記N個の基準色の分布状態を示す情報が生成され、M枚の単位画像の夫々の前記分布状態を示す情報が、前記クライアント側映像のメタデータとして生成され、
前記クライアント側映像の前記メタデータが、前記サーバに送信される場合において、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を、前記送信情報として生成する基準色リスト等生成手段と、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御手段と、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成手段と、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定手段と、
を備える情報処理装置。 - 前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとは、行又は列の一方を、時間的に連続するM個の単位画像を要素とし、行又は列の他方を、N個の基準色を要素とする行列である、
請求項6に記載の情報処理装置。 - 前記判定手段は、
前記サーバ側メタデータのうち、前記クライアント側映像の前記メタデータの取得時刻から所定時間前の単位画像を開始画像として処理を開始し、
前記開始画像から時間的に連続するM枚の単位画像についてのメタデータと、前記クライアント側映像の前記メタデータを比較する処理を、
前記開始画像となる単位画像を1つずつずらしながら繰り返し実行し、
これらの実行結果に基づいて、前記クライアント側映像の正当性を判定する、
請求項6又は7に記載の情報処理装置。 - 前記基準色リスト等送信制御手段は、
前記クライアント又は前記グループ毎の前記基準色リストと、前記クライアントを操作するユーザのID又は前記ユーザが属するグループのIDとを紐付けたうえで、
当該クライアント又は当該グループ毎の前記基準色リストを、前記送信情報として、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する、
請求項6乃至8のうち何れか1項に記載の情報処理装置。 - 前記コンテンツの放送時間を管理する第1管理手段をさらに備え、
前記第1管理手段の判断結果に基づいて、前記基準色リスト等生成手段は前記送信情報を生成し、前記基準色リスト等送信制御手段は当該送信情報を送信する制御を実行する、
請求項6乃至9のうちいずれか1項に記載の情報処理装置。 - 前記コンテンツの放送地域を管理する第2管理手段をさらに備え、
前記第2管理手段の判断結果に基づいて、前記基準色リスト等生成手段は前記送信情報を生成し、前記基準色リスト等送信制御手段は当該送信情報を送信する制御を実行する、
請求項6乃至9のうちいずれか1項に記載の情報処理装置。 - クライアントとサーバからなる情報処理システムにおける前記サーバに制御処理を実行させるプログラムであって、
前記クライアントにおいて、
複数の単位画像から構成される映像を含むコンテンツが、所定のタイムスケジュールに従って放送され所定の再生デバイスで受信されて再生されている最中に、当該映像が表示されている表示面が所定の撮像デバイスにより所定期間撮像された結果得られる映像の情報が、クライアント側映像の情報として取得され、
前記コンテンツの放送中又は放送開始前の一定期間に前記サーバから送信されてくる送信情報に基づいて、N個(Nは2以上の整数値)の基準色の順列によって示される基準色リストが取得され、
前記クライアント側映像を構成するM枚(Mは2以上の整数値)の単位画像の夫々が処理対象とされて、前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックが前記N個の基準色の何れかに分類され、当該処理対象についての前記N個の基準色の分布状態を示す情報が生成され、前記M枚の単位画像の夫々の前記分布状態を示す情報が、前記クライアント側映像のメタデータとして生成され、
前記クライアント側映像の前記メタデータが、前記サーバに送信される場合において、
前記コンテンツの放送前又は放送中に、前記クライアント又は当該クライアントが属するグループ毎に、前記基準色の種類と順列のうち少なくとも一方が異なる前記基準色リスト自体又は当該基準色リストを作成するために必要な情報を前記送信情報として生成する基準色リスト等生成ステップと、
前記クライアント又は前記グループ毎に、前記送信情報を、前記コンテンツの放送中又は放送開始前の一定期間に前記クライアントに送信する制御を実行する基準色リスト等送信制御ステップと、
前記コンテンツ内の前記映像を構成する前記複数の単位画像の夫々を処理対象として、前記クライアント又は前記グループ毎の前記基準色リストに基づいて、前記処理対象内の各画素又は各ブロックを前記N個の基準色の何れかに分類し、当該処理対象についての前記N個の基準色の分布状態を示す情報を生成し、前記複数の単位画像の夫々の前記分布状態を示す情報を、サーバ側メタデータとして生成するサーバ側メタデータ生成ステップと、
前記クライアント側映像の前記メタデータと、前記サーバ側メタデータのうち前記M枚の単位画像についてのメタデータとを比較し、その比較の結果に基づいて、前記クライアント側映像の正当性を判定する判定ステップと、
を含む制御処理を実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020197016552A KR102142530B1 (ko) | 2016-12-26 | 2017-11-07 | 정보 처리 시스템, 정보 처리 장치 및 프로그램 |
CN201780080013.6A CN110100445B (zh) | 2016-12-26 | 2017-11-07 | 信息处理***、信息处理装置和计算机可读介质 |
US16/451,181 US10904499B2 (en) | 2016-12-26 | 2019-06-25 | Information processing system, information processing device and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-251688 | 2016-12-26 | ||
JP2016251688A JP6148785B1 (ja) | 2016-12-26 | 2016-12-26 | 情報処理システム、情報処理装置及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/451,181 Continuation US10904499B2 (en) | 2016-12-26 | 2019-06-25 | Information processing system, information processing device and program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018123279A1 true WO2018123279A1 (ja) | 2018-07-05 |
Family
ID=59061104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/040157 WO2018123279A1 (ja) | 2016-12-26 | 2017-11-07 | 情報処理システム、情報処理装置及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10904499B2 (ja) |
JP (1) | JP6148785B1 (ja) |
KR (1) | KR102142530B1 (ja) |
CN (1) | CN110100445B (ja) |
WO (1) | WO2018123279A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109376592B (zh) * | 2018-09-10 | 2021-04-27 | 创新先进技术有限公司 | 活体检测方法、装置和计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005011294A1 (ja) * | 2003-07-28 | 2005-02-03 | Nec Corporation | 視聴調査システム |
JP2007049584A (ja) * | 2005-08-12 | 2007-02-22 | Casio Comput Co Ltd | 宣伝支援システム及びプログラム |
JP2011077607A (ja) * | 2009-09-29 | 2011-04-14 | Jvc Kenwood Holdings Inc | 放送システム、送信装置、送信方法、受信装置、および受信方法 |
JP2014123839A (ja) * | 2012-12-20 | 2014-07-03 | Yomiuri Telecasting Corp | コンテンツ配信システム端末、コンテンツ配信方法、及びプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3467911B2 (ja) * | 1995-05-18 | 2003-11-17 | 富士ゼロックス株式会社 | 画像変換装置 |
JP3780623B2 (ja) | 1997-05-16 | 2006-05-31 | 株式会社日立製作所 | 動画像の記述方法 |
KR100320400B1 (ko) | 1999-06-16 | 2002-01-12 | 김외준 | 도자기 제조방법 |
US6782126B2 (en) * | 2001-02-20 | 2004-08-24 | International Business Machines Corporation | Method for combining feature distance with spatial distance for segmentation |
US7191103B2 (en) * | 2001-08-08 | 2007-03-13 | Hewlett-Packard Development Company, L.P. | Predominant color identification in digital images |
JP4413633B2 (ja) | 2004-01-29 | 2010-02-10 | 株式会社ゼータ・ブリッジ | 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム |
CN202306549U (zh) * | 2011-11-03 | 2012-07-04 | 北京电子科技学院 | 一种基于光流方法的视频检索*** |
WO2013179654A1 (ja) * | 2012-05-31 | 2013-12-05 | パナソニック株式会社 | 画像閲覧システム、受信側携帯端末、画像サーバ、および画像閲覧方法 |
JP2015069492A (ja) * | 2013-09-30 | 2015-04-13 | 株式会社日立ソリューションズ | インセンティブシステム |
US20160360205A1 (en) * | 2015-06-08 | 2016-12-08 | Industrial Technology Research Institute | Video encoding methods and systems using adaptive color transform |
CN106156284B (zh) * | 2016-06-24 | 2019-03-08 | 合肥工业大学 | 基于随机多视角哈希的大规模近重复视频检索方法 |
-
2016
- 2016-12-26 JP JP2016251688A patent/JP6148785B1/ja active Active
-
2017
- 2017-11-07 KR KR1020197016552A patent/KR102142530B1/ko active IP Right Grant
- 2017-11-07 CN CN201780080013.6A patent/CN110100445B/zh active Active
- 2017-11-07 WO PCT/JP2017/040157 patent/WO2018123279A1/ja active Application Filing
-
2019
- 2019-06-25 US US16/451,181 patent/US10904499B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005011294A1 (ja) * | 2003-07-28 | 2005-02-03 | Nec Corporation | 視聴調査システム |
JP2007049584A (ja) * | 2005-08-12 | 2007-02-22 | Casio Comput Co Ltd | 宣伝支援システム及びプログラム |
JP2011077607A (ja) * | 2009-09-29 | 2011-04-14 | Jvc Kenwood Holdings Inc | 放送システム、送信装置、送信方法、受信装置、および受信方法 |
JP2014123839A (ja) * | 2012-12-20 | 2014-07-03 | Yomiuri Telecasting Corp | コンテンツ配信システム端末、コンテンツ配信方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN110100445A (zh) | 2019-08-06 |
KR102142530B1 (ko) | 2020-08-07 |
CN110100445B (zh) | 2021-10-29 |
KR20190084281A (ko) | 2019-07-16 |
US20190313068A1 (en) | 2019-10-10 |
JP2018106408A (ja) | 2018-07-05 |
US10904499B2 (en) | 2021-01-26 |
JP6148785B1 (ja) | 2017-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8767081B2 (en) | Sharing video data associated with the same event | |
CN104618803B (zh) | 信息推送方法、装置、终端及服务器 | |
CN111601115B (zh) | 一种视频检测的方法、相关装置、设备及存储介质 | |
Tian et al. | Daxing smartphone identification dataset | |
US10499097B2 (en) | Methods, systems, and media for detecting abusive stereoscopic videos by generating fingerprints for multiple portions of a video frame | |
KR20140045897A (ko) | 시각적 이미지 매칭을 기반으로 한 미디어 스트림 식별 장치 및 방법 | |
CN111050204A (zh) | 视频裁剪方法、装置、电子设备和存储介质 | |
CN112004046A (zh) | 一种基于视频会议的图像处理方法和装置 | |
CN110659604A (zh) | 视频检测方法、装置、服务器及存储介质 | |
CN115396705A (zh) | 投屏操作验证方法、平台及*** | |
JP6148785B1 (ja) | 情報処理システム、情報処理装置及びプログラム | |
KR102261544B1 (ko) | 스트리밍 서버 및 이를 이용한 다시점 동영상에서의 객체 처리 방법 | |
CN117459662A (zh) | 一种视频播放方法、识别方法、装置、设备及存储介质 | |
CN107733874A (zh) | 信息处理方法、装置、计算机设备和存储介质 | |
CN111935509A (zh) | 一种多媒体数据播放的方法、相关装置、设备及存储介质 | |
CN111274925A (zh) | 推荐视频的生成方法、装置、电子设备及计算机存储介质 | |
JP6779174B2 (ja) | プログラム及び情報処理方法 | |
US10257395B2 (en) | Method, apparatus and computer program product for creating virtual reality content of an event | |
CN112235592B (zh) | 直播方法、直播处理方法、装置、计算机设备 | |
US20140125867A1 (en) | Methods and Apparatuses for Providing Automatic Interactive Area of Visability Video Zooming for Low Light Environments | |
US11222494B2 (en) | Indexing a video surveillance stream to match an access control credential or token with best facial image detected at a security portal method of operation and system | |
CN114186203A (zh) | 一种账号认证方法及设备 | |
JP6623905B2 (ja) | サーバ装置、情報処理方法およびプログラム | |
JP2015198298A (ja) | 映像配信システム | |
CN113505743B (zh) | 关键视频数据提取方法、***、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17888984 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 20197016552 Country of ref document: KR Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17888984 Country of ref document: EP Kind code of ref document: A1 |