WO2007058192A1 - 映像閲覧システム、コンピュータ端末並びにプログラム - Google Patents
映像閲覧システム、コンピュータ端末並びにプログラム Download PDFInfo
- Publication number
- WO2007058192A1 WO2007058192A1 PCT/JP2006/322720 JP2006322720W WO2007058192A1 WO 2007058192 A1 WO2007058192 A1 WO 2007058192A1 JP 2006322720 W JP2006322720 W JP 2006322720W WO 2007058192 A1 WO2007058192 A1 WO 2007058192A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- video
- user
- information
- search
- event
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
- H04N7/17309—Transmission or handling of upstream communications
- H04N7/17318—Direct or substantially direct transmission and handling of requests
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
- G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
- H04N21/4828—End-user interface for program selection for searching program descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
- H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
- H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
Definitions
- Video browsing system computer terminal and program
- the present invention relates to a video browsing system via the Internet, and more particularly to a video browsing system useful for coaching and learning of sports using video. Background art
- Video is very important in order to intuitively understand how to exercise the body in proficiency in sports, improving competitiveness, and coaching. Also, if you are a sports fan, you may want to look back on the name scene of your favorite player whenever you like.
- video search technology has been put into practical use by search engines on the Internet, and users can search for videos.
- Patent Document 1 a video image of a student who receives instruction is used to instruct how to move the body, or a model image of an instructor and a student image are displayed side by side. Therefore, it is suggested that students can understand the form and timing. Further, Patent Document 2 proposes to display the exemplary performance of the instructor with graphics and characters' sound to help correct the weak point.
- Patent Document 1 Japanese Patent Laid-Open No. 7-144038
- Patent Document 2 Japanese Patent Laid-Open No. 2002-11132
- the present invention has an object to construct a system that can be suitably used by a general organization, such as a sports organization, a sports club, a university, etc.
- the purpose is to contribute to improvement.
- the video browsing system of the present invention that achieves this object is that at least a video ID and at least one video ID associated with an arbitrary event included in each streaming video is registered in the video streaming server.
- a search table in which the start time / end time and event contents are registered, and a video scene that matches the conditions is searched by referring to the search table in response to a search request for user terminal power, and at least related to the scene.
- the search processing means includes a function for searching for an event in which a keyword included in the search request is completely matched or partially matched, and a video scene in which time widths of two or more events extracted and extracted overlap or are continuous. It is effective to have a function of searching and a function of further searching for and / or these conditions, and specifying a video scene that matches the conditions in response to the search request.
- the search processing means extracts all event contents of an event having the same video ID as the video scene searched in the search table and overlapping in time width, and stores the event content of the video scene as the event content of the video scene. It is effective to include.
- the video browsing system of the present invention further includes additional information storage means for registering additional information including any one or more of the line drawing 'voice' characters for an arbitrary event, and includes a video ID associated with each additional information and The time information and access path are registered in the search table.
- the search processing means searches for additional information with the same video ID and video time as the searched video scene, and includes the access path in the scene information. It is effective to be able to acquire additional information attached to the scene together with the scene desired by the user.
- access to one or more relay gate means for relaying the video streaming distribution from the video stream Mindasano to the user terminal, the video ID and URL of each streaming video, and the relay gate means in charge of the video A video management table in which a path is registered, and an access path to the relay gate means corresponding to the requested video by referring to the video management table when receiving a video distribution request including a video ID from the user terminal.
- a master server that replies to the user terminal, and the relay gate means transmits the identification information of the user terminal to the master server when receiving the user terminal power access, and the master server receives the video management table.
- the streaming video URL is transmitted to the relay gate means with reference to FIG. It is effective that the relay gate means relays the streaming video.
- the master server receives the video distribution request from the user terminal. It is also effective to check whether or not Z or the user group to which the user belongs is allowed to view this video.
- a user management table for registering a user ID and password for each user, and a user who performs user authentication with reference to the user management table when a query is received from the master server or the like and returns the result. It is effective to provide authentication processing means.
- An access node of a download file which is the original video of the streaming video, is registered in the video management table, and when the master server receives a download request for a user terminal, a predetermined condition is satisfied. It is effective to notify the user terminal of the access path to the download file below.
- the present invention is an event input terminal that is used in the above-described video browsing system and defines registration contents of the search table, and is a video replay for playing back the streaming video.
- a live part an event content definition part that defines the content of an event included in the video, and an event time definition part that defines a start time and an end time of each event in the streaming video, and a user operation or automatic processing
- the present invention relates to an event input terminal that generates event information including a video ID, a start time and an end time, and event contents.
- the present invention is a program that operates on the event input terminal, the step of reproducing the streaming video, and when there is a user input operation, or the streaming video or audio satisfies a predetermined condition
- the event information is recognized and the event information of the preset contents is defined, and at the same time, the event occurrence time in the streaming video is defined and the information is converted into the event information in the XML format together with the video ID.
- a step of creating the program is a program that operates on the event input terminal, the step of reproducing the streaming video, and when there is a user input operation, or the streaming video or audio satisfies a predetermined condition.
- the present invention is a computer terminal for creating the additional information used in the video browsing system described above, and an image display unit that plays back and pauses the streaming video, and at least a character ' It includes an additional information input unit that can input one or more of line drawing 'sound, create a virtual layer on the paused streaming video screen, and input the character as the virtual layer screen definition information
- the present invention relates to an additional information input terminal characterized by creating additional information in XML format by defining line drawing / sound.
- the present invention is a program that operates on the additional information input terminal, the step of reproducing the streaming video, and the step of pausing the streaming video when there is an input operation from the user And a virtual layer is created on the paused video screen by acquiring input information of text, line drawing, audio, or deviation from the user, and the XML format including the input information as the screen definition information of the virtual layer is created.
- the present invention relates to a program that causes a computer to execute a step of creating additional information.
- the present invention is a user terminal used in the system described above, wherein a search condition setting unit for setting a search condition for a video scene desired by the user and scene information from the search processing means are displayed in a list.
- the search condition setting unit is directly input by the user.
- the selected search parameter or a combination thereof is transmitted to the search processing means, and the scene information display unit includes a video ID included in the scene information when any of the scene information displayed as a search result is selected by the user.
- the present invention also relates to a user terminal characterized in that a start time and an end time, and user identification information and a password acquired in advance are transmitted to the master server to make a video distribution request.
- the present invention is a program that operates on the user terminal, and is presented to the user so as to be selectable.
- the step of acquiring a search parameter or a combination thereof by direct input A step for selectively displaying scene information from the search processing means, a video ID included in the scene information selected by the user, a start time and an end time, and user identification information and a password acquired in advance.
- the program further includes a step of acquiring the additional information when the scene information selected by the user includes an access path of the additional information and presenting the additional information to the user in a selectable manner.
- the streaming video is paused when the time indicated by the additional information comes during playback of a video scene, and information such as characters, line drawings, and audio defined in the additional information is displayed on the playback screen. It is effective to let the computer execute the steps to be displayed.
- This program further reads a search condition file created in advance by combining one or more parameters and a predetermined processing procedure, presents the parameters defined in the file to the user, and selectively inputs them to the user.
- a search condition file created in advance by combining one or more parameters and a predetermined processing procedure, presents the parameters defined in the file to the user, and selectively inputs them to the user.
- it is effective to make a computer execute a step of creating a search request using a directly input parameter or acquiring another search condition file.
- the streaming video handled by the system is grasped as an arbitrary event group, and the event content is attached to each event so that it can be searched, so that it is included in the video instead of the entire streaming video.
- Users can search for and view desired scenes. It was attached to each of many events that lacked the information power of the entire video with a small amount of information. Since the information power can also be searched, the user can easily search for a desired video scene.
- many video scenes can be extracted from a single streaming video file and viewed and distributed, reducing the processing burden and saving storage resources compared to handling multiple video files individually. be able to.
- the search processing means performs the search of the video scene as a complete match or partial match search, searches when the time widths of two or more searched events overlap or continue, Further, by searching for “and” or “or”, as will be described in detail later, it is possible to search for a scene desired by the user beyond the above-mentioned event frame.
- the scene presented as the search result is only a part of one event or a group of two or more events. In this way, the user can search and browse the desired scene.
- the scene information presented by the search processing means to the user terminal includes the event contents of all the events having the same video ID as this video scene and overlapping the time span, so that the user can obtain the search result. Of these, it is preferable to use more information to determine which scene to view.
- additional information such as coaching data attached to an arbitrary video exists separately, and the user can acquire and receive this additional information together with the video scene. .
- the user can obtain the coaching information along with the scene browsing and improve the competitiveness.
- the information of each streaming video is centrally managed by the video management table, and the master server is in charge of guiding each video, so that the streaming video can be placed at any place on the network. It can be registered, and the load of the streaming server can be distributed and the scalability of the system can be improved.
- a relay gate is provided in front of the streaming server, and streaming distribution is performed through the relay gate, so that the security of video browsing is maintained at a high level and the user's unnecessary authentication work is reduced.
- the system of the present application manages users / groups that are allowed to view each video in the video management table, and confirms the user or group at the time of video distribution request and browses the video. By determining whether or not to permit z, the streaming video can be viewed only by the desired user z group, and safety and convenience can be improved.
- each user is managed with a user ID and a password
- the user authentication processing means authenticates the user when using the system, thereby permitting the restricted user to use the system and view the video. And convenience can be improved.
- the original video of the streaming video is registered in the download server so that the desired user can download it according to a predetermined procedure, for example, another research institution or the like repeatedly uses the video with good image quality. This is convenient in the event of a failure.
- the event input terminal or the program (event editor) has a function for the operator to define the event time and contents while viewing the video, thereby allowing each video to be displayed in a large number of event groups on the system side. The user can search for and view the desired scene.
- the operator can create additional information (annotation information) such as coaching at an appropriate moment while watching the video. This allows other users to view and enjoy this additional information along with the video.
- the user terminal or the program (view IV) assists in searching for a scene desired by the user, makes a search request to the search processing means described above, and sends back scene information (in the embodiment).
- scenebit is presented to be selectable, and the scene defined by the scene information selected by the user is acquired and played, so that the user can search and browse the scene he / she wants using.
- this program is presented to the user when the scene information (scenebit) from the search processing means includes additional information (annotation information), and the selected additional information is acquired to display the screen during streaming playback. Since it is displayed as a virtual layer on the upper side, the user can enjoy annotation information added to the scene when viewing the image.
- this program reads a search condition file (sceneQuery in the embodiment) prepared in advance, presents and executes the parameters defined here, and the user can search for a desired scene. Can be reduced.
- FIG. 1 is a schematic diagram showing the overall configuration of a video browsing system of the present invention.
- FIG. 2 is a diagram showing a configuration example of a user management table 71 of the user management server 70.
- FIG. 3 is a diagram showing a configuration example of a group management table 72 of the user management server 70.
- FIG. 4 is a diagram showing a configuration example of a video management table 11 of the master server 10.
- FIG. 5 is a diagram showing a screen example of an event editor 81 of the event input terminal 80.
- FIG. 6 is a diagram showing a screen example of an annotation editor 91 of the annotation input terminal 90.
- FIG. 7 is a diagram showing a configuration example of a search table 21 of the search server 20.
- FIG. 8 is a diagram for explaining an image of search processing of the search server 20.
- FIG. 9 is a diagram for explaining an image of search processing of the search server 20.
- FIG. 10 is a diagram for explaining an image of search processing of the search server 20.
- FIG. 11 is a diagram showing an example of a search screen of the view screen 101 of the client terminal 100.
- FIG. 12 is a diagram showing an example of a browsing screen of the view screen 101 of the client terminal 100.
- FIG. 1 is an image diagram showing an overall configuration of a video browsing system according to the present application.
- the master server 10 the search server 20, the video streaming server 30, the event server 40, the annotation server 50, the download server 60, the user management server 70, the event input terminal 80,
- An annotation input terminal 90, a client terminal 100, and a relay gate 110 as a gateway terminal are connected to a wide area network 1 such as the Internet.
- the video browsing system grasps the streaming video registered in the video streaming server 30 as an arbitrary event group, and the user's desired scene is displayed on each user terminal 80, 90, 100.
- additional information related to the video scene such as coaching (referred to as annotation information in the present specification), can be output over the video, and these events or annotation information can be output. It can be easily searched and viewed from the user terminal.
- the various servers 10 to 70 are, for example, workstation servers connected to the Internet 1, operate under program control installed in advance, and provide web services via the Internet 1.
- the master server 10, the search server 20, the event server 40, the annotation server 50, and the like also have a function as a web server that publishes a website on the Internet 1 and acquires input information.
- the various servers shown in the figure are provided for each function group that implements the operation of the present invention.
- one server may function as one or more other servers shown in FIG.
- the event input terminal The terminal 80, the annotation input terminal 90, and the client terminal 100 are computer terminals used by, for example, users who are connected to sports instructors and students, and those who want to register video and event information described later on the system.
- programs such as a video viewer 101, an event editor 81, and an annotation editor 91, which will be described later, are installed as necessary. In practice, each of these programs may be combined into one or two programs as functional modules.
- the user management server 70 is a server that manages user information using the system of the present invention.
- the user management server 70 manages information on each user and returns whether or not the user name and password are correct in response to an inquiry from each Sano who has received user power access.
- the user management server 70 in this embodiment manages at least two tables, a user management table 71 and a group management table 72.
- An example of the user management table 71 is shown in FIG. As shown in the figure, the user management table 71 has a user ID, a user name, a full name, a password, a creator, a group list, and a role registration field for each user.
- the user ID is a unique ID assigned to each user in this system.
- the user name is a user name used on the system.
- the user's mail address is used.
- the user ID of the person who registered the user in the system is registered in the creator field.
- the group list is the ID list of the group to which the user belongs, and the user must belong to one or more groups.
- the role indicates the authority for each user in this system, and in this embodiment, the deviation of the superuser Z manager Z—general user is registered.
- the super user corresponds to the system administrator and has all rights in the management tables 71 and 72. In other words, it is possible to create a new dull, set the manager of the created group, and change the user's belonging d'alp.
- One or more managers are set for each group, and users belonging to the group can be created, deleted, and updated.
- one General users are only allowed to change their username, full name, and password.
- a guest user concept may be introduced. In this case, for example, a special user Z group ID (for example, “1”) is assigned.
- FIG. 3 shows an example of the group management table 72.
- the group management table 72 has columns of group ID; group name; manager list.
- the group ID is a unique ID assigned to each group
- the group name is an arbitrary name representing the group
- the manager list is an ID list of managers set for the group.
- the user management server 70 has a login screen created as a web page and other various registration Z change screen files. After receiving and authenticating the user's access, information within the range of authority granted to each user is obtained. Register and change.
- the user management server 70 upon receiving an arbitrary user terminal force access request, transmits a login screen prepared in advance to the user terminal. This screen has fields for entering a user name (e-mail address) and password, and when the user inputs them and sends them to the user management server 70, the user management server 70 displays the user management table 71. Refer to it and judge whether the registered user name and password match the received user name and password. If this authentication is successful, the server 70 refers to the role column to confirm the user's authority, and presents a registration Z change screen corresponding to the authority on the user terminal.
- a login screen prepared in advance to the user terminal. This screen has fields for entering a user name (e-mail address) and password, and when the user inputs them and sends them to the user management server 70, the user management server 70 displays the user management table 71. Refer to it and judge whether the registered user name and password match the received user name and password. If this authentication is successful, the server 70 refers to the role column to confirm the user's authority, and presents a registration Z
- the authority of each user is determined in advance as described above, and each user inputs information regarding the registration of information in the management tables 71 and 72, Z change, and Z deletion within the scope of this authority and sends it to the server 70.
- 70 updates information in table 71 or 72 as required.
- the concept of a group is adopted, and as a result, for example, members of a specific sport organization and students of a university are grouped together, and a user with manager authority is given to all persons belonging to the group. Can be used.
- the user management server 70 authenticates the user based on the user name and password included in the inquiry, the success or failure, the user ID of the user, and the group to which the user belongs. Etc. are returned to the inquiry server.
- Information such as the user ID and group ID set here is It can be used to allow viewing of each video file individually as well as whether or not to use it.
- the master server 10 is a server computer that forms the core of the video browsing system according to the present invention, and includes a video management table 11, an access log table 13, and an unauthorized access log table 14.
- the master server 10 operates by a program to manage detailed information for each video file registered in the system, and when requested by the user terminal, performs authentication and guides to streaming video. Manages access logs from user terminals.
- FIG. 11 An example of the video management table 11 managed by the master server 10 is shown in FIG.
- the video ID for each video file registered in the system, the video ID; relay gate address; streaming video URL; video type; DL (download) source video address; DL Server address; video title; date (creation date); description (contents); place (creation location); owner; AuthWriteUser; AuthReadUser; AuthWriteGroup; AuthReadGroup; AuthDLUser; AuthDLGroup;
- the contents of these elements are as follows.
- Video A unique ID assigned to each registered video, and all videos in the system of the present application are managed with this video ID.
- Relay gate address the address of the relay gate 35 that relays streaming transmission from the streaming server 30 to which this video is registered to the user terminal. Power to be described in detail later
- the user terminal is provided with a relay gate 35 that provides a unified authentication method for each streaming server and prevents users from inadvertently downloading a streaming file. Prevent direct access to the video file of the streaming server 30 from the Internet.
- Streaming video URL This is the video address of Streammindasino 30 where this video is actually registered.
- DL original video address This is the address for accessing the original video that is the source of the streaming video.
- DL server address the address of the server that manages the download.
- “Type” the format of this video.
- the video is prepared in the format of Windows Media (wm9), Real Player (real), and Quick Time (qts) ().
- wm9 Windows Media
- Real Player Real
- qts Quick Time
- the video handled by the system of the present invention is not limited to these.
- rdatej The date when this video was created is registered.
- rdescriptionj A simple description of the video content.
- AuthReadUser A list of user IDs permitted to view this video is registered.
- AuthReadGroup A list of group IDs permitted to view this video is registered.
- AuthWriteUser A list of user IDs that can register event information or annotation information described later for this video.
- AuthWriteGroup List of group IDs that can register event information or annotation information for this video.
- AuthDLUser a list of user IDs permitted to download this video.
- AuthDLGroup a list of group IDs that are allowed to download this video.
- Accessibility flag Permits general access to this video This flag indicates that Z is not allowed. If this flag is false, this video is treated as deleted.
- the access log 13 when an access is received from each of the terminals 80 to 100, the access source, processing contents, and the like are registered. This is used by system administrators to manage usage and create access rankings for each video.
- the master server 10 records the user terminal information in a log when guiding the user terminal to the streaming video, and then verifies it when making an inquiry from the relay gate 110. This improves the security of streaming video.
- the unauthorized access log 14 is a table in which the access source and its contents are registered when there is an unauthorized access to the master server 10, and prohibits future access of the unauthorized access force recorded as necessary. It can be used for the purpose.
- the main functions of the master server 10 are management of information on each video and guidance to streaming video in response to a request from the client terminal 100 or the like.
- the registration of video information is described below.
- a person who wants to register video in the system first creates a video streaming file that he owns and registers it in an arbitrary video streaming server 30.
- the video streaming server 30 may be arbitrarily determined by the video owner (the person who registers the video), or a streaming server prepared in the system of the present application may be used.
- the video owner decides, for example, it is possible to use a streaming server provided by the Internet provider that it uses, or a server that is built and operated by the video owner itself or an arbitrary company.
- Handling video with streaming data does not require disk space to store video files on the client terminal when browsing the video, and files are not left on the client terminal! /, Making it easy to manage copyrights, etc. This is because it is possible to send commands related to video distribution from the client side using the RTSP protocol.
- the video owner converts the original video data (eg, AVI, mpeg format is assumed) into a streaming format (eg, wm9, real, qts format), registers this in the streaming server 30 and is necessary.
- the original video data is registered in the download server 60 according to the request.
- the download server in this case, the video owner can use any server as well as the streaming server.
- the video owner has access path information to the streaming video and the original video registered by the video owner. Thereafter, the video owner registers the uploaded video information in the master server 10 via the website. If the video owner does not want others to download the original video, the original video need not be registered in the server 60.
- the master server 10 In addition to a login screen as a web page, the master server 10 is provided with an input screen for various information described in FIG. When 0 is accessed, the input screen is displayed after the authentication process. In this authentication process
- the master server 10 When the master server 10 receives the user name (mail address) and password entered on the login screen by the user, the master server 10 immediately transfers the received user name and password to the user management server 70. In response to this, the user management server 70 refers to the user management table 71, determines whether the password matches with the user name as a key, and returns the result to the master server 10. All these communications should be performed using SSL communications with a high level of security. If the user authentication is successful in this way, the master server 10 presents an input screen for various information on the user terminal. On this screen, the video owner enters the URL of the streaming file, type, DL source video address and DL server address (if any), video title, creation date, content, creation location, etc. To do.
- the user terminal can be inquired of the user management server 70 about the group to which the user belongs from the user name. The video owner inputs this information and transmits the input information to the master server 10 by means such as pressing the send button.
- the master server 10 checks the information and then registers necessary information in the video management table 71 shown in FIG. At this time, the master server 10 assigns a unique video ID to each video, and arbitrarily sets a relay gate 110 that services streaming of this video, and sets each video ID in the video management table in the relay gate address column. sign up. In the owner column of the table 71, the user name obtained by the login procedure or the ID obtained from the user management server 70 by the authentication procedure is registered. After the master server 10 registers the video information in this way, the video ID assigned to this video is presented to the video owner's user terminal.
- the master server 10 transmits the contents of title and description in the registration information of the video management table 11 to the search server 20.
- This explanation takes the form of name / value, and these are registered in the search server 20 as event information indicating the entire video.
- the master server 10 When the master server 10 receives a video request specifying a video ID from a user terminal (in FIG. 1, including the client terminal 100 as well as the event input terminal 80 and the annotation input terminal 90), the user included in the request information The user name and password are transferred to the user management server 70 for authentication, and the user ID and group ID of the user are queried. Next, the master server 10 refers to the video management table 11 managed by itself using the video ID specified in the request as a key, extracts the ⁇ ⁇ ⁇ ⁇ AuthReadUser "and” Aut hReadGroup "of the corresponding record, and allows viewing here.
- the master server 10 It is determined whether or not the requesting user is included in the user Z group, and if the user is allowed to view, the master server 10 creates a unique key (character string), The user name, user terminal IP address, and key creation information are stored in the access log 13.
- URL_Key including this key and the relay gate address of the video registered in the video management table 11
- the URL_Key is encrypted and transmitted using an appropriate method, and this is the relay gate that handles the video requested by the user. Dress is returned to the user terminal.
- an inquiry is transmitted from the relay gate 110 to the master server 10.
- This inquiry includes the video ID, user name, and user terminal IP address.
- the master server 10 receives an inquiry, it compares the user name with the IP address with reference to the access log 13 registered earlier, and determines whether the key creation capability is within a predetermined period (for example, within a few seconds). . If the user name and IP address match and are within the predetermined period, the master server 10 refers to the video management table 11 and extracts the URL where this video is actually stored using the video ID as a key, Reply to 110. In addition, record that there was an access to access log 13 once. This causes relay gate 110 to Reaming video can be relayed and streaming video can be viewed on user terminals
- the relay gate 110 by performing streaming distribution via the relay gate 110, it is possible to ensure the security of video browsing permission by performing authentication twice, and the storage location of the streaming video is directly distributed to the user terminal. In this way, illegal downloading of streaming video can be prevented. Further, according to this method, it is possible to carry out the authentication process for the user in a unified manner regardless of the specifications of the streaming server. For example, even if the video owner arbitrarily determines the streaming server, If the master server 10 is successfully authenticated, the user can view the video. Note that the master server 10 is regarded as unauthorized access after the lapse of a predetermined period from the creation of the URL_Key, so that browsing of streaming video is not permitted.
- the event input terminal 80 is a computer terminal for registering in the system the time information of any event and data representing the contents (referred to as “event information” in the present application document) for the streaming video registered in the system. Yes, it has a program for creating event information (referred to as “event editor” in this document) 81.
- the event editor 81 has at least a streaming video playback function, and further includes an event time definition section and an event content definition section as program modules.
- Figure 5 shows an example of the event editor 81 screen. As shown in the figure, the screen of the event editor 81 is provided with a streaming playback unit 81a, an event content definition unit 82, and an event time definition unit 83.
- the streaming playback unit 81a is a program module having functions such as streaming video playback, stop, fast forward, rewind, and frame advance, and is realized by incorporating a known streaming program as a module.
- Event information can be registered by authorized users. Initially, it is assumed that a registrant of a streaming video registers event information by himself / herself. In order to create event information, the streaming video to be created must first be played back by the event editor 81. In the event editor 81, the user name and password of the user (in this case, the video corner) are registered at the initial setting. The video owner makes a request by specifying the video ID assigned when registering the streaming video in the event editor 81. Is executed, a request including a video ID, a user name, a password, a user terminal IP address, and the like is transmitted from the event editor 81 to the master server 10.
- the master server 10 performs the above-described processing, and returns a URL_Key including the relay gate address.
- the event editor 81 can immediately reconnect to the relay gate 110 using the URL included in the URL_Key, and the streaming video can be viewed on the event editor 81 via the relay gate 110.
- the processing so far is the same as that of the view 101 running on the client terminal 100 described later.
- the event content definition unit 82 has a function of defining event content, and is displayed as a button format in this embodiment.
- the event content adopts the form (name, value) t, and “what is what” t is registered in the form.
- This format simplifies the definition and is suitable for database registration and search.
- a window with name and value input fields is displayed, and a new button with the value of va lue entered here is displayed. Created. Specifically, if you enter the value (name: technical name, value: throw on the back), a “throw on the back” button is created. This is the event button 85 illustrated in FIG.
- Event 1 Even if there are multiple event buttons, it is desirable that the event contents to be set have a definition that is common to sports that focus on streaming video, but event information is information that is attached for searching and is more than necessary. There is no need to scrutinize its contents. Specifically, assuming a judo game, when registering an Ogai IJ-like scene as an event, it becomes (name: technical name, value: Ogai mowing), and the scene when the referee makes a decision is registered. In this case (name: referee, value: judgment).
- the event time definition unit 83 is a module that acquires the start time (ts) and end time (te) of each event in the streaming video.
- the event editor 81 of this embodiment when any event button is clicked while the streaming video is flowing, the predetermined period before and after the streaming video is grasped as the event period, and at the start and end To get. Specifically, when the event (technical name, throwing on the back) button is clicked while the video is flowing, the event editor 81 obtains the current time of the streaming video at that time and subtracts 5 seconds from this. The time is the start time (ts), and 5 from that point The time added to the second is the end time (te).
- Each event in which the event content and the start Z end time are set in this way is displayed as an individual event display bar 84 in FIG.
- the event time definition section 83 displays the contents of each event for each row, and a column corresponding to the video playback time is provided next to each event. Bar 84 is created.
- the same event may occur multiple times in one video so that the judgment of the referee may be judged multiple times in one judo game, such as having a skill or being effective, each of which is the same event. It can be grasped as a separate event with different start and end times in the video.
- the user presses the “shoulder throwing” button once, and a 10-second scene is defined as one event for several seconds before the start of this throwing. can do.
- each event is visually displayed in the event time definition unit 83 in correspondence with the time axis, and the left and right ends of the event display bar 84 are displayed on the screen with a mouse.
- the event start time or end time can be changed by dragging left or right.
- an edit screen is displayed, and the start time and end time may be changed on this screen. Or, if you select and invert any event display bar 84, its start Z end time is displayed on the screen, and you can enter it here to make corrections.
- the event editor 81 summarizes each event information into one XML file and saves it in a simple file of the event input terminal 80.
- XML was designed as a successor language to HTML and is an extension. It is suitable because it is rich in elasticity and can flexibly express data structures. Note that the user name of the user is registered in the event editor 81 at the initial setting, and the information of the event creator is included in the created XML file.
- the event server 40 is a web server that inspects event information created by the event input terminal 80 and registers it in the search server 20, and operates by a program.
- This server may be a single server or multiple servers, and the search server 20 may also serve as the event server.
- Event Sano O has a login screen as a web page, an upload screen for event information, etc. When receiving access from the event input terminal 80, it displays the login screen and authenticates the user. Similarly to the above, the user name and password are obtained by SSL communication on the login screen and transferred to the user management server 70 for authentication, and the user's user ID and group ID are inquired. If authentication is successful, the upload screen is displayed and event information upload is accepted.
- the event server 70 When the event information (XML format) is received, the event server 70 saves it in its own storage area, analyzes the event information, inspects the data, and allows this user to register the event information in the streaming video. Whether the master server 10 is inquired. That is, the user ID / group ID of the user obtained during the authentication process and the video ID included in the event information are transmitted to the master server 10 and a reply is awaited.
- the master server 10 refers to the person who can add event information to this video using the video ID as a key, that is, refers to the columns of “AuthWriteUser” and “AuthWriteGroup”, determines whether the user ID is registered here, The result is returned to the event server 70. If the user can register the user event information, the event server 70 sends the event information to the search server 20 to instruct registration in the search database. In addition, the event server 70 saves the received event information in a log so that it can be used later for statistics of the event information.
- the annotation input terminal 90 is a user's computer terminal for adding useful information such as coaching coach data or competition data at any time point of the streaming video, and is equipped with an annotation editor 91. .
- Annotation Editor 91 Hako The program may be an independent program, but may be configured as a module that forms one user program integrally with a program such as the view 101 described later.
- An example screen of annotation editor 91 is shown in FIG.
- annotation data 91 includes a streaming playback section 92 and an annotation input section 93.
- the streaming playback unit 92 is a program module having functions such as playing, stopping, fast-forwarding, rewinding, and frame-by-frame streaming. This is realized by importing as
- the streaming video to be created is played back by the annotation editor 91.
- Streaming video can be ordered in the same way as the event editor 81 described above, and is played back on the streaming playback screen.
- the annotation creation user wants to add a streaming video annotation
- the “Edit” button 96 is pressed, the editor 91 detects this and pauses the streaming video, and a transparent video is displayed on the streaming video stop screen.
- Create a virtual layer An annotation is described or defined as screen information of this virtual layer.
- the annotation input unit 93 includes at least a drawing tool group 93a for drawing a simple diagram, and another tool group 93b for inserting useful information and commands in addition to text and voice.
- the drawing tool group 93a has buttons such as a straight line, an arrow, a curved line, a circle, a square, and a balloon, and the user operates the mouse on the video screen by pressing any button.
- a diagram can be drawn on the virtual layer. This processing is realized by using a function of a known drawing software.
- you press the text input button 94a of the other tool group 93b and click on any place on the screen the text input field will be displayed there, and you can enter the keyboard power of the annotation input terminal 90.
- buttons may allow you to paste drawings and video files that have been brought to the screen on the screen.
- the annotation editor 91 acquires the input commands and parameters, and defines the information using the virtual layer created on the video screen as one XML screen.
- the audio data or a separately attached file is saved as a separate file linked to the XML screen.
- a voice button is provided, for example, “Here Voices such as “I control the other party with a puller” are registered.
- the annotation editor 91 stores the annotation information in XML format in the local folder of the annotation input terminal 90 and, if necessary, an audio file, etc. Save the attached file.
- the XML data created here includes the user name of the annotation creator registered in advance in the editor 91, the video ID of the target streaming video, and the time of annotation insertion in the video.
- the streaming video is paused and annotation information is added, so this time may be an arbitrary moment. Also, a start time and an end time are set with a certain time width.
- the annotation editor 91 obtains the video time when the edit button 96 is pressed, sets the start time (ts) to a few seconds before this time (for example, 2 seconds before), and a few seconds before this time. Set the end time (te) after (for example, after 2 seconds). In this way, by giving time information to the annotation information as well, it is possible to increase the hit rate in the search processing described later and provide more appropriate information.
- multiple annotations can be created in a single video with a time difference.In this case, multiple annotation information including the time (ts, te) of each annotation and its contents are combined into a single XML file. be registered.
- the annotation information created in this way is registered in the annotation server 50 via the website according to the following procedure.
- the annotation server 50 is a web server for registering annotation information created by the annotation input terminal 90, and operates according to a program. This server may be a single server or a plurality of servers, and another server may also serve as the annotation server 50.
- the annotation server 50 includes a login screen as a web page, an upload screen for annotation information, and the like, and when the access from the annotation input terminal 50 is received, the login screen is displayed to authenticate the user. For this authentication, as with the master server 10 and event server 40 described above, the user's email address and password are obtained via SSL communication on the login screen, transferred to the user management server 70, and the user ID and group Query and match the ID.
- the annotation input terminal 90 displays an upload screen and accepts the upload of annotation information.
- the annotation server 90 checks the received file for viruses, etc., and also obtains the user ID and the video ID contained in the XML file as the master server 10. And ask whether this user is a user who can register annotation information for this streaming video.
- the master server 10 refers to the person who can add event / annotation information to this video using the video ID as a key, ie, “AuthWriteUser” and “AuthWriteGroup” fields, and whether the user Z group ID is registered here. Judgment is made and the result is returned to the annotation server 50.
- the annotation server 50 registers the received annotation information in the storage area of its own server in a state where the Internet access is possible when the user is a user who can register annotations in the video.
- the annotation server 50 breaks down the XML file into individual annotation information and registers it in its own server.
- Each annotation is stored in the server 50 as an XML file having a video ID, time (ts, te), and contents.
- the annotation server 50 saves the attached file and links the access path (URL) to the annotation XML file.
- the annotation server 50 extracts search information and transmits it to the search server 20.
- This information includes the fact that it is annotation information; Address for accessing annotation information (URL on annotation server 50); Video ID targeted by annotation information; Start time (ts) of annotation information in video; End time (te); User Name or user ID; and text information if the annotation information includes text information.
- the search server 20 is a server computer that provides a search service on the Internet.
- the search server 20 operates by a program, receives search information from the master server 10, the event server 40, and the annotation server 50, registers the search information in the search table, and performs processing described later. Thus, the user's desired scene or annotation is searched.
- FIG. 7 is a diagram showing a configuration of the search table 21 provided in the search server 20. As shown in the figure, the search table 21 has columns of name; value; video ID; ts (start time); te (end time); user ID.
- the search server 20 receives the event information from the master server 10 and the event server 40, disassembles the event information included therein, and individually registers it in the search table 21.
- the user ID registered here is the ID of the user who created the event information and annotation information. As shown in the example of FIG. 7, in this embodiment, the event information te (at the end) that continues until the end of the video is handled as 99:99:99.
- the master server extracts the contents of title and description from the registration information in the video management table 11 shown in FIG. It is sent to the search server 20 together with the ID.
- the search server 20 receives this, the record whose name is title (or description), value is its contents, start time ts: 00:00:00 and end time te: 99:99:99 is stored in the search table 21. sign up. As a result, the contents of the entire video are registered in the search table.
- the search server 20 when the search server 20 receives the annotation search information from the annotation server 50, “name notation”, value indicating that the annotation information is in the name column Create a record with the URL of annotation information in the field. Also, if the annotation information includes text content, a separate record is created for each text, “annotation_text” indicating that the name is an annotation text, and the text content registered in the value field. In this way, annotations become text information. When information is included, two or more records with the same video ID, ts, and te are created. In this way, a large amount of event and annotation search information is registered in the search table 21 of the search server 20. In the search table 21, each record does not need to be managed by an ID or the like.
- the search server 20 receives a search character string combining a parameter and a command from the user terminal, searches the search table 21 according to the search character string, creates a scenebit described later, and sends it back to the user terminal. This search process is performed by a web service. The search process of the search server 20 will be specifically described below.
- FIG. 8 is an image diagram visually showing registration information of search table 21 shown in FIG. As described above, a plurality of pieces of event information are registered for one streaming video 200. This figure shows the power of only one streaming video. In fact, a lot of such event information is registered for each streaming video registered in the system.
- each event information has a value of (ts, te, name, value, user), and exists in the arrangement as shown in FIG.
- events with the same name and value are placed in the same column and displayed with the same event name (events 1 to 3).
- annotation information is also shown in this figure, and annotations created by the same person are shown in the same column, such as annotation 1 and annotation 2. Several people may create annotations for the same video, which are shown simultaneously.
- the search server 20 basically receives a search statement combining commands such as exact; match; anytext; sequence; include in and, or, or parentheses, and searches the search table 21 accordingly.
- commands such as exact; match; anytext; sequence; include in and, or, or parentheses.
- “sequence” and “include” are commands executed on the result of the search set performed in the previous stage or the search command enclosed in parentheses, and fsequencej is included in the same video.
- Rincludej searches for the event that is included in the time of the given event in the same image.
- the start time of the later event is later than the previous event start time and within the predetermined period (for example, within 5 seconds), and the end time of the later event is earlier than the previous event.
- Search for the later case and output the start time of the previous event and the end time of the later event as (ts, te) of this scene.
- “Include” searches for the start time and end time of one event that are exactly included in the start time of other events—the end time, and outputs the shorter event time as (ts, te) for this scene .
- FIG. Fig. 9 is a conceptual diagram showing search using exact, match, and anytext commands.
- the search server 20 refers to the search table 21 and searches for a record in which (name, value) completely matches or partially matches (changes according to the command).
- three scenes SC1 to SC3 corresponding to event 3 are hit.
- the scenes SC1 to SC3 are generated in a jump in the video 200.
- the search server 20 creates three search result information.
- This search result information is referred to as “scenebit” for convenience in the present application document. scenebit is also created as an XML file.
- the scenebitSCl related to the scene SCI shown in FIG. 9A includes the video ID of the streaming video 200; the start time (tsl) of SC1, and the end time (tel) of SCI as basic information.
- the search server 20 refers to the search table 21 again using this basic information (video ID, ts, te) as a key, and the video ID matches, and its start time or end time is between tsl and ts2. Extract all event contents of certain event information.
- a search for "game name” and "player name” is performed.
- the scene determined to be can be searched.
- the time width of the scene indicated by the scenebit generated by the search server 20 is not constrained by the time width of each event registered in the search table 21.
- the time width of scene SC4 of the search result is shown in element 202 of event 2 as shown in an example of a search for a scene in which event 3 occurred continuously after event 2.
- the start time (ts4) force is also the force until the end time (te4) of the event 203 element 203.
- This scene itself is not originally registered in the search table 21 as one event.
- the system of the present application grasps the video as an arbitrary “i-bend” group, and guides the “scene” desired by the user beyond the “i-bend” frame according to the command parameters specified by the user. Is possible.
- annotation information can be designated as a search parameter.
- Annotation information can be searched for the name of the user who created it or the text information written on the screen.
- search table 21 of the master server 10 shown in FIG. 7 a user ID is registered in the annotation information, and if there is text information, a record for the annotation text is created separately.
- the search server 20 uses (ann otation.text, an arbitrary character string) is specified, a record having a name of annotation_text and a value of the character string is searched in the search table.
- the search server 20 searches the user column of the search table 21 for records that match the specified ID or name. To do.
- the search server 20 has a target table of user names and user IDs, and this is realized by the search server 20 periodically acquiring the data contents of the user management table 71 from the user management server 70. Can do.
- the search server 20 receives a search request from the user terminal (terminals 80, 90, 100), creates a scenebit as an XML file, and returns it to the user terminal. If there is no search condition that matches, a message to that effect is returned to the user terminal.
- the client terminal 100 is a computer terminal widely used by users, and the view program 101 operates.
- the view screen 101 may be an independent program by itself.
- the viewer 101 may be configured as a module that forms one user program integrally with the above-described annotation editor 91 or the like.
- FIGS. 11 and 12 are diagrams showing examples of the view screen 101.
- FIG. 11 shows an example of a search screen
- FIG. 12 shows an example of a browsing screen. These search screen and browsing screen are switched by clicking the tab 102 on the screen.
- the search screen includes a search condition specifying unit 103 and a search result display unit 104.
- the search condition specifying unit 103 includes a search text bar 105, on which a search sentence formed by combining the search commands and parameters described above is displayed.
- the user can make a search request by directly inputting the search text.
- the concept of seen eQuery is introduced to achieve user input assistance! Details of this sceneQuery Details will be described later.
- the search server 20 searches the search table 21 as described above, and returns zero or a plurality of scene bits to the client terminal 100.
- View ⁇ 101 displays a list of received scenebits in search result display section 104. In this case, scenebitl is displayed on one line.
- the search result display unit 104 in the present embodiment includes a display column of video ID; start time; screening time; title; player name: other.
- View ⁇ 101 analyzes the received scenebit and displays the included video ID and start time (ts) in the appropriate fields. Also, the value obtained by subtracting the start time (ts) from the end time (te) included in the scenebit is displayed in the show time column.
- the title, name of the player, and other fields display the event information (name, value) extracted for each event information included in the scenebit. Normally, the title representing the content of the entire streaming video is registered in the search table 21 as event information. View ⁇ 101 extracts this event content (title, 00) and displays the content in the title column. .
- the user of the client terminal 100 views the displayed event content and selects the scenebit desired to be viewed. As described above, since a plurality of event contents are displayed even in one scene, it is convenient for the user to select.
- View ⁇ 101 sends the video ID included in the scenebit and the user name and password registered in advance to View ⁇ ⁇ 101 to the master server 10. Perform a video request.
- This transmission information includes the IP address of the client terminal 100.
- the master server 10 transfers the user name and password to the user management server 70 for authentication, and inquires about the user ID and group ID of this user.
- Mastersano 10 refers to the video management table 11 to check whether the user has the right to view the streaming video that complies with the request. To do. In other words, refer to the video ID record that is relevant to the request, and check whether the user ID or group ID of the requesting user is included in the AutoReadUser and AuthReadGroup registered here. Note that if “Authenticated User” is registered in the AuthReadUser field, any number of users can be viewed. If video viewing is permitted, the master server 10 creates a URL_Key that includes the relay gate address to create a client terminal. Is recorded in the access log 13 together with the current time.
- the view 101 of the client terminal 100 When the view 101 of the client terminal 100 receives the URL_Key, it immediately makes a connection request to the relay gate address (URL) included therein.
- This transmission information includes the IP address of the client terminal 100, the video ID specified by the selected scenebit, the start time ts, and the end time te.
- the relay gate 110 When the relay gate 110 receives the connection request, it transmits the video ID and IP address included in the relay gate 110 to the master server 10 and waits for a reply. Based on the information from the relay gate 110, the master server 10 refers to the access log 13 to check the video ID and IP address, and confirms whether or not the video request from the client terminal 100 is within a predetermined period. If everything is OK, the master server 10 returns the streaming video URL in the video management table 11 to the relay gate 110.
- the relay gate 110 accesses the streaming server and requests streaming delivery from the designated start time ts to end time te in the corresponding streaming video.
- the streaming video of the scene desired by the user can be distributed to the client terminal 100 via the relay gate 110.
- the view screen 101 of the client terminal 100 switches from the search screen shown in FIG. 11 to the browsing screen shown in FIG. If the scenebit selected by the user contains an annotation URL! /, The URL is accessed and the annotation information is downloaded. At this time, even if an attachment other than the XML file exists in the annotation information, the view 101 downloads only the XML file at this time. Since the XML file itself has a small data size, the download can be completed quickly even if multiple pieces of annotation information exist. Then, the view 101 displays the downloaded annotation information so that the user can select it on the browsing screen. As shown in Fig. 12, the viewing screen consists of a streaming video playback unit 106, an annotation list table.
- the display unit 107 and the scenebit list display unit 108 are provided.
- the streaming video playback unit 106 incorporates known streaming video browsing software as a module, and can perform video playback, slow playback, fast forward, rewind, frame advance, and the like. It also has an audio output function and outputs audio using the speaker of the client terminal 100.
- the annotation list display unit 107 is a part that displays a list of information of the downloaded annotation XML file, and a check box 107a is provided at the left end of each line.
- the display unit 107 displays the creator name and text information included in the annotation information.
- the title information is input when the annotation information is created, and the title information is displayed in the annotation list 107.
- the user checks the check box 107a and then presses the streaming video playback button.
- View ⁇ 101 reads the checked annotation information and then plays the streaming.
- the annotation information includes the specification at the time of annotation insertion in the video, and when this time comes, the view 101 pauses the streaming video and displays the content of the annotation as a virtual layer superimposed on the video screen.
- the line drawing or text drawn by the annotation creator is displayed on the paused video screen, and if there is an audio file or another attached file, the icon of the file is displayed on the screen. .
- the view 101 accesses the annotation server 50 again, downloads the file, and outputs it to the user.
- the view 101 deletes the annotation information and plays the streaming video again.
- annotation information is designated, the annotation is inserted at the video time, and thus the user can browse the desired scene and enjoy the desired annotation information.
- the output of annotation information is achieved by incorporating drawing software, audio reproduction function, etc. corresponding to the annotation editor 91 into the view 101.
- the streaming video playback unit 106 has an audio output function, so that the audio of the video and audio can be heard from the client terminal 100. Output from force (not shown).
- sceneQuery is an XML file that is pre-configured with one or more parameters that are search conditions, or a combination of them.
- the user is prompted to select another parameter that will be the search condition. Or, it defines operations such as creating a search statement and downloading another sceneQuery file according to the selected parameters.
- This scene Q ue ry in advance various types of competition created by the associations and the video providers such as, for example, be distributed free of charge on the website or the like of the organization is assumed. Users should be able to download and use sceneQuery as appropriate.
- the sceneQuery downloaded in this way is saved in the user terminal in a predetermined local folder, and is read and usable when View ⁇ 101 is activated.
- the search condition specifying unit 103 includes a query list field 103a and a parameter specifying field 103b.
- the query list field 103a the seen eQuery cast displayed by the view 101 is displayed, and when the user clicks one of them, the selection Z input bar set in the sceneQuery is displayed in the parameter specification field 103b.
- sceneQuery “judo technique search” when sceneQuery “judo technique search” is specified, a pull-down menu of “standing technique, sleeping technique, throwing technique”, for example, is displayed as a “technical type” selection field, and further subdividing technique names are selected.
- a column is displayed.
- the title “Judo skill search”, the parameters of the technique type “standing technique, sleeping technique, throwing technique” and a plurality of options for each technique type are registered in advance.
- the technique name belonging to the technique type is set to be displayed in the selection column. For example, if the user selects the technique type “Throwing technique” and the technique name “Throwing throwing”, the view ⁇ 101 follows the description of this sceneQuery, and “search match (competition name, judo) and match (skill type, throwing technique) and match (Technical name, shoulder throw ⁇ Creates a search statement such as ⁇ and displays it in the query field 105.
- search is the search request
- match is the command name
- parentheses following name, va lue
- search sentence is created by connecting these with and.
- parameters such as (competition name, judo) are registered in advance in the sceneQuery, and the user selects the scene Query “Judo It is confirmed that this parameter is used when “skill search” is selected.
- the parameter selection part may be a text bar directly input by the user.
- the text input by the user is set to be reprinted in the search sentence as it is.
- the URL corresponding to each option is registered in sceneQuery in advance, and sceneQuery and view screens are downloaded so that a new scene Query is downloaded according to the selected parameter. May be configured. Specifically, for example, only sceneQuery that selects and designates the competition name as the widest choice in advance is first incorporated in View ⁇ 101, and then the URL corresponding to the competition name selected by the user is accessed and the competition name is next.
- the sceneQuery can be saved as an XML file in a predetermined local folder by the user, and the view 101 reads it and displays it in the query list field 106.
- the scenebit sent as a search result from the search server 20 can also be saved as an XML file in a specified mouth folder, and view ⁇ 101 is read and displayed in the Favorite Scene Collection column 109 shown in FIG. To do.
- the user can register the scenebit of the favorite scene here and browse it repeatedly. Note that the procedure for viewing the scenebit registered in the favorite scene collection 109 and the processing of the view 101 are the same as the processing for viewing the scenebit displayed in the search result display field 104.
- the user can freely handle any scenebit as a file. For example, it can be attached to an e-mail and sent to another user.
- One or more relay gates 110 are server computers that are arranged on the network and operate as a program. As described above, the relay gate 110 receives access from the user terminals 80, 90, and 100 and collates with the master server 10, and then the streaming video. Is relayed to the user terminal. The relay gate 110 may also serve as the video streaming server 30 or another server. Relay gate 1 Upon receiving a distribution request including the video ID, ts, te, and IP address, the user terminal 80, 90, 100 transfers the video ID and IP address information to the master server 10 and waits for the authentication result. If authentication is successful at the master server 10, an access nose to the actual streaming video is sent to the relay gate 110.
- the relay gate 110 accesses this URL and makes a video distribution request by specifying the start time (ts) and end time (te) in the streaming video.
- the streaming server 30 performs streaming transmission of the video scene to the relay gate 110 according to this condition, and this is delivered to the user terminal via the relay gate 110.
- the relay gate 110 creates a random URL for each access from the user terminal and notifies the user terminal as a video address, thereby preventing the user terminal from directly accessing the actual streaming video.
- one relay gate 110 may be provided in front of each streaming sano 30 and one relay gate is responsible for streaming distribution of a plurality of streaming servers 30. May be.
- the relay gate 110 can also be realized by incorporating a program for executing the above operation in each streaming server 30.
- the video streaming server 30 is a server in which the actual streaming video is registered. As described above, the video owner (the person who registers the video) may arbitrarily determine the video streaming server 30 and use the streaming server prepared in the present system. Also good. When the video streaming server 30 receives a streaming delivery request including the URL of the streaming video from the relay gate and the start time (ts) and end time (te) of the video, the video streaming server 30 ts— Extract the scene specified by te and distribute it.
- the streaming delivery itself is a known technique and will not be described in detail.
- the download server 60 is a server for registering an original video of streaming video (AVI, mpeg, etc. is assumed), and a server arbitrarily selected by the user can be used in the same manner as the video streaming server 30.
- the download server 60 is not an essential component, for example, when the research institution has good image quality and the original video itself needs to be acquired in order to repeatedly use the video, the original video is downloaded to a limited user or group. Provided to make possible.
- the video corner that has registered the original video in the download server 30 registers the URL and the download server address in the master server 10 according to the procedure described above.
- a user who desires to download the original video also executes the download command for the menu item power of the view screen 101 of the user terminal (not shown).
- the view 101 transmits a video ID and the user name and password registered in the view 101 in the initial setting to the master server 10 to make a download request.
- the master server 10 transfers the user name and password to the user management server 70 for authentication, and inquires about the user ID and group ID of this user.
- the master server 10 refers to the video management table 11 and confirms whether or not the user can download this video. In other words, the record is examined based on the video ID, and it is confirmed whether the user Z group ID of this user is registered in the AuthDLUser or AuthDLGroup field!
- the master server 10 When the user ID is registered, the master server 10 creates a unique key (character string) in the same way as the guidance process for streaming video, and creates the video ID, the IP address of the user terminal, and the key creation time. At the same time, it is saved in the access log 13. It also creates a URL_Key for download containing this key, the DL server address of the video registered in the video management table 11, and the video ID, and sends it back to the requesting user terminal. This URL_Key is encrypted and sent by an appropriate method, and the address of the server that handles the download of the original video requested by the user is returned to the user terminal.
- This URL_Key is encrypted and sent by an appropriate method, and the address of the server that handles the download of the original video requested by the user is returned to the user terminal.
- the user terminal view 101 Upon receiving the URL_Key for download, the user terminal view 101 (in some cases the event editor 81 or annotation editor 91) immediately switches the access destination to the DL server address indicated in the URL_Key and sends a video request. Do.
- the download server 60 transmits the IP address and video ID of the user terminal to the master server 10.
- the master server 10 receives an inquiry, it checks the IP address of the user terminal with reference to the access log 13 that was registered earlier, and it is within the predetermined period (for example, set within a few seconds). Determine whether. If the user ID and IP address match and are within the specified period, the master server 10 refers to the video management table 11 and extracts the DL source video address where this source video is actually stored using the video ID as a key.
- the access log is recorded in the access log 13.
- the download server 60 extracts the original video and transmits it to the user terminal.
- the user terminal can also download the original video.
- each server and user terminal constituting the system of the present invention has been described in detail above, but the technical scope of the present invention is not limited to the above-described embodiments, and various modifications and extensions can be made. Can be applied.
- the function of each server and terminal may be configured to be shared by another server or terminal, or the function may be further distributed by preparing another server or the like.
- the above-described embodiment explains the sports video browsing system.
- the browsing system of the present invention can be applied to any genre video other than sports video.
- experimental videos in the scientific field can be managed by the system of the present application, and can be used for extensive reference and browsing of experimental video scenes.
- medical operation images may be managed using the system of the present application so that they can be viewed to improve the technical capabilities of doctors. Even in such a case, it would be very convenient if someone else added an annotation or others could view it.
- a TV broadcast station may register a program broadcast on its own station as a streaming video so that a user can view a scene desired by a restricted user. Thus, even videos with different genres can be applied to the present system.
- the power that is registered by the operation of the event information force event input terminal 80 operator force event input terminal 80 operator.
- the event editor 81 and the event sano O are configured to create event information by automatically analyzing video or audio. For example, in a sporting game, when the cheering of the audience goes up, the sound becomes louder, so the event editor 81 etc. automatically plays back any video and sequentially registers the part where the sound exceeds the threshold as one event. Event information can be created automatically.
- the event editor 81 or the like may be configured to automatically pray for audio flowing during video playback and register a case where a specific word appears as event information related to the word. Specifically, for example, in a judo game, “One!” Audio is automatically detected, event information with (name, value) of (judgment, single) is created, and event information is created for the scene where “one” judgment was made during the test. can do.
- a goal scene event can be automatically generated by detecting a voice such as “Go!” Produced by a live announcer in a video of a soccer game. Since the voice analysis process and the sound volume detection process are known techniques, a detailed description thereof is omitted.
- a force that employs a method of creating a search sentence on the view screen 101 side of the client terminal 100 and transmitting the search sentence to the search server 20 is used.
- the search server 20 or a web server prepared elsewhere May be equipped with a search engine to enable scene searches on the web.
- the method for realizing various functions is not limited to the above-described embodiment, and can be changed as long as it does not exceed the scope of the appended claims.
- the video browsing system of the present invention can be used not only in the sports industry but also in various industries using video.
- Various server operations can be used in the network information processing industry.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】ネットワークを利用してストリーミング映像に含まれるシーン及び当該シーンに付されたアノテーション情報を検索・閲覧可能とする。
【解決手段】ストリーミングサーバに登録されたストリーミング映像について、各ストリーミング映像に含まれる任意のイベントに関し少なくとも映像IDと当該映像における開始時間・終了時間とイベント内容とを登録した検索テーブルを有する検索サーバを備える。この検索サーバはユーザ端末からの要求に応じて条件に合致する映像シーンを検索し、少なくとも当該シーンに係る映像IDと開始時間・終了時間とを含むシーン情報をユーザ端末に送信する。ユーザ端末がいずれかのシーン情報を指定して映像配信要求を行うと、その映像のその時間幅がストリーミング配信される。また、任意のシーンについて別途作成されたコーチング等の付加情報が関連づけられており、シーン閲覧に際しこの付加情報も享受できるようにする。
Description
明 細 書
映像閲覧システム、コンピュータ端末並びにプログラム
技術分野
[0001] 本発明は、インターネットを介した映像閲覧システムに関し、特に、映像を用いたス ポーッのコーチング及び習熟に有用な映像閲覧システムに関する。 背景技術
[0002] スポーツの習熟、競技力向上やコーチングにおいて体の動力し方を直感的に把握 するために、映像は非常に重要である。また、スポーツファンの人間であれば、好き な選手の名シーンを好きなときに見返したいと思うこともある。近年ではインターネット 上の検索エンジンで映像検索技術が実用化され、ユーザが映像を検索できるように なっている。
[0003] また、例えば特許文献 1では、指導を受ける受講者のビデオ映像を用いて体の動 かし方を指導したり、手本となる指導者の映像と受講者の映像を並べて表示して、正 L 、フォームやタイミングを受講者に理解できるようにすることが提案されて 、る。また 、特許文献 2には、指導者の模範的演技を図形や文字'音声で表示してウィークボイ ントの是正に役立たせようとすることが提案されて 、る。
特許文献 1:特開平 7— 144038号公報
特許文献 2:特開 2002— 11132号公報
発明の開示
発明が解決しょうとする課題
[0004] しカゝしながら、世の中には様々なスポーツ映像が存在し、これらがそれぞれ管理者 により任意のファイル名で管理されているため、見たい映像を探し出すには困難が伴 うことが多い。特に、例えば見たい映像が試合中の 1シーンであるような場合にはこれ を特定して検索するのは非常に困難である。一方、スポーツ指導者やその受講者等 のユーザが自ら撮影した、あるいはインターネットを介して取得した映像をすベて自 己のコンピュータに保存するには膨大な記憶容量が必要となりあまり現実的でない。 また、例えばスポーツの指導現場では指導者が映像を受講者に見せながら音声や
図示等を加えながら説明していくことが多いが、このコーチング情報を後に他人が利 用できるようになれば広く競技力の向上につながると考えられる。また、例えば同じス ポーッ映像を用いて複数の指導者が別途コーチングを行うこともあり、同じ映像につ いて異なるまたは好みの指導者のコーチング情報を入手できるとすれば便宜となる。
[0005] 本発明はこのような課題を解決するため、競技団体、スポーツクラブ、大学等さらに は広く一般ユーザまで好適に利用可能なシステムを構築することを目的とし、ひいて は国際競技力の向上に寄与することを目的とする。
課題を解決するための手段
[0006] この目的を達成すベぐ本発明の映像閲覧システムは、映像ストリーミングサーバに 登録された 1以上のストリーミング映像について、各ストリーミング映像に含まれる任 意のイベントに関し少なくとも映像 IDと当該映像における開始時間 ·終了時間とィべ ント内容とが登録された検索テーブルと、ユーザ端末力 の検索要求に応じて前記 検索テーブルを参照して条件に合致する映像シーンを検索し、少なくとも当該シーン に係る映像 IDと開始時間'終了時間とを含むシーン情報を作成してユーザ端末に送 信する検索処理手段とを備え、ユーザ端末が!/、ずれかのシーン情報を指定して映像 配信要求を行うことにより、ユーザが所望するシーンをストリーミング閲覧可能としたこ とを最も主要な特徴とする。
[0007] 前記検索処理手段は、前記検索要求に含まれるキーワードが完全一致又は部分 一致するイベントを検索する機能と、検索抽出された 2以上のイベントの時間幅が重 複又は連続する映像シーンを検索する機能と、これらの条件をさらに and又は or検 索する機能とを備え、前記検索要求に応じて条件に合致する映像シーンを特定する ことが有効である。
[0008] 前記検索処理手段が、検索テーブルにおいて検索した映像シーンと同じ映像 IDで あって時間幅が重複するイベントのイベント内容をすベて抽出し、当該映像シーンの イベント内容として前記シーン情報に含めることが有効である。
[0009] 本発明の映像閲覧システムがさらに、任意のイベントについて線画 '音声'文字の いずれか 1以上を含む付加情報が登録される付加情報格納手段を備えるとともに、 各付加情報に係る映像 IDと時間情報とアクセスパスとが前記検索テーブルに登録さ
れており、前記検索処理手段が前記映像シーンの検索に加え、検索した映像シーン と映像 IDが同じで映像時間が重複する付加情報を検索し、そのアクセスパスを前記 シーン情報に含めることにより、ユーザが所望するシーンとともに当該シーンに付され た付加情報を取得可能としたことが有効である。
[0010] さらに、前記映像ストリーミンダサーノくからユーザ端末への映像ストリーミング配信を 中継する 1以上のリレーゲート手段と、各ストリーミング映像の映像 ID及び URLとこの 映像を担当するリレーゲート手段へのアクセスパスとが登録された映像管理テーブル と、前記ユーザ端末カゝら映像 IDを含む映像配信要求を受けた場合に前記映像管理 テーブルを参照して要求映像に対応するリレーゲート手段へのアクセスパスをユーザ 端末に返信するマスタサーバとを備え、前記リレーゲート手段は前記ユーザ端末力 アクセスを受けると当該ユーザ端末の識別情報を前記マスタサーバに送信し、これを 受けて前記マスタサーバは前記映像管理テーブルを参照して前記ストリーミング映 像の URLを前記リレーゲート手段に送信し、これにより前記リレーゲート手段が前記 ストリーミング映像の中継を実行することが有効である。
[0011] 前記映像管理テーブルには各映像について閲覧が許可されたユーザ及び/又は ユーザグループのリストが登録されているとともに、前記マスタサーバは前記ユーザ 端末から映像配信要求を受けた場合に当該ユーザ及び Z又は当該ユーザが属する ユーザグループがこの映像の閲覧を許可されているかを確認することが有効である。
[0012] さらに、ユーザごとのユーザ ID及びパスワードを登録するユーザ管理テーブルと、 前記マスタサーバ等から問い合わせを受けた場合に前記ユーザ管理テーブルを参 照してユーザ認証を行いその結果を返信するユーザ認証処理手段とを備えることが 有効である。
[0013] 前記映像管理テーブルに前記ストリーミング映像の元映像であるダウンロード用フ アイルのアクセスノ スが登録されており、前記マスタサーバがユーザ端末力もダウン口 ード要求を受けた場合に所定条件の下に前記ダウンロード用ファイルへのアクセスパ スを前記ユーザ端末に通知することが有効である。
[0014] また本発明は、上記の映像閲覧システムに用いられ、前記検索テーブルの登録内 容を定義するイベント入力端末であって、前記ストリーミング映像を再生する映像再
生部と、当該映像に含まれるイベントの内容を定義するイベント内容定義部と、前記 ストリーミング映像における各イベントの開始時間及び終了時間を定義するイベント 時間定義部とを備え、ユーザの操作又は自動処理により映像 IDと、開始時間及び終 了時間と、イベント内容とを含むイベント情報を作成することを特徴とするイベント入 力端末に関する。
[0015] また本発明は、このイベント入力端末で動作するプログラムであって、前記ストリーミ ング映像を再生するステップと、ユーザの入力操作があった場合又は前記ストリーミ ング映像又は音声が所定条件を満たす場合にイベントを認識して予め設定された内 容のイベント情報を定義するステップと、これと同時にストリーミング映像におけるィべ ント発生時を定義してこれらの情報を映像 IDとともに XML形式のイベント情報として 作成するステップと、をコンピュータに実行させることを特徴とするプログラムに関する
[0016] また本発明は、上記の映像閲覧システムに用いられ、前記付加情報を作成するた めのコンピュータ端末であって、前記ストリーミング映像を再生及び一時停止する映 像表示部と、少なくとも文字 '線画'音声のいずれ力 1以上を入力可能な付加情報入 力部とを備え、一時停止されたストリーミング映像画面上に仮想レイヤを作成し、当該 仮想レイヤの画面定義情報として前記入力された文字 ·線画 ·音声を定義して XML 形式の付加情報を作成することを特徴とする付加情報入力端末に関する。
[0017] また本発明は、この付加情報入力端末で動作するプログラムであって、前記ストリ 一ミング映像を再生するステップと、ユーザからの入力操作があった場合にストリーミ ング映像を一時停止するステップと、ユーザから文字 ·線画 ·音声 、ずれかの入力情 報を取得して前記一時停止した映像画面上に仮想レイヤを作成し、当該仮想レイヤ の画面定義情報として前記入力情報を含む XML形式の付加情報を作成するステツ プと、をコンピュータに実行させることを特徴とするプログラムに関する。
[0018] さらに本発明は、上記システムに用いるユーザ端末であって、ユーザの所望する映 像シーンの検索条件を設定する検索条件設定部と、前記検索処理手段からのシー ン情報をリスト表示するシーン情報表示部と、ユーザが選択したシーンのストリーミン グ映像を再生する映像再生部とを備え、前記検索条件設定部はユーザが直接入力
又は選択した検索パラメータ又はその組み合わせを前記検索処理手段に送信し、前 記シーン情報表示部は検索結果として表示したいずれかのシーン情報がユーザに 選択された場合に当該シーン情報が含む映像 IDと、開始時間及び終了時間と、予 め取得しているユーザ識別情報及びパスワードとを前記マスタサーバに送信して映 像配信要求を行うことを特徴とするユーザ端末に関する。
[0019] また本発明は、このユーザ端末で動作するプログラムであって、ユーザに選択可能 に提示ある 、は直接入力により検索パラメータ又はその組み合わせを取得して前記 検索処理手段に送るステップと、前記検索処理手段からのシーン情報を選択可能に 表示するステップと、ユーザに選択されたシーン情報に含まれる映像 IDと、開始時間 及び終了時間と、予め取得して 、るユーザ識別情報及びパスワードとを前記マスタ サーバに送信して映像配信を要求するステップとをコンピュータに実行させることを 特徴とするプログラムに関する。
[0020] このプログラムがさらに、前記ユーザに選択されたシーン情報が付加情報のァクセ スパスを含んでいる場合に当該付加情報を取得してユーザに選択可能に提示する ステップと、ユーザによりいずれかの付加情報が選択された場合、映像シーンの再生 時に前記付加情報が示す時刻が到来したら前記ストリーミング映像を一時停止させ、 前記付加情報に定義された文字 ·線画 ·音声等の情報を再生画面上に表示するステ ップとをコンピュータに実行させることが有効である。
[0021] このプログラムがさらに、予め 1以上のパラメータ及び所定の処理手順を組み合わ せて作成された検索条件ファイルを読み込んで、当該ファイルに定義されたパラメ一 タをユーザに提示しユーザに選択入力あるいは直接入力されたパラメータを用いて 検索要求を作成あるいは別の検索条件ファイルを取得するステップをコンピュータに 実行させることが有効である。
発明の効果
[0022] 本発明のシステムでは、システムで扱うストリーミング映像を任意のイベント群として 把握し、各イベントにイベント内容を付して検索可能とすることにより、ストリーミング映 像全体ではなく当該映像に含まれるユーザ所望のシーンを検索'閲覧できるようにし ている。情報量が乏しい映像全体の情報力もではなぐ多数のイベント毎に付された
情報力も検索可能であるためユーザが所望の映像シーンを検索し易くなる。また、 1 つのストリーミング映像ファイルから多数の映像シーンを抽出して閲覧'配信可能であ るため、多数の映像ファイルを個別に扱う場合に比して処理負担の低減と記憶資源 の節約を達成することができる。
[0023] また、検索処理手段 (検索サーバ)が行う映像シーンの検索を、完全一致又は部分 一致検索、検索された 2以上のイベントの時間幅が重複又は連続する場合を検索、 これらの条件をさらに and又は or検索することにより、後に詳述するように、前述のィ ベントの枠を越えてユーザが所望するシーンを検索することができる。すなわち本発 明でのシーン検索によれば、検索結果として提示されるシーンが 1つのイベントの一 部のみであったり、 2つ以上のイベントをまとめたものであったりする。ユーザはこのよ うにして希望するシーンを検索 ·閲覧することができる。
[0024] また、検索処理手段がユーザ端末に提示するシーン情報には、この映像シーンと 同じ映像 IDであって時間幅が重複するイベントすべてのイベント内容を含めることに より、ユーザが検索結果のうちどのシーンを閲覧するかの判断材料が多くなり好適と なる。
[0025] また、本願システムでは任意の映像に付されたコーチングゃデータなどの付加情 報 (ァノテーシヨン情報)が別途存在し、ユーザが映像シーンとともにこの付加情報を 取得して享受できるようにしている。これによりユーザがシーン閲覧とともにコーチン グ情報を得て、競技力の向上を図ることができる。
[0026] また、本発明のシステムでは各ストリーミング映像の情報を映像管理テーブルで一 元管理し、各映像への案内をマスタサーバが担当するようにしたため、ストリーミング 映像をネットワーク上の任意の場所に登録することができ、ストリーミングサーバの負 荷分散やシステムの拡張性向上を図ることができる。また、ストリーミングサーバの前 段にリレーゲートを設けこれを介してストリーミング配信を行うようにして、映像閲覧の セキュリティを高度に維持しつつ、ユーザの余計な認証の手間を軽減するようにして いる。
[0027] さらに、本願システムでは映像管理テーブルで各映像の閲覧を許可するユーザ/ グループを管理し、映像配信要求の際にユーザ又はグループを確認して映像閲覧
の許可 z不許可を判断することにより、ストリーミング映像を所望のユーザ zグルー プにのみ閲覧させることができ、安全性と利便性を向上することができる。
[0028] また、各ユーザをユーザ IDおよびパスワードで管理し、システム利用の際にユーザ 認証処理手段が認証を行うことにより、制限されたユーザにシステム利用及び映像閲 覧を許可するようにしてセキュリティ性及び利便性を向上することができる。
[0029] さらに、ストリーミング映像の元映像をダウンロードサーバに登録して、希望するュ 一ザが所定の手順でダウンロードできるように構成すると、例えば他の研究機関等が 画質の良 、映像を繰り返し利用した ヽ場合等に便宜となる。
[0030] また本発明に力かるイベント入力端末またはそのプログラム (イベントエディタ)はォ ペレータが映像を見ながらイベント時間及び内容を定義する機能を備え、これにより システム側で各映像を多数のイベント群として把握することができ、ユーザが希望す るシーンを検索'閲覧することが可能となる。
[0031] また本発明に力かる付加情報入力端末 (ァノテーシヨン端末)またはそのプログラム によれば、オペレータが映像を見ながら適宜の瞬間にコーチング等の付加情報 (ァノ テーシヨン情報)を作成することができるため、以降に他のユーザが映像とともにこの 付加情報を閲覧'享受することができる。
[0032] また本発明に力かるユーザ端末またはそのプログラム(ビューヮ)は、ユーザの所望 するシーンの検索を補助して上述した検索処理手段に検索要求を行い、返信される シーン情報(実施例における scenebit)を選択可能に提示し、ユーザが選択したシー ン情報に定義されたシーンを取得して再生するため、ユーザはこれを用いて自らが 希望するシーンを検索して閲覧することができる。
[0033] また、このプログラムは検索処理手段からのシーン情報 (scenebit)が付加情報 (ァノ テーシヨン情報)を含む場合にユーザに提示し、選択された付加情報を取得してスト リーミング再生時に画面上に仮想レイヤとして表示するようにしたため、ユーザは映 像閲覧に際しシーンに付されたァノテーシヨン情報を享受することができる。
[0034] また、このプログラムが予め用意された検索条件ファイル(実施例における sceneQu ery)を読み込んで、ここに定義されたパラメータを提示し実行することにより、ユーザ が所望シーンを検索する際の労力を軽減することができる。
図面の簡単な説明
[0035] [図 1]本発明の映像閲覧システムの全体構成を示す概略図である。
[図 2]ユーザ管理サーバ 70のユーザ管理テーブル 71の構成例を示す図である。
[図 3]ユーザ管理サーバ 70のグループ管理テーブル 72の構成例を示す図である。
[図 4]マスタサーバ 10の映像管理テーブル 11の構成例を示す図である。
[図 5]イベント入力端末 80のイベントエディタ 81の画面例を示す図である。
[図 6]ァノテーシヨン入力端末 90のァノテーシヨンエディタ 91の画面例を示す図であ る。
[図 7]検索サーバ 20の検索テーブル 21の構成例を示す図である。
[図 8]検索サーバ 20の検索処理のイメージを説明するための図である。
[図 9]検索サーバ 20の検索処理のイメージを説明するための図である。
[図 10]検索サーバ 20の検索処理のイメージを説明するための図である。
[図 11]クライアント端末 100のビューヮ 101の検索画面例を示す図である。
[図 12]クライアント端末 100のビューヮ 101の閲覧画面例を示す図である。
符号の説明
[0036] 1 通信ネットワーク
10 マスタサーノ
11 映像管理テーブル
20 検索サーバ
21 検索テーブル
30 映像ストリーミングサーバ
40 イベントサーバ
50 ァノテーシヨンサーバ
60 ダウンロードサーバ
70 ユーザ管理サーバ
71 ユーザ管理テーブル
72 グループ管理テーブル
80 イベント入力端末
81 イベントエディタ
90 ァノテーシヨン入力端末
91 ァノテーシヨンエディタ
100 クライアント端末
101 ビューヮ
110 リレーゲート
発明を実施するための最良の形態
[0037] 本発明を実施するための最良の実施形態について図面を参照しながら以下に詳 細に説明する。
[0038] 図 1は、本願にカゝかる映像閲覧システムの全体構成を示すイメージ図である。図に 示すように、本発明の映像閲覧システムではマスタサーバ 10、検索サーバ 20、映像 ストリーミングサーノ 30、イベントサーバ 40、ァノテーシヨンサーバ 50、ダウンロード サーバ 60、ユーザ管理サーバ 70、イベント入力端末 80、ァノテーシヨン入力端末 90 、クライアント端末 100、ゲートウェイ端末であるリレーゲート 110がインターネット等の 広域ネットワーク 1に接続されて 、る。
[0039] 本発明にカゝかる映像閲覧システムは、映像ストリーミングサーバ 30に登録されたスト リーミング映像を任意のイベント群として把握し、各ユーザ端末 80、 90、 100でユー ザが所望するシーンを閲覧可能とするとともに、当該映像シーンに関連づけられたコ 一チング等の付加情報 (本願明細書中、ァノテーシヨン情報と称す。)を映像に重ね て出力可能とし、さらに、これらのイベントまたはァノテーシヨン情報をユーザ端末から 容易に検索、閲覧できるようにするものである。
[0040] 各種サーバ 10〜70は、インターネット 1に接続された例えばワークステーションサ ーバであり、予めインストールされたプログラム制御により動作し、インターネット 1を介 してウェブサービスを提供する。また、マスタサーバ 10、検索サーバ 20、イベントサー バ 40、ァノテーシヨンサーバ 50等はインターネット 1上にウェブサイトを公開し入力情 報を取得するウェブサーバとしての機能も有している。ここで、図に示す各種サーバ は本発明の動作を実現する機能群ごとに設けているが、他の実施例では 1のサーバ が図 1に示す他の 1以上のサーバの機能を兼ねてもよ!、。これに対しイベント入力端
末 80、ァノテーシヨン入力端末 90、クライアント端末 100は例えばスポーツの指導者 や受講者と ヽつたユーザや、システム上に映像や後述するイベント情報を登録しょう とする者が使用するコンピュータ端末であり、少なくともインターネットサイトを閲覧す るウェブブラウザの他、必要に応じて後述する映像ビューヮ 101、イベントエディタ 81 、ァノテーシヨンエディタ 91等のプログラムが搭載される。実際にはこれらのプロダラ ムはそれぞれ機能モジュールとして 1または 2つのプログラムにまとめられていてもよ い。
各サーバまたは端末の保有する情報や機能、処理手順について以下に個別に説 明する。
(1)ユーザ管理サーバ 70
ユーザ管理サーバ 70は、本発明のシステムを利用するユーザ情報を管理するサー バである。このユーザ管理サーバ 70は、各ユーザの情報を管理するとともに、ユーザ 力 アクセスを受けた各サーノくからの問い合わせに対して、ユーザ名とパスワードが 正しいか否かを返答する。本実施例におけるユーザ管理サーバ 70は少なくとも、ュ 一ザ管理テーブル 71とグループ管理テーブル 72の 2つのテーブルを管理している。 ユーザ管理テーブル 71の一例を図 2に示す。本図に示すように、ユーザ管理テープ ル 71はユーザ毎に、ユーザ ID ;ユーザ名;フルネーム;パスワード;クリエータ;グル 一プリスト;ロールの登録欄を備えて 、る。ユーザ IDは本システムでユーザ毎に付与 される固有の IDである。ユーザ名はシステム上で用いるユーザ名であって、本実施 例ではユーザのメールアドレスが用いられる。クリエータ欄には当該ユーザをシステ ムに登録した者のユーザ IDが登録される。グループリストは当該ユーザが所属する グループの IDリストであり、ユーザは必ず 1以上のグループに属するものとする。ロー ルは本システムにおけるユーザごとの権限を示しており、本実施例ではスーパーュ 一ザ Zマネージャ Z—般ユーザの 、ずれかが登録される。スーパーユーザとはシス テム管理者に該当し、管理テーブル 71, 72の全権を有する。すなわち、新しいダル ープを作成したり、作成したグループのマネージャを設定したり、ユーザの所属ダル ープを変更したりすることができる。マネージャはグループ毎に 1以上設定され、当該 グループに属するユーザを作成したり、削除したり、更新したりすることができる。一
般ユーザは自己のユーザ名、フルネーム、パスワードの変更のみ許される。この他、 ゲストユーザの概念を導入してもよぐこの場合は例えば特別なユーザ Zグループ ID (例えば" 1")が割り当てられる。これらの権限は予めユーザ管理サーバ 70に登録さ れている。
[0042] 図 3にグループ管理テーブル 72の一例を示す。本図に示すように、グループ管理 テーブル 72は、グループ ID ;グループ名;マネージャリストの欄を備えている。グルー プ IDは各グループに付与される固有の IDであり、グループ名は当該グループを表 す任意の名前、マネージャリストは当該グループに設定されたマネージャの IDリスト である。ユーザ管理サーバ 70はウェブページとして作成されたログイン画面その他 各種の登録 Z変更画面ファイルを備えており、ユーザ力 のアクセスを受けて認証し た後、各ユーザに許可された権限の範囲内で情報の登録および変更を行う。
[0043] 具体的に説明すると、任意のユーザ端末力 アクセス要求を受けると、ユーザ管理 サーバ 70は予め用意されたログイン画面をユーザ端末に送信する。この画面にはュ 一ザ名(メールアドレス)とパスワードの入力欄が設けられており、ユーザがこれらを入 力してユーザ管理サーバ 70に送信すると、ユーザ管理サーバ 70はユーザ管理テー ブル 71を参照し、登録されているユーザ名とパスワード力 今回受信したユーザ名と パスワードと合致するかを判断する。この認証が成功したら、サーバ 70はロール欄を 参照してこのユーザの権限を確認し、権限に応じた登録 Z変更画面をユーザ端末に 提示する。各ユーザの権限は上述のように予め定められており、各ユーザはこの権 限の範囲内で管理テーブル 71, 72の情報の登録 Z変更 Z削除について入力しサ ーバ 70に送信すると、サーバ 70は要求に従いテーブル 71または 72の情報を更新 する。本実施例ではグループの概念を採用しており、これにより例えば特定のスポー ッ団体の構成員や大学の生徒を 1つのグループとして、マネージャ権限を付与され たユーザが当該グループに属する人間全員にシステムを利用可能とする等の運用 が可能である。また、ユーザ管理サーバ 70は、他のサーノ から問い合わせを受けた 場合に、問 、合わせに含まれるユーザ名とパスワードから当該ユーザの認証を行!ヽ 、その成否および当該ユーザのユーザ ID、所属グループ等を問い合わせ元サーバ に返信する。ここで設定されているユーザ ID、グループ ID等の情報は、本システム
の利用可否の他、各映像ファイルの閲覧を個別に許可 Z不許可とするのに用 、られ る。
[0044] (2)マスタサーバ 10
マスタサーバ 10は、本発明に係る映像閲覧システムの中核をなすサーバコンビュ ータであり、映像管理テーブル 11と、アクセスログテーブル 13と、不正アクセスログテ 一ブル 14とを備えている。このマスタサーバ 10はプログラムで動作することにより、シ ステムに登録される映像ファイル毎にその詳細情報を管理し、ユーザ端末から要求 があった場合にその認証およびストリーミング映像への案内を行い、さらにユーザ端 末からのアクセスログを管理する。
[0045] マスタサーバ 10が管理する映像管理テーブル 11の一例を図 4に示す。本図に示 すように、映像管理テーブル 11には、システムに登録される映像ファイル毎に、映像 I D;リレーゲートアドレス;ストリーミング映像の URL;映像 type; DL (ダウンロード)元映 像アドレス; DLサーバアドレス;映像 title; date (作成日 ); description (内容); place ( 作成場所); owner; AuthWriteUser; AuthReadUser; AuthWriteGroup; AuthReadGrou p ;AuthDLUser;AuthDLGroup ;アクセス可否フラグ、等の情報が登録される。これら 要素の内容は以下の通りである。
[0046] 「映像 」:登録される映像毎に付与される固有の IDであり、本願システムの映像 はすべてこの映像 IDを以て管理される。
「リレーゲートアドレス」:この映像が登録されたストリーミングサーバ 30からユーザ端 末へストリーミング送信を中継するリレーゲート 35のアドレスである。後に詳細に説明 する力 本実施例では各ストリーミングサーバに統一した認証方法を提供するととも に不用意にユーザにストリーミングファイルをダウンロードされるのを回避すベぐリレ 一ゲート 35を介在させてユーザ端末から直接ストリーミングサーバ 30の映像ファイル へアクセスするのを防止して 、る。
「ストリーミング映像の URL」:この映像が実際に登録されているストリーミンダサ一 ノ 30の映像アドレスである。
「DL元映像アドレス」:ストリーミング映像の元となるオリジナル映像へアクセスする ためのアドレスである。
「DLサーバアドレス」:ダウンロードを管理するサーバのアドレスである。
「type」:この映像の形式である。例えば映像はウィンドウズメディア (wm9)、リアルプ レイヤー (real)、クイックタイム(qts)の形式 ( 、ずれも商標名)で用意される。ただし、 本発明のシステムで扱う映像はこれらに限定されるものではない。
rdatej:この映像が作成された日付が登録される。
rdescriptionj:映像の内容を簡単に記述したものである。
rplacej:この映像を作成した場所が登録される。
「owner」:この映像を登録した者の IDが登録される。
「AuthReadUser」:この映像の閲覧を許可するユーザ IDのリストが登録される。 「AuthReadGroup」:この映像の閲覧を許可するグループ IDのリストが登録される。 「AuthWriteUser」:この映像に対して後述するイベント情報またはァノテーシヨン情 報を登録できるユーザ IDのリストである。
「AuthWriteGroup」:この映像に対してイベント情報またはァノテーシヨン情報を登 録できるグループ IDのリストである。
「AuthDLUser」:この映像のダウンロードを許可するユーザ IDのリストである。
「AuthDLGroup」:この映像のダウンロードを許可するグループ IDのリストである。 「アクセス可否フラグ」:この映像へのアクセス全般の許可 Z不許可を示すフラグで あり、フラグが falseになるとこの映像が消去されたものとして扱われる。
[0047] 上記のうち date, description, place等は必ずしも必須の要素ではない。また、本実 施例では映像のストリーミング閲覧の他、ユーザの必要に応じて映像をダウンロード できるようにするため上記のダウンロード関連情報を管理するが、ダウンロード機能が 不要であれば上記のうち DL元映像アドレス; DLサーバアドレス; AuthDLUser;AuthD LGroup等は不要となる。
[0048] アクセスログ 13には、各端末 80〜 100からのアクセスを受けた場合にそのアクセス 元および処理内容等が登録される。これはシステムの管理者が利用状況を管理した り各映像のアクセスランキングを作成したりするのに用いられる。また、マスタサーバ 1 0は後述するように、ユーザ端末をストリーミング映像に案内する際にユーザ端末の 情報をログに記録しておき、その後にリレーゲート 110からの問い合わせの際に照合
して、ストリーミング映像のセキュリティ性を向上させている。不正アクセスログ 14は、 マスタサーバ 10への不正アクセスがあった場合にアクセス元やその内容が登録され るテーブルであり、必要に応じて記録された不正アクセス元力 の今後のアクセスを 禁止する等の目的で用いることができる。
[0049] マスタサーバ 10の主となる機能は、各映像の情報の管理と、クライアント端末 100 等からの要求に対するストリーミング映像への案内である。以下に、映像情報の登録 について説明する。システムに映像を登録したい者は、まず自己の保有する映像の ストリーミングファイルを作成し、任意の映像ストリーミングサーバ 30に登録する。この 場合、映像ストリーミングサーバ 30は映像のオーナー(映像を登録する者)が任意に 決めてもよぐまた本願システムで用意されたストリーミングサーバを用いてもよい。映 像オーナーが決める場合、例えば自己が利用しているインターネットプロバイダが提 供しているストリーミングサーバを用いたり、映像オーナー自身や任意の会社で構築 '運営しているサーバを用いたりすることができる。映像をストリーミングデータで扱う のは、映像閲覧に際しクライアント端末に映像ファイルを格納するディスクスペースを 必要とせず、クライアント端末にファイルが残らな!/、ので著作権等の管理が容易であ り、また RTSPプロトコル等でクライアント側から映像配信に関する命令を送ることがで きる等の理由である。本実施例において、映像オーナーはオリジナルの映像データ( 例えば AVI, mpeg形式が想定される)をストリーミング形式 (例えば wm9, real, qts形式 )に変換し、これをストリーミングサーバ 30に登録するとともに、必要に応じてオリジナ ル映像データをダウンロードサーバ 60に登録する。この場合のダウンロードサーバも 、ストリーミングサーバと同じく映像オーナーが任意のサーバを用いることができる。こ の時点で映像オーナーは自己が登録したストリーミング映像およびオリジナル映像 へのアクセスパスの情報を有しているものとする。その後、映像オーナーはアップ口 ードした映像の情報を、ウェブサイトを介してマスタサーバ 10に登録する。なお、映像 オーナーがオリジナル映像を他人にダウンロードさせることを希望しない場合は、オリ ジナル映像はサーバ 60に登録する必要はない。
[0050] マスタサーバ 10にはウェブページとしてログイン画面の他、図 4で説明した各種情 報の入力画面が用意されており、映像オーナーが自己の PC端末力 マスタサーバ 1
0にアクセスすると、認証処理を経てから入力画面が表示される。この認証処理では
、ユーザによりログイン画面に入力されたユーザ名(メールアドレス)およびパスワード をマスタサーバ 10が受信すると、マスタサーバ 10は即座に受信したユーザ名とパス ワードをユーザ管理サーバ 70に転送する。これを受けたユーザ管理サーバ 70はュ 一ザ管理テーブル 71を参照し、ユーザ名をキーにノ スワードが合致するかを判定し 、その結果をマスタサーバ 10に返信する。これらの通信はいずれも高度なセキユリテ ィ性を有する SSL通信を用いて行うようにする。このようにしてユーザ認証が成功した ら、マスタサーバ 10は各種情報の入力画面をユーザ端末に提示する。この画面上で 映像オーナーは、ストリーミングファイルの URLと、 typeと、(もしあれば) DL元映像ァ ドレスおよび DLサーバアドレスと、映像 tytleと、作成日と、内容と、作成場所等を入 力する。また、このストリーミング映像の閲覧を許可するユーザ/グループ名と、この 映像に後述するイベント Zァノテーシヨン情報の付加を許可するユーザ Zグループ 名と、この映像のダウンロードを許可するユーザ Zグループ名とを入力する。これらの ユーザ Zグループ名は直接入力する構成であってもよいし、予めマスタサーバ 10が ユーザ管理サーバ 70からユーザ Zグループ名のリストを取得してユーザに提示し、 ユーザがリスト内から選択指定できるような構成であってもよい。また、閲覧可能ユー ザ等を定めるのに際し、ユーザ端末からユーザ管理サーバ 70にユーザ名からその 所属グループ等を問 、合わせできるように構成されて 、てもよ 、。映像オーナーはこ れらの情報を入力して、送信ボタン押下等の手段によりマスタサーバ 10に入力情報 を送信する。
情報入力画面への入力情報がマスタサーバ 10へ送信されると、マスタサーバ 10は 、これらの情報を検査した後、図 4に示す映像管理テーブル 71に必要な情報を登録 する。この際、マスタサーバ 10は映像毎に一意の映像 IDを付与するとともに、この映 像のストリーミングをサービスするリレーゲート 110を任意に設定し、それぞれ映像管 理テーブルの映像 ID ;リレーゲートアドレス欄に登録する。また、テーブル 71の owner 欄にはログイン手続で得たユーザ名または認証手続きでユーザ管理サーバ 70から 得た IDを登録する。このようにしてマスタサーバ 10が映像情報を登録した後、この映 像に付与した映像 IDを映像オーナーのユーザ端末に提示する。
[0052] これと同時に、マスタサーバ 10は映像管理テーブル 11の登録情報のうち titleと des criptionの内容を検索サーバ 20に送信する。検索サーバ 20については後に詳細に 説明する力 この説明は name/valueの形式をとつており、これらが映像全体を示すィ ベント情報として検索サーバ 20に登録される。
[0053] 次に、マスタサーバ 10によるストリーミング映像への案内処理について説明する。
マスタサーバ 10はユーザ端末(図 1にお 、てクライアント端末 100の他、イベント入力 端末 80ゃァノテーシヨン入力端末 90を含む)から映像 IDを特定した映像リクエストを 受けると、このリクエスト情報に含まれるユーザ名とパスワードをユーザ管理サーバ 70 に転送して認証をとるとともに、当該ユーザのユーザ IDおよびグループ IDを問 、合 わせる。次に、マスタサーバ 10はリクエストで指定された映像 IDをキーとして自身で 管理する映像管理テーブル 11を参照し、該当するレコードの〃 AuthReadUser"、 "Aut hReadGroup"を抽出し、ここで閲覧が許可されているユーザ Zグループにリクエスト 元ユーザが含まれる力否かを判定する。ここで当該ユーザに閲覧が許可されている 場合、マスタサーバ 10はユニークなキー(文字列)を作成し、映像 、ユーザ名、ュ 一ザ端末の IPアドレス、キー作成時の情報をアクセスログ 13に保存する。また、この キーと、映像管理テーブル 11に登録されて 、る当該映像のリレーゲートアドレスとを 含む URL_Keyを作成し、リクエスト元のユーザ端末に返信する。この URL_Keyは適切 な方法で暗号化して送信され、これによつてユーザの要求する映像を扱うリレーゲー トアドレスがユーザ端末に返信される。
[0054] 後に詳細に説明する力 URL_Keyに基づきユーザ端末が指定されたリレーゲート 1 10にアクセスすると、リレーゲート 110からマスタサーバ 10に問い合わせが発信され る。この問い合わせには、映像 ID、ユーザ名、ユーザ端末の IPアドレスが含まれてい る。マスタサーバ 10は問い合わせを受けると、先ほど登録したアクセスログ 13を参照 してユーザ名と IPアドレスを照合し、また先ほどのキー作成時力も所定期間内(例え ば数秒以内)であるかを判定する。ユーザ名と IPアドレスが一致し且つ所定期間内で ある場合、マスタサーバ 10は映像管理テーブル 11を参照し、映像 IDをキーにこの映 像が実際に保存されている URLを抽出し、リレーゲート 110に返信する。また、ァク セスログ 13に一度アクセスがあったことを記録する。これによりリレーゲート 110がスト
リーミング映像を中継し、ユーザ端末でストリーミング映像を閲覧することが可能となる
。なお、リレーゲート 110を介してストリーミング配信を行うことにより、 2度の認証を行 つて映像閲覧許可のセキュリティを確実に保つことができ、またストリーミング映像の 保管場所が直接ユーザ端末に分力 な 、ようにしてストリーミング映像の不正ダウン ロードを防止することができる。さらに、この方法によればストリーミングサーバの仕様 に拘わらずユーザに対する認証処理を統一した方法で実施することが可能になるた め、例えば映像オーナーがストリーミングサーバを任意に定めた場合であってもユー ザはマスタサーバ 10に対する認証が成功すれば映像を閲覧することが可能となる。 なお、マスタサーバ 10は URL_Keyを作成してから所定期間経過後は不正アクセスと みなしてストリーミング映像の閲覧を許可しな 、ようにする。
[0055] (3)イベント入力端末 80
イベント入力端末 80は、システムに登録されたストリーミング映像について、任意の イベントの時間情報とその内容を表すデータ (本願書類中、「イベント情報」と称す。 ) をシステムに登録するためのコンピュータ端末であり、イベント情報を作成するための プログラム (本願書類中、「イベントエディタ」と称す。)81を備えている。このイベント エディタ 81は、少なくともストリーミング映像の再生機能を備えており、その他にプロ グラムモジュールとしてのイベント時間定義部と、イベント内容定義部とを備えている 。イベントエディタ 81の画面例を図 5に示す。本図に示すように、イベントエディタ 81 の画面にはストリーミング再生部 81aと、イベント内容定義部 82と、イベント時間定義 部 83とが設けられている。ストリーミング再生部 81aはストリーミング映像の再生、停 止、早送り、巻き戻し、コマ送り等の機能を備えるプログラムモジュールであり、公知 のストリーミングプログラムをモジュールとして取り込むことにより実現される。
[0056] イベント情報は許可されたユーザであれば登録することができる力 最初はストリー ミング映像の登録者が自身でイベント情報を登録することが想定される。イベント情報 を作成するには、まず作成対象となるストリーミング映像をイベントエディタ 81で再生 する必要がある。イベントエディタ 81には初期設定時にユーザ (この場合は映像ォー ナー)のユーザ名およびパスワードが登録されるものとする。映像オーナーはストリー ミング映像の登録時に付与された映像 IDをイベントエディタ 81で指定してリクエスト
を実行すると、イベントエディタ 81から映像 ID、ユーザ名、パスワード、ユーザ端末の IPアドレス等を含むリクエストがマスタサーバ 10に送信される。これによつてマスタサ ーバ 10が上述の処理を行い、リレーゲートアドレスを含む URL_Keyを返信する。ィべ ントエディタ 81は即時に URL_Keyに含まれる URLを用いてリレーゲート 110へ再接 続し、リレーゲート 110を介してストリーミング映像をイベントエディタ 81で閲覧するこ とができる。ここまでの処理は後述するクライアント端末 100で動作するビューヮ 101 と同様である。
[0057] イベントエディタ 81において、イベント内容定義部 82はイベント内容を定義する機 能を有し、本実施例ではボタン形式として表示される。本実施例においてイベント内 容は(name, value) t 、う形式を採用しており、「何々は、何々である」 t 、う形で登録 される。この形式によると定義がシンプルとなり、データベースへの登録や検索に好 適である。一例としては、ユーザカ -ユーリスト(図示せず)からイベントボタンの作 成を指示すると、 nameと valueの入力欄のあるウィンドウが表示され、ここに入力した va lueの値を持つボタンが新規に作成される。具体的には (name :技名, value :背負い 投げ)という値を入力すると、「背負い投げ」ボタンが作成される。これが図 5で「ィベン ト 1」「イベント 2」として図示するイベントボタン 85である。イベントボタンは複数あって もよぐ設定されるイベント内容はストリーミング映像に力かるスポーツで共通性を持 つ定義となることが望ましいが、イベント情報は検索のために付する情報であり、必要 以上にその内容を細力べする必要はない。具体的に柔道の試合を想定すると、大外 メ IJりのシーンをイベント登録する場合には (name :技名, value :大外刈り)となり、審判 が判定を出したときのシーンを登録する場合には (name :審判, value :判定)となる。
[0058] イベント時間定義部 83は、ストリーミング映像における各イベントの開始時間 (ts)と 終了時間(te)を取得するモジュールである。本実施例のイベントエディタ 81では、ス トリーミング映像が流れている状態で任意のイベントボタンがクリックされると、ストリー ミング映像における前後の所定期間をそのイベント期間として把握し、その開始時と 終了時を取得する。具体的には、映像が流れている状態においてイベント (技名,背 負い投げ)ボタンをクリックすると、イベントエディタ 81はその時点でのストリーミング映 像の現在時刻を取得し、ここから 5秒引いた時刻を開始時間 (ts)とし、その時点から 5
秒足した時刻を終了時間 (te)とする。このようにしてイベント内容と開始 Z終了時とが 設定された各イベントは、図 5において個々のイベント表示バー 84として表示される。 図 5に示すように、イベント時間定義部 83において各イベント内容が行ごとに表示さ れ、その横に映像再生時刻に対応する列が設けられており、各イベント作成時にそ れぞれイベント表示バー 84が作成される。本図に示されるように、例えば 1つの柔道 の試合でも技有りや有効など審判の判定が複数回出るように、 1つの映像において 同じイベントが複数回発生することもあり、これらはそれぞれ同じイベント内容で当該 映像における開始時と終了時が異なる別個のイベントとして把握される。この実施例 によれば、例えば映像を見ながら背負い投げが始まったと思ったらユーザが「背負い 投げ」ボタンを 1回押すことにより、この背負い投げが始まる数秒前力も 10秒間のシ ーンを 1イベントとして定義することができる。
[0059] なお、イベントの開始 Z終了時刻の取得方法は上記の他に様々な方法が考えられ 、そのいずれを採用しても構わない。上記具体例ではボタン押下時の 5秒前と 5秒後 をイベント開始時 Z終了時としている力 この秒数はイベントボタン 85の作成時にパ ラメータとしてユーザ側で設定可能とする。また、映像再生時にイベントボタンを 1回 クリックするとその時点をイベント開始時 (ts)と把握し、再度クリックするとイベント終了 時 (te)と把握するように設定してもよい。また、図 5に示す実施例ではイベント時間定 義部 83に各イベントを時間軸に対応させて視覚的に表示するとともに、この画面上 でイベント表示バー 84の左右いずれかの端部をマウスで左右にドラッグすることによ りイベント開始時刻または終了時刻を変更できるように構成している。また、任意のィ ベント表示バー 84を指定してメニューバー等で編集コマンドを指示すると編集画面 が表示され、この画面上で開始時刻や終了時刻を変更できるようにしてもよい。ある いは、任意のイベント表示バー 84を選択反転させると画面上にその開始 Z終了時刻 が表示され、ここにユーザが数値を入力して修正できるようにしてもょ 、。
[0060] このようにして 1つの映像につき複数のイベント情報を作成することができる。ユー ザが一通りイベントを作成し転送ファイル作成コマンドを実行指定すると、イベントェ デイタ 81は各イベント情報を 1つの XMLファイルにまとめ、イベント入力端末 80の口 一カルファイルに保存する。 XMLは HTMLの後継言語として設計されたもので、拡
張性に富み、柔軟にデータ構造に対応した表現が作れるので好適である。なお、ィ ベントエディタ 81には初期設定時に利用者のユーザ名が登録されており、作成され る XMLファイルにはイベント作成者の情報が含められる。
[0061] (4)イベントサーバ 40
イベントサーバ 40は、イベント入力端末 80で作成されたイベント情報を検査し、検 索サーバ 20に登録するウェブサーバであり、プログラムにより動作する。このサーバ は単体であっても複数あってもよぐまた検索サーバ 20がイベントサーノ Oを兼ねて もよい。イベントサーノ Oはウェブページとしてのログイン画面と、イベント情報のアツ ブロード画面等を備えており、イベント入力端末 80からのアクセスを受けるとログイン 画面を提示し、ユーザの認証を行う。この認証も前述と同様に、ログイン画面にてュ 一ザ名とパスワードを SSL通信で取得して、ユーザ管理サーバ 70に転送して認証を とるとともに、当該ユーザのユーザ Π グループ IDを問い合わせる。認証が成功する とアップロード画面を提示して、イベント情報のアップロードを受け付ける。イベント情 報 (XML形式)を受信したら、イベントサーバ 70は自己の記憶領域内に保存してィ ベント情報を解析し、データを検査するとともに、このユーザがストリーミング映像にィ ベント情報を登録できるユーザか否かをマスタサーバ 10に問い合わせる。すなわち、 認証処理の過程で得られた当該ユーザのユーザ ID ·グループ IDと、イベント情報に 含まれている映像 IDをマスタサーバ 10に送信し、返事を待つ。マスタサーバ 10は映 像 IDをキーにこの映像にイベント情報を付カ卩できる者、すなわち" AuthWriteUser"、 " AuthWriteGroup"の欄を参照し、ここにユーザの IDが登録されているかを判断し、そ の結果をイベントサーバ 70に返答する。ユーザ力 ベント情報を登録できる者である 場合、イベントサーバ 70はイベント情報を検索サーバ 20に送信して検索データべ一 スへの登録を指示する。また、イベントサーバ 70は受信したイベント情報をログ保存 し、後にイベント情報の統計等に利用できるようにする。
[0062] (5)ァノテーシヨン入力端末 90
ァノテーシヨン入力端末 90は、ストリーミング映像の任意の時点において指導者の コ一チングゃ競技データ等の有用な情報を付加するためのユーザのコンピュータ端 末であり、ァノテーシヨンエディタ 91が搭載されている。ァノテーシヨンエディタ 91はこ
れ自身で独立したプログラムであってもよいが、後述するビューヮ 101等のプログラム と一体的に 1つのユーザプログラムをなすモジュールとして構成されていてもよい。ァ ノテーシヨンエディタ 91の画面例を図 6に示す。本図に示すように、ァノテーシヨンェ デイタ 91はストリーミング再生部 92と、ァノテーシヨン入力部 93とを備えている。ストリ 一ミング再生部 92はイベントエディタ 81におけるストリーミング再生部 81aと同様に、 ストリーミング映像を再生、停止、早送り、巻き戻し、コマ送り等の機能を備えるプログ ラムモジュールであり、公知のストリーミングプログラムをモジュールとして取り込むこと により実現される。
[0063] ァノテーシヨン情報を作成するには、まず作成対象となるストリーミング映像をァノテ ーシヨンエディタ 91で再生する。ストリーミング映像は上述のイベントエディタ 81と同 様の方法で取り寄せることができ、ストリーミング再生画面にて再生される。そして、ァ ノテーシヨン作成ユーザがストリーミング映像のァノテーシヨンを付けたい時点で「Edit 」ボタン 96を押下すると、エディタ 91がこれを検知してストリーミング映像を一時停止 させるとともに、ストリーミング映像の停止画面上に透明な仮想レイヤを作成する。ァノ テーシヨンはこの仮想レイヤの画面情報として記述あるいは定義されることになる。
[0064] ァノテーシヨン入力部 93は、少なくとも簡単な線図を描ける作画ツール群 93aと、テ キストゃ音声の他に有用な情報やコマンドを挿入できるその他ツール群 93bとを備え ている。図 6に示すように、作画ツール群 93aは直線、矢印、曲線、円、四角、ふき出 し等のボタンを備えており、ユーザが任意のボタンを押下して映像画面上でマウス操 作することにより仮想レイヤ上に線図を作画することができる。この処理は公知の作 画ソフトの機能を用いることにより実現される。また、その他ツール群 93bのテキスト入 力ボタン 94aを押下して力も画面上の任意の箇所をクリックするとそこにテキスト入力 欄が表示され、ァノテーシヨン入力端末 90のキーボード等力 文字を入力することが できる。作画ペンの色や太さ、テキスト文字のフォントや色等も設定可能である。また 、音声入力ボタン 94bを押下して画面上の任意の箇所をクリックするとそこにスピーカ のマークが表示され、さらにこれをクリックすると録音ボタンや停止ボタンを備える録 音画面が表示され、これを操作することによりァノテーシヨン入力端末 90に接続され たマイク(図示せず)により音声を録音することができる。また、 URL入力ボタン 94cを
押下して画面上をクリックするとそこに URLを挿入することができる。また、他のボタン では画面上に他力 持ってきた図面や動画ファイルを貼り付けられるようにしてもよい
[0065] ァノテーシヨンエディタ 91は入力されたコマンドおよびパラメータを取得し、映像画 面上に作成した仮想レイヤを 1つの XML画面としてこれらの情報を定義していく。こ の場合、音声データや別途貼付されたファイルは当該 XML画面にリンクされた別フ アイルとして保存する。例えば図 6に示す画面例では、柔道の試合映像において一 方の選手を円で囲むとともに矢印を付けてテキスト「手の動きに注目」と表示し、さら に音声ボタンを設けて例えば「ここで引き手をとつて相手をコントロールしている」等の 音声が登録される。ァノテーシヨン入力ユーザが一通りァノテーシヨンの入力を終了し て OKボタン 95をクリックすると、ァノテーシヨンエディタ 91はァノテーシヨン入力端末 90のローカルフォルダに XML形式のァノテーシヨン情報と、必要に応じて音声フアイ ル等の添付ファイルを保存する。ここで作成される XMLデータには、予めエディタ 91 に登録されているァノテーシヨン作成者のユーザ名と、対象となるストリーミング映像 の映像 IDと、当該映像におけるァノテーシヨン挿入時が含められる。本実施例の場 合はストリーミング映像を一時停止させてァノテーシヨン情報を付すためこの時刻は 任意の瞬間であってもよいが、実際の映像では 1つの動きでも時間幅があるため、ァ ノテーシヨンの時刻もある程度の時間幅を設けてその開始時と終了時が設定される。 より具体的には、ァノテーシヨンエディタ 91は editボタン 96が押下された映像時刻を 取得し、この時刻の数秒前 (例えば 2秒前)を開始時間 (ts)とするとともに、この時刻 の数秒後(例えば 2秒後)を終了時間 (te)に設定する。このようにァノテーシヨン情報 にも時間幅を持たせることにより、後述する検索処理でのヒット率を高めてより適切な 情報提供を行うことができる。なお、 1つの映像においてァノテーシヨンは時間差を設 けて複数作成されてもよぐこの場合は各ァノテーシヨンの時間 (ts, te)とその内容と を含む複数のァノテーシヨン情報が 1つの XMLファイルにまとめて登録される。このよ うにして作成されたァノテーシヨン情報は、以下の手続によりウェブサイトを介してァノ テーシヨンサーバ 50に登録される。
[0066] (6)ァノテーシヨンサーバ 50
ァノテーシヨンサーバ 50は、ァノテーシヨン入力端末 90で作成されたァノテーシヨン 情報を登録するウェブサーバであり、プログラムにより動作する。このサーバは単体で あっても複数あってもよぐまた他のサーバがァノテーシヨンサーバ 50を兼ねてもよい 。ァノテーシヨンサーバ 50はウェブページとしてのログイン画面と、ァノテーシヨン情 報のアップロード画面等を備えており、ァノテーシヨン入力端末 50からのアクセスを 受けるとログイン画面を提示し、ユーザの認証を行う。この認証も前述のマスタサーバ 10やイベントサーバ 40と同様に、ログイン画面にてユーザのメールアドレスとパスヮ ードを SSL通信で取得して、ユーザ管理サーバ 70に転送するとともにユーザ IDと所 属グループ IDを問 、合わせる。この返信により認証が成功するとァノテーシヨン入力 端末 90にアップロード画面を提示して、ァノテーシヨン情報のアップロードを受け付 ける。ァノテーシヨン情報 (XMLファイル及び必要に応じて音声ファイル等)を受信し たら、ァノテーシヨンサーバ 90は受信ファイルのウィルスチェック等を検査するとともに 、ユーザ IDと XMLファイルに含まれる映像 IDをマスタサーバ 10に送り、このユーザ がこのストリーミング映像にァノテーシヨン情報を登録できるユーザか否かを問い合わ せる。マスタサーバ 10は映像 IDをキーにこの映像にイベント/ァノテーシヨン情報を 付カロできる者、すなわち" AuthWriteUser"、 "AuthWriteGroup"の欄を参照し、ここに ユーザ Zグループ IDが登録されて 、るかを判断し、その結果をァノテーシヨンサーバ 50に返答する。
ァノテーシヨンサーバ 50は、ユーザが映像にァノテーシヨンを登録可能なユーザで ある場合、受信したァノテーシヨン情報をインターネットアクセス可能な状態で自サー バの記憶領域に登録する。このとき、ァノテーシヨン XMLファイルが複数のァノテ一 シヨンを含んでいる場合、ァノテーシヨンサーバ 50は XMLファイルを個々のァノテ一 シヨン情報に分解して自サーバ内に登録する。各ァノテーシヨンは映像 ID,時間 (ts, te) ,内容を備える XMLファイルとしてサーバ 50に蓄積される。また、ァノテーシヨン 情報が音声ファイル等の添付ファイルを含む場合、ァノテーシヨンサーバ 50は添付フ アイルも保存するとともにァノテーシヨン XMLファイルにそのアクセスパス(URL)をリ ンクさせて保存する。これと同時に、ァノテーシヨンサーバ 50は検索用の情報を抽出 して検索サーバ 20に送信する。この情報には、ァノテーシヨン情報である旨と;このァ
ノテーシヨン情報へのアクセス用アドレス(ァノテーシヨンサーバ 50上の URL)と;この ァノテーシヨン情報が対象とする映像 IDと;映像におけるァノテーシヨン情報の開始 時間 (ts)と;終了時間 (te)と;ユーザ名またはユーザ IDと;ァノテーシヨン情報にテキ スト文書が含まれる場合は当該テキスト情報と;が含まれる。
[0068] (6)検索サーバ 20
検索サーバ 20は、インターネット上で検索サービスを提供するサーバコンピュータ であり、プログラムにより動作し、マスタサーバ 10、イベントサーバ 40、ァノテーシヨン サーバ 50から検索情報を受け付けて検索テーブルに登録するとともに、後述する処 理によりユーザの所望のシーンまたはァノテーシヨンを検索するものである。図 7は、 検索サーバ 20が備える検索テーブル 21の構成を示す図である。本図に示すように、 検索テーブル 21は、 name; value ;映像 ID ; ts (開始時間); te (終了時間);ユーザ ID の欄を備えている。検索サーバ 20は、マスタサーバ 10やイベントサーノ 40からィべ ント情報を受け取り、そこに含まれるイベント情報を分解して検索テーブル 21に個別 に登録する。ここでユーザ IDはイベント情報ゃァノテーシヨン情報を作成したユーザ の IDが登録される。図 7の例で示すように、本実施例では、映像終了まで続くィベン ト情報の te (終了時)は 99:99:99として扱っている。
[0069] なお、最初に映像オーナーがマスタサーバ 10に映像情報を登録した際、マスタサ 一バは図 4に示す映像管理テーブル 11の登録情報のうち、 titleと descriptionの内容 を抽出して、映像 IDとともに検索サーバ 20に送信する。検索サーバ 20はこれを受け 取ると、 nameが title (または description)で、 valueがその内容、開始時間 ts: 00:00:00 、終了時間 te: 99:99:99のレコードを検索テーブル 21に登録する。これにより映像全 体についての内容が検索テーブルに登録される。
[0070] 一方、図 7のテーブル下側に示すように、検索サーバ 20は、ァノテーシヨンサーバ 5 0からァノテーシヨン検索情報を受け取った場合、 name欄にはァノテーシヨン情報で ある旨「annotation」、 value欄にはァノテーシヨン情報の URLを入れてレコードを 1つ 作成する。また、当該ァノテーシヨン情報がテキスト内容を含む場合、テキストごとにレ コードを別途作成し、 nameにはァノテーションテキストでぁる旨「annotation_text」、val ue欄には当該テキストの内容を登録する。このようにして、ァノテーシヨンがテキスト情
報を含む場合は映像 ID、 ts、 teが同一のレコードが 2つ以上作成される。このようにし て、検索サーバ 20の検索テーブル 21にはイベントとァノテーシヨンの検索情報が多 数登録されることになる。検索テーブル 21において各レコードは ID等で管理される 必要はなぐまた順番に並んで 、る必要もな 、。
[0071] 検索サーバ 20は、ユーザ端末からパラメータとコマンドを組み合わせた検索文字 列を受信し、これに従って検索テーブル 21への検索を行い、後述する scenebitを作 成してユーザ端末に返信する。この検索処理はウェブサービスで行われる。以下、具 体的に検索サーバ 20の検索処理について説明する。
[0072] 図 8は、図 7に示す検索テーブル 21の登録情報を視覚的に示したイメージ図であ る。上述のように、 1つのストリーミング映像 200を対象として複数のイベント情報が登 録されている。本図にはストリーミング映像 1つ分のみを示す力 実際にはシステムに 登録される各ストリーミング映像についてこのようなイベント情報が多数登録される。 検索テーブル 21において各イベント情報は(ts, te, name, value, user)の値を持って おり、ストリーミング映像 200の時間軸に対して図 8のような配置で存在している。図 8 では、 nameと valueが同じイベントをそれぞれ同じ列に配置し同じイベント名(イベント 1〜3)で表示している。また、本図にはァノテーシヨン情報も同様に示されており、同 じ人物が作成したァノテーシヨンを同じ列にしてァノテーシヨン 1,ァノテーシヨン 2のよ うに示している。同じ映像に対して複数の人間がァノテーシヨンを作成する場合もあり 、これらが同時に示されている。
[0073] 検索サーバ 20は、基本的に exact ; match ; anytext; sequence ; includeといったコ マンドを and、 or、または括弧で組み合わせた検索文をユーザ端末力 受け取り、これ に従って検索テーブル 21の検索を行う。ここで、「exact」はイベントの nameおよび valu eの値が完全一致するもの、「match」は nameがー致し valueが部分一致するもの、「an ytextjは nameに拘わらず valueが部分一致するものを検索するコマンドである。これら のコマンドにより検索テーブル 21に登録されて 、るイベントそのものを検索することが できる。
[0074] 「sequence」および「include」は前段で行われた検索集合または括弧で括られた検 索コマンドの結果に対して実行されるコマンドであり、 fsequencejは同じ映像におい
てあるイベントに連続して次のイベントが発生した場合を検索し、 rincludejは同じ映 像にぉ 、てあるイベントの時間内に含まれるイベントを検索する。 rsequencejコマンド では後のイベントの開始時間が先のイベント開始時間より後であってその終了時間 の所定期間内(例えば 5秒以内)であり、且つ後のイベントの終了時間が先のイベント より後である場合を検索し、先のイベントの開始時間と後のイベントの終了時間をこの シーンの(ts, te)として出力する。「include」はあるイベントの開始時間と終了時間が 他のイベントの開始時間—終了時間にそっくり含まれる場合を検索し、短い方のィべ ント時間をこのシーンの(ts, te)として出力する。
[0075] 上述の処理を図 8のイメージに当てはめて説明する。図 9は exact、 match, anytext コマンドによる検索を示すイメージ図である。例えばイベント 3の(name, value)に該当 する情報を指定してこれら 、ずれかのコマンドを実行したとする。検索サーバ 20は検 索テーブル 21を参照し、 (name, value)が完全一致または部分一致 (コマンドにより 変化する)するレコードを検索する。その結果、図 9 (a)に示すストリーミング映像 200 においてイベント 3に対応した 3つのシーン SC1〜SC3がヒットする。各シーン SC1 〜SC3は当該映像 200において飛び飛びに発生している。検索条件がこれ以外に ない場合、検索サーバ 20は 3つの検索結果情報を作成する。この検索結果情報を、 本願書類にぉ 、て便宜上「scenebit」と称す。 scenebitも XMLファイルとして作成され る。
[0076] 図 9 (b)を用いて scenebitの内容を説明する。まず図 9 (a)に示すシーン SCIに関す る scenebitSClには、ストリーミング映像 200の映像 ID ; SC1の開始時間(tsl); SCI の終了時間 (tel)が基本情報として含められる。次に、検索サーバ 20はこの基本情 報(映像 ID, ts, te)をキーとして再び検索テーブル 21を参照し、映像 IDがー致し、 且つその開始時間または終了時間が tslから ts2の間にあるイベント情報のイベント内 容をすべて抽出する。これと同様に、映像 IDがー致し、且つその時間幅が tslから ts2 の間に重複するァノテーシヨン情報の URLをすベて抽出し、これらの情報を scenebit SB1に含める。これを図 9で説明すると、図 9 (a)において SC1の時間帯に重複する イベント 1の要素 201、イベント 2の要素 202、イベント 3の要素 203、ァノテーシヨン 1 の要素 204、ァノテーシヨン 2の要素 205のイベント内容(name, value)およびァノテ
ーシヨン URLが抽出され、図 9 (b)に示すように scenebitSBlに含められる。このよう に他のイベント情報のイベント内容を scenebitに含めるのは、これらのイベント内容は 少な力もずその映像のそのシーンの内容を示すものであるため、ユーザにとってこの scenebitがどのようなシーンを示すかを把握する有用な見出しとなるからである。また 、ァノテーシヨンの URLを含めるのは、この映像のこのシーンにはァノテーシヨンが付 されていることをユーザに示すとともに、ユーザ端末力もァノテーシヨン情報を取得可 能とするためである。同様に、この映像の時間 ts2—te2に関するシーン SC2の sceneb itSB2【こ ίま、図 9 (b)【こ示すよう【こイベント 1の要素 206、イベント 2の要素 207、ィべ ント 3の要素 208、ァノテーシヨン 1の要素 209のイベント内容およびァノテーシヨン U RLが含められる。また、時間 ts3—te3に関するシーン SC3の scenebitSB3には、要 素 210〜214のイベント内容およびァノテーシヨン URLが含められる。
[0077] 上述のようなコマンドを組み合わせて検索することにより、例えば試合名と選手名と で and検索したり、さらに柔道の場合に技名「背負い投げ」があった直後に審判が「一 本」と判定したシーンを検索したりすることができる。ここで特筆すべきは、検索サー ノ 20が生成する scenebitに示されるシーンの時間幅は、検索テーブル 21に登録され たイベントごとの時間幅に拘束されない点である。すなわち、図 10に「sequence」コマ ンドを用いてイベント 2の後に連続してイベント 3が発生したシーンの検索例を示すよ うに、この検索結果のシーン SC4の時間幅はイベント 2の要素 202の開始時間(ts4) 力もイベント 3の要素 203の終了時間(te4)までとなる力 もともとこのシーン自体は 1 つのイベントとして検索テーブル 21に登録されているものではない。このように、本願 システムでは映像を任意の"ィベンド'群として把握する一方、ユーザの指定するコマ ンドゃパラメータに応じて、各"ィベンド,の枠を越えてユーザが所望する"シーン"を 案内することが可能である。
[0078] また、検索パラメータにァノテーシヨン情報を指定することが可能である。ァノテーシ ヨン情報は、これを作成したユーザ名または画面上に書かれたテキスト情報力も検索 可能である。図 7に示すマスタサーバ 10の検索テーブル 21において、ァノテーシヨン 情報にはユーザ IDが登録され、またテキスト情報がある場合には別途ァノテーシヨン テキスト用のレコードが作成されている。検索サーバ 20は、検索パラメータとして(ann
otation.text,任意の文字列)が指定された場合、検索テーブルにおいて nameが anno tation_textで、 valueが前記文字列のレコードを検索する。また、検索サーバ 20は検 索パラメータとして (user,任意の ID又は名前)が指定された場合、検索テーブル 21 の user欄を検索対象とし、指定された ID又は名前が条件に合致するレコードを検索 する。この場合、検索サーバ 20はユーザ名とユーザ IDの対象テーブルを有するもの とし、これは定期的に検索サーバ 20がユーザ管理サーバ 70からユーザ管理テープ ル 71のデータ内容を取得することにより実現することができる。以上のようにしてァノ テーシヨンを付した人物を指定して映像シーンの検索を行うことができる。また、他の ノ ラメータと and検索する場合に検索パラメータとして (annotation, any)が指定された 場合、検索サーバ 20が検索テーブル 21の(name, value)欄に(annotation,任意の U RL)が登録されているものを抽出するようにして、ァノテーシヨンが付されているシー ンのみを検索するように構成してもよ 、。このようにして検索サーバ 20はユーザ端末( 端末 80, 90, 100)から検索要求を受け、 scenebitを XMLファイルとして作成してュ 一ザ端末に返信する。なお、検索条件に合致するものがなければその旨をユーザ端 末に返信する。
[0079] (7)クライアント端末 100
クライアント端末 100は広くユーザが利用するコンピュータ端末であり、ビューヮプロ グラム 101が動作する。ビューヮ 101はこれ自身で独立したプログラムであってもよい 力 上述のァノテーシヨンエディタ 91等と一体的に 1つのユーザプログラムをなすモ ジュールとして構成されていてもよい。図 11と図 12は、ビューヮ 101の画面例を示す 図であり、図 11が検索画面の実施例、図 12が閲覧画面の実施例である。これらの検 索画面と閲覧画面は画面上のタブ 102をクリックすることにより切り替わる。
[0080] 図 11に示すように、検索画面は、検索条件指定部 103と、検索結果表示部 104と を備えている。検索条件指定部 103は検索テキストバー 105を備えており、ここに上 述した検索コマンドやパラメータを組み合わせてなる検索文が表示される。ここにュ 一ザは自身で検索文を直接入力して検索要求することが可能である。し力しながらュ 一ザが検索文を自ら作成するには知識と熟練が必要となるため、本実施例では seen eQueryなる概念を導入してユーザの入力補助を達成して!/、る。この sceneQueryの詳
細は後述する。ユーザが自ら検索文を検索テキストバー 105に入力する力 sceneQu eryの補助を受けて検索文を作成して検索ボタンを押下すると、検索文が検索サーバ 20に送信される。検索サーバ 20は上述のように検索テーブル 21への検索を行い、 ゼロ乃至複数の scenebitをクライアント端末 100に返信する。ビューヮ 101は受信した scenebitを検索結果表示部 104にリスト表示する。この場合、 scenebitlつが 1行に表 示される。
[0081] 本実施例における検索結果表示部 104は、映像 ID ;開始時間;上映時間;タイトル ;選手名:その他の表示欄を備えている。ビューヮ 101は受信した scenebitを解析し、 含まれる映像 IDと開始時間 (ts)を該当欄に表示する。また、 scenebitに含まれる終了 時間 (te)から開始時間 (ts)を減算して得た値を上映時間欄に表示する。タイトル;選 手名;その他の欄は、 scenebitに含まれる各イベント情報力 抽出されたイベント内容 (name, value)の値が表示される。通常はストリーミング映像全体について内容を表 すタイトルがイベント情報として検索テーブル 21に登録されており、ビューヮ 101はこ のイベント内容 (title,〇〇〇)を抽出してその内容をタイトル欄に表示する。同様に して、選手名のイベント内容があれば選手名欄に表示し、その他に存在するイベント 内容をその他欄に表示する。このようにして、ビューヮ 101の検索結果表示欄 104に はゼロ乃至複数の scenebitが表示され、各 scenebitは複数のイベント内容を表示する
[0082] クライアント端末 100のユーザは表示されたイベント内容を見て、閲覧を希望する sc enebitを選択する。上述したように、 1つのシーンであっても複数のイベント内容が表 示されるためユーザの選択に便宜となる。ユーザが!/、ずれかの scenebitをダブルタリ ック等で指定すると、ビューヮ 101は当該 scenebitに含まれる映像 IDと、ビューヮ 101 に予め登録されているユーザ名とパスワードとをマスタサーバ 10に送信し映像リクェ ストを実行する。この送信情報にはクライアント端末 100の IPアドレスも含められる。
[0083] 前述のように、マスタサーバ 10はこのリクエストを受けると、ユーザ名とパスワードを ユーザ管理サーバ 70に転送して認証をとるとともに、このユーザのユーザ IDおよび グループ IDを問い合わせる。その後、マスタサーノ 10は映像管理テーブル 11を参 照して当該ユーザが要求に力かるストリーミング映像を見る権利を有するかをチェック
する。すなわち、要求に力かる映像 IDのレコードを参照し、ここに登録されている Aut hReadUserと AuthReadGroupに、リクエスト元ユーザのユーザ IDまたはグループ IDが 含まれているかを確認する。なお、 AuthReadUser欄にゲストユーザを示す" が登録 されている場合は何人も閲覧可能として扱われる。映像閲覧が許可された場合、マス タサーバ 10はリレーゲートアドレスを含む URL_Keyを作成してクライアント端末 100に 返信するとともに、アクセスログ 13に現在時刻とともに記録する。
[0084] クライアント端末 100のビューヮ 101は URL_Keyを受信すると、これに含まれるリレー ゲートアドレス (URL)に即座に接続要求を実施する。この送信情報にはクライアント 端末 100の IPアドレスと、前記選択した scenebitで特定される映像 ID、開始時間 ts、 終了時間 teとが含まれる。リレーゲート 110は接続要求を受けると、これに含まれる映 像 IDと IPアドレスをマスタサーバ 10に送信し、返事を待つ。マスタサーバ 10ではリレ 一ゲート 110からの情報に基づきアクセスログ 13を参照して映像 IDおよび IPアドレス を照合し、またクライアント端末 100からの映像リクエストから所定期間以内であるか を確認する。すべてが問題なければ、マスタサーバ 10は映像管理テーブル 11にあ るストリーミング映像の URLをリレーゲート 110に返信する。これを受けたリレーゲート 110はストリーミングサーバにアクセスし、該当するストリーミング映像における指定さ れた開始時間 tsから終了時間 teまでのストリーミング配信を要求する。これによりユー ザが所望するシーンのストリーミング映像がリレーゲート 110を介してクライアント端末 100に配信可能となる。
[0085] これに並行して、クライアント端末 100のビューヮ 101は、図 11に示す検索画面か ら図 12に示す閲覧画面に切り換える。また、ユーザが選択した scenebitにァノテーシ ヨン URLが含まれて!/、る場合、当該 URLにアクセスしてァノテーシヨン情報をダウン ロードする。このとき、ァノテーシヨン情報に XMLファイル以外の添付ファイルが存在 する場合でも、ビューヮ 101はこの時点では XMLファイルのみをダウンロードする。 X MLファイル自体はデータサイズが小さ 、ため、複数のァノテーシヨン情報が存在す る場合でも迅速にダウンロードを完了することができる。そして、ビューヮ 101はダウン ロードしたァノテーシヨン情報を閲覧画面上でユーザに選択可能に表示する。図 12 に示すように、閲覧画面は、ストリーミング映像再生部 106と、ァノテーシヨンリスト表
示部 107と、 scenebitリスト表示部 108とを備えている。ストリーミング映像再生部 106 は公知のストリーミング映像閲覧ソフトをモジュールとして組み込んだものであり、映 像の再生、スロー再生、早送り、巻き戻し、コマ送り等が可能である。また音声出力機 能を有し、クライアント端末 100のスピーカ等を用いて音声を出力する。ァノテーショ ンリスト表示部 107は、ダウンロードしたァノテーシヨン XMLファイルの情報をリスト表 示する部分であり、各行の左端にチェックボックス 107aが設けられている。この表示 部 107にはァノテーシヨン情報に含まれる作成者名やテキスト情報等が表示される。 好適には、ァノテーシヨン情報の作成時にタイトル情報を入力できるように構成し、ァ ノテーシヨンリスト 107にタイトル情報を表示するようにする。
ユーザは、表示されたァノテーシヨンリストのなかに希望するァノテーシヨンがある場 合、チェックボックス 107aにチェックしてから、ストリーミング映像の再生ボタンを押下 する。ビューヮ 101はチェックされたァノテーシヨン情報を読み込んでから、ストリーミ ングを再生する。ァノテーシヨン情報は当該映像におけるァノテーシヨン挿入時の指 定を含んでおり、ビューヮ 101はこの時刻となったらストリーミング映像を一時停止し て、ァノテーシヨンの内容を映像画面に重ねた仮想レイヤとして表示する。これにより 、一時停止された映像画面上に、ァノテーシヨン作成者が描いた線画やテキストが表 示され、また音声ファイルや別の添付ファイルがある場合には当該ファイルのアイコン が画面上に表示される。このアイコンをユーザがクリックすると、ビューヮ 101はァノテ ーシヨンサーバ 50に再びアクセスして当該ファイルをダウンロードし、ユーザに対して 出力する。すなわち音声ファイルの場合は再生し、テキストファイル等の場合は別の ウィンドウを立ち上げて内容を表示する。ユーザがこれらの情報を確認して再び再生 ボタンを押すと、ビューヮ 101はこのァノテーシヨン情報を消去し、再びストリーミング 映像を再生する。他にもァノテーシヨン情報が指定されて ヽる場合はその映像時刻 になるとァノテーシヨンが挿入され、このようにしてユーザは所望のシーンを閲覧して 、所望のァノテーシヨン情報を享受することができる。なお、ァノテーシヨン情報の出 力はァノテーシヨンエディタ 91に対応する描画ソフトや音声再生機能等をビューヮ 10 1に組み込むことにより達成される。また、ストリーミング映像再生部 106は音声出力 機能を有しており、映像音声ゃァノテーシヨンの音声がクライアント端末 100のスピー
力(図示せず)から出力される。
[0087] 図 11に戻り、 sceneQueryについて説明する。 sceneQueryは、予め検索条件となる 1 以上のパラメータまたはその組み合わせを備えて構成される XMLファイルであり、ュ 一ザに検索条件となる他のパラメータの入力を促すか選択可能に提示し、入力ある いは選択されたパラメータによって検索文の作成や別の sceneQueryファイルのダウン ロード等の動作を規定するものである。この sceneQueryは、予め各種の競技団体や 映像提供者等により作成され、例えば当該団体のホームページ等で無償配布される ことが想定される。ユーザは sceneQueryを適宜ダウンロードして利用できるものとする 。このようにダウンロードした sceneQueryはユーザ端末にお!、て所定のローカルフォ ルダに保存され、ビューヮ 101の起動時に読み込まれて利用可能な状態となる。
[0088] 図 11の実施例では、検索条件指定部 103がクエリーリスト欄 103aと、パラメータ指 定欄 103bとを備えている。クエリーリスト欄 103aにはビューヮ 101が読み込んだ seen eQueryカ^スト表示され、ユーザがいずれかをクリックすることによりその sceneQuery に設定された選択 Z入力バーがパラメータ指定欄 103bに表示される。図 11の例で は、 sceneQuery「柔道技検索」を指定すると、「技のタイプ」選択欄として例えば「立ち 技,寝技,投げ技」のプルダウンメニューが表示され、またさらに細分した技名の選択 欄が表示される。この sceneQueryには予めタイトル「柔道技検索」と、技のタイプ「立 ち技,寝技,投げ技」のパラメータと、それぞれの技タイプについてさらに複数の選択 肢が予め登録されており、いずれかの技タイプがユーザによって選択された場合に 当該技タイプに属する技名が選択欄に表示されるよう設定されている。ユーザが例え ば技タイプ「投げ技」、技名「背負い投げ」を選択すると、ビューヮ 101はこの sceneQu eryの記述に従い、 "search match (競技名,柔道) and match (技タイプ,投げ技) and match (技名,背負い投げ Γのような検索文を作成し、クエリー欄 105に表示する。こ の例では" search〃が検索要求、 "match"がコマンド名、これに続く括弧内が(name, va lue)の組み合わせであり、これらを andで繋げて検索文を作成している。この場合に sc eneQueryには予め(競技名,柔道)等のパラメータが登録されており、ユーザが scene Query「柔道技検索」を選択した時点でこのパラメータを用いることが確定する。
[0089] なお、パラメータ選択の部分はユーザが直接入力するテキストバーとしてもよく、こ
の場合はユーザが入力したテキストがそのまま検索文に転載されるよう設定される。さ らに、複数のパラメータを選択可能に表示する場合において、各選択肢に対応する URLを予め sceneQueryに登録しておき、選択されたパラメータに応じて新たな scene Queryをダウンロードするよう sceneQueryおよびビューヮ 101を構成してもよい。具体 的には、例えば予め最も広範な選択肢として競技名を選択指定する sceneQueryの み最初にビューヮ 101に組み込んでおき、ユーザに選択された競技名に対応する U RLにアクセスして次に大会名を選択する sceneQueryを読み込み、次にこの sceneQu eryでの選択内容に応じて選手名を選択する sceneQueryをダウンロードし、さらに · · · と続けてウェブ上に用意された sceneQueryを次々と利用していくことができる。このよ うに構成すると、継続して開催されるようなスポーツ大会で必然的に増えていく選手 名や技名等を sceneQueryを提供する競技団体等が随時反映させることができ、ユー ザは常に最新情報を反映させた sceneQueryを利用して最新映像を検索することが可 能となる。
[0090] sceneQueryは XMLファイルとしてユーザが所定のローカルフォルダに保存すること ができ、ビューヮ 101はこれを読み込んでクエリーリスト欄 106に表示する。また、検 索サーバ 20から検索結果として送信される scenebitも XMLファイルのまま所定の口 一カルフオルダに保存することができ、ビューヮ 101はこれを読み込んで図 10に示す お気に入りシーン集の欄 109に表示する。ユーザは気に入ったシーンの scenebitをこ こに登録して繰り返し閲覧することができる。なお、お気に入りシーン集 109に登録さ れた scenebitを閲覧する手順とビューヮ 101の処理は、検索結果表示欄 104に表示 された scenebitを閲覧する処理と同じである。また、ユーザは任意の scenebitをフアイ ルとして自由に扱うことができ、例えば電子メールに添付して他のユーザに送信した りすることが可能である。
[0091] (8)リレーゲート 110
リレーゲート 110はネットワーク上に 1以上配設されプログラム動作するサーバコン ピュータであり、上記説明したようにユーザ端末 80, 90, 100からアクセスを受けてマ スタサーバ 10と照合してから、ストリーミング映像をユーザ端末に中継する。リレーゲ ート 110は映像ストリーミングサーバ 30や他のサーバが兼ねてもよい。リレーゲート 1
10は、ユーザ端末 80, 90, 100力 映像 ID, ts, te, IPアドレスを含む配信要求を受 けると、映像 IDと IPアドレスの情報をマスタサーバ 10に転送し、認証結果を待つ。マ スタサーバ 10で認証が成功すると実際のストリーミング映像へのアクセスノ スがリレ 一ゲート 110に送信される。リレーゲート 110はこの URLにアクセスし、ストリーミング 映像における開始時間 (ts)と終了時間 (te)を指定して映像配信要求を行う。ストリー ミングサーバ 30はこの条件に従い映像シーンをリレーゲート 110にストリーミング送信 し、これがリレーゲート 110を介してユーザ端末に配信される。ここで、リレーゲート 11 0はユーザ端末からのアクセス毎にランダムな URLを作成して映像アドレスとしてュ 一ザ端末に通知し、これによりユーザ端末で実際のストリーミング映像に直接アクセス されないようにする。
[0092] なお、このリレーゲート 110は、各ストリーミングサーノ 30の前段に 1つづつ設置さ れていてもよぐまた 1つのリレーゲートが複数のストリーミングサーバ 30のストリーミン グ配信を担当するようにしてもよい。また、リレーゲート 110は上記動作を実行するプ ログラムを各ストリーミングサーバ 30に組み込むことにより実現することもできる。
[0093] (9)映像ストリーミングサーバ 30
映像ストリーミングサーバ 30は実際のストリーミング映像が登録されるサーバであり 、上記のとおり映像のオーナー(映像を登録する者)が任意に決めてもよぐまた本願 システムで用意されたストリーミングサーバを用いてもよい。映像ストリーミングサーバ 30はリレーゲートからストリーミング映像の URLと、当該映像における開始時間 (ts) および終了時間 (te)とを含むストリーミング配信要求を受けると、その URLに登録さ れたストリーミング映像の ts—teで規定されるシーンを抽出してストリーミング配信する 。ストリーミング配信自体は公知技術であり詳細な説明は省略する。
[0094] (10)ダウンロードサーバ 60
ダウンロードサーバ 60はストリーミング映像の元映像 (AVI, mpeg等が想定される) が登録されるサーバであり、映像ストリーミングサーバ 30と同様にユーザが任意に選 択したサーバを用いることができる。ダウンロードサーバ 60は必須の構成ではないが 、例えば研究機関で画質の良 、映像を繰り返し利用するために元映像自体を取得 する必要がある場合等に、制限されたユーザまたはグループに元映像をダウンロード
可能とするために設けられる。ダウンロードサーバ 30に元映像を登録した映像ォー ナ一は、前述の手順によりマスタサーバ 10にその URLとダウンロードサーバアドレス とを登録する。
[0095] 元映像のダウンロードを希望するユーザは、例えばユーザ端末のビューヮ 101のメ ニュー項目力もダウンロードコマンドを実行する(図示せず)。ビューヮ 101はこれを受 けて映像 IDと、初期設定でビューヮ 101に登録されたユーザ名およびパスワードとを マスタサーバ 10に送信してダウンロード要求を行う。マスタサーバ 10はユーザ名およ びパスワードをユーザ管理サーバ 70に転送して認証をとるとともにこのユーザのユー ザ IDおよびグループ IDとを問い合わせる。この返信を受けたマスタサーバ 10は、映 像管理テーブル 11を参照して当該ユーザ力 Sこの映像をダウンロード可能なユーザか を確認する。すなわち、映像 IDを基にレコードを調べ、 AuthDLUserまたは AuthDLGr oup欄にこのユーザのユーザ Zグループ IDが登録されて!、るかを確認する。ユーザ の IDが登録されている場合、マスタサーバ 10はストリーミング映像への案内処理とほ ぼ同様にして、ユニークなキー(文字列)を作成し、映像 ID、ユーザ端末の IPアドレス 、キー作成時とともにアクセスログ 13に保存する。また、このキーと、映像管理テープ ル 11に登録されている当該映像の DLサーバアドレスと、映像 IDとを含むダウンロー ド用の URL_Keyを作成し、リクエスト元のユーザ端末に返信する。この URL_Keyは適 切な方法で暗号化して送信され、これによつてユーザの要求する元映像のダウン口 ードを扱うサーバのアドレスがユーザ端末に返信される。
[0096] ダウンロード用の URL_Keyを受信したユーザ端末のビューヮ 101 (場合によってはィ ベントエディタ 81またはァノテーシヨンエディタ 91)は、即座に URL_Keyに示される D Lサーバアドレスにアクセス先を切り換え、映像要求を行う。これを受けたダウンロード サーバ 60は当該ユーザ端末の IPアドレスと映像 IDとをマスタサーバ 10に送信する。 マスタサーバ 10は問い合わせを受けると、先ほど登録したアクセスログ 13を参照して ユーザ端末の IPアドレスを照合し、また先ほどのキー作成時力 所定期間(例えば数 秒以内に設定される)内であるかを判定する。ユーザ IDと IPアドレスが一致し且つ所 定期間内である場合、マスタサーバ 10は映像管理テーブル 11を参照し、映像 IDを キーにこの元映像が実際に保存されている DL元映像アドレスを抽出し、ダウンロード
サーバ 60に返信する。また、アクセスログ 13にアクセスログを記録する。これによりダ ゥンロードサーバ 60は元映像を抽出し、ユーザ端末に送信する。このようにダウン口 ードサーバ 60が上述したリレーゲート 110とほぼ同様の処理を行うことによって、ユー ザ端末力も元映像をダウンロードすることが可能となる。
[0097] 以上に本発明のシステムを構成する各サーバおよびユーザ端末の処理について 詳細に説明したが、本願発明の技術的範囲は上記実施例に限定されるものではなく 、様々な変更や拡張を適用することができる。上述したように各サーバおよび端末の 機能は他のサーバまたは端末が兼ねるよう構成してもよいし、別のサーバ等を用意し てさらに機能を分散してもよい。また、上記実施例はスポーツ映像の閲覧システムに ついて説明している力 本発明の閲覧システムはスポーツ映像以外にもあらゆるジャ ンルの映像に適用することが可能である。例えば科学分野の実験映像を本願システ ムで管理し、広く実験映像シーンの参照 '閲覧に役立てることができる。また、例えば 医療における手術の映像を本願システムで管理し、医師の技術力向上のために閲 覧可能としてもよい。このような場合にも他人がァノテーシヨンを付したり、それを他人 が閲覧できたりすると非常に便宜となる。また、テレビ放送局が自局で放送した番組 をストリーミング映像として登録し、制限されたユーザの所望するシーンを閲覧可能と するようにしてもょ ヽ。このようにジャンルの異なる映像であっても本願システムに適 用することができる。
[0098] さらに、上記実施例ではイベント情報力 ベント入力端末 80のオペレータによる作 業により登録されるようにしている力 この作業の一部をイベントエディタ 81またはィ ベントサーノ O等が自動処理により行う構成とすることができる。すなわち、イベント エディタ 81やイベントサーノ Oが映像または音声の自動解析を行ってイベント情報 を作成するよう構成する。例えば、スポーツの試合では観客の歓声が上がると音声が 大きくなるため、イベントエディタ 81等が任意の映像を自動再生し、音声が閾値を超 えた部分を 1つのイベントとして順次登録していくことによりイベント情報を自動作成 することができる。また、イベントエディタ 81等が映像再生中に流れる音声を自動解 祈し、特定の単語が出現した場合を当該単語に関連するイベント情報として登録す るように構成してもよい。具体的には、例えば柔道の試合において「一本!」といった
音声を自動検出して、 (name, value)が (判定,一本)というイベント情報を作成し、試 合中に「一本」の判定が行われたシーンにつ 、てのイベント情報を作成することがで きる。また、例えばサッカーの試合の映像中に実況アナウンサーが発声する「ゴ一一 ル!」といった音声を検出してゴールシーンのイベントを自動生成するようなことがで きる。なお、音声解析処理や音量検知処理については公知技術であるため詳細な 説明は省略する。
[0099] また、上記実施例ではクライアント端末 100のビューヮ 101側で検索文を作成し、検 索サーバ 20に送信する方法を採用している力 これは例えば検索サーバ 20または 他に用意したウェブサーバに検索エンジンを搭載し、ウェブ上でシーン検索を行える ようにしてもよい。その他、各種機能の実現方法は上記実施例のものに限らず、添付 の特許請求の範囲を越えない限りにお 、て変更を施すことができる。
産業上の利用可能性
[0100] 本発明の映像閲覧システムはスポーツ業界のみならず、映像を用いる各種業界で 利用することができる。また、各種サーバの運営等はネットワーク情報処理産業で利 用することができる。
Claims
[1] 映像ストリーミングサーバに登録された 1以上のストリーミング映像について、各スト リーミング映像に含まれる任意のイベントに関し少なくとも映像 IDと当該映像における 開始時間 ·終了時間とイベント内容とが登録された検索テーブルと、ユーザ端末から の検索要求に応じて前記検索テーブルを参照して条件に合致する映像シーンを検 索し、少なくとも当該シーンに係る映像 IDと開始時間'終了時間とを含むシーン情報 をユーザ端末に送信する検索処理手段とを備え、ユーザ端末が!/、ずれかのシーン 情報を指定して映像配信要求を行うことにより、ユーザが所望するシーンをストリーミ ング閲覧可能としたことを特徴とする映像閲覧システム。
[2] 請求項 1に記載の映像閲覧システムにお 、て、前記検索処理手段は、前記検索要 求に含まれるキーワードが完全一致又は部分一致するイベントを検索する機能と、検 索抽出された 2以上のイベントの時間幅が重複又は連続する映像シーンを検索する 機能と、これらの条件をさらに and又は or検索する機能とを備え、前記検索要求に応 じて条件に合致する映像シーンを特定することを特徴とする映像閲覧システム。
[3] 請求項 1又は 2に記載の映像閲覧システムにおいて、前記検索処理手段が、検索 テーブルにおいて検索した映像シーンと同じ映像 IDであって時間幅が重複するィべ ントのイベント内容をすベて抽出し、当該映像シーンのイベント内容として前記シーン 情報に含めることを特徴とする映像閲覧システム。
[4] 請求項 1乃至 3のいずれかに記載の映像閲覧システムがさらに、任意のイベントに ついて線画 '音声'文字 · URL情報のいずれか 1以上を含む付加情報が登録される 付加情報格納手段を備えるとともに、各付加情報に係る映像 IDと時間情報とァクセ スパスとが前記検索テーブルに登録されており、前記検索処理手段が前記映像シー ンの検索に加え、検索した映像シーンと映像 IDが同じで映像時間が重複する付カロ 情報を検索し、そのアクセスパスを前記シーン情報に含めることにより、ユーザが所 望するシーンとともに当該シーンに付された付加情報を取得可能としたことを特徴と する映像閲覧システム。
[5] 請求項 1乃至 4のいずれかに記載の映像閲覧システムがさらに、前記映像ストリーミ ングサーノからユーザ端末への映像ストリーミング配信を中継する 1以上のリレーゲ
ート手段と、各ストリーミング映像の映像 ID及び URLとこの映像を担当するリレーゲ ート手段へのアクセスパスとが登録された映像管理テーブルと、前記ユーザ端末から 映像 IDを含む映像配信要求を受けた場合に前記映像管理テーブルを参照して要 求映像に対応するリレーゲート手段へのアクセスノ スをユーザ端末に返信するマスタ サーバとを備え、前記リレーゲート手段は前記ユーザ端末力もアクセスを受けると当 該ユーザ端末の識別情報を前記マスタサーバに送信し、これを受けて前記マスタサ ーバは前記映像管理テーブルを参照して前記ストリーミング映像の URLを前記リレ 一ゲート手段に送信し、これにより前記リレーゲート手段が前記ストリーミング映像の 中継を実行することを特徴とする映像閲覧システム。
[6] 請求項 5に記載の映像閲覧システムにおいて、前記映像管理テーブルには各映像 について閲覧が許可されたユーザ及び Z又はユーザグループのリストが登録されて いるとともに、前記マスタサーバは前記ユーザ端末から映像配信要求を受けた場合 に当該ユーザ及び/又は当該ユーザが属するユーザグループがこの映像の閲覧を 許可されているかを確認することを特徴とする映像閲覧システム。
[7] 請求項 1乃至 6に記載の映像閲覧システムがさらに、ユーザごとのユーザ ID及びパ スワードを登録するユーザ管理テーブルと、前記マスタサーバ等から問!、合わせを 受けた場合に前記ユーザ管理テーブルを参照してユーザ認証を行いその結果を返 信するユーザ認証処理手段とを備えることを特徴とする映像閲覧システム。
[8] 請求項 5に記載の映像閲覧システムにおいて、前記映像管理テーブルに前記ストリ 一ミング映像の元映像であるダウンロード用ファイルのアクセスパスが登録されており 、前記マスタサーバがユーザ端末力 ダウンロード要求を受けた場合に所定条件の 下に前記ダウンロード用ファイルへのアクセスノ スを前記ユーザ端末に通知すること を特徴とする映像閲覧システム。
[9] 請求項 1乃至 8のいずれかに記載の映像閲覧システムに用いられ、前記検索テー ブルの登録内容を定義するイベント入力端末であって、前記ストリーミング映像を再 生する映像再生部と、当該映像に含まれるイベントの内容を定義するイベント内容定 義部と、前記ストリーミング映像における各イベントの開始時間及び終了時間を定義 するイベント時間定義部とを備え、ユーザの操作又は自動処理により映像 IDと、開始
時間及び終了時間と、イベント内容とを含むイベント情報を作成することを特徴とする イベント入力端末。
[10] 請求項 9に記載のイベント入力端末で動作するプログラムであって、前記ストリーミ ング映像を再生するステップと、ユーザの入力操作があった場合又は前記ストリーミ ング映像又は音声が所定条件を満たす場合にイベントを認識して予め設定された内 容のイベント情報を定義するステップと、これと同時にストリーミング映像におけるィべ ント発生時を定義してこれらの情報を映像 IDとともに XML形式のイベント情報として 作成するステップと、をコンピュータに実行させることを特徴とするプログラム。
[11] 請求項 4に記載の映像閲覧システムに用いられ、前記付加情報を作成するための コンピュータ端末であって、前記ストリーミング映像を再生及び一時停止する映像表 示部と、少なくとも文字 ·線画 ·音声 'URL情報のいずれか 1以上を入力可能な付カロ 情報入力部とを備え、一時停止されたストリーミング映像画面上に仮想レイヤを作成 し、当該仮想レイヤの画面定義情報として前記入力された文字 '線画 '音声' URLへ のリンクを定義して XML形式の付加情報を作成することを特徴とする付加情報入力 端末。
[12] 請求項 11の付加情報入力端末で動作するプログラムであって、前記ストリーミング 映像を再生するステップと、ユーザからの入力操作があった場合にストリーミング映像 を一時停止するステップと、ユーザから文字 ·線画 ·音声 · URL情報 、ずれかの入力 情報を取得して前記一時停止した映像画面上に仮想レイヤを作成し、当該仮想レイ ャの画面定義情報として前記入力情報を含む XML形式の付加情報を作成するステ ップと、をコンピュータに実行させることを特徴とするプログラム。
[13] 請求項 1乃至 8のいずれかに記載のユーザ端末であって、ユーザの所望する映像 シーンの検索条件を設定する検索条件設定部と、前記検索処理手段からのシーン 情報をリスト表示するシーン情報表示部と、ユーザが選択したシーンのストリーミング 映像を再生する映像再生部とを備え、前記検索条件設定部はユーザが直接入力又 は選択した検索パラメータ又はその組み合わせを前記検索処理手段に送信し、前記 シーン情報表示部は検索結果として表示したいずれかのシーン情報がユーザに選 択された場合に当該シーン情報が含む映像 IDと、開始時間及び終了時間と、予め
取得しているユーザ識別情報及びパスワードとを前記マスタサーバに送信して映像 配信要求を行うことを特徴とするユーザ端末。
[14] 請求項 13に記載のユーザ端末で動作するプログラムであって、ユーザに選択可能 に提示ある 、は直接入力により検索パラメータ又はその組み合わせを取得して前記 検索処理手段に送るステップと、前記検索処理手段からのシーン情報を選択可能に 表示するステップと、ユーザに選択されたシーン情報に含まれる映像 IDと、開始時間 及び終了時間と、予め取得して 、るユーザ識別情報及びパスワードとを前記マスタ サーバに送信して映像配信を要求するステップとをコンピュータに実行させることを 特徴とするプログラム。
[15] 請求項 14に記載のプログラムがさらに、前記ユーザに選択されたシーン情報が前 記付加情報のアクセスパスを含んでいる場合に当該付加情報を取得してユーザに選 択可能に提示するステップと、ユーザによりいずれかの付加情報が選択された場合、 映像シーンの再生時に前記付加情報が示す時刻が到来したら前記ストリーミング映 像を一時停止させ、前記付加情報に定義された文字 ·線画 ·音声等の情報を再生画 面上に表示するステップとをコンピュータに実行させることを特徴とするプログラム。
[16] 請求項 13又は 14に記載のプログラムがさらに、予め 1以上のパラメータ及び所定 の処理手順を組み合わせて作成された検索条件ファイルを読み込んで、当該フアイ ルに定義されたパラメータをユーザに提示しユーザに選択入力あるいは直接入力さ れたパラメータを用いて検索要求を作成あるいは別の検索条件ファイルを取得する ステップをコンピュータに実行させることを特徴とするプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005-333028 | 2005-11-17 | ||
JP2005333028A JP2007142750A (ja) | 2005-11-17 | 2005-11-17 | 映像閲覧システム、コンピュータ端末並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2007058192A1 true WO2007058192A1 (ja) | 2007-05-24 |
Family
ID=38048577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2006/322720 WO2007058192A1 (ja) | 2005-11-17 | 2006-11-15 | 映像閲覧システム、コンピュータ端末並びにプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2007142750A (ja) |
WO (1) | WO2007058192A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103324682A (zh) * | 2013-05-31 | 2013-09-25 | 百度在线网络技术(北京)有限公司 | 一种基于图片来搜索视频的方法及装置 |
JP2014064263A (ja) * | 2012-09-21 | 2014-04-10 | Shijin Kogyo Sakushinkai | メディアの動画シーン再生システム、方法およびその記録メディア |
CN106843912A (zh) * | 2017-03-22 | 2017-06-13 | 武汉斗鱼网络科技有限公司 | 页面信息获取方法及装置 |
JP2019159819A (ja) * | 2018-03-13 | 2019-09-19 | オムロン株式会社 | アノテーション方法、アノテーション装置、アノテーションプログラム及び識別システム |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7559017B2 (en) | 2006-12-22 | 2009-07-07 | Google Inc. | Annotation framework for video |
JP2008305134A (ja) * | 2007-06-07 | 2008-12-18 | Sony Ericsson Mobilecommunications Japan Inc | 映像検索システム、映像検索サーバ、移動体端末および映像検索プログラム |
JP2009152927A (ja) * | 2007-12-21 | 2009-07-09 | Sony Corp | コンテンツの再生方法および再生システム |
US8112702B2 (en) * | 2008-02-19 | 2012-02-07 | Google Inc. | Annotating video intervals |
US8566353B2 (en) | 2008-06-03 | 2013-10-22 | Google Inc. | Web-based system for collaborative generation of interactive videos |
EP2138941A1 (en) * | 2008-06-23 | 2009-12-30 | Alcatel Lucent | System and method for providing metadata |
JP5627030B2 (ja) * | 2012-02-13 | 2014-11-19 | 日本電信電話株式会社 | 関連情報提供方法、関連情報提供装置および関連情報提供プログラム |
JP6482295B2 (ja) * | 2015-01-27 | 2019-03-13 | 国立大学法人電気通信大学 | 動画配信システム及び動画再生装置 |
US20180302680A1 (en) * | 2016-12-16 | 2018-10-18 | Google Inc. | On-Demand Video Surfing |
JP6943080B2 (ja) * | 2017-08-24 | 2021-09-29 | 株式会社Jvcケンウッド | 映像管理システム、映像管理方法、及び映像管理プログラム |
JP6994722B2 (ja) * | 2020-03-10 | 2022-01-14 | 株式会社エクサウィザーズ | コーチング支援装置及びプログラム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003199030A (ja) * | 2001-12-28 | 2003-07-11 | Canon Inc | データ処理装置、データ処理サーバ、データ処理システム、データ処理装置の制御方法、データ処理サーバの制御方法、コンピュータプログラム及びコンピュータ可読記憶媒体 |
JP2003199060A (ja) * | 2001-12-26 | 2003-07-11 | Bellsystem 24 Inc | スポーツ映像配信システムおよび映像処理システム |
JP2003203035A (ja) * | 2002-01-07 | 2003-07-18 | Digital Dream:Kk | 情報配信方法および情報配信システム、情報配信プログラム、編集プログラムならびにコンピュータで読み取り可能な記録媒体 |
JP2003204536A (ja) * | 2002-01-07 | 2003-07-18 | Toshiba Corp | コンテンツ配信システム及び方法 |
JP2003259243A (ja) * | 2002-03-06 | 2003-09-12 | Funai Electric Co Ltd | 番組検索方法、ディジタルテレビ、ディジタル放送受信システム及びディジタル放送チューナ |
JP2004013283A (ja) * | 2002-06-04 | 2004-01-15 | Hitachi Ltd | コンテンツ配信方法及びコンテンツ配信装置 |
JP2004030327A (ja) * | 2002-06-26 | 2004-01-29 | Sony Corp | コンテンツ関連情報提供装置及びコンテンツ関連情報提供方法、電子掲示板システム、並びにコンピュータ・プログラム |
JP2005208781A (ja) * | 2004-01-21 | 2005-08-04 | Fuji Xerox Co Ltd | コンテンツ管理システム及びコンテンツ管理方法、並びにコンピュータ・プログラム |
JP2005260511A (ja) * | 2004-03-10 | 2005-09-22 | Fuji Xerox Co Ltd | コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002092031A (ja) * | 2000-09-12 | 2002-03-29 | Toshiba Corp | クライアント装置 |
JP3882787B2 (ja) * | 2003-06-06 | 2007-02-21 | 日本電信電話株式会社 | コンテンツ再生制御方法、コンテンツ再生制御システム、サーバ装置、コンテンツ再生制御装置、及びコンテンツ再生制御プログラム |
-
2005
- 2005-11-17 JP JP2005333028A patent/JP2007142750A/ja active Pending
-
2006
- 2006-11-15 WO PCT/JP2006/322720 patent/WO2007058192A1/ja active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003199060A (ja) * | 2001-12-26 | 2003-07-11 | Bellsystem 24 Inc | スポーツ映像配信システムおよび映像処理システム |
JP2003199030A (ja) * | 2001-12-28 | 2003-07-11 | Canon Inc | データ処理装置、データ処理サーバ、データ処理システム、データ処理装置の制御方法、データ処理サーバの制御方法、コンピュータプログラム及びコンピュータ可読記憶媒体 |
JP2003203035A (ja) * | 2002-01-07 | 2003-07-18 | Digital Dream:Kk | 情報配信方法および情報配信システム、情報配信プログラム、編集プログラムならびにコンピュータで読み取り可能な記録媒体 |
JP2003204536A (ja) * | 2002-01-07 | 2003-07-18 | Toshiba Corp | コンテンツ配信システム及び方法 |
JP2003259243A (ja) * | 2002-03-06 | 2003-09-12 | Funai Electric Co Ltd | 番組検索方法、ディジタルテレビ、ディジタル放送受信システム及びディジタル放送チューナ |
JP2004013283A (ja) * | 2002-06-04 | 2004-01-15 | Hitachi Ltd | コンテンツ配信方法及びコンテンツ配信装置 |
JP2004030327A (ja) * | 2002-06-26 | 2004-01-29 | Sony Corp | コンテンツ関連情報提供装置及びコンテンツ関連情報提供方法、電子掲示板システム、並びにコンピュータ・プログラム |
JP2005208781A (ja) * | 2004-01-21 | 2005-08-04 | Fuji Xerox Co Ltd | コンテンツ管理システム及びコンテンツ管理方法、並びにコンピュータ・プログラム |
JP2005260511A (ja) * | 2004-03-10 | 2005-09-22 | Fuji Xerox Co Ltd | コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014064263A (ja) * | 2012-09-21 | 2014-04-10 | Shijin Kogyo Sakushinkai | メディアの動画シーン再生システム、方法およびその記録メディア |
CN103324682A (zh) * | 2013-05-31 | 2013-09-25 | 百度在线网络技术(北京)有限公司 | 一种基于图片来搜索视频的方法及装置 |
CN103324682B (zh) * | 2013-05-31 | 2017-06-06 | 百度在线网络技术(北京)有限公司 | 一种基于图片来搜索视频的方法及装置 |
CN106843912A (zh) * | 2017-03-22 | 2017-06-13 | 武汉斗鱼网络科技有限公司 | 页面信息获取方法及装置 |
CN106843912B (zh) * | 2017-03-22 | 2021-01-01 | 武汉斗鱼网络科技有限公司 | 页面信息获取方法及装置 |
JP2019159819A (ja) * | 2018-03-13 | 2019-09-19 | オムロン株式会社 | アノテーション方法、アノテーション装置、アノテーションプログラム及び識別システム |
Also Published As
Publication number | Publication date |
---|---|
JP2007142750A (ja) | 2007-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2007058192A1 (ja) | 映像閲覧システム、コンピュータ端末並びにプログラム | |
JP7080382B2 (ja) | プログラム | |
US10949063B2 (en) | Media play of selected portions of an event | |
US10827215B2 (en) | Systems and methods for producing processed media content | |
KR101377235B1 (ko) | 개별적으로 레코딩된 장면의 순차적인 병렬 배치를 위한 시스템 | |
US9246856B1 (en) | Collaborative streaming of video content | |
US6968506B2 (en) | Method of and system for composing, delivering, viewing and managing audio-visual presentations over a communications network | |
US8826357B2 (en) | Web-based system for generation of interactive games based on digital videos | |
US9043691B2 (en) | Method and apparatus for editing media | |
WO2017088621A1 (zh) | 一种实现网络直播的方法和服务器 | |
US20140127659A1 (en) | Method and System for Providing Web Based Interactive Lessons with Improved Session Playback | |
US9003286B2 (en) | System and method for providing broadcast listener participation | |
US8505062B1 (en) | Method and system for enabling users to suggest changes to video captions over the web | |
US20040098754A1 (en) | Electronic messaging synchronized to media presentation | |
US20090077170A1 (en) | System, Architecture and Method for Real-Time Collaborative Viewing and Modifying of Multimedia | |
US20120066592A1 (en) | Visual audio links for digital audio content | |
CN105472401B (zh) | 在网络直播过程中播放广告的方法及*** | |
US20120297411A1 (en) | Communication system and communication method | |
US20160328986A1 (en) | Systems, methods and devices for call center simulation | |
JP2004350092A (ja) | 映像視聴システム、および当該システムに用いられる映像再生端末、および当該映像再生端末における処理方法、および当該処理方法を実行するプログラム、および当該プログラムを記録した記録媒体 | |
WO2013190697A1 (ja) | ソーシャルネットワーキングサービスシステム、及びサーバ | |
CN112235603B (zh) | 视频分发***、方法、计算设备、用户设备及视频播放方法 | |
US20120063743A1 (en) | System and method for remote presentation provision | |
US20080288590A1 (en) | Online coaching system and method | |
KR20090017351A (ko) | 프로그램 제어장치, 프로그램 제어방법 및 그 기록 매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application | ||
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 06832651 Country of ref document: EP Kind code of ref document: A1 |