WO2006011400A1 - 情報処理装置および方法、記録媒体、並びにプログラム - Google Patents

情報処理装置および方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
WO2006011400A1
WO2006011400A1 PCT/JP2005/013293 JP2005013293W WO2006011400A1 WO 2006011400 A1 WO2006011400 A1 WO 2006011400A1 JP 2005013293 W JP2005013293 W JP 2005013293W WO 2006011400 A1 WO2006011400 A1 WO 2006011400A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information processing
content
processing apparatus
communication device
Prior art date
Application number
PCT/JP2005/013293
Other languages
English (en)
French (fr)
Inventor
Naoki Saito
Yusuke Sakai
Mikio Kamada
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US11/572,593 priority Critical patent/US20080168505A1/en
Priority to CN2005800224868A priority patent/CN1981524B/zh
Publication of WO2006011400A1 publication Critical patent/WO2006011400A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25875—Management of end-user data involving end-user authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4135—Peripherals receiving signals from specially adapted client devices external recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8355—Generation of protective data, e.g. certificates involving usage data, e.g. number of copies or viewings allowed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Definitions

  • the present invention relates to an information processing device and method, a recording medium, and a program, and in particular, communicates a user's voice and video with other information processing devices connected via a network and transmits the same content.
  • the present invention relates to an information processing apparatus and method, a recording medium, and a program that are played back synchronously.
  • telephones so-called videophones, video conferencing systems, and the like exist as devices used for exchange between persons (hereinafter referred to as remote communication) in remote places.
  • remote communication There is also a method of connecting to the Internet using a personal computer or the like and performing text chat, video chat with video and audio, and the like.
  • Patent Document 1 JP 2003-271530 A
  • the present invention has been made in view of such a situation, and an object of the present invention is to enable people in remote locations to view the same content in synchronization.
  • the information processing apparatus of the present invention reproduces content data in response to an operation by a user.
  • Reproducing means generating means for generating operation information corresponding to an operation by the user, and transmitting the information to another information processing apparatus via the network, and an operation transmitted from the other information processing apparatus via the network
  • reproduction control means for synchronizing the reproduction of the content data by the reproduction means with other information processing devices based on the information.
  • the content data may be broadcast as a television program.
  • the generation means can generate operation information indicating the channel after switching in response to an operation of switching a television broadcast channel by a user.
  • the generation unit may generate operation information including at least one of a content of a user operation, a time when the operation is performed, or a reproduction position of content data.
  • the generation unit generates operation information including at least one of a content of a user operation, a scheduled start time of processing corresponding to the operation, or a content data reproduction position. Can do.
  • the information processing apparatus of the present invention may further include a detection unit that detects a communication time required for communication of operation information via the network, and the generation unit is configured to handle an operation based on the communication time.
  • the scheduled start time of the processing to be performed can be determined.
  • the information processing apparatus of the present invention may further include communication means for communicating the user's voice and video with other information processing apparatuses via a network.
  • An information processing method includes a reproduction step of reproducing content data in response to an operation by a user, and operation information corresponding to the operation by the user, and is transmitted to another information processing apparatus via a network.
  • the recording medium program of the present invention generates a reproduction step for reproducing content data in response to an operation by the user, and operation information corresponding to the operation by the user.
  • the generation step to be transmitted to another information processing device via the network, and the other information processing device power is also reproduced with the other information processing device based on the operation information transmitted via the network.
  • a playback control step to be synchronized.
  • the program of the present invention reproduces content data in response to an operation by the user, generates operation information corresponding to the operation by the user, and transmits the operation information to another information processing apparatus via the network.
  • a reproduction control step for synchronizing the reproduction of the content data by the process of the reproduction step with the other information processing apparatus based on the operation information transmitted from the other information processing apparatus via the network. It is characterized by causing a computer to execute a process including this.
  • operation information corresponding to an operation by the user is generated and transmitted to another information processing apparatus via a network.
  • other information processing device capabilities are synchronized with the other information processing devices based on the operation information transmitted via the network.
  • FIG. 1 A configuration example of a communication system to which the present invention is applied is shown.
  • FIG. 2A is a diagram showing an example of content video and user video.
  • FIG. 2B is a diagram showing an example of content video and user video.
  • FIG. 2C is a diagram showing an example of content video and user video.
  • FIG. 3A is a diagram showing an example of composition of content video and user video.
  • FIG. 3B is a diagram showing a synthesis example of content video and user video.
  • FIG. 3C is a diagram showing an example of composition of content video and user video.
  • FIG. 4 is a block diagram illustrating a configuration example of the communication device in FIG. 1.
  • FIG. 6 is a diagram for explaining an outline of a synchronized content acquisition mode applied to a first synchronized playback process.
  • FIG. 7 is a flowchart illustrating a first synchronized playback process.
  • FIG. 8 is a diagram for explaining an outline of a follow-up synchronization mode applied to a second synchronized playback process.
  • FIG. 9 is a flowchart illustrating a second synchronized playback process.
  • FIG. 10 is a diagram for explaining an outline of a reservation type synchronous mode applied to a third synchronous reproduction process.
  • FIG. 11 is a flowchart illustrating a third synchronized playback process.
  • FIG. 12 is a block diagram illustrating a configuration example of a general-purpose personal computer.
  • FIG. 1 shows a configuration example of a communication system to which the present invention is applied.
  • the communication device 1-1 is connected to another communication device 1 (communication device 1-2 in the case of FIG. 1) via the communication network 2.
  • communication device 1 communication device 1-2 in the case of FIG. 1
  • common content for example, program content obtained by receiving TV broadcasts, movies already acquired through pre-downloading, etc.
  • moving images such as private content exchanged between users, still images, etc.
  • the communication device 1 when it is not necessary to individually distinguish the communication devices 1-1 and 1-2, they are simply referred to as the communication device 1.
  • the communication device 1 can be used simultaneously by a plurality of users. For example, in the case of FIG. 1, it is assumed that the communication device 1-1 is used by the users A and B, and the communication device 1-2 is used by the user X.
  • the video of the common content is as shown in FIG. 2A
  • the video of user A taken by the communication device 1-1 is as shown in FIG. 2B
  • the communication device 1 Assume that the video of user X taken by -2 is as shown in Figure 2C.
  • the display 22 (Fig. 4) of the communication device 1-1 has, for example, a picture in picture shown in Fig. 3A, a cross fade shown in Fig. 3B, or a wipe shown in Fig. 3C.
  • the content and the user's video are superimposed and displayed.
  • the user's video is superimposed on the content video as a small screen.
  • the display position and size of the small screen can be changed arbitrarily.
  • the so-called “splendid” may be used so that the content image is transmitted through the small screen of the user's image.
  • the video of the user (user A or user X) is ⁇ -blended and displayed on the content video.
  • This cross fade can be used, for example, when the user points to an arbitrary position or region on the content video.
  • the video of the user is covered so as to cover the video of the content. Appear from a predetermined direction.
  • composition method of the content and the user's video can be changed at any time.
  • methods other than those described above may be applied to display content and user video.
  • Composition of content and user's video and audio for example, distinction between picture-in-picture, cross-fade, or wipe, sub-screen size and position when picture-in-picture is adopted, cross-fade is adopted ⁇ blending transparency, volume ratio, etc. are recorded as composite information 34 (Fig. 4).
  • the communication network 2 is a broadband data communication network represented by the Internet or the like, and the content supply server 3 supplies content to the communication device 1 via the communication network 2 in response to a request from the communication device 1.
  • the authentication server 4 performs processing such as authentication and billing when the user of the communication device 1 uses the communication system.
  • the broadcast device 5 transmits content as a program such as a television broadcast. Therefore, each communication device 1 can receive and reproduce the content broadcast from the broadcast device 5 in synchronization. Note that the content transmission from the broadcasting device 5 to the communication device 1 may be wireless or wired.
  • the communication network 2 may also be used.
  • the standard time information supply device 6 is a standard time for matching the clock (standard time counter 41 (Fig. 4)) built in the communication device 1 to the standard time (world standard time, Japan standard time, etc.). Information is supplied to each communication device 1.
  • the supply of the standard time information from the standard time information supply device 6 to the communication device 1 may be wireless or wired. In addition, it does not work through the communication network 2.
  • the output unit 21 includes a display 22 and a speaker 23, and displays video corresponding to the video signal and audio signal input from the video / audio synthesizer 31, respectively. Output.
  • the input unit 24 detects the camera 25 that captures the user's video (moving image or still image), the microphone 26 that collects the user's voice, and the ambient environment information (brightness, temperature, humidity, etc.) of the user.
  • the real-time (RT) data of the user including the acquired moving image, sound, and surrounding environment information is output to the communication unit 28 and the storage unit 32.
  • the camera 25 has a function capable of measuring the distance to the subject (user).
  • the input unit 24 outputs the acquired user video and audio to the video / audio synthesis unit 31. Further, the input unit 24 outputs the acquired video to the image analysis unit 35. Note that a plurality of input units 24 (two in the case of FIG. 4) may be provided, and each may be directed to a plurality of users (users A and B in FIG. 1).
  • the communication unit 28 transmits the real-time data of the user A input from the input unit 24 to the communication device 1-2 of the communication partner via the communication network 2, and the communication device 1-2 is connected to the communication device 1-2.
  • the transmitted real-time data of user X is received and output to the audio / video synthesis unit 31, the storage unit 32, and the image analysis unit 35.
  • the communication unit 28 receives the content supplied via the communication network 2 by the communication device 12 or the content supply server 3 as a communication partner, and outputs the content to the content reproduction unit 30 and the storage unit 32. Further, the communication unit 28 transmits the content 33 stored in the storage unit 32 and the operation information generated by the operation information output unit 50 to the communication device 12 via the communication network 2.
  • the broadcast receiving unit 29 receives a television broadcast signal broadcast from the broadcast device 5 and outputs the obtained content as a broadcast program to the content reproduction unit 30.
  • the content reproduction unit 30 reproduces the content of the broadcast program received by the broadcast reception unit 29, the content received by the communication unit 28, or the content read from the storage unit 32, and the video and audio of the obtained content Is output to the video / audio synthesis unit 31 and the image analysis unit 35.
  • the video / audio synthesis unit 31 combines the content video input from the content playback unit 30, the video of the user, and the video for OSD (On Screen Display) by ⁇ -plending or the like, The resulting video signal is output to the output unit 21.
  • the audio / video synthesis unit 31 also synthesizes the audio of the content input from the content playback unit 30 and the audio of the user. Then, the audio signal obtained as a result is output to the output unit 21.
  • the storage unit 32 receives the real-time data of the user (user A or the like) supplied from the input unit 24, the real-time data of the communication partner (user X) supplied from the communication unit 28, and is received by the transmission / reception unit 29 Stores broadcast program content and content supplied from the communication unit 28.
  • the storage unit 32 also stores the synthesis information 34 generated by the synthesis control unit 47.
  • the image analysis unit 35 analyzes the brightness and luminance of the content video input from the content playback unit 30 and the user video (including those from the communication devices 1-2), and the analysis result Is output to the composition control unit 47.
  • the mirror image generation unit 36 of the image analysis unit 35 generates a mirror image of the image of the user (including the one from the communication device 1-2).
  • the pointer detection unit 37 becomes a pointer that the user points to a desired position from the user's video (including those from the communication devices 1-2).
  • the wrist and fingertips are detected and the video is extracted.
  • a plurality of users are included in the video from the input unit 24, a plurality of pointers are detected to associate the users.
  • the motion vector detection unit 38 detects a motion vector indicating the user's motion from the user's video (including the one from the communication device 1-2), and identifies the generation point and the locus.
  • the matching unit 39 determines whether the detected motion vector force of the user matches the !! or deviation of the user's motion, and outputs the determination result to the control unit 43 as motion vector matching information.
  • the communication environment detection unit 40 monitors the communication environment (communication rate, communication delay time, etc.) between the communication unit 28 and the communication device 1-2 via the communication network 2, and sends the monitoring result to the control unit 43. Output. Based on the standard time information supplied from the standard time information supply device 6, the standard time counter 41 matches the standard time recorded by itself and supplies the standard time to the control unit 43.
  • the operation input unit 42 also has, for example, a remote controller power, accepts a user operation, and inputs a corresponding operation signal to the control unit 43.
  • the control unit 43 configures the communication device 1-1 based on an operation signal corresponding to a user operation input from the operation input unit 42, motion vector matching information input from the image analysis unit 35, and the like. Control each part.
  • the control unit 43 includes a session management unit 44, A viewing record level setting unit 45, a reproduction synchronization unit 46, a composition control unit 47, a reproduction permission unit 48, a recording permission unit 49, an operation information output unit 50, and an electronic device control unit 51 are included.
  • FIG. 4 illustration of control lines from the control unit 43 to each unit constituting the communication device 1-1 is omitted.
  • the communication unit 28 communicates with the communication communication device 1 via the communication network 2.
  • the viewing / recording level setting unit 45 is capable of reproducing real-time data such as user A acquired by the input unit 24 on the communication device 12 of the communication partner, Force / Negative force that can be recorded The number of times that recording is possible is set, and the communication unit 28 notifies the communication device 12 of this setting information.
  • the playback synchronization unit 46 controls the broadcast receiving unit 29 and the content playback unit 30 so that the same content is played back in synchronization with the communication device 1-2 of the communication partner.
  • the composition control unit 47 is based on the analysis result of the image analysis unit 35 and the like so that the content video and audio and the user video and audio are synthesized according to the setting operation from the user. Controls the synthesizer 31.
  • the reproduction permission unit 48 determines whether or not the content can be reproduced based on license information or the like added to the content, and controls the content reproduction unit 30 based on the determination result.
  • the recording permission unit 49 determines whether or not the user's real-time data and content can be recorded based on the setting of the communication partner and the license information added to the content, and controls the storage unit 32 based on the determination result. To do.
  • the operation information output unit 50 corresponds to a user operation (channel switching operation when receiving a television broadcast, content playback start, playback end, fast forward playback operation, etc.), including the operation content and operation time. Information (details will be described later) is generated, and the communication unit 28 notifies the communication device 1-2 of the communication partner. This operation information is used for synchronized playback of content.
  • the electronic device control unit 51 is a predetermined electronic device (for example, a lighting device, an air conditioner) connected to the communication device 11 (including a wireless connection). Control equipment, etc. (both not shown).
  • a detailed configuration example of the communication device 12 is the same as the configuration example of the communication device 11 shown in FIG.
  • This remote communication processing is performed when an operation for instructing the start of remote communication with the communication device 12 is input to the operation input unit 42, and an operation signal corresponding to this operation is input to the control unit 43. To begin.
  • step S1 the communication unit 28 connects to the communication device 1-2 via the communication network 2 based on the control of the session management unit 44, and notifies the start of remote communication. In response to this notification, the communication device 1-2 returns an acceptance of the start of remote communication.
  • step S2 the communication unit 28 transmits real-time data such as the user A input from the input unit 24 to the communication device 1-2 via the communication network 2 based on the control of the control unit 43. At the same time, it starts receiving the real-time data of user X sent from communication device 1-2.
  • the video and audio included in the transmitted real-time data of the user A and the like and the video and audio included in the received real-time data of the user X are input to the video / audio synthesis unit 31.
  • step S3 the communication unit 28 connects to the authentication server 4 via the communication network 2 based on the control of the session management unit 44, and performs an authentication process for content acquisition. After this authentication process, the communication unit 28 accesses the content supply server 3 via the communication network 2 and acquires the content specified by the user. At this time, it is assumed that the same processing is performed in the communication device 1-2 and the same content is acquired.
  • step S3 When receiving content that is broadcast on television, or when playing back content that has already been acquired and stored in storage unit 32, the process of step S3 can be omitted.
  • step S4 the content playback unit 30 starts content playback processing (hereinafter referred to as content synchronization playback processing) synchronized with the communication device 12 based on the control of the playback synchronization unit 46. To do. Details on this content synchronized playback process will be described later. Describe.
  • step S5 the storage unit 32 starts a remote communication recording process.
  • step S6 the video / audio synthesizing unit 31 receives the video and audio of the reproduced content, the video and audio included in the transmitted real-time data such as the user A, and the like according to the control of the synthesis control unit 47.
  • the video and audio included in the real-time data of the user X thus obtained are synthesized, and the video signal and audio signal obtained as a result are supplied to the output unit 21.
  • the output unit 21 displays video corresponding to the supplied video signal and outputs audio corresponding to the audio signal.
  • video and audio communications between users and synchronized playback of content have started.
  • step S6 the pointer detection unit 35 of the image analysis unit 35 parallels the processing of the video / audio synthesis unit 31 and the like, based on the video included in the real time data of the user A and the like, the pointer of the user A and the like. Detects and displays on the screen (pointing process).
  • step S7 the control unit 43 determines whether or not the user's power is an operation for instructing the end of the remote communication, and waits until it is determined that the operation has been performed. User power If it is determined that an operation for instructing the end of remote communication has been performed, the process proceeds to step S8.
  • step S8 based on the control from the session management unit 44, the communication unit 28 connects to the communication device 1-2 via the communication network 2 and notifies the end of the remote communication. In response to this notification, the communication device 1-2 returns an acceptance of the end of the remote communication.
  • step S9 the storage unit 32 ends the communication recording process. Played content recorded so far, video and audio included in real-time data such as user A, and video and audio included in received real-time data of user X The voice and synthesis information 34 will be used in the future when this remote communication is reproduced.
  • the synchronized content acquisition mode applied to the first synchronized playback process the follow-up synchronized mode applied to the second synchronized playback process, and the third synchronized
  • the synchronous content acquisition mode is a content that can be acquired synchronously by the communication device 1-1 and the communication device 12 and cannot be changed in reproduction timing, specifically, a television broadcast program, etc. This is applied when receiving the content of and viewing in real time. In the case of a television broadcast program, as long as the receiving channel is the same, the video and audio output timings are the same even in remote locations. Therefore, in the synchronous content acquisition mode, information indicating the received television broadcast channel is transmitted from the communication device 11 to the communication device 12 as operation information.
  • FIG. 6 shows an outline of operation in the synchronous content acquisition mode. For example, when communication device 1-1 is switched from channel Chi to channel Ch3 by user A at time tl, operation information indicating that it has been switched to channel Ch3 is generated, and communication device 1-2 is Sent.
  • communication device 1-2 that has received the operation information from communication device 1-1 at time t2, the channel to be received is switched to channel Ch3, and operation information indicating that the channel has been switched to channel Ch3 is generated, Returned to communication device 1-1. Then, the user X is notified that the content is synchronized and played back with the communication device 1-1 (for example, the character string “channel in sync” is superimposed on the screen).
  • Communication device 1-1 which has received the operation information from communication device 1-2 at time t3, notifies user A that the content is being played back synchronously with communication device 1-2. (For example, the character string “Channel in sync” is superimposed on the screen).
  • steps S11 to S15 are processing by the communication device 1-1
  • steps S21 to S23 are processing by the communication device 1-2.
  • the communication device 1-1 and the communication device 1-2 have already received a program (content) such as a television broadcast and have started playback.
  • step S11 the control unit 43 determines whether or not the channel switching operation has been performed on the operation input unit 42, and waits until it is determined that the channel switching operation has been performed.
  • step S12 the playback synchronization unit 46 controls the video / audio synthesis unit 31 to notify the user that the content is currently being played back synchronously with the communication device 1-2. The notification is terminated (for example, if the character string “Channel synchronization in progress” is superimposed on the screen, the superimposed display is stopped).
  • step S13 the operation information output unit 50 generates operation information indicating the channel after switching, and transmits the operation information from the communication unit 28 to the communication device 1-2 via the communication network 2.
  • step S14 the reproduction synchronization unit 46 determines whether or not the operation information corresponding to the operation information transmitted to the communication device 1-2 in the process of step S13 is returned from the communication device 1-2. Specifically, it is determined whether or not operation information indicating the same channel as the channel indicated by the operation information transmitted to the communication device 12 in step S13 is returned from the communication device 12. Then, it waits until it is determined that the corresponding operation information is returned. If it is determined that the corresponding operation information has been returned, the process proceeds to step S15.
  • step S15 the playback synchronization unit 46 controls the video / audio synthesis unit 31 to notify the user that the content is being played back synchronously with the communication device 12 (for example, The character string “Channel in sync” is superimposed on the screen). After this, the process returns to step S11 and waits until the next channel switching operation is performed by the user.
  • step S21 the reproduction synchronization unit 46 of the communication device 1-2 determines whether or not the operation information transmitted from the communication device 11 has been received, and waits until it is determined that the operation information has been received. If it is determined that the operation information transmitted from the communication device 11 is received, the process proceeds to step S22.
  • step S22 the reproduction synchronization unit 46 controls the transmission / reception unit 29 to switch the received television broadcast to the channel indicated by the operation information received in step S21.
  • the playback synchronization unit 46 of the communication device 1-2 controls the video / audio synthesis unit 31 to notify the user that the content is being played back synchronously with the communication device 1-1 (for example, “ Channel syncing ”is displayed on the screen).
  • step S23 the operation information output unit 50 of the communication device 1-2 generates operation information indicating the channel after switching, and the communication device 1-1 from the communication unit 28 via the communication network 2 Let me reply. Thereafter, the process returns to step S21 and waits until operation information is received from the communication device 11 next time.
  • the operation information from the time when user A performs the channel switching operation until the synchronization is performed.
  • the content the broadcasted program
  • the content can be synchronized and reproduced between the communication device 11 and the communication device 12.
  • the communication device 1 1 includes the communication device 1.
  • the tracking synchronous mode unlike a television broadcast program, the user can instruct operations such as playback start, fast forward playback, playback end, etc. at any timing, and communication is performed in advance. It is applied when the device 1 1 and the communication device 1 2 play the acquired content.
  • follow-up synchronous mode when an operation such as the start of content playback, fast forward playback, or end of playback is performed, information indicating the operation content and operation time, and the playback position of the content at the time of the operation Is transmitted from the communication device 1-1 to the communication device 1-2 as operation information.
  • FIG. 8 shows an outline of operation in the follow-up synchronization mode.
  • the playback of content is started, and the operation for starting playback is performed and the operation time Operation information indicating the playback position of the content at time tl and time tl is generated, transmitted to communication device 1-2, and received by communication device 1-2 at time t2 due to line delay of communication network 2.
  • the communication device 1-2 starts content playback from the position where the content playback position at the time tl is advanced by time (t2-tl). Therefore, the content is synchronized and played after time t2.
  • the user is notified that the synchronized playback is being performed, as in the above-described synchronized content acquisition mode (for example, “Channel in sync” is displayed on the screen).
  • “Channel in sync” is displayed on the screen.
  • the communication device 1 1 And communication device 1 2 can be synchronized and played back.
  • the follow-up synchronous mode when user A performs an operation to stop the playback of the content, the problem remains that on the user X side, the content proceeds for a time corresponding to the line delay. This problem is solved by the reservation type synchronous mode described later.
  • steps S31 to S33 are processing by the communication device 1-1
  • steps S41 and S42 are processing by the communication device 1-2. Further, it is assumed that the communication device 1-1 and the communication device 1-2 have already acquired the same content.
  • the control unit 43 determines whether or not the operation of the content input or the like has been performed on the operation input unit 42, and waits until it is determined that the operation such as the start of reproduction has been performed. To do.
  • step S32 the playback synchronization unit 46 executes a process corresponding to the operation from the user (for example, starts normal playback of the content).
  • step S33 the operation information output unit 50 generates information indicating the operation content, the time when the operation was performed, and operation information indicating the playback position of the content at the operation time.
  • the data is transmitted to the communication device 1-2 via the communication network 2. After this, the process returns to step S31, and next the user power waits until an operation such as the end of reproduction is performed.
  • step S41 the reproduction synchronization unit 46 of the communication device 1-2 determines whether or not the operation information transmitted from the communication device 11 has been received, and waits until it is determined that the operation information has been received. If it is determined that the operation information transmitted from the communication device 11 is received, the process proceeds to step S42.
  • step S42 the playback synchronization unit 46 advances the playback position of the content included in the received operation information by the difference between the operation time and the current time, and causes the content playback unit 30 to execute processing corresponding to the operation information ( For example, start normal playback of the content). Thereafter, the process returns to step S41 and waits until operation information is received from the communication device 11 next time.
  • the communication device 1-1 is started after playback is started. Playback position of content with communication device 1-2 The position can be matched.
  • communication device 1 1 includes communication device 1 1.
  • the reservation type synchronous mode applied to the third synchronous reproduction process will be described.
  • the reservation-type synchronization mode is different from the TV broadcast gabbing and the like, and the user can instruct operations such as playback start, fast-forward playback, and playback end at any timing, and can be pre-communicated. -Applied when the case device 1 1 and the communication device 1 2 play the acquired content respectively. The relationship with the tracking type synchronization mode will be described later.
  • FIG. 10 shows an outline of the operation in the scheduled synchronization mode. For example, if user A performs an operation to start playback of content for communication device 1-1 at time tl, the line delay when operating information is transmitted to communication device 1-2 is taken into account. The scheduled start time t2 is determined, and a playback start operation is performed, and operation information indicating the playback position of the content at the scheduled playback start time t2 and time t2 is generated and transmitted to the communication device 12 . Then, in the communication device 11, the reproduction of content is started from time t2.
  • the playback position of the content indicated by the received operation information is also the content. Playback starts. Therefore, after time t2, synchronized playback of content is performed.
  • the scheduled reproduction start time t2 is, for example, an average value of the line delay time periodically detected by the communication environment detection unit 40 and a predetermined time (several seconds) at the time tl when the operation is performed. To be determined. Or simply, at the time tl when the operation was performed, for a predetermined time (several seconds )) To determine the scheduled playback start time t2.
  • a line delay occurs when operation information is transmitted to communication device 1-2. Is determined, and the operation information indicating the fast-forward playback operation and the fast-forward playback start position t4 and the content fast-forward playback position at time t4 is generated. 1 Sent to 2. Then, in the communication device 1-1, the fast-forward playback of the content starts at time t4. Even in the communication device 12 that has received the operation information from the communication device 1-1, the fast-forward playback of the content is started at the fast-forward playback start scheduled time t4 indicated by the received operation information. Therefore, content synchronization is maintained even during fast forward playback after time t4.
  • steps S51 to S55 are processing by the communication device 1-1
  • steps S61 and S63 are processing by the communication device 1-2.
  • step S51 the control unit 43 determines whether or not the operation of the content input or the like has been performed on the operation input unit 42, and waits until it is determined that an operation such as the start of playback has been performed. To do.
  • step S52 the reproduction synchronization unit 46 determines the average value of the line delay time of the communication network 2 periodically detected by the communication environment detection unit 40 at the current time and a predetermined time (several seconds). ) And the scheduled operation execution time.
  • step S53 the operation information output unit 50 generates information indicating the operation content, the operation execution scheduled time corresponding to the operation, and the operation information indicating the reproduction position of the content at the operation execution scheduled time. Transmit to communication device 1-2 via communication network 2.
  • step S54 the reproduction synchronization unit 46 waits until the standard time supplied from the standard time counting unit 41 matches the scheduled operation execution time. If the standard time supplied from the standard time counter 41 matches the scheduled operation execution time, the process proceeds to step S55.
  • step S55 the playback synchronization unit 46 executes a process corresponding to the operation from the user (for example, starts normal playback of the content). Thereafter, the process returns to step S51 and waits until an operation such as the end of user force reproduction is performed next.
  • step S61 the playback synchronization unit 46 of the communication device 1-2 determines whether or not the operation information transmitted from the communication device 11 has been received, and waits until it is determined that the operation information has been received. If it is determined that the operation information transmitted from the communication device 11 is received, the process proceeds to step S62. In step S62, the reproduction synchronization unit 46 waits until the standard time supplied from the standard time counting unit 41 matches the scheduled operation execution time included in the received operation information. If the standard time supplied from the standard time counter 41 matches the scheduled operation execution time, the process proceeds to step S63. In step S63, the playback synchronization unit 46 executes processing corresponding to the operation content included in the received operation information from the playback position of the content included in the received operation information (eg, normal playback of content). Start).
  • step S62 the reproduction synchronization unit 46 waits until the standard time supplied from the standard time counting unit 41 matches the scheduled operation execution time included in the received operation information. If the standard time supplied from the standard time counter 41 matches the scheduled operation execution time, the process proceeds
  • step S61 Thereafter, the process returns to step S61, and next waits until operation information is received from the communication device 1-1.
  • the line delay time of the communication network 2 is considered.
  • the scheduled start time of the process corresponding to the operation is determined and the scheduled time is reached.
  • the communication device 1-1 and the communication device 1-2 start operations corresponding to the operation at the same time, so the synchronized playback of content is always performed between the communication device 1-1 and the communication device 1-2. Is possible.
  • the third synchronized playback process to which the reserved synchronization mode is applied is executed only when the communication status of the communication network 2 is stable and the line delay time is within the predetermined range, and the communication is performed.
  • the second synchronized playback process to which the follow-up synchronized mode is applied is executed.
  • the communication device 1 1 or the communication device 1 determines whether to execute the third synchronous playback process to which the reservation type synchronous mode is applied or the second synchronous playback process to which the follow type synchronous mode is applied. One of the two may be determined. Alternatively, a predetermined server connected to the communication network 2 may be determined.
  • the communication device 1-1 follows the communication device 1-1 (only when the communication device 1 2 synchronizes with the communication device 1 1 and plays back content), and only mentions it. However, this master-slave relationship can be reversed or changed at any time.
  • communication device 1 (communication device 1-2) follows the communication device 1-1.
  • the communication device 1 may be followed.
  • the processing of the communication device 1 described above can be executed by hardware, but can also be executed by software.
  • This personal computer 100 includes a CPU (Central Processing Unit) 101.
  • An input / output interface 105 is connected to the CPU 101 via the bus 104.
  • a ROM (Read Only Memory) 102 and a RAM (Random Access Memory) 103 are connected to the node 104.
  • the input / output interface 105 includes an input unit 106 including an input device such as a keyboard and a mouse for a user to input operation commands, an output unit 107 for displaying video and outputting audio, a program, A storage unit 108 including a hard disk drive for storing various data and a communication unit 109 for executing communication processing via a network typified by the Internet are connected. Also, magnetic disk (including flexible disk), optical disk (including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disk (including MD (Mini Disc)), or A drive 110 for reading / writing data from / to a recording medium 111 such as a semiconductor memory is connected.
  • a recording medium 111 such as a semiconductor memory
  • a program for causing the personal computer 100 to execute the processing of the communication device 1 described above is supplied to the personal computer 100 while being stored in the recording medium 111, read by the drive 110, and built in the storage unit 108. Installed on the hard disk drive.
  • the programs installed in the storage unit 108 are loaded from the storage unit 108 to the RAM 103 and executed in response to a command from the CPU 101 corresponding to a command from the user input to the input unit 106.
  • the program may be processed by a single computer, or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the system refers to the entire apparatus including a plurality of apparatuses. It represents.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本発明は遠隔地にいる人同士が同一のコンテンツを同期して視聴できるようにする情報処理装置および方法、記録媒体、並びにプログラムに関する。例えば、時刻ｔ１にユーザＡによりコンテンツの再生開始の操作が行われた場合、操作情報を送信した際の回線遅延が考慮され再生開始予定時刻ｔ２が決定され、再生開始の操作が行われた旨と再生開始予定時刻ｔ２、時刻ｔ２におけるコンテンツの再生位置を示す操作情報が生成され、ユーザＸ側に送信される。そして、ユーザＡ側では、時刻ｔ２からコンテンツの再生が開始される。また、ユーザＸ側でも、受信した操作情報が示す再生開始予定時刻ｔ２になったとき、受信した操作情報が示すコンテンツの再生位置からコンテンツの再生が開始される。したがって、時刻ｔ２以降はコンテンツの同期再生が行われている状態となる。本発明は、例えば、遠隔地間のコミュニケーション装置に適用することができる。

Description

情報処理装置および方法、記録媒体、並びにプログラム
技術分野
[0001] 本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、 ネットワークを介して接続された他の情報処理装置と、ユーザの音声や映像を通信 するとともに、同一のコンテンツを同期して再生するようにした情報処理装置および方 法、記録媒体、並びにプログラムに関する。
背景技術
[0002] 従来、遠隔地に 、る人同士の交流（以下、遠隔コミュニケーションと記述する）に用 いる装置として、電話、いわゆるテレビ電話、ビデオ会議システム等が存在する。また 、パーソナルコンピュータ等を用いてインタネットに接続し、テキストチャット、映像と音 声を伴うビデオチャット等を行う方法もある。
[0003] さらに、遠隔コミュニケーションを実行しょうとする人がそれぞれパーソナルコンビュ 一タ等を用い、インタネットを介して仮想空間を共有したり、同一のコンテンツを共用 したりすることも提案されている (例えば、特許文献 1参照)。
[0004] 特許文献 1 :特開 2003— 271530号公報
発明の開示
発明が解決しょうとする課題
[0005] し力しながら、遠隔地にいる人同士が同一のコンテンツを共用する従来の方法では
、コンテンツ再生のタイミングを正確に同期させることができないという課題があった。
[0006] したがって、遠隔地にいる人同士が映像や音声を通信しながら同一のコンテンツを 視聴し、同じタイミングで泣いたり、笑ったり、感動したりすることができないという課題 かあつた。
[0007] 本発明はこのような状況に鑑みてなされたものであり、遠隔地にいる人同士が同一 のコンテンツを同期して視聴できるようにすることを目的とする。
課題を解決するための手段
[0008] 本発明の情報処理装置は、ユーザによる操作に対応してコンテンツデータを再生 する再生手段と、ユーザによる操作に対応する操作情報を生成して、ネットワークを 介して他の情報処理装置に送信させる生成手段と、他の情報処理装置からネットヮ ークを介して送信された操作情報に基づき、再生手段によるコンテンツデータの再生 を他の情報処理装置と同期させる再生制御手段とを含むことを特徴とする。
[0009] 前記コンテンツデータは、テレビジョン番組として放送されたものとすることができる
[0010] 前記生成手段は、ユーザによるテレビジョン放送のチャンネルを切り換える操作に 対応して、切り換え後のチャンネルを示す操作情報を生成するようにすることができる
[0011] 前記生成手段は、ユーザの操作の内容、操作が行われた時刻、またはコンテンツ データの再生位置のうち、少なくとも 1つを含む操作情報を生成するようにすることが できる。
[0012] 前記生成手段は、ユーザの操作の内容、操作に対応する処理の開始予定時刻、ま たはコンテンッデータの再生位置のうち、少なくとも 1つを含む操作情報を生成するよ うにすることができる。
[0013] 本発明の情報処理装置は、ネットワークを介する操作情報の通信に要する通信時 間を検出する検出手段をさらに含むことができ、前記生成手段は、通信時間に基づ いて、操作に対応する処理の開始予定時刻を決定するようにすることができる。
[0014] 本発明の情報処理装置は、ユーザの音声および映像を、ネットワークを介して他の 情報処理装置と通信する通信手段をさらに含むことができる。
[0015] 本発明の情報処理方法は、ユーザによる操作に対応してコンテンツデータを再生 する再生ステップと、ユーザによる操作に対応する操作情報を生成して、ネットワーク を介して他の情報処理装置に送信させる生成ステップと、他の情報処理装置からネ ットワークを介して送信された操作情報に基づき、再生ステップの処理によるコンテン ッデータの再生を他の情報処理装置と同期させる再生制御ステップとを含むことを特 徴とする。
[0016] 本発明の記録媒体のプログラムは、ユーザによる操作に対応してコンテンツデータ を再生する再生ステップと、ユーザによる操作に対応する操作情報を生成して、ネッ トワークを介して他の情報処理装置に送信させる生成ステップと、他の情報処理装置 力もネットワークを介して送信された操作情報に基づき、再生ステップの処理によるコ ンテンッデータの再生を他の情報処理装置と同期させる再生制御ステップとを含む ことを特徴とする。
[0017] 本発明のプログラムは、ユーザによる操作に対応してコンテンツデータを再生する 再生ステップと、ユーザによる操作に対応する操作情報を生成して、ネットワークを介 して他の情報処理装置に送信させる生成ステップと、他の情報処理装置からネットヮ ークを介して送信された操作情報に基づき、再生ステップの処理によるコンテンツデ ータの再生を他の情報処理装置と同期させる再生制御ステップとを含む処理をコン ピュータに実行させることを特徴とする。
[0018] 本発明の情報処理装置および方法、並びにプログラムにおいては、ユーザによる 操作に対応する操作情報が生成されて、ネットワークを介して他の情報処理装置に 送信される。
また、他の情報処理装置力もネットワークを介して送信された操作情報に基づき、コ ンテンッデータの再生が他の情報処理装置と同期される。
発明の効果
[0019] 本発明によれば、遠隔地にいる人同士が同一のコンテンツを同期して視聴すること が可能となる。
図面の簡単な説明
[0020] [図 1]本発明を適用したコミュニケーションシステムの構成例を示している。
[図 2A]コンテンツの映像、およびユーザの映像の一例を示す図である。
[図 2B]コンテンツの映像、およびユーザの映像の一例を示す図である。
[図 2C]コンテンツの映像、およびユーザの映像の一例を示す図である。
[図 3A]コンテンツの映像と、ユーザの映像の合成例を示す図である。
[図 3B]コンテンツの映像と、ユーザの映像の合成例を示す図である。
[図 3C]コンテンツの映像と、ユーザの映像の合成例を示す図である。
[図 4]図 1のコミュニケーション装置の構成例を示すブロック図である。
[図 5]コミュニケーション装置による遠隔コミュニケーション処理を説明するフローチヤ ートである。
[図 6]第 1の同期再生処理に適用される同期コンテンツ取得モードの概要を説明する ための図である。
[図 7]第 1の同期再生処理を説明するフローチャートである。
[図 8]第 2の同期再生処理に適用される追随型同期モードの概要を説明するための 図である。
[図 9]第 2の同期再生処理を説明するフローチャートである。
[図 10]第 3の同期再生処理に適用される予約型同期モードの概要を説明するための 図である。
[図 11]第 3の同期再生処理を説明するフローチャートである。
[図 12]汎用パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
[0021] 1 コミュニケーション装置， 2 通信網， 3 コンテンツ供給サーバ， 4 認証サ ーバ， 5 放送装置， 6 標準時刻情報供給装置， 21 出力部， 22 ディスプレ ィ， 23 スピーカ， 24 入力部， 25 カメラ， 26 マイク， 27 センサ， 28 通信部， 29 放送受信部， 30 コンテンツ再生部， 31 映像音声合成部， 32 記憶部， 33 コンテンツ， 34 合成情報， 35 画像解析部， 36 鏡像生成部 , 37 ポインタ検出部， 38 動きベクトル検出部， 39 マッチング部， 40 通信 環境検出部， 41 標準時刻計時部， 42 操作入力部， 43 制御部， 44 セッ シヨン管理部， 45 視聴記録レベル設定部， 46 再生同期部， 47 合成制御部 , 48 再生許可部， 49 記録許可部， 50 操作情報出力部， 51 電子機器制 御部， 100 パーソナルコンピュータ， 101 CPU, 111 記録媒体
発明を実施するための最良の形態
[0022] 以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細 に説明する。
[0023] 図 1は、本発明を適用したコミュニケーションシステムの構成例を示している。このコ ミュ-ケーシヨンシステムにおいて、コミュニケーション装置 1—1は、通信網 2を介して 他のコミュニケーション装置 1 (図 1の場合、コミュニケーション装置 1— 2)と接続し、い わゆるテレビ電話のようにユーザの音声および映像を相互に通信することに加え、共 通のコンテンツ (例えば、テレビジョン放送等を受信して得られる番組コンテンツ、予 めダウンロード等により取得済の映画等のコンテンツ、ユーザ間で授受した私的なコ ンテンッ等の動画像、静止画像等）を他のコミュニケーション装置 1—2と同期して再 生することにより、ユーザ間の遠隔コミュニケーションを支援するものである。以下、コ ミュ-ケーシヨン装置 1—1および 1—2を個々に区別する必要がない場合、単にコミ ュニケーシヨン装置 1と記述する。
[0024] コミュニケーション装置 1は、複数のユーザが同時に利用することができる。例えば、 図 1の場合、コミュニケーション装置 1—1は、ユーザ A, Bによって使用されており、コ ミュ-ケーシヨン装置 1— 2は、ユーザ Xによって使用されて 、るものとする。
[0025] 例えば、共通のコンテンツの映像が図 2Aに示すようなものであり、コミュニケーショ ン装置 1—1によって撮影されたユーザ Aの映像が図 2Bに示すようなものであり、コミ ュニケーンョン装置 1—2によって撮影されたユーザ Xの映像が図 2Cに示すようなも のであるとする。この場合、コミュニケーション装置 1—1のディスプレイ 22 (図 4)には 、例えば、図 3Aに示すピクチャインピクチャ (picture in picture),図 3Bに示すクロスフ エイド (cross fade),または図 3Cに示すワイプ (wipe)の方式で、コンテンツとユーザの 映像が重畳されて表示される。
[0026] なお、図 3Aに示されたピクチャインピクチヤにおいては、コンテンツの映像にユー ザの映像が小画面として重畳される。小画面の表示位置およびサイズは任意に変更 可能である。また、自身 (ユーザ A)とコミュニケーション相手 (ユーザ X)の映像の両方 ではなぐ一方の小画面だけを表示させることも可能である。さらに、コンテンツの映 像がユーザの映像の小画面を透過するように、いわゆる、ひプレンデイングさせてもよ い。
[0027] 図 3Bに示されたクロスフエイドにおいては、コンテンツの映像にユーザ（ユーザ Aま たはユーザ X)の映像が αプレンディングされて表示される。このクロスフエイドは、例 えばコンテンッの映像上の任意の位置や領域をユーザが指し示すとき等に用いるこ とがでさる。
[0028] 図 3Βに示されたワイプにおいては、コンテンツの映像を覆うようにユーザの映像が 所定の方向から出現する。
[0029] コンテンツとユーザの映像の合成方式は随時変更が可能である。また、コンテンツ とユーザの映像の表示は、上述した方式以外の方式を適用してもよい。
[0030] コンテンツとユーザの映像および音声の合成状況、例えば、ピクチャインピクチャ、 クロスフエイド、またはワイプの区別、ピクチャインピクチヤが採用されているときの子 画面のサイズや位置、クロスフエイドが採用されているときの αブレンディングの透過 度、音量等の割合等は、合成情報 34 (図 4)として記録される。
[0031] 図 1に戻る。通信網 2は、インタネット等に代表される広帯域なデータ通信網である コンテンツ供給サーバ 3は、コミュニケーション装置 1からの要求に応じ、通信網 2を介 してコンテンツをコミュニケーション装置 1に供給する。認証サーバ 4は、コミュニケ一 シヨン装置 1のユーザが当該コミュニケーションシステムを利用するに際しての認証、 課金等の処理を行う。
[0032] 放送装置 5は、テレビジョン放送等の番組としてコンテンツを送信する。したがって、 各コミュニケーション装置 1は、放送装置 5から放送されるコンテンツを同期して受信 し、再生することができる。なお、放送装置 5からコミュニケーション装置 1に対するコ ンテンッの送信は無線であってもよいし、有線であってもよい。また、通信網 2を介し てもかまわない。
[0033] 標準時刻情報供給装置 6は、コミュニケーション装置 1に内蔵された時計 (標準時 刻計時部 41 (図 4) )を、標準時刻 (世界標準時、 日本標準時刻等）に整合させるため の標準時刻情報を各コミュニケーション装置 1に供給する。なお、標準時刻情報供給 装置 6からコミュニケーション装置 1に対する標準時刻情報の供給は、無線であっても よいし、有線であってもよい。また、通信網 2を介しても力まわない。
[0034] 次に、コミュニケーション装置 1 1の詳細な構成例について、図 4を参照して説明 する。
[0035] コミュニケーション装置 1—1において、出力部 21は、ディスプレイ 22およびスピー 力 23より構成され、映像音声合成部 31から入力される映像信号および音声信号に それぞれ対応する映像を表示し、音声を出力する。 [0036] 入力部 24は、ユーザの映像 (動画像または静止画像)を撮影するカメラ 25、ユーザ の音声を集音するマイク 26、およびユーザの周囲環境情報（明度、温度、湿度等)を 検出するセンサ 27より構成され、取得した動画像、音声、および周辺環境情報を含 むユーザのリアルタイム (RT)データを通信部 28および記憶部 32に出力する。カメラ 25は、被写体 (ユーザ)までの距離を計測可能な機能を有している。また、入力部 24 は、取得したユーザの映像および音声を映像音声合成部 31に出力する。さらに、入 力部 24は、取得した映像を画像解析部 35に出力する。なお、入力部 24を複数（図 4 の場合は 2つ)設けて、それぞれを複数のユーザ（図 1のユーザ A, B)に指向させる ようにしてもよい。
[0037] 通信部 28は、入力部 24から入力されるユーザ Aのリアルタイムデータを、通信網 2 を介してコミュニケーション相手のコミュニケーション装置 1—2に送信するとともに、コ ミュ-ケーシヨン装置 1— 2が送信したユーザ Xのリアルタイムデータを受信し、映像 音声合成部 31、記憶部 32、および画像解析部 35に出力する。また、通信部 28は、 コミュニケーション相手のコミュニケーション装置 1 2またはコンテンツ供給サーバ 3 力も通信網 2を介して供給されたコンテンツを受信し、コンテンツ再生部 30および記 憶部 32に出力する。さらに、通信部 28は、記憶部 32に記憶されているコンテンツ 33 や、操作情報出力部 50によって生成された操作情報を、通信網 2を介してコミュニケ ーシヨン装置 1 2に送信する。
[0038] 放送受信部 29は、放送装置 5から放送されたテレビジョン放送信号を受信し、得ら れた放送番組としてのコンテンツをコンテンツ再生部 30に出力する。コンテンツ再生 部 30は、放送受信部 29によって受信された放送番組のコンテンツ、通信部 28によ つて受信されたコンテンツ、または記憶部 32から読み出されるコンテンツを再生し、 得られたコンテンツの映像および音声を映像音声合成部 31および画像解析部 35に 出力する。
[0039] 映像音声合成部 31は、コンテンツ再生部 30から入力されるコンテンツの映像と、ュ 一ザの映像と、 OSD(On Screen Display)用の映像とを αプレンディング等によって合 成し、その結果得られた映像信号を出力部 21に出力する。また、映像音声合成部 3 1は、コンテンツ再生部 30から入力されるコンテンツの音声と、ユーザの音声を合成 し、その結果得られた音声信号を出力部 21に出力する。
[0040] 記憶部 32は、入力部 24から供給されるユーザ (ユーザ A等）のリアルタイムデータ、 通信部 28から供給されるコミュニケーション相手 (ユーザ X)のリアルタイムデータ、放 送受信部 29によって受信された放送番組のコンテンツ、通信部 28から供給されるコ ンテンッを記憶する。また、記憶部 32は、合成制御部 47によって生成された合成情 報 34を記憶する。
[0041] 画像解析部 35は、コンテンツ再生部 30から入力されるコンテンツの映像、およびュ 一ザの映像 (コミュニケーション装置 1— 2からのものも含む）の明度や輝度を解析し、 その解析結果を合成制御部 47に出力する。画像解析部 35の鏡像生成部 36は、ュ 一ザ (コミュニケーション装置 1—2からのものも含む）の映像の鏡像を生成する。ボイ ンタ検出部 37は、動きベクトル検出部 38によって検出されるユーザの動きベクトル等 に基づき、ユーザの映像（コミュニケーション装置 1— 2からのものも含む）からユーザ が所望の位置を指し示すポインタとなる手首や指先等を検出して、その映像を抽出 する。なお、入力部 24からの映像に複数のユーザが含まれている場合、複数のボイ ンタを検出してユーザを対応付ける。動きベクトル検出部 38は、ユーザの映像 (コミュ 二ケーシヨン装置 1— 2からのものも含む）から、ユーザの動作を示す動きベクトルを 検出し、その発生ポイントと軌跡を識別する。マッチング部 39は、検出されたユーザ の動きベクトル力 予め想定されて 、るユーザの動きの!/、ずれに合致するかを判定し 、判定結果を動きベクトルマッチング情報として制御部 43に出力する。
[0042] 通信環境検出部 40は、通信部 28と通信網 2を介したコミュニケーション装置 1—2と の通信環境 (通信レート、通信遅延時間等)を監視して、監視結果を制御部 43に出 力する。標準時刻計時部 41は、標準時刻情報供給装置 6から供給される標準時刻 情報に基づき、自己が刻む標準時刻を整合し、標準時刻を制御部 43に供給する。 操作入力部 42は、例えばリモートコントローラ等力も成り、ユーザの操作を受け付け て、対応する操作信号を制御部 43に入力する。
[0043] 制御部 43は、操作入力部 42から入力されるユーザの操作に対応した操作信号や 画像解析部 35から入力される動きベクトルマッチング情報等に基づいて、コミュニケ ーシヨン装置 1—1を構成する各部を制御する。制御部 43は、セッション管理部 44、 視聴記録レベル設定部 45、再生同期部 46、合成制御部 47、再生許可部 48、記録 許可部 49、操作情報出力部 50、および電子機器制御部 51を含んでいる。なお、図 4において、制御部 43からコミュニケーション装置 1— 1を構成する各部への制御ライ ンの図示は省略されている。
[0044] セッション管理部 44は、通信部 28が通信網 2を介して通信コミュニケーション装置 1
2、コンテンツ供給サーバ 3、認証サーバ 4等と接続する処理を制御する。視聴記 録レベル設定部 45は、ユーザ力もの設定操作に基づき、入力部 24に取得されたュ 一ザ A等のリアルタイムデータを、コミュニケーション相手のコミュニケーション装置 1 2において再生可能である力否力、記録可能である力否力 記録可能である場合 の記録可能回数等を設定し、この設定情報を通信部 28からコミュニケーション装置 1 2に通知させる。再生同期部 46は、コミュニケーション相手のコミュニケーション装 置 1—2と同期して同一のコンテンツが再生されるように、放送受信部 29やコンテンツ 再生部 30を制御する。
[0045] 合成制御部 47は、コンテンツの映像および音声とユーザの映像および音声が、ュ 一ザからの設定操作に従って合成されるように、画像解析部 35の解析結果等に基 づいて映像音声合成部 31を制御する。再生許可部 48は、コンテンツに付加されて いるライセンス情報等に基づいて当該コンテンツの再生の可否を判断し、判断結果 に基づいてコンテンツ再生部 30を制御する。記録許可部 49は、コミュニケーション相 手の設定やコンテンツに付加されているライセンス情報に基づき、ユーザのリアルタ ィムデータやコンテンツの記録の可否を判断し、判断結果に基づ 、て記憶部 32を制 御する。操作情報出力部 50は、ユーザによる操作 (テレビジョン放送受信時のチャン ネル切り換え操作、コンテンツ再生開始、再生終了、早送り再生の操作等）に対応し て、その操作内容や操作時刻等を含む操作情報 (詳細は後述する)を生成し、通信 部 28からコミュニケーション相手のコミュニケーション装置 1— 2に通知させる。この操 作情報は、コンテンツの同期再生に利用される。
[0046] 電子機器制御部 51は、画像解析部 35から入力される動きベクトルマッチング情報 に基づき、コミュニケーション装置 1 1に接続 (無線接続を含む)された所定の電子 機器 (例えば、照明機器、空調機器等。いずれも不図示)を制御する。 [0047] なお、コミュニケーション装置 1 2の詳細な構成例については、図 4に示されたコミ ュ-ケーシヨン装置 1 1の構成例と同様であるので、その説明は省略する。
[0048] 次に、コミュニケーション装置 1 1によるコミュニケーション装置 1 2との遠隔コミュ 二ケーシヨン処理について、図 5のフローチャートを参照して説明する。
[0049] この遠隔コミュニケーション処理は、コミュニケーション装置 1 2との遠隔コミュニケ ーシヨンの開始を指示する操作が操作入力部 42に入力され、この操作に対応する操 作信号が制御部 43に入力されたときに開始される。
[0050] ステップ S1において、通信部 28は、セッション管理部 44の制御に基づき、通信網 2 を介してコミュニケーション装置 1—2に接続し、遠隔コミュニケーションの開始を通知 する。この通知に対応して、コミュニケーション装置 1—2は、遠隔コミュニケーション の開始の受諾を返信する。
[0051] ステップ S2において、通信部 28は、制御部 43の制御に基づき、入力部 24から入 力されるユーザ A等のリアルタイムデータを、通信網 2を介してコミュニケーション装置 1— 2に送信し始めるとともに、コミュニケーション装置 1— 2から送信されたユーザ X のリアルタイムデータの受信を開始する。送信されたユーザ A等のリアルタイムデータ に含まれる映像および音声と、受信されたユーザ Xのリアルタイムデータに含まれる 映像および音声は、映像音声合成部 31に入力される。
[0052] ステップ S3において、通信部 28は、セッション管理部 44の制御に基づき、通信網 2 を介して認証サーバ 4に接続し、コンテンツ取得のための認証処理を行う。この認証 処理の後、通信部 28は、通信網 2を介してコンテンツ供給サーバ 3にアクセスし、ュ 一ザが指定するコンテンツを取得する。このとき、コミュニケーション装置 1—2でも同 様の処理が行われ、同一のコンテンツが取得されているものとする。
[0053] なお、テレビジョン放送されて ヽるコンテンツを受信する場合や、既に取得済で記 憶部 32に記憶されているコンテンツを再生する場合、ステップ S3の処理は省略する ことができる。
[0054] ステップ S4において、コンテンツ再生部 30は、再生同期部 46の制御に基づき、コ ミュ-ケーシヨン装置 1 2と同期したコンテンツの再生処理（以下、コンテンツ同期再 生処理と記述する）を開始する。このコンテンツ同期再生処理の詳細については後 述する。
[0055] ステップ S5において、記憶部 32は、遠隔コミュニケーション記録処理を開始する。
具体的には、再生が開始されたコンテンツ、送信されたユーザ A等のリアルタイムデ ータに含まれる映像および音声、受信されたユーザ Xのリアルタイムデータに含まれ る映像および音声、並びに、これらの合成の状態を示す合成制御部 47によって生成 された合成情報 34の記録が開始される。
[0056] ステップ S6において、映像音声合成部 31は、合成制御部 47の制御に従い、再生 されたコンテンツの映像および音声と、送信されたユーザ A等のリアルタイムデータに 含まれる映像および音声と、受信されたユーザ Xのリアルタイムデータに含まれる映 像および音声とを合成し、この結果得られた映像信号および音声信号を出力部 21 に供給する。出力部 21は、供給された映像信号に対応する映像を表示し、音声信号 に対応する音声を出力する。この段階でユーザ間の映像および音声の通信と、コン テンッの同期再生が開始されたことになる。
[0057] さらにステップ S6において、映像音声合成部 31等の処理と平行して画像解析部 3 5のポインタ検出部 35は、ユーザ A等のリアルタイムデータに含まれる映像に基づき 、ユーザ A等のポインタを検出し、画面上に表示する等の処理 (ポインティング処理） を実行する。
[0058] ステップ S7において、制御部 43は、ユーザ力も遠隔コミュニケーションの終了を指 示する操作が行われたカゝ否かを判定し、行われたと判定するまで待機する。ユーザ 力 遠隔コミュニケーションの終了を指示する操作が行われたと判定された場合、処 理はステップ S8に進む。
[0059] ステップ S8において、通信部 28は、セッション管理部 44からの制御に基づき、通 信網 2を介してコミュニケーション装置 1—2に接続し、遠隔コミュニケーションの終了 を通知する。この通知に対応して、コミュニケーション装置 1—2は、遠隔コミュニケ一 シヨンの終了の受諾を返信する。
[0060] ステップ S9において、記憶部 32は、コミュニケーション記録処理を終了する。このと きまでに記録された、再生されたコンテンツ、ユーザ A等のリアルタイムデータに含ま れる映像および音声、受信されたユーザ Xのリアルタイムデータに含まれる映像およ び音声、並びに合成情報 34は、今後において、今回の遠隔コミュニケーションが再 現されるときに利用される。
[0061] 以上、コミュニケーション装置 1 1による遠隔コミュニケーション処理の説明を終了 する。
[0062] 次に、上述した遠隔コミュニケーション処理のステップ S4におけるコンテンツ同期再 生処理について説明する。
[0063] コミュニケーション装置 1—1によるコンテンツ同期再生には、第 1の同期再生処理 に適用される同期コンテンツ取得モード、第 2の同期再生処理に適用される追随型 同期モード、および第 3の同期再生処理に適用される予約型同期モードの 3種類の モードがある。
[0064] 同期コンテンツ取得モードは、コミュニケーション装置 1—1とコミュニケーション装置 1 2が同期して取得可能であって再生タイミング等の変更が不可能なコンテンツ、 具体的には、テレビジョン放送の番組等のコンテンツを受信し、リアルタイムで視聴す るときに適用される。テレビジョン放送の番組の場合、受信するチャンネルさえ同じで あれば、その映像や音声の出力タイミングは遠隔地においても一致している。したが つて、同期コンテンツ取得モードにおいては、受信するテレビジョン放送のチャンネ ルを示す情報を操作情報として、コミュニケーション装置 1 1からコミュニケーション 装置 1 2に送信するようにする。
[0065] 図 6は、同期コンテンツ取得モードの動作概要を示している。例えば、時刻 tlにュ 一ザ Aにより、コミュニケーション装置 1—1がチャンネル Chiからチャンネル Ch3に 切り換えられた場合、チャンネル Ch3に切り換えられたことを示す操作情報が生成さ れ、コミュニケーション装置 1—2に送信される。
[0066] コミュニケーション装置 1— 1からの操作情報を時刻 t2に受信したコミュニケーション 装置 1 2では、受信するチャンネルがチャンネル Ch3に切り換えられ、チャンネル C h3に切り換えたことを示す操作情報が生成されて、コミュニケーション装置 1—1に返 信される。そして、ユーザ Xに対して、コミュニケーション装置 1—1との間でコンテンツ が同期再生されて 、る旨が通知される (例えば、文字列「チャンネル同期中」を画面 上に重畳表示される)。 [0067] コミュニケーション装置 1—2からの操作情報を時刻 t3に受信したコミュニケーション 装置 1—1では、コミュニケーション装置 1—2との間でコンテンツが同期再生されてい る旨が、ユーザ Aに対して通知される（例えば、文字列「チャンネル同期中」を画面上 に重畳表示される)。
[0068] 図 6からも明らかなように、同期コンテンツ取得モードでは、ユーザ Aがチャンネル 切り替え操作を行って力 コンテンツの再生が同期するまでに、操作情報の通信に 要する時間（tl—t2)だけ遅延はあるものの、コミュニケーション装置 1 1とコミュ- ケーシヨン装置 1 2との間でコンテンツ (放送されて 、る番組)の同期再生が可能で ある。
[0069] 次に、同期コンテンツ取得モードを採用した第 1の同期再生処理を実行するコミュ 二ケーシヨン装置 1 1とコミュニケーション装置 1 2の動作につ!、て、図 7のフロー チャートを参照して説明する。なお、図 7において、ステップ S11乃至 S15は、コミュ 二ケーシヨン装置 1—1による処理、ステップ S21乃至 S23は、コミュニケーション装置 1—2による処理である。また、コミュニケーション装置 1—1とコミュニケーション装置 1 —2では、既にテレビジョン放送等の番組 (コンテンツ)を受信し、再生を開始している ものとする。
[0070] まず、一方のコミュニケーション装置 1—1の動作について説明する。ステップ S11 において、制御部 43は、操作入力部 42に対してユーザ力もチャンネル切り換え操作 が行われたカゝ否かを判定し、チャンネル切り換え操作が行われたと判定するまで待 機する。
そして、操作入力部 42に対してユーザカゝらチャンネル切り換え操作が行われたと判 定された場合、処理はステップ S 12に進む。ステップ S 12において、再生同期部 46 は、映像音声合成部 31を制御して、現在、コミュニケーション装置 1—2との間でコン テンッが同期再生されている旨がユーザに通知されているならば、その通知を終了さ せる（例えば、画面上に文字列「チャンネル同期中」が重畳表示されているならば、そ の重畳表示を止めさせる）。
[0071] ステップ S13において、操作情報出力部 50は、切り換え後のチャンネルを示す操 作情報を生成し、通信部 28から通信網 2を介してコミュニケーション装置 1—2に送信 させる。ステップ S14において、再生同期部 46は、コミュニケーション装置 1—2から、 ステップ S13の処理でコミュニケーション装置 1—2に送信された操作情報に対応す る操作情報が返信されたか否かを判定する。具体的には、ステップ S 13の処理でコミ ュ-ケーシヨン装置 1 2に送信された操作情報が示すチャンネルと同じチャンネル を示す操作情報がコミュニケーション装置 1 2から返信されたか否かを判定する。そ して、対応する操作情報が返信されたと判定するまで待機する。対応する操作情報 が返信されたと判定された場合、処理はステップ S 15に進む。
[0072] ステップ S15において、再生同期部 46は、映像音声合成部 31を制御して、コミュ- ケーシヨン装置 1 2との間でコンテンツが同期再生されている旨をユーザに通知さ せる（例えば、文字列「チャンネル同期中」を画面上に重畳表示させる）。この後、処 理はステップ S 11に戻り、次にユーザカゝらチャンネル切り換え操作が行われるまで待 機すること〖こなる。
[0073] 次に、他方のコミュニケーション装置 1—2の動作について説明する。ステップ S21 において、コミュニケーション装置 1—2の再生同期部 46は、コミュニケーション装置 1 1から送信された操作情報を受信したカゝ否かを判定し、受信したと判定するまで待 機する。コミュニケーション装置 1 1から送信された操作情報を受信したと判定され た場合、処理はステップ S22に進む。ステップ S22において、再生同期部 46は、放 送受信部 29を制御して、受信しているテレビジョン放送を、ステップ S21で受信した 操作情報が示すチャンネルに切り替えさせる。コミュニケーション装置 1—2の再生同 期部 46は、映像音声合成部 31を制御して、コミュニケーション装置 1—1との間でコ ンテンッが同期再生されている旨をユーザに通知させる（例えば、「チャンネル同期 中」と画面上に表示させる)。
[0074] ステップ S23において、コミュニケーション装置 1—2の操作情報出力部 50は、切り 換え後のチャンネルを示す操作情報を生成し、通信部 28から通信網 2を介してコミュ 二ケーシヨン装置 1—1に返信させる。この後、処理はステップ S21に戻り、次にコミュ 二ケーシヨン装置 1 1からの操作情報を受信するまで待機することになる。
[0075] 以上説明したように、同期コンテンツ取得モードを採用した第 1の同期再生処理に よれば、ユーザ Aがチャンネル切り替え操作を行ってから同期するまでに、操作情報 の通信に要する時間だけ遅延はあるものの、コミュニケーション装置 1 1とコミュニケ ーシヨン装置 1 2との間でコンテンツ (放送されて 、る番組)の同期再生が可能であ る。
[0076] なお、上述した説明では、コミュニケーション装置 1 1にコミュニケーション装置 1
2が追随する (コミュニケーション装置 1 1にコミュニケーション装置 1 2が同期す る）場合についてのみ言及している力 この主従関係は逆転させたり、随時変更した りすることが可能である。
[0077] 次に、第 2の同期再生処理に適用される追随型同期モードについて説明する。追 随型同期モードは、テレビジョン放送の番組等とは異なり、ユーザが再生開始、早送 り再生、再生終了等の操作を任意のタイミングで指示することができ、かつ、予めコミ ュ-ケーシヨン装置 1 1とコミュニケーション装置 1 2がそれぞれ取得済のコンテン ッを再生するときに適用される。追随型同期モードにおいては、コンテンツの再生開 始、早送り再生、再生終了等の操作が行われた場合、その操作内容と操作時刻、そ の操作が行われたときのコンテンツの再生位置を示す情報を操作情報として、コミュ 二ケーシヨン装置 1— 1からコミュニケーション装置 1— 2に送信するようにする。
[0078] 図 8は、追随型同期モードの動作概要を示している。例えば、時刻 tlにユーザ Aに よりコミュニケーション装置 1 1に対してコンテンツの再生開始の操作が行われた場 合、コンテンツの再生を開始するとともに、再生開始の操作が行われた旨とその操作 時刻 tl、時刻 tlにおけるコンテンツの再生位置を示す操作情報が生成され、コミュ- ケーション装置 1—2に送信され、通信網 2の回線遅延により時刻 t2にコミュ-ケーシ ヨン装置 1—2に受信される。コミュニケーション装置 1—2では、受信した操作情報に 基づ 、て、時刻 tlにおけるコンテンツの再生位置を時間（t2— tl)だけ進めた位置 から、コンテンツの再生を開始する。したがって、時刻 t2以降はコンテンツが同期再 生された状態となる。なお、同期再生が行われている間、上述した同期コンテンツ取 得モードのように、同期再生されている旨をユーザに通知させる（例えば、「チャンネ ル同期中」と画面上に表示させる）ようにしてもょ 、。
[0079] また例えば、時刻 t3にユーザ Aによりコミュニケーション装置 1—1に対してコンテン ッの早送り再生の操作が行われた場合、コンテンツの通常再生から早送り再生に変 更するとともに、早送り再生の操作が行われた旨とその操作時刻 t3、時刻 t3における コンテンツの再生位置を示す操作情報が生成され、コミュニケーション装置 1 2に送 信され、通信網 2の回線遅延により時刻 t4にコミュニケーション装置 1 2に受信され る。コミュニケーション装置 1—2では、受信した操作情報に基づいて、コンテンツの 早送り再生を開始する。したがって、時刻 t3以降はコンテンツの同期再生が行われ ていない状態となる。
[0080] さらに例えば、時刻 t5にユーザ Aによりコミュニケーション装置 1—1に対してコンテ ンッの早送り再生の終了（通常再生の再開）の操作が行われた場合、コンテンツの通 常再生を再開するとともに、通常再生再開の操作が行われた旨とその操作時刻 t5、 時刻 t5におけるコンテンツの経過時間を示す操作情報が生成され、コミュニケーショ ン装置 1 2に送信され、通信網 2の回線遅延により時刻 t6にコミュ-ケーション装置 1—2に受信される。コミュニケーション装置 1—2では、受信した操作情報に基づい て、時刻 t5におけるコンテンツの再生位置を時間（t6—t5)だけ進めた位置から、コ ンテンッの再生を開始する。したがって、時刻 t6以降はコンテンツが同期再生された 状態となる。
[0081] したがって、追随型同期モードでは、ユーザ Aが再生開始等の操作を行ってから同 期するまでに、操作情報の通信に要する回線遅延に相当する時間は力かるものの、 コミュニケーション装置 1 1とコミュニケーション装置 1 2との間でコンテンツの同期 再生が可能である。尤も、追随型同期モードでは、ユーザ Aにより、コンテンツの再生 を停止させる操作が行われたときには、ユーザ X側では、回線遅延に相当する時間 だけコンテンツが進行してしまうという問題が残っている。この問題は、後述する予約 型同期モードによって解決される。
[0082] 次に、追随型同期モードを採用した第 2の同期再生処理を実行するコミュニケーシ ヨン装置 1 1とコミュニケーション装置 1 2の動作につ!、て、図 9のフローチャートを 参照して説明する。なお、図 9において、ステップ S31乃至 S33は、コミュニケーショ ン装置 1—1による処理、ステップ S41および S42は、コミュニケーション装置 1—2に よる処理である。また、コミュニケーション装置 1—1とコミュニケーション装置 1—2は、 既に同一のコンテンツを取得しているものとする。 [0083] まず、一方のコミュニケーション装置 1—1の動作について説明する。ステップ S31 において、制御部 43は、操作入力部 42に対してユーザ力もコンテンツの再生開始 等の操作が行われたカゝ否かを判定し、再生開始等の操作が行われたと判定するまで 待機する。
そして、操作入力部 42に対してユーザ力も再生開始等の操作が行われたと判定され た場合、処理はステップ S32に進む。ステップ S32において、再生同期部 46は、ュ 一ザからの操作に対応する処理を実行する（例えば、コンテンツの通常再生を開始 する)。
[0084] ステップ S33にお 、て、操作情報出力部 50は、操作内容を示す情報、操作が行わ れた時刻、その操作時刻におけるコンテンツの再生位置を示す操作情報を生成し、 通信部 28から通信網 2を介してコミュニケーション装置 1—2に送信させる。この後、 処理はステップ S31に戻り、次にユーザ力も再生終了等の操作が行われるまで待機 すること〖こなる。
[0085] 次に他方のコミュニケーション装置 1—2の動作について説明する。ステップ S41に おいて、コミュニケーション装置 1—2の再生同期部 46は、コミュニケーション装置 1 1から送信された操作情報を受信したカゝ否かを判定し、受信したと判定するまで待機 する。コミュニケーション装置 1 1から送信された操作情報を受信したと判定された 場合、処理はステップ S42に進む。ステップ S42において、再生同期部 46は、受信 した操作情報に含まれるコンテンツの再生位置を、操作時刻と現時刻の差だけ進ま せて、操作情報に対応する処理をコンテンツ再生部 30に実行させる（例えば、コンテ ンッの通常再生を開始させる）。この後、処理はステップ S41に戻り、次にコミュニケ ーシヨン装置 1 1からの操作情報を受信するまで待機することになる。
[0086] なお、上述した追随型同期モードにおいても、コンテンツの同期再生が行われてい る間、上述した同期コンテンツ取得モードのように、同期再生されている旨をユーザ に通知させる（例えば、「チャンネル同期中」と画面上に表示させる）ようにしてもよ 、。
[0087] 以上説明したように、追随型同期モードを採用した第 2の同期再生処理によれば、 コンテンツの再生開始や終了のタイミングはずれるものの、再生が開始された後には 、コミュニケーション装置 1—1とコミュニケーション装置 1—2とのコンテンツの再生位 置は一致させることができる。
[0088] なお、上述した説明では、コミュニケーション装置 1 1にコミュニケーション装置 1
2が追随する (コミュニケーション装置 1 1にコミュニケーション装置 1 2が同期す る）場合についてのみ言及している力 この主従関係は逆転させたり、随時変更した りすることが可能である。
[0089] 次に、第 3の同期再生処理に適用される予約型同期モードについて説明する。予 約型同期モードは、テレビジョン放送の番糸且等とは異なり、ユーザが再生開始、早送 り再生、再生終了等の操作を任意のタイミングで指示することができ、かつ、予めコミ ュ-ケーシヨン装置 1 1とコミュニケーション装置 1 2がそれぞれ取得済のコンテン ッを再生するときに適用される。追随型同期モードとの関係については後述する。
[0090] 予約型同期モードにおいては、コンテンツの再生開始、早送り再生、再生終了等の 操作が行われた場合、その操作内容と操作に対応する処理の実行予定時刻、その 操作が行われたときのコンテンツの再生位置を示す情報を操作情報として、コミュ- ケーシヨン装置 1— 1からコミュニケーション装置 1— 2に送信するようにする。
[0091] 図 10は、予定型同期モードの動作概要を示している。例えば、時刻 tlにユーザ A によりコミュニケーション装置 1— 1に対してコンテンツの再生開始の操作が行われた 場合、コミュニケーション装置 1—2に対して操作情報を送信した際の回線遅延が考 慮され再生開始予定時刻 t2が決定され、再生開始の操作が行われた旨と再生開始 予定時刻 t2、時刻 t2におけるコンテンツの再生位置を示す操作情報が生成され、コ ミュ-ケーシヨン装置 1 2に送信される。そして、コミュニケーション装置 1 1では、 時刻 t2からコンテンツの再生が開始される。コミュニケーション装置 1—1からの操作 情報を受信したコミュニケーション装置 1 2でも、受信した操作情報が示す再生開 始予定時刻 t2になったとき、受信した操作情報が示すコンテンツの再生位置カもコ ンテンッの再生が開始される。したがって、時刻 t2以降はコンテンツの同期再生が行 われている状態となる。
[0092] なお、再生開始予定時刻 t2は、操作が行われた時刻 tlに、例えば、通信環境検出 部 40によって周期的に検出される回線遅延時間の平均値と所定の時間 (数秒間）と を加算して決定する。あるいは、単に、操作が行われた時刻 tlに、所定の時間（数秒 間）を加算して再生開始予定時刻 t2を決定するようにしてもょ 、。
[0093] また例えば、時刻 t3にユーザ Aによりコミュニケーション装置 1—1に対してコンテン ッの早送り再生の操作が行われた場合、コミュニケーション装置 1—2に対して操作 情報を送信する際の回線遅延が考慮された早送り再生開始予定時刻 t4が決定され 、早送り再生の操作が行われた旨と早送り再生開始予定時刻 t4、時刻 t4におけるコ ンテンッの早送り再生位置を示す操作情報が生成され、コミュニケーション装置 1 2 に送信される。そして、コミュニケーション装置 1—1では、時刻 t4になったとき、コンテ ンッの早送り再生が開始される。コミュニケーション装置 1—1からの操作情報を受信 したコミュニケーション装置 1 2でも、受信した操作情報が示す早送り再生開始予定 時刻 t4になったとき、コンテンツの早送り再生が開始される。したがって、時刻 t4以降 の早送り再生時においてもコンテンツの同期が保持された状態となる。
[0094] このように、予約型同期モードでは、ユーザ Aから再生開始等の操作が行われた場 合、通信網 2の回線遅延時間が考慮されて、その操作に対応する処理の開始予定 時刻が決定され、予定時刻に達したときに、操作に対応する動作が開始されるので、 時刻 t2以降は常にコミュニケーション装置 1 1とコミュニケーション装置 1 2との間 でコンテンツの同期再生が可能である。
[0095] 次に、予約型同期モードを採用した第 3の同期再生処理を実行するコミュニケーシ ヨン装置 1 1とコミュニケーション装置 1 2の動作につ!、て、図 11のフローチャート を参照して説明する。なお、図 11において、ステップ S51乃至 S55は、コミュニケ一 シヨン装置 1—1による処理、ステップ S61および S63は、コミュニケーション装置 1— 2による処理である。また、コミュニケーション装置 1—1とコミュニケーション装置 1—2 は、既に同一のコンテンツを取得しているものとする。
[0096] まず、一方のコミュニケーション装置 1—1の動作について説明する。ステップ S51 において、制御部 43は、操作入力部 42に対してユーザ力もコンテンツの再生開始 等の操作が行われたカゝ否かを判定し、再生開始等の操作が行われたと判定するまで 待機する。
そして、操作入力部 42に対してユーザ力も再生開始等の操作が行われたと判定され た場合、処理はステップ S52に進む。 [0097] ステップ S52において、再生同期部 46は、現在の時刻に、通信環境検出部 40によ つて周期的に検出されている通信網 2の回線遅延時間の平均値と所定の時間（数秒 間）とを加算して動作実行予定時刻する。ステップ S53において、操作情報出力部 5 0は、操作内容を示す情報、操作に対応する動作実行予定時刻、その動作実行予 定時刻におけるコンテンツの再生位置を示す操作情報を生成し、通信部 28から通 信網 2を介してコミュニケーション装置 1— 2に送信させる。
[0098] ステップ S54において、再生同期部 46は、標準時刻計時部 41から供給される標準 時刻が動作実行予定時刻と一致するまで待機する。標準時刻計時部 41から供給さ れる標準時刻が動作実行予定時刻と一致した場合、処理はステップ S55に進む。ス テツプ S55において、再生同期部 46は、ユーザからの操作に対応する処理を実行 する（例えば、コンテンツの通常再生を開始する）。この後、処理はステップ S51に戻 り、次にユーザ力 再生終了等の操作が行われるまで待機することになる。
[0099] 次に他方のコミュニケーション装置 1—2の動作について説明する。ステップ S61に おいて、コミュニケーション装置 1—2の再生同期部 46は、コミュニケーション装置 1 1から送信された操作情報を受信したカゝ否かを判定し、受信したと判定するまで待機 する。コミュニケーション装置 1 1から送信された操作情報を受信したと判定された 場合、処理はステップ S62に進む。ステップ S62において、再生同期部 46は、標準 時刻計時部 41から供給される標準時刻が、受信した操作情報に含まれる動作実行 予定時刻と一致するまで待機する。標準時刻計時部 41から供給される標準時刻が 動作実行予定時刻と一致した場合、処理はステップ S63に進む。ステップ S63にお いて、再生同期部 46は、受信した操作情報に含まれる操作内容に対応する処理を、 受信した操作情報に含まれるコンテンツの再生位置から実行する（例えば、コンテン ッの通常再生を開始する)。
この後、処理はステップ S61に戻り、次にコミュニケーション装置 1—1からの操作情 報を受信するまで待機することになる。
[0100] 以上説明したように、予約型同期モードを採用した第 3の同期再生処理によれば、 ユーザ Aから再生開始等の操作が行われた場合、通信網 2の回線遅延時間が考慮 されて、その操作に対応する処理の開始予定時刻が決定され、予定時刻に達したと きに、コミュニケーション装置 1—1とコミュニケーション装置 1—2において同時に、操 作に対応する動作が開始されるので、常にコミュニケーション装置 1—1とコミュニケ ーシヨン装置 1—2との間でコンテンツの同期再生が可能である。
[0101] ただし、通信網 2の通信状況等が不安定であって回線遅延時間が大きく変動したり した場合、操作が行われた時刻と、操作に対応する処理の開始予定時刻との時間差 を大きくせざるを得ない。しかしながら、このように、操作を行っても対応する動作がな かなか開始されない状態は、コミュニケーション装置 1 1のユーザにとって操作性が 悪ぐストレスを感じさせる。
[0102] したがって、通信網 2の通信状況が安定し、回線遅延時間が所定の範囲内に収ま つているときのみ予約型同期モードを適用した第 3の同期再生処理を実行するように し、通信網 2の回線遅延時間が不安定なときには追随型同期モードを適用した第 2 の同期再生処理を実行するようにする。なお、予約型同期モードを適用した第 3の同 期再生処理、または追随型同期モードを適用した第 2の同期再生処理のどちらを実 行するかの決定は、コミュニケーション装置 1 1またはコミュニケーション装置 1 2 の一方が決定するようにしればよい。あるいは、通信網 2に接続されている所定のサ ーバが決定するようにしてもょ 、。
[0103] また、上述した説明では、コミュニケーション装置 1—1にコミュニケーション装置 1 2が追随する（コミュニケーション装置 1 1にコミュニケーション装置 1 2が同期して コンテンツを再生する）場合にっ 、てのみ言及して 、るが、この主従関係は逆転させ たり、随時変更したりすることが可能である。
[0104] さらに、上述した説明では、コミュニケーション装置 1—1に、 1台のコミュニケーショ ン装置 1 (コミュニケーション装置 1— 2)が追随する場合にっ 、てのみ言及して 、るが 、複数台のコミュニケーション装置 1を追随させるようにしてもよい。また、複数台のコミ ュニケーシヨン装置 1により、主従関係を逆転させたり、随時変更したりするようにして ちょい。
[0105] ところで、上述したコミュニケーション装置 1の処理は、ハードウェアにより実行させる こともできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアに より実行させる場合には、そのソフトウェアを構成するプログラム力 専用のハードゥエ ァに組み込まれているコンピュータ、または、各種のプログラムをインストールすること で、各種の機能を実行することが可能な、例えば図 12に示すような汎用のパーソナ ルコンピュータなどに、記録媒体からインストールされる。
[0106] このパーソナルコンピュータ 100は、 CPU(Central Processing Unit)101を内蔵して いる。 CPU101にはバス 104を介して、入出力インタフェース 105が接続されている。 ノ ス 104には、 ROM(Read Only Memory)102および RAM(Random Access Memory) 103が接続されている。
[0107] 入出力インタフェース 105には、ユーザが操作コマンドを入力するキーボード、マウ ス、等の入力デバイスよりなる入力部 106、映像を表示したり、音声を出力したりする 出力部 107、プログラムや各種データを格納するハードディスクドライブなどよりなる 記憶部 108、およびインタネットに代表されるネットワークを介した通信処理を実行す る通信部 109が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、 光ディスク（CD— ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Dis c)を含む）、光磁気ディスク（MD(Mini Disc)を含む）、もしくは半導体メモリなどの記録 媒体 111に対してデータを読み書きするドライブ 110が接続されて ヽる。
[0108] このパーソナルコンピュータ 100に上述したコミュニケーション装置 1の処理を実行 させるプログラムは、記録媒体 111に格納された状態でパーソナルコンピュータ 100 に供給され、ドライブ 110によって読み出されて記憶部 108に内蔵されるハードディ スクドライブにインストールされて 、る。記憶部 108にインストールされて!/、るプロダラ ムは、入力部 106に入力されるユーザからのコマンドに対応する CPU101の指令によ つて、記憶部 108から RAM103にロードされて実行される。
[0109] なお、本明細書にぉ 、て、プログラムに基づ 、て実行されるステップは、記載された 順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されな くとも、並列的あるいは個別に実行される処理をも含むものである。
[0110] また、プログラムは、 1台のコンピュータにより処理されるものであってもよいし、複数 のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠 方のコンピュータに転送されて実行されるものであってもよい。
[0111] また、本明細書において、システムとは、複数の装置により構成される装置全体を 表すものである。

Claims

請求の範囲
[1] ネットワークを介して他の情報処理装置と通信する情報処理装置にお!、て、
ユーザによる操作に対応してコンテンツデータを再生する再生手段と、 前記ユーザによる前記操作に対応する操作情報を生成して、前記ネットワークを介 して前記他の情報処理装置に送信させる生成手段と、
前記他の情報処理装置力 前記ネットワークを介して送信された操作情報に基づ き、前記再生手段による前記コンテンツデータの再生を前記他の情報処理装置と同 期させる再生制御手段と
を含むことを特徴とする情報処理装置。
[2] 前記コンテンツデータは、テレビジョン番組として放送されたものである
ことを特徴とする請求項 1に記載の情報処理装置。
[3] 前記生成手段は、前記ユーザによるテレビジョン放送のチャンネルを切り換える操 作に対応して、切り換え後のチャンネルを示す前記操作情報を生成する
ことを特徴とする請求項 2に記載の情報処理装置。
[4] 前記生成手段は、前記ユーザの前記操作の内容、前記操作が行われた時刻、また は前記コンテンツデータの再生位置のうち、少なくとも 1つを含む前記操作情報を生 成する
ことを特徴とする請求項 1に記載の情報処理装置。
[5] 前記生成手段は、前記ユーザの前記操作の内容、前記操作に対応する処理の開 始予定時刻、または前記コンテンツデータの再生位置のうち、少なくとも 1つを含む 前記操作情報を生成する
ことを特徴とする請求項 1に記載の情報処理装置。
[6] 前記ネットワークを介する前記操作情報の通信に要する通信時間を検出する検出 手段をさらに含み、
前記生成手段は、前記通信時間に基づいて、前記操作に対応する処理の開始予 定時刻を決定する
ことを特徴とする請求項 5に記載の情報処理装置。
[7] ユーザの音声および映像を、前記ネットワークを介して前記他の情報処理装置と通 信する通信手段を
さらに含むことを特徴とする請求項 1に記載の情報処理装置。
[8] ネットワークを介して他の情報処理装置と通信する情報処理方法にお!、て、 ユーザによる操作に対応してコンテンツデータを再生する再生ステップと、 前記ユーザによる前記操作に対応する操作情報を生成して、前記ネットワークを介 して前記他の情報処理装置に送信させる生成ステップと、
前記他の情報処理装置力 前記ネットワークを介して送信された操作情報に基づ き、前記再生ステップの処理による前記コンテンツデータの再生を前記他の情報処 理装置と同期させる再生制御ステップと
を含むことを特徴とする情報処理方法。
[9] ネットワークを介して他の情報処理装置と通信するためのプログラムであって、 ユーザによる操作に対応してコンテンツデータを再生する再生ステップと、 前記ユーザによる前記操作に対応する操作情報を生成して、前記ネットワークを介 して前記他の情報処理装置に送信させる生成ステップと、
前記他の情報処理装置力 前記ネットワークを介して送信された操作情報に基づ き、前記再生ステップの処理による前記コンテンツデータの再生を前記他の情報処 理装置と同期させる再生制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている 記録媒体。
[10] ネットワークを介して他の情報処理装置と通信するためのプログラムであって、 ユーザによる操作に対応してコンテンツデータを再生する再生ステップと、 前記ユーザによる前記操作に対応する操作情報を生成して、前記ネットワークを介 して前記他の情報処理装置に送信させる生成ステップと、
前記他の情報処理装置力 前記ネットワークを介して送信された操作情報に基づ き、前記再生ステップの処理による前記コンテンツデータの再生を前記他の情報処 理装置と同期させる再生制御ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2005/013293 2004-07-27 2005-07-20 情報処理装置および方法、記録媒体、並びにプログラム WO2006011400A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/572,593 US20080168505A1 (en) 2004-07-27 2005-07-20 Information Processing Device and Method, Recording Medium, and Program
CN2005800224868A CN1981524B (zh) 2004-07-27 2005-07-20 信息处理设备和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004218530A JP2006041885A (ja) 2004-07-27 2004-07-27 情報処理装置および方法、記録媒体、並びにプログラム
JP2004-218530 2004-07-27

Publications (1)

Publication Number Publication Date
WO2006011400A1 true WO2006011400A1 (ja) 2006-02-02

Family

ID=35786150

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/013293 WO2006011400A1 (ja) 2004-07-27 2005-07-20 情報処理装置および方法、記録媒体、並びにプログラム

Country Status (4)

Country Link
US (1) US20080168505A1 (ja)
JP (1) JP2006041885A (ja)
CN (1) CN1981524B (ja)
WO (1) WO2006011400A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009239646A (ja) * 2008-03-27 2009-10-15 Fuji Xerox Co Ltd テレビ会議システムおよびテレビ会議装置および画像処理プログラム
JP2010062963A (ja) * 2008-09-05 2010-03-18 Hitachi Ltd テレビ受像機およびテレビ受像機の処理方法
US8782712B2 (en) * 2008-12-23 2014-07-15 Verizon Patent And Licensing Inc. Method and system for creating a media playlist
JP5278059B2 (ja) * 2009-03-13 2013-09-04 ソニー株式会社 情報処理装置及び方法、プログラム、並びに情報処理システム
JP2012222503A (ja) 2011-04-06 2012-11-12 Sony Corp 情報処理装置及び方法、並びにプログラム
BR112014021401B1 (pt) 2012-03-09 2022-10-11 Interdigital Madison Patent Holdings Método para processar um comando de transporte em um controlador de conteúdo local e método para processar um primeiro comando de transporte em um controlador de conteúdo local para controlar conteúdo compartilhado
JP5906905B2 (ja) * 2012-03-30 2016-04-20 株式会社Ｊｖｃケンウッド コンテンツ再生装置、コンテンツ再生システム、コンテンツ再生方法、及び、プログラム
US20140096169A1 (en) * 2012-09-28 2014-04-03 Joseph Dodson Playback synchronization in a group viewing a media title
JP5740418B2 (ja) * 2013-02-01 2015-06-24 株式会社日立製作所 同期動画再生システム
WO2014168616A1 (en) 2013-04-10 2014-10-16 Thomson Licensing Tiering and manipulation of peer's heads in a telepresence system
JP2016526826A (ja) 2013-06-20 2016-09-05 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ コンテンツの分散型再生の同期化を支援するシステム及び方法
JP2015012557A (ja) * 2013-07-02 2015-01-19 日本電気株式会社 映像音声処理装置、映像音声処理システム、映像音声同期方法、プログラム
JP6260013B2 (ja) * 2014-01-25 2018-01-17 Ｎｌ技研株式会社 通信機能を有するテレビ、テレビシステムおよび通信機能を有する機器の操作装置
US10671234B2 (en) * 2015-06-24 2020-06-02 Spotify Ab Method and an electronic device for performing playback of streamed media including related media content
CN107819809B (zh) * 2016-09-14 2024-03-05 京东方科技集团股份有限公司 对内容进行同步操作的方法及装置
JP6319484B2 (ja) * 2017-03-01 2018-05-09 株式会社Ｊｖｃケンウッド コンテンツ再生装置、コンテンツ再生システム、コンテンツ再生方法、及び、プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148841A (ja) * 1999-11-19 2001-05-29 Nec Corp テレビコミュニティの形成方法とそのシステム
JP2002507027A (ja) * 1998-03-13 2002-03-05 シーメンス コーポレイト リサーチ インコーポレイテツド 協調的ダイナミックビデオコメント作成装置および作成方法
JP2002223264A (ja) * 2001-11-08 2002-08-09 Mitsubishi Electric Corp 協調処理方式
JP2003150529A (ja) * 2001-11-19 2003-05-23 Hitachi Ltd 情報交換方法、情報交換端末装置、情報交換サーバ装置、プログラム
JP2004088327A (ja) * 2002-08-26 2004-03-18 Casio Comput Co Ltd 通信端末、通信端末処理プログラム、および画像配信サーバ、画像配信処理プログラム

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549026A (ja) * 1991-08-13 1993-02-26 Nippon Telegr & Teleph Corp <Ntt> 映像編集再生方法
JPH05137137A (ja) * 1991-11-13 1993-06-01 Sony Corp テレビ会議システム
JPH08298656A (ja) * 1995-02-28 1996-11-12 Ricoh Co Ltd テレライティングシステム
US5808662A (en) * 1995-11-08 1998-09-15 Silicon Graphics, Inc. Synchronized, interactive playback of digital movies across a network
JPH09244982A (ja) * 1995-12-28 1997-09-19 Oki Electric Ind Co Ltd マルチポインティングデバイス装置
JP3677899B2 (ja) * 1996-10-29 2005-08-03 株式会社日立製作所 多地点端末連携方法及びこれを用いた遠隔診療支援システム
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
TW463503B (en) * 1998-08-26 2001-11-11 United Video Properties Inc Television chat system
US6353450B1 (en) * 1999-02-16 2002-03-05 Intel Corporation Placing and monitoring transparent user interface elements in a live video stream as a method for user input
US8171520B2 (en) * 2000-03-02 2012-05-01 Tivo Inc. Method of sharing personal media using a digital recorder
JP4025486B2 (ja) * 2000-05-18 2007-12-19 富士通株式会社 情報視聴支援装置
US20020054206A1 (en) * 2000-11-06 2002-05-09 Allen Paul G. Systems and devices for audio and video capture and communication during television broadcasts
JP2002247541A (ja) * 2001-02-15 2002-08-30 Nippon Telegr & Teleph Corp <Ntt> 多地点映像表示制御方法および多地点映像表示制御を行う遠隔会議システム
JP3488442B2 (ja) * 2001-03-30 2004-01-19 株式会社ジャストシステム 視聴状況管理方法および装置
JP4212782B2 (ja) * 2001-04-10 2009-01-21 株式会社エヌ・ティ・ティ・データ 広告提供システム
JP2002320212A (ja) * 2001-04-24 2002-10-31 Fujitsu Ltd 動画連動プログラム
US7114172B2 (en) * 2001-06-28 2006-09-26 Koninklijke Philips Electronics N.V. Synchronized personal video recorders
GB2381686A (en) * 2001-10-31 2003-05-07 Hewlett Packard Co Apparatus for recording and reproducing pointer positions on a document.
US20030088875A1 (en) * 2001-11-08 2003-05-08 Gay Lance J Simultaneous viewing of video files on networked computer systems
US7711774B1 (en) * 2001-11-20 2010-05-04 Reagan Inventions Llc Interactive, multi-user media delivery system
AU2002367260A1 (en) * 2001-12-27 2003-07-24 Digeo, Inc. Conferencing with synchronous presention of media programs
AU2003217587A1 (en) * 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
JP2003263384A (ja) * 2002-03-12 2003-09-19 Matsushita Electric Ind Co Ltd サーバ装置、受信装置、および情報処理装置
JP3933978B2 (ja) * 2002-04-15 2007-06-20 三菱電機株式会社 情報端末装置
WO2003096669A2 (en) * 2002-05-10 2003-11-20 Reisman Richard R Method and apparatus for browsing using multiple coordinated device
JP2004013357A (ja) * 2002-06-04 2004-01-15 Takeo Tanaka コンテンツ配信システム
US7739584B2 (en) * 2002-08-08 2010-06-15 Zane Vella Electronic messaging synchronized to media presentation
US7234117B2 (en) * 2002-08-28 2007-06-19 Microsoft Corporation System and method for shared integrated online social interaction
US7555196B1 (en) * 2002-09-19 2009-06-30 Microsoft Corporation Methods and systems for synchronizing timecodes when sending indices to client devices
US7496277B2 (en) * 2003-06-02 2009-02-24 Disney Enterprises, Inc. System and method of programmatic window control for consumer video players
US7409639B2 (en) * 2003-06-19 2008-08-05 Accenture Global Services Gmbh Intelligent collaborative media
US20050066362A1 (en) * 2003-09-24 2005-03-24 Qwest Communications International Inc System and method for simultaneously displaying video programming and instant messaging
US7607097B2 (en) * 2003-09-25 2009-10-20 International Business Machines Corporation Translating emotion to braille, emoticons and other special symbols
US8081205B2 (en) * 2003-10-08 2011-12-20 Cisco Technology, Inc. Dynamically switched and static multiple video streams for a multimedia conference
JP4533092B2 (ja) * 2003-12-11 2010-08-25 キヤノン株式会社 テレビジョン放送受信装置及びテレビジョン放送受信装置の制御方法
JP4227509B2 (ja) * 2003-12-15 2009-02-18 キヤノン株式会社 通信端末装置及びその制御方法
US7796155B1 (en) * 2003-12-19 2010-09-14 Hrl Laboratories, Llc Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
JP4677245B2 (ja) * 2004-03-03 2011-04-27 キヤノン株式会社 画像表示方法、プログラム、画像表示装置及び画像表示システム
US8190680B2 (en) * 2004-07-01 2012-05-29 Netgear, Inc. Method and system for synchronization of digital media playback
JP2006041888A (ja) * 2004-07-27 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP4716083B2 (ja) * 2004-07-27 2011-07-06 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP4572615B2 (ja) * 2004-07-27 2010-11-04 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US7475017B2 (en) * 2004-07-27 2009-01-06 Microsoft Corporation Method and apparatus to improve name confirmation in voice-dialing systems
JP4655190B2 (ja) * 2004-08-06 2011-03-23 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
TWI276990B (en) * 2004-08-11 2007-03-21 Via Tech Inc Video display apparatus with alpha effect and method thereof
US20060044741A1 (en) * 2004-08-31 2006-03-02 Motorola, Inc. Method and system for providing a dynamic window on a display
US7818770B2 (en) * 2004-11-23 2010-10-19 Palo Alto Research Center Incorporated Methods, apparatus, and program products to support a shared viewing experience from remote locations
US7669219B2 (en) * 2005-04-15 2010-02-23 Microsoft Corporation Synchronized media experience
US8098277B1 (en) * 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
CN101449582B (zh) * 2006-03-17 2012-05-30 索尼株式会社 用于组织群组内容呈现和此期间的群组通信的***和方法
US7716376B1 (en) * 2006-03-28 2010-05-11 Amazon Technologies, Inc. Synchronized video session with integrated participant generated commentary
US8074251B2 (en) * 2006-06-05 2011-12-06 Palo Alto Research Center Incorporated Limited social TV apparatus
US8174555B2 (en) * 2007-05-30 2012-05-08 Eastman Kodak Company Portable video communication system
US8655266B2 (en) * 2007-12-17 2014-02-18 Cisco Technology, Inc. System and method for using mobile media players in a peer-to-peer network
US8184141B2 (en) * 2008-02-04 2012-05-22 Siemens Enterprise Communications, Inc. Method and apparatus for face recognition enhanced video mixing
US7953255B2 (en) * 2008-05-01 2011-05-31 At&T Intellectual Property I, L.P. Avatars in social interactive television
US8010690B2 (en) * 2008-06-26 2011-08-30 Microsoft Corporation Arrangement for connectivity within an advanced multimedia content framework
GB2463110B (en) * 2008-09-05 2013-01-16 Skype Communication system and method
US20100083324A1 (en) * 2008-09-30 2010-04-01 Microsoft Corporation Synchronized Video Playback Among Multiple Users Across A Network
US20100232771A1 (en) * 2009-03-16 2010-09-16 Disney Enterprises, Inc. Time-sensitive remote control of a video playback device
US8661353B2 (en) * 2009-05-29 2014-02-25 Microsoft Corporation Avatar integrated shared media experience
EP2517469A4 (en) * 2009-12-22 2014-01-15 Vidyo Inc SYSTEM AND METHOD FOR INTERACTIVE SYNCHRONIZED VIDEO VISUALIZATION
US8893022B2 (en) * 2010-04-01 2014-11-18 Microsoft Corporation Interactive and shared viewing experience
US8331760B2 (en) * 2010-06-02 2012-12-11 Microsoft Corporation Adaptive video zoom
US9213890B2 (en) * 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
EP2487924A3 (en) * 2011-02-10 2013-11-13 LG Electronics Inc. Multi-functional display device having a channel map and method for controlling the same
US8744237B2 (en) * 2011-06-20 2014-06-03 Microsoft Corporation Providing video presentation commentary
US20130061280A1 (en) * 2011-09-07 2013-03-07 Research In Motion Limited Apparatus, and associated method, for providing synchronized media play out
JP2015507406A (ja) * 2011-12-22 2015-03-05 インテル・コーポレーション 共同的エンターテイメントプラットフォーム
KR20130127338A (ko) * 2012-05-14 2013-11-22 삼성전자주식회사 디스플레이 장치, 서버 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002507027A (ja) * 1998-03-13 2002-03-05 シーメンス コーポレイト リサーチ インコーポレイテツド 協調的ダイナミックビデオコメント作成装置および作成方法
JP2001148841A (ja) * 1999-11-19 2001-05-29 Nec Corp テレビコミュニティの形成方法とそのシステム
JP2002223264A (ja) * 2001-11-08 2002-08-09 Mitsubishi Electric Corp 協調処理方式
JP2003150529A (ja) * 2001-11-19 2003-05-23 Hitachi Ltd 情報交換方法、情報交換端末装置、情報交換サーバ装置、プログラム
JP2004088327A (ja) * 2002-08-26 2004-03-18 Casio Comput Co Ltd 通信端末、通信端末処理プログラム、および画像配信サーバ、画像配信処理プログラム

Also Published As

Publication number Publication date
JP2006041885A (ja) 2006-02-09
CN1981524B (zh) 2010-04-21
US20080168505A1 (en) 2008-07-10
CN1981524A (zh) 2007-06-13

Similar Documents

Publication Publication Date Title
WO2006011400A1 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
WO2006011401A1 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP4716083B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP4655190B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP4441874B2 (ja) 情報処理システム、再生端末装置および再生方法、情報処理装置および方法、並びにプログラム
US20140168277A1 (en) Adaptive Presentation of Content
US20060025998A1 (en) Information-processing apparatus, information-processing methods, recording mediums, and programs
US20060023949A1 (en) Information-processing apparatus, information-processing method, recording medium, and program
WO2006011399A1 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
WO2021042655A1 (zh) 一种音画同步处理方法及显示设备
JP2006174291A (ja) 情報処理装置及び情報処理方法
JP2005051703A (ja) ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
JP2005505205A (ja) オーディオ及び／又はビジュアルのシステム、方法及びコンポーネント
US20060072596A1 (en) Method for minimizing buffer delay effects in streaming digital content
JP2006324779A (ja) 字幕配信システム、字幕送信装置、字幕合成装置及び字幕配信方法
JP3966489B2 (ja) ゲーム装置
JP5060649B1 (ja) 情報再生装置及び情報再生方法
KR101957282B1 (ko) 동영상 제어장치 및 방법
WO2018173312A1 (ja) 仮想現実視聴システム、再生同期方法および仮想現実視聴用プログラム
JP2000098986A (ja) プレゼンテーションシステム、プレゼンテーション制御方法、及び記録媒体
JP2006279294A (ja) コンテンツ再生システム、コンテンツ再生方法、およびコンピュータプログラム
JP2007150787A (ja) 映像・音声機器に対する再生コンテンツ切替システム
JP5111405B2 (ja) コンテンツ制作システム及びコンテンツ制作プログラム
US20120065751A1 (en) Signal processing apparatus and signal processing method
CN117939223A (zh) 多设备播放进度同步方法、装置及存储介质

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 200580022486.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase
WWE Wipo information: entry into national phase

Ref document number: 11572593

Country of ref document: US