WO2013042531A1 - 受信装置、受信方法、プログラム、及び情報処理システム - Google Patents

受信装置、受信方法、プログラム、及び情報処理システム Download PDF

Info

Publication number
WO2013042531A1
WO2013042531A1 PCT/JP2012/072354 JP2012072354W WO2013042531A1 WO 2013042531 A1 WO2013042531 A1 WO 2013042531A1 JP 2012072354 W JP2012072354 W JP 2012072354W WO 2013042531 A1 WO2013042531 A1 WO 2013042531A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
command
receiving device
information processing
identification result
Prior art date
Application number
PCT/JP2012/072354
Other languages
English (en)
French (fr)
Inventor
北里 直久
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP12833101.4A priority Critical patent/EP2760200A4/en
Priority to CA2845593A priority patent/CA2845593C/en
Priority to CN201280044760.1A priority patent/CN103814569B/zh
Priority to BR112014006092A priority patent/BR112014006092A2/pt
Priority to KR1020147006557A priority patent/KR102086870B1/ko
Priority to AU2012310795A priority patent/AU2012310795B2/en
Priority to MX2014003104A priority patent/MX336516B/es
Priority to US14/241,759 priority patent/US9503778B2/en
Publication of WO2013042531A1 publication Critical patent/WO2013042531A1/ja
Priority to US15/290,814 priority patent/US9967613B2/en
Priority to US15/356,009 priority patent/US10440423B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/237Communication with additional data server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383Accessing a communication channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635HDMI

Definitions

  • the present technology relates to a receiving device, a receiving method, a program, and an information processing system, and in particular, a receiving device, a receiving method, a program, and an information program that can provide an application program linked to AV content using the ACR technology.
  • the present invention relates to an information processing system.
  • a broadcast and communication hybrid service can be realized by transmitting control signals synchronized with those broadcast signals. Although it is being studied, it is difficult to realize the service unless the existing CATV network and satellite broadcasting network facilities and dedicated terminals are modified.
  • ACR Automatic Content Recognition
  • the present technology has been made in view of such a situation, and is intended to provide an application program that is executed in conjunction with AV content using the ACR technology.
  • the reception device is identified using a reception unit that receives AV content, a feature amount extraction unit that extracts feature amounts from the received AV content data, and the extracted feature amounts.
  • An identification result acquisition unit for acquiring the identification result of the AV content, and a command acquisition for acquiring a command for controlling the operation of the application program executed in conjunction with the AV content according to the acquired identification result
  • a control unit that controls the operation of the application program according to the acquired command, and a detection unit that detects switching of the AV content to be viewed. The control unit switches the AV content. If the application program is executed in conjunction with the AV content, To Ryo.
  • the detection unit detects switching of a channel from the first AV content to a second AV content different from the first AV content, and the control unit detects the second AV content from the first AV content.
  • the application program executed in conjunction with the first AV content is terminated.
  • a storage unit for storing first identification information for identifying the first AV content obtained from the identification result of the first AV content, wherein the feature amount extraction unit includes the first AV content;
  • the identification result acquisition unit performs identification using the extracted feature amount
  • the second AV content identification result is obtained, and the control unit obtains the stored first identification information and the second AV content obtained from the identification result of the second AV content. If the second identification result for identification is different, the application program is terminated.
  • the reception unit directly receives the AV content transmitted from a transmission device, and the detection unit responds to an operation of switching the channel from the first AV content to the second AV content for the reception device. Thus, the switching of the channel is detected.
  • the receiving unit is connected to an information processing apparatus that converts data of the AV content transmitted from a transmission apparatus according to the reception apparatus, in a manner compliant with the HDMI (High Definition Multimedia Interface) standard,
  • the AV content after conversion is received from the information processing device, and the detection unit receives the second AV content from the first AV content according to the analysis result of the video signal of the AV content received from the information processing device. Detects channel switching to AV content.
  • the detection unit Based on the video signal of the AV content received from the information processing apparatus, the detection unit includes a plurality of frames constituting the AV content that are continuously displayed on the same screen for a predetermined period, or the plurality of frames are Channel switching is detected by analyzing whether a black screen is continuously obtained for a predetermined interval.
  • the detection unit detects switching of the channel from the first AV content to the second AV content according to the analysis result of the audio signal of the AV content received from the information processing apparatus.
  • the detection unit determines whether the sample of the audio signal is in a no-signal state in a predetermined section or whether the sample is in a discontinuous state in the predetermined section. By detecting whether or not, channel switching is detected.
  • the receiving unit is connected to an information processing device that converts the data of the AV content transmitted from the transmission device according to the reception device in a method compliant with the HDMI standard, and is converted from the information processing device.
  • the AV content is received, and the detection unit detects switching of the channel in response to an operation of switching the channel from the first AV content to the second AV content with respect to the information processing apparatus.
  • the receiving unit is connected to a selection device that selects and outputs desired AV content from among a plurality of AV contents input from a plurality of information processing devices in a manner compliant with the HDMI standard, so that the selection is performed.
  • the AV content output from the device is received, and the detection unit detects switching of the AV content to be viewed according to a selection result of the AV content by the selection device.
  • the identification result acquisition unit acquires the identification result of the AV content that is identified by using an ACR (Automatic Content Recognition) technique from the extracted feature quantity.
  • ACR Automatic Content Recognition
  • the feature amount extraction unit extracts the feature amount from one or both of a video signal and an audio signal of the AV content.
  • the command indicates any one of acquisition or registration, acquisition or activation, event firing, interruption, or termination of the application program, and the control unit acquires or registers the application program according to each command. Controls event firing, suspension, or termination of the application program being registered, acquired, or started, or being executed.
  • the receiving device may be an independent device or an internal block constituting one device.
  • the reception method or program according to the first aspect of the present technology is a reception method or program corresponding to the reception device according to the first aspect of the present technology described above.
  • AV content is received, feature values are extracted from the received AV content data, and identification is performed using the extracted feature values.
  • the obtained identification result of the AV content is acquired, and a command for controlling the operation of the application program executed in conjunction with the AV content is acquired and acquired according to the acquired identification result.
  • the operation of the application program is controlled, the switching of the AV content to be viewed is detected, and when the switching of the AV content is detected, the application executed in conjunction with the AV content The program is terminated.
  • An information processing system is an information processing system including a reception device, a first information processing device, a second information processing device, and a third information processing device.
  • a reception unit that receives AV content, a feature amount extraction unit that extracts a feature amount from the received AV content data, and transmits the extracted feature amount to the first information processing apparatus.
  • An identification result acquisition unit that acquires the identification result of the AV content identified by using the feature amount in the information processing apparatus; and the identification information acquired from the first information processing apparatus is used as the second information processing.
  • a command acquisition unit to be obtained, a control unit for controlling the operation of the application program acquired from the third information processing apparatus in response to the command acquired from the second information processing apparatus, and the AV content to be viewed A detecting unit that detects switching of the AV content, and when the switching of the AV content is detected, the control unit terminates the application program that is executed in conjunction with the AV content, and the first information
  • the processing device includes a first providing unit that provides the identification result obtained by identifying the AV content using the feature amount in response to an inquiry from the receiving device, and the second information processing In response to an inquiry from the receiving device, the device includes a second providing unit that provides the command according to the identification result.
  • the third information processing apparatus in response to an inquiry from the receiving device, comprising a third providing unit for providing the application program corresponding to the command.
  • the reception device In the information processing system including the reception device, the first information processing device, the second information processing device, and the third information processing device, the reception device The AV content is received, the feature amount is extracted from the received data of the AV content, the extracted feature amount is transmitted to the first information processing device, and the first information processing device is transmitted.
  • the identification result of the AV content identified using the feature amount is acquired, and the identification result acquired from the first information processing apparatus is transmitted to the second information processing apparatus, A command for controlling the operation of an application program executed in conjunction with the AV content is acquired from the information processing apparatus according to the identification result, and the second The operation of the application program acquired from the third information processing device is controlled according to the command acquired from the information processing device, the switching of the AV content to be viewed is detected, and the switching of the AV content is detected.
  • the application program being executed in conjunction with the AV content is terminated, and the AV content is used by the first information processing device using the feature amount in response to an inquiry from the receiving device.
  • the identification result obtained by identifying is provided, and the second information processing apparatus provides the command according to the identification result in response to an inquiry from the receiving apparatus, and the third information In response to an inquiry from the receiving device, according to the command by the processing device Serial application program is provided.
  • FIG. 1 shows a broadcast system 1 according to the first embodiment.
  • the broadcasting system 1 includes a broadcasting device 11, a receiving device 12, an ACR server 13, a command server 14, an application server 15, a CATV device 17, and a set top box 19.
  • the receiving device 12, the ACR server 13, the command server 14, and the application server 15 are connected to each other via the Internet 16.
  • the receiving device 12 is connected to the set top box 19 via the HDMI cable 20, and the CATV device 17 and the set top box 19 are connected via the CATV network 18.
  • the broadcasting device 11 is provided by a broadcaster that broadcasts digital television programs, for example.
  • the broadcast device 11 is configured to transmit (broadcast) a digital television broadcast signal of AV content.
  • a digital television program will be described as an example of AV content transmitted from the broadcasting device 11.
  • the receiving device 12 receives the digital television broadcast signal transmitted from the broadcasting device 11 and acquires video and audio of the digital television program.
  • the receiving device 12 outputs the acquired video to a display (display 32 in FIG. 2 described later) and outputs sound to a speaker (speaker 31 in FIG. 2 described later).
  • the receiving device 12 may exist as a single unit, or may be incorporated in, for example, a television receiver or a video recorder.
  • the receiving device 12 has a light receiving unit (light receiving unit 71 in FIG. 2 described later) that receives a command corresponding to an operation on the remote controller 12R with infrared rays, and switches a channel, for example, according to the command. Various operations are performed. The detailed configuration of the receiving device 12 will be described later with reference to FIG.
  • the receiving device 12 periodically accesses the ACR server 13 via the Internet 16 and inquires about the identification result of the digital television program. At this time, a feature amount extracted from the video signal and audio signal of the digital television program (hereinafter also referred to as “fingerprint information”) is transmitted to the ACR server 13.
  • the ACR server 13 has a database in which feature amounts extracted from video signals and audio signals of arbitrary AV contents are registered, and responds to an inquiry from an arbitrary receiving device 12 connected to the Internet 16.
  • the AV content is identified using ACR (Automatic Content Recognition) technology.
  • the ACR server 13 identifies the digital television program by comparing the fingerprint information from the receiving device 12 with a database, and transmits the identification result to the receiving device 12 via the Internet 16. To do.
  • the receiving device 12 accesses the command server 14 via the Internet 16 according to the identification result received from the ACR server 13, and performs the operation of the application program for data broadcasting executed in conjunction with the digital television program. Get commands to control.
  • an application program executed in conjunction with AV content such as a digital television program will be described as a data broadcasting application.
  • the command server 14 is a server provided by an operator such as a broadcaster or a cable television operator, for example, and manages commands for controlling the operation of the data broadcasting application.
  • the command server 14 transmits a command to the receiving device 12 via the Internet 16 in response to an inquiry from the receiving device 12.
  • the receiving device 12 controls the operation of the data broadcasting application according to the command received from the command server 14. In addition, the receiving device 12 accesses the application server 15 via the Internet 16 according to the command received from the command server 14, and acquires the data broadcasting application.
  • the application server 15 is a server provided by an operator such as a broadcaster or a cable TV operator, for example, and manages an application for data broadcasting. In response to the inquiry from the receiving device 12, the application server 15 transmits the data broadcasting application to the receiving device 12 via the Internet 16.
  • the CATV device 17 is provided by, for example, a cable television company.
  • the CATV device 17 receives the digital television broadcast signal transmitted from the broadcasting device 11 and acquires the video and audio of the digital television program.
  • the CATV device 17 converts the digital television broadcast signal into a cable television broadcast signal for transmitting (broadcasting) the cable television program, and retransmits it to the set top box 19 connected to the CATV network 18.
  • the CATV device 17 is not limited to retransmitting the digital television program acquired from the broadcasting device 11 as a cable television program, but may transmit a program independently produced by a cable television operator.
  • a cable television program will be described as an example of AV content transmitted from the CATV device 17.
  • the set top box 19 is an STB (Set Top Box) for cable television and is connected to the CATV network 18.
  • the set-top box 19 is connected to a receiving device 12 having an HDMI (High Definition Multimedia Interface) terminal via an HDMI cable 20.
  • the set top box 19 converts the cable television broadcast signal received from the CATV device 17 via the CATV network 18 into a signal that can be handled by the receiving device 12. Then, the set top box 19 outputs the audio signal and the video signal obtained from the converted cable television broadcast signal to the receiving device 12 through the HDMI cable 20 together with the control signal based on the HDMI standard.
  • the set-top box 19 has a light receiving unit (not shown) that receives a command corresponding to an operation on the remote controller 19R by infrared rays, and performs various operations such as channel switching according to the command. Do.
  • the receiving device 12 receives an audio signal, a video signal, and other control signals from the set top box 19 to acquire video and audio of the cable television program, and displays the acquired video on a display (display 32 in FIG. 2). In addition to outputting, the sound is output to a speaker (speaker 31 in FIG. 2).
  • the receiving device 12 accesses the ACR server 13 and identifies the fingerprint information extracted from the data of the cable television program, as in the case of the digital television program described above. Can be inquired. Then, the receiving device 12 can acquire a command from the command server 14 according to the identification result from the ACR server 13 and control the operation of the data broadcasting application. The receiving device 12 can also acquire a data broadcast application from the application server 15 in response to a command from the command server 14.
  • a digital television program from the broadcasting device 11 or a cable television program from the CATV device 17 is received. Will be explained. Further, in the following description, when it is not necessary to distinguish between a digital television program and a cable television program, they are simply referred to as programs.
  • FIG. 2 shows a configuration example of the receiving device 12 of FIG.
  • the receiving device 12 includes a tuner 51, a demultiplexing unit 52, an audio decoder 53, a selector 54, an audio output unit 55, a video decoder 56, a selector 57, a video output unit 58, an HDMI terminal 59, a fingerprint extraction unit 60, a communication I / O. F61, command analysis unit 62, clock synchronization unit 63, control unit 64, memory 65, operation unit 66, application engine 67, cache memory 68, application memory 69, channel switching detection unit 70, and light receiving unit 71 .
  • the tuner 51 receives a digital television broadcast signal from the broadcast device 11 via an antenna (not shown).
  • the tuner 51 demodulates the digital television broadcast signal corresponding to the channel selected by the user, and outputs a transport stream (Transport Stream, hereinafter referred to as TS) obtained as a result to the demultiplexing unit 52.
  • Transport Stream Transport Stream
  • the demultiplexing unit 52 separates the TS input from the tuner 51 into an audio encoded signal and a video encoded signal, and outputs them to the audio decoder 53 and the video decoder 56, respectively. Further, the demultiplexing unit 52 extracts PCR (Program Clock Reference) from the TS packets constituting the TS and supplies the extracted PCR to the clock synchronization unit 63.
  • PCR Program Clock Reference
  • the audio decoder 53 decodes the input audio encoded signal and outputs an audio signal obtained as a result to the selector 54.
  • the video decoder 56 decodes the input video encoded signal and outputs the resulting video signal to the selector 57.
  • the HDMI terminal 59 is a terminal compliant with the HDMI standard, and is connected to the set top box 19 via the HDMI cable 20.
  • the HDMI terminal 59 receives an audio signal and a video signal output from the set top box 19 together with a control signal based on the HDMI standard.
  • the HDMI terminal 59 outputs an audio signal among the received various signals to the selector 54 and outputs a video signal to the selector 57.
  • the selector 54 receives the audio signal from the audio decoder 53 and the audio signal from the HDMI terminal 59.
  • the selector 54 selects an audio signal input from either the audio decoder 53 or the HDMI terminal 59 in accordance with control from the control unit 64, and outputs an audio output unit 55, a fingerprint extraction unit 60, and a channel switching detection unit. Output to 70. That is, the selector 54 switches the input to the audio decoder 53 side when a digital television program is viewed according to the control from the control unit 64, while when the cable television program is viewed, The input is switched to the HDMI terminal 59 side.
  • the selector 57 receives the video signal from the video decoder 56 and the video signal from the HDMI terminal 59.
  • the selector 57 selects a video signal input from either the video decoder 56 or the HDMI terminal 59 in accordance with control from the control unit 64, and outputs a video output unit 58, a fingerprint extraction unit 60, and a channel switching detection unit. Output to 70. That is, according to the control from the control unit 64, the selector 57 switches the input to the video decoder 56 side when a digital television program is viewed, while when the cable television program is viewed, The input is switched to the HDMI terminal 59 side.
  • the audio output unit 55 outputs the audio signal input from the selector 54 to the speaker 31. Further, the video output unit 58 outputs the video signal input from the selector 57 to the display 32. As a result, the video of the AV content is displayed on the display 32, and the sound is output from the speaker 31, so that the program of the selected channel can be viewed. Note that the speaker 31 and the display 32 may be configured integrally with the receiving device 12.
  • the fingerprint extraction unit 60 is supplied with an audio signal from the selector 54 and a video signal from the selector 57.
  • the fingerprint extraction unit 60 extracts a feature amount from one or both of an audio signal and a video signal, and supplies the extracted feature amount to the communication I / F 61 as fingerprint information.
  • the communication I / F 61 transmits the fingerprint information from the fingerprint extraction unit 60 to the ACR server 13 via the Internet 16. Further, the communication I / F 61 receives the program identification result transmitted from the ACR server 13 and supplies it to the control unit 64.
  • the control unit 64 controls the operation of each unit of the receiving device 12 by executing a control program stored in the memory 65 in advance.
  • the memory 65 stores a control program executed by the control unit 64 in advance. This control program can be updated based on digital television broadcast signals or update data acquired via the Internet 16. Further, the memory 65 appropriately stores various data from the control unit 64.
  • the operation unit 66 accepts various operations from the user and notifies the control unit 64 of operation signals corresponding to the operations.
  • control unit 64 controls the communication I / F 61 according to the identification result from the communication I / F 61, accesses the command server 14 via the Internet 16, and inquires about the command.
  • the communication I / F 61 receives a command transmitted from the command server 14 and supplies the command to the command analysis unit 62.
  • the command analysis unit 62 analyzes a command from the communication I / F 61 and supplies the analysis result to the control unit 64.
  • the clock synchronization unit 63 is configured by, for example, a PLL (Phase Locked Loop), and the system clock corresponding to the PCR from the demultiplexing unit 52 is transmitted to each unit of the receiving device 12 such as the audio decoder 53, the video decoder 56, and the control unit 64. To supply. Thereby, since the receiving device 12 can obtain a system clock synchronized with the broadcasting device 11, it can reproduce an audio signal and a video signal.
  • PLL Phase Locked Loop
  • the control unit 64 controls the acquisition or registration, acquisition or activation (execution), event firing, interruption, or termination of the data broadcasting application linked to the program based on the analysis result from the command analysis unit 62.
  • the control unit 64 controls the execution timing of the command based on the analysis result from the command analysis unit 62 based on the system clock from the clock synchronization unit 63.
  • the application engine 67 controls the communication I / F 61 according to the control from the control unit 64, accesses the application server 15 via the Internet 16, and requests a data broadcasting application.
  • the communication I / F 61 receives the data broadcasting application transmitted from the application server 15 and causes the cache memory 68 to hold the data broadcasting application.
  • the application engine 67 reads and executes the data broadcasting application held in the cache memory 68 in accordance with the control from the control unit 64.
  • the video signal of the data broadcasting application being executed is supplied to the video output unit 58.
  • the video output unit 58 synthesizes the video signal input from the application engine 67 and the video signal input from the selector 57 and outputs the synthesized signal to the display 32.
  • the application memory 69 includes a work memory 69A and a save memory 69B.
  • the application engine 67 records data relating to the data broadcasting application being executed (specifically, including the hierarchy of the displayed information) in the work memory 69A. Further, the application engine 67 moves the data in the work memory 69A of the application memory 69 to the save memory 69B when suspending the data broadcasting application being executed. When the suspended data broadcasting application is resumed, the data in the save memory 69B is moved to the work memory 69A to restore the state before the suspension.
  • the channel switching detection unit 70 detects switching of program channels. Specifically, the channel switching detection unit 70 detects the switching of the program channel by analyzing either one or both of the audio signal from the selector 54 and the video signal from the selector 57, and the detection result is obtained. This is supplied to the control unit 64.
  • a command corresponding to an operation on the remote controller 12R or the remote controller 19R is input from the light receiving unit 71 to the channel switching detection unit 70.
  • the channel switching detection unit 70 detects channel switching of a program based on a command from the light receiving unit 71 and supplies the detection result to the control unit 64.
  • the control unit 64 controls the application engine 67 based on the detection result from the channel switching detection unit 70, and terminates the data broadcasting application being executed in conjunction with the program.
  • FIG. 3 is a sequence diagram showing the cooperation between the devices at the time of channel selection and channel switching in the receiving device 12.
  • the broadcast device 11 transmits a digital television broadcast signal
  • the CATV device 17 transmits a cable television broadcast signal.
  • the receiving device 12 when a user selects a desired channel, either the digital television broadcast signal from the broadcasting device 11 or the cable television broadcast signal from the CATV device 17 via the set top box 19 is selected. Is received.
  • the receiving device 12 displays the video of the program corresponding to the received broadcast signal on the display 32 and outputs the corresponding sound from the speaker 31 (S11).
  • the receiving device 12 periodically extracts feature amounts from the video signal and audio signal of the program (S12), and transmits these feature amounts to the ACR server 13 as fingerprint information (S13).
  • the ACR server 13 performs ACR identification processing, and collates the fingerprint information from the receiving device 12 with the database, thereby identifying the program being selected by the receiving device 12 (S14). Specifically, as shown in FIG. 4, when the ACR server 13 receives an inquiry about the fingerprint information from the receiving device 12, the ACR identification processing unit 13A obtains the fingerprint information from the FP database 13B prepared in advance. The received program 12 identifies the program being selected.
  • the fingerprint information is, for example, specific information of all or part of the AV content, and a large number of specific information of the AV content is registered in the FP database 13B in advance.
  • the degree of similarity or coincidence of the unique information is determined.
  • a known technique disclosed by various documents can be used as a method for determining the degree of similarity or the degree of coincidence.
  • the AV content can be identified from the feature amount of the video signal and the audio signal without depending on the information such as the resolution, aspect ratio, bit rate, or format of the AV content.
  • channel identification information information for identifying the channel number of the program
  • time position information information indicating the acquisition destination of a command for controlling the operation of the data broadcasting application executed in conjunction with the program in correspondence with the channel identification information (hereinafter, command acquisition destination information). Is stored). For example, as the command acquisition destination information, a URL (Uniform ⁇ ⁇ ⁇ ⁇ Resource Locator) of the command server 14 is described.
  • the ACR identification processing unit 13A acquires command acquisition destination information corresponding to the identified channel number from the FP database 13B. Then, the ACR identification processing unit 13A transmits the channel identification information, the time position information, and the command acquisition destination information as the identification result of the ACR identification process to the receiving device 12 that has made the inquiry (S15).
  • the receiving device 12 acquires the identification result from the ACR server 13 and analyzes the identification result (S16). Further, the receiving device 12 accesses the command server 14 of the URL described in the command acquisition destination information according to the analysis result of the identification result, and transmits the channel identification information and the time position information. The command which can be executed is inquired (S17).
  • the command server 14 transmits a command corresponding to the channel identification information and the time position information to the receiving device 12 in response to the inquiry from the receiving device 12 (S18). Specifically, for example, the command server 14 manages commands that can be executed for each program, and is executed in a time zone corresponding to time position information in a program corresponding to channel identification information from the receiving device 12. Identify possible commands. For example, the command server 14 is based on the time position information from the receiving device 12 until the next fingerprint information is extracted from the time when the target fingerprint information is extracted by the receiving device 12 (for example, Identify one or more commands to be run in a few seconds). Then, the command server 14 transmits the specified command to the receiving device 12 via the Internet 16.
  • the receiving device 12 acquires a command from the command server 14 and analyzes the command (S19). Further, the receiving device 12 accesses the application server 15 according to the analysis result of the command, and requests a data broadcasting application to be executed in conjunction with the selected program (S20).
  • the application server 15 transmits a data broadcast application to the receiving device 12 in response to the application request from the receiving device 12 (S21). Then, the receiving device 12 acquires and executes the data broadcast application from the application server 15 (S22). As a result, the video on which the data broadcasting application is superimposed on the program is displayed on the display 32.
  • the channel switching detection unit 70 detects the switching of the channel (S24).
  • any of the following detection methods can be employed.
  • a first detection method there is a method of using a channel switching command from the remote controller 12R.
  • this detection method when a digital television program from the broadcasting device 11 is selected in the receiving device 12, a channel switching command from the remote controller 12 ⁇ / b> R according to the user's channel selection operation is received by the light receiving unit 71.
  • the channel switching detection unit 70 can detect the channel switching of the digital television program.
  • the channel switching command is not limited to the case where the light receiving unit 71 receives light from the infrared light from the remote controller 12R.
  • the channel switching detection unit 70 is switched from the operation unit 66 according to the user's channel selection operation on the operation unit 66. May be output.
  • the channel switching detection unit 70 analyzes the video signal of the cable television program. Thus, channel switching can be detected according to the analysis result.
  • the channel switching detection unit 70 analyzes whether a plurality of frames corresponding to the video signal of the cable television program are continuously displayed on the same screen (freeze screen) in a predetermined section. When a section in which the same screen continues is detected, it is possible to detect channel switching of the cable television program. Specifically, for example, the channel switching detection unit 70 obtains the inter-frame difference value of the video sample value for each corresponding position of the preceding and succeeding frames, and compares the average value with the threshold value ⁇ d. Then, when the frames whose average value is equal to or less than the threshold ⁇ d continues for N frames, the channel switching detection unit 70 considers that the same screen is continuous and detects channel switching.
  • the channel switching detection unit 70 analyzes whether a plurality of frames corresponding to the video signal of the cable television program have a black screen continuously in a predetermined section, When a section in which black screens are continuous is detected, it is possible to detect channel switching of a cable television program. Specifically, for example, the channel switching detection unit 70 obtains an average value of the video sample values for each frame and compares the average value with the threshold value ⁇ b. Then, the channel switching detection unit 70 detects that the black screen is continuous when the frames having the average value equal to or less than the threshold value ⁇ b continue for N frames, and detects the channel switching.
  • the receiving device 12 analyzes the video signal of the cable television program, and detects the switching of the channel when the same screen or the black screen is continuous, so that both specifications can be supported. ing.
  • a third detection method there is a method of using the analysis result of the audio signal of the program.
  • the receiving device 12 receives a cable television program from the CATV device 17 via the set top box 19
  • the audio signal of the cable television program is analyzed, and the channel is determined according to the analysis result. Can be detected.
  • the channel switching detection unit 70 analyzes whether a sample of an audio signal of a cable television program is in a no signal state in a predetermined section or whether a sample is in a discontinuous state in a predetermined section. Thus, when the no-signal state and the discontinuous state are detected, it is possible to detect the channel switching of the cable television program. Specifically, for example, the channel switching detection unit 70 obtains the level of audio energy for each predetermined time width of the audio signal, and compares the level with the threshold value ⁇ s. Then, the channel switching detection unit 70 can be regarded as a no-signal state when the time during which the level of the voice energy is equal to or lower than the threshold value ⁇ s continues for M seconds.
  • the channel switching detection unit 70 obtains a difference between a predicted sample value obtained by linear prediction and an actually measured actual sample value for the audio signal, and compares the difference value with a threshold value ⁇ a.
  • the channel switching detection part 70 can be regarded as a discontinuous state, when a difference value becomes more than threshold value (theta) a.
  • the detection by the second detection method and the third detection method is performed at the same time, channel switching is detected based on the analysis results of both video and audio, so that detection accuracy is further improved.
  • detection by the second detection method or the third detection method may be performed individually.
  • the detection accuracy can be further improved by detecting both states. Only one of the states may be detected.
  • the detection of the same screen or black screen for video signals and the detection of no-signal state or discontinuous state for audio signals as shown in the second detection method and the third detection method are performed. It is possible to assign points according to the detection states, and when the total of the points is equal to or greater than a preset value, it may be considered that the channel has been switched.
  • a fourth detection method there is a method of using a channel switching command from the remote controller 19R.
  • this detection method when a cable television program from the CATV device 17 is selected in the receiving device 12, a channel switching command from the remote controller 19 ⁇ / b> R is received by the light receiving unit 71 in accordance with the user's channel selection operation. When received, the channel switching detection unit 70 can detect the channel switching of the cable television program.
  • the receiving device 12 cannot identify the command from the remote controller 19R, it can be regarded that the channel of the cable television program has been switched when the unrecognizable command is received by the light receiving unit 71.
  • the command from the remote controller 19R is not only a command corresponding to channel switching, by setting a correspondence table of commands used in the set top box 19 in advance in the receiving device 12, the remote controller 19R It is only necessary to identify a command corresponding to channel switching.
  • the receiving device 12 presumes that channel switching has been detected and extracts fingerprint information from the cable television program to be watched. It may be transmitted to the server 13.
  • the receiving device 12 can acquire the identification result from the ACR server 13, the channel identification information before and after the detection of the estimated channel switching is compared, and whether or not the channel switching is normally performed. Can be determined. That is, when the channel is normally switched, the receiving device 12 learns that an unidentifiable command from the remote controller 19R is a command corresponding to channel switching. By learning the command in this way, the receiving device 12 can identify whether the command is a command corresponding to channel switching when the command is next received from the remote controller 19R.
  • channel switching can be detected using the above detection methods, the above-described detection method is merely an example, and channel switching of a program is detected by a method that can detect other channel switching. You may make it do.
  • the receiving apparatus 12 extracts fingerprint information from the video signal and audio signal of the program viewed after the channel switching (S 25) and transmits the fingerprint information to the ACR server 13. (S26). Then, the ACR server 13 performs ACR identification processing for comparing the fingerprint information from the receiving device 12 with the FP database 13B, and the receiving device 12 identifies the program being selected (S27). The ACR identification process is as described with reference to FIG. Then, the ACR server 13 transmits the identification result of the ACR identification process to the receiving device 12 that is the inquiry source (S28). Note that the processes in steps S25 to S28 correspond to the processes in steps S12 to S15 described above.
  • the receiving device 12 compares the channel identification information obtained before the detection of channel switching with the channel identification information obtained after the detection of channel switching based on the identification result from the ACR server 13 (S29). If the channel identification information before and after detection of channel switching is different, the receiving device 12 forcibly terminates the data broadcasting application being executed because the channel has been switched normally (S30). As a result, the data broadcasting application that is displayed superimposed on the program before the channel switching is not displayed in the program after the channel switching.
  • the data broadcasting application may be terminated immediately after step S24. Even in that case, the channel switching is confirmed by performing the processing of steps S25 to S29 thereafter.
  • FIG. 7 The above-described cooperation between the devices is illustrated in FIG. 7 when illustrated together with the transition of the video displayed on the display 32 at the time of the cooperation.
  • the processing performed by the ACR server 13, the command server 14, and the application server 15 for the receiving device 12 can be provided as a so-called cloud computing service. Therefore, in FIG. 7, the services provided by the ACR server 13, the command server 14, and the application server 15 are illustrated as an ACR identification service, a command providing service, and an application providing service, respectively.
  • channel A (CH-A)
  • the video P1 of the program CH-A is displayed on the display 32.
  • the receiving device 12 periodically extracts fingerprint information (features) from the video signal and audio signal of the selected channel CH-A (S12-1), and transmits it to the ACR server 13 (S12-1). S13-1).
  • the ACR server 13 executes the ACR identification service to identify the program CH-A being selected by the receiving device 12 and provides the identification result to the receiving device 12.
  • the receiving device 12 accesses the command server 14 according to the identification result from the ACR server 13 and inquires about a command that can be executed by the receiving device 12.
  • the command server 14 provides the receiving device 12 with a command corresponding to the inquiry from the receiving device 12 by executing a command providing service.
  • the receiving device 12 accesses the application server 15 to access the data broadcasting application. Is requested (S19-1).
  • the application server 15 provides the data broadcasting application to the receiving device 12 in response to a request from the receiving device 12 by executing the application providing service.
  • the receiving device 12 registers the data broadcast application acquired from the application server 15 (S19-1).
  • the receiving device 12 activates the acquired data broadcasting application. (S19-2).
  • the video P2 in which the data broadcasting application CH-A indicating the program related information related to the program CH-A is superimposed on the program CH-A is displayed on the display 32.
  • the receiving device 12 continues to extract and transmit fingerprint information (S12-2,..., S13-2,...), And according to the identification result from the ACR server 13, A command is acquired from the command server 14. Then, the receiving device 12 controls the operation of the data broadcasting application CH-A according to the acquired command (S19-3).
  • the receiving device 12 uses, for example, the first to fourth detection methods described above. Channel switching is detected by any one of the detection methods (S24). Then, the receiving device 12 extracts fingerprint information from the video signal and audio signal of the program viewed after detecting the channel switching (S25), and transmits the fingerprint information to the ACR server 13 (S26). Get the identification result.
  • the receiving device 12 compares the channel identification information of programs that are viewed before and after the detection of channel switching. If the channel identification information of these programs is different, the channel has been switched normally. Forcibly terminate application CH-A. In this case, only the video P3 of the program CH-B after detection of channel switching is displayed on the display 32. On the other hand, if the channel identification information of the program before and after the detection of channel switching is the same, for example, if it is a false detection, the channel has not been switched for some reason, so the data broadcasting application CH-A is continuously executed. Let In this case, the video P2 on which the data broadcasting application CH-A is superimposed on the program CH-A is displayed on the display 32 as it is, as before detection of channel switching.
  • the data broadcasting application that is executed in conjunction with the program before the channel switching is detected is forcibly terminated, and only the program after the channel switching is displayed. .
  • the data broadcasting application for the program that was selected before the channel switching from being continuously displayed as it is after the channel switching.
  • the channel A (CH-A) is switched to the channel B (CH-B) as shown in FIG.
  • Data broadcasting application CH-A is executed as it is.
  • the video P4 in which the data broadcasting application CH-A is superimposed on the program CH-B is displayed on the display 32.
  • the data broadcasting application CH-A is periodically extracted with fingerprint information until a command (terminating command to be described later) for ending the data broadcasting application being executed is acquired. The execution is continued and displayed superimposed on the program CH-B.
  • the program CH-B is displayed by switching the channel
  • the data broadcasting application CH-A for the program CH-A that is not related to the program CH-B is displayed.
  • the channel switching is detected when the channel is switched, and the data broadcasting application is forcibly terminated when the channel switching is normally performed. .
  • the cooperation between the devices constituting the broadcasting system 1 allows the receiving device 12 to perform data broadcasting according to the identification result obtained by the ACR identification processing for the program being viewed. It becomes possible to provide an application.
  • the receiving device 12 when the channel of the program being viewed is switched, the data broadcasting application is forcibly terminated. Therefore, even when the channel is switched, the program and the data broadcasting application are synchronized. be able to.
  • FIG. 9 shows an example of information items included in the command.
  • Communication ID is information for identifying the command.
  • the command ID of each command is the same.
  • the “command effective time” is specified by any one of “absolute date”, “relative time”, and “PTS” indicating the time when the command is executed.
  • “Absolute date and time” is specified when a command is executed when a specific date and time set in advance is reached regardless of the progress of the program.
  • the “relative time” is specified when a command is executed when a specific time has elapsed from a reference time in the program. For example, as the relative time, a relative time from the start time of the program is designated.
  • PTS Presentation Time Stamp
  • the “command target device type” designates a device that is subject to data broadcast application control by the command.
  • the external device is designated as the target device of the command.
  • Command action means that the commands are “app acquisition” (Register), “app start” (Execute), “app end” (Terminate), “event firing” (Inject_event), “app suspend” (Suspend) Indicates whether it is either.
  • the register command is a command for instructing the receiving device 12 to acquire or register a data broadcasting application.
  • the registration of the data broadcasting application means that the priority and the expiration date are stored in association with the acquired data broadcasting application.
  • the data broadcasting application is managed by the control unit 64 according to the priority and the retention period.
  • the execute (Execute) command is a command for instructing the receiving device 12 to acquire or start a data broadcasting application.
  • Terminate command is a command for causing the receiving device 12 to terminate the data broadcasting application being executed.
  • the inject event (Inject_event) command is a command for causing the receiving device 12 to fire an event in the data broadcasting application being executed.
  • the suspend command is a command for causing the receiving device 12 to pause the data broadcasting application being executed.
  • the “command application distribution parameter” is a parameter for stochastically distributing the timing of applying the command in the target device such as the receiving device 12. Since the timing for accessing the command server 14 and the application server 15 is adjusted by this parameter, it is possible to reduce the load by distributing access to the server.
  • Application ID is identification information of the data broadcasting application corresponding to the command.
  • application type is information indicating the type of data broadcasting application corresponding to the command.
  • operator ID is identification information of an operator (for example, a broadcasting station) that performs an execution service of a data broadcasting application corresponding to the command.
  • App URL is information indicating the URL from which the data broadcasting application is acquired when the command action is “app acquisition” or “app activation”.
  • App expiration date is information indicating the expiration date of the data broadcasting application.
  • the “application holding priority” is information indicating a priority when acquiring and holding a data broadcasting application corresponding to the command. When a data broadcast application is registered, the application expiration date and the data broadcast application retention priority are stored, and the data broadcast application is managed according to the expiration date and priority.
  • Event ID is identification information of an event to be fired in the data broadcasting application designated by the application ID when the command action is “event firing”.
  • event additional data describes data that is referred to when an event is fired when the command action is “event firing”.
  • the command element mainly includes a timing element, a diffusion element, an application element, and an event element in addition to a destination attribute and an action attribute.
  • the destination attribute corresponds to the “command target device type” in FIG.
  • “receiver” is specified when the target device of the command is the receiving device 12
  • “external_1” or “external_2” is specified when the target device of the command is the external device.
  • the action attribute corresponds to the “command action” in FIG.
  • “execute” is designated when instructing acquisition or activation of the data broadcasting application
  • “register” is designated when instructing acquisition or registration of the data broadcasting application.
  • “suspend” is specified.
  • “terminate” is designated when instructing the end of the data broadcasting application
  • “event” is designated when the event is ignited in the data broadcasting application being executed.
  • the “timing” element corresponds to the “command effective time” in FIG.
  • the diffusion element corresponds to the “command application distribution parameter” in FIG.
  • attributes of the diffusion element there are a rate attribute, a range attribute, and a period attribute, which specify the number of distributions, the maximum delay time, and the command application diffusion period, respectively.
  • the application element corresponds to “application ID”, “application type”, “application URL”, “application retention priority”, and “application expiration date” in FIG. 9, and includes an id attribute, a type attribute, a url An attribute, a priority attribute, and an expire_date attribute are specified.
  • the url attribute and expire_date attribute are indispensable items when the action attribute is “execute” or “register”.
  • “0” is normally designated as the priority attribute
  • “1” is designated when the priority is to be increased.
  • the event element corresponds to the “event ID” and “event additional data” in FIG. 9, and an id attribute and a data attribute are designated.
  • the event element is an indispensable item when the action attribute is “event”.
  • FIG. 12 is a diagram illustrating a description example of a command.
  • “receiver” is specified as the destination attribute and “execute” is specified as the action attribute in the command element. That is, the command is an execute command addressed to the receiving device 12.
  • the timing element and application element are described between the start tag and end tag of the command element.
  • timing element “pts” is specified as the unit attribute, and “1286743” is specified as the value. That is, the command is executed when the clock “1286743” has elapsed.
  • “1” is specified as the id attribute
  • “html” is specified as the type attribute
  • “xxx.com/yyy” is specified as the url attribute
  • “2011-01-21” is specified as the expire_date attribute. Yes. That is, it means that the data broadcasting application described in HTML (Hyper Text Markup Language) can be acquired from the application server 15 specified by the URL “xxx.com/yyy”.
  • the command description method is arbitrary, and is not limited to FIG.
  • FIG. 13 is a state transition diagram of the data broadcasting application that operates in the receiving device 12 in response to the register, execute, inject event, suspend, and terminate commands. As shown in the figure, the state of the data broadcasting application transitions to one of four types of a released state (Released), a ready state (Ready), a running state (Active), and a suspended state (Suspended). Is defined as
  • the release state indicates a state in which the data broadcasting application is not acquired by the receiving device 12.
  • the ready state indicates a state in which the data broadcasting application has been registered in the receiving device 12 and has not been activated.
  • the executing state indicates a state in which the data broadcasting application is activated and is being executed.
  • the dormant state is a state in which execution of the data broadcasting application is interrupted and information indicating the state at the time of the suspension is held in the save memory 69B.
  • the register command is received, and when the data broadcasting application is acquired (registered) according to the register command, the data broadcasting application is in the ready state. Transition.
  • the data broadcasting application When the data broadcasting application is transitioning to the running state or the paused state, a termination command is received, and when the data broadcasting application being executed is terminated according to the termination command, the data broadcasting application transitions to the ready state (in the figure). "A"). The transition to the ready state occurs not only based on the terminate command but also when another data broadcasting application is executed.
  • the transition to the release state is made when the application expiration date of the command has elapsed (“B” in the figure).
  • FIG. 14 shows the relationship between each command and state transition.
  • FIG. 14 shows various types of commands received from the command server 14 and the application server 15 by transmitting the fingerprint information extracted from the AV content data such as programs and CMs to the ACR server 13 in the receiving device 12.
  • the manner in which each of the data broadcasting applications is acquired is schematically shown.
  • FIG. 14 similarly to FIGS. 7 and 8, it is assumed that the ACR identification service, the command providing service, and the application providing service are provided by the ACR server 13, the command server 14, and the application server 15, respectively.
  • the data broadcasting application when the data broadcasting application is in the release state (when the data broadcasting application is not acquired in the receiving device 12), the data broadcasting application is acquired, held, and registered according to the register command. Transition to the ready state.
  • the data broadcasting application when the data broadcasting application is in the ready state, the data broadcasting application is activated in response to the execute command.
  • the data broadcasting application when the data broadcasting application is in the release state (when not acquired by another device) in another device other than the receiving device 12, the data broadcasting application is acquired according to the execute command. When activated, transition to the running state.
  • the state is the running state. Will remain.
  • the receiving apparatus 12 when the data broadcasting application is transitioning to the running state, the data broadcasting application is transitioned to the dormant state when the running data broadcasting application is interrupted in response to the suspend command. In the receiving device 12, when the data broadcasting application is transitioning to the dormant state, when the suspended data broadcasting application is resumed in response to the execute command, the receiving apparatus 12 transitions to the running state.
  • the receiving device 12 when the data broadcasting application is transitioning to the running state, if channel switching is detected, the running data broadcasting application is forcibly terminated and put into the ready state. Transition.
  • the data broadcasting application when the data broadcasting application is transitioning to the running state in the receiving device 12, the data broadcasting application is transitioned to the ready state when the running data broadcasting application is terminated in response to the terminate command.
  • the data broadcasting application has transitioned to the ready state, the running state, or the suspension state, when the application expiration date of the data broadcasting application has elapsed, the data broadcasting application is deleted from the cache memory 68, The registration is deleted and a transition is made to the release state.
  • FIG. 15 and FIG. 16 show command response processing (hereinafter referred to as command response processing according to the ACR identification result) when the receiving device 12 receives a command according to the identification result obtained by the ACR identification processing.
  • command response processing hereinafter referred to as command response processing according to the ACR identification result
  • FIG. 15 is a flowchart for explaining command response processing according to the ACR identification result.
  • the command corresponding processing according to the ACR identification result is performed when the user is watching a program, that is, when the receiving device 12 receives the digital television broadcast signal from the broadcasting device 11 or the set top box 19 via the CATV device 17. It is repeatedly executed while receiving the cable television broadcast signal from.
  • step S111 the fingerprint extraction unit 60 determines whether or not a predetermined time has elapsed, waits for the predetermined time to elapse, and extracts fingerprint information from the video signal and audio signal of the program ( Step S112). That is, the fingerprint extraction unit 60 periodically extracts fingerprint information at a predetermined interval such as several seconds.
  • step S113 the fingerprint extraction unit 60 controls the communication I / F 61 to transmit the extracted fingerprint information to the ACR server 13 via the Internet 16, and to identify the identification result of the program being selected. Inquire.
  • the ACR server 13 performs ACR identification processing based on the fingerprint information, and transmits the identification result to the receiving device 12. If the ACR server 13 cannot obtain the program identification result, the identification result is not transmitted.
  • step S114 the control unit 64 controls the communication I / F 61 to determine whether or not the identification result is received from the ACR server 13 that is the inquiry destination of the identification result.
  • step S114 If it is determined in step S114 that the identification result has not been received, the process returns to step S111, and the subsequent processes are repeated. For example, when the fingerprint information is extracted when the receiving device 12 selects a channel that is not broadcasting, the ACR server 13 cannot identify the program and transmits the identification result. (The identification result is transmitted, but it may be indicated as not applicable).
  • step S115 the control unit 64 analyzes the identification result of the currently selected program received by the communication I / F 61.
  • channel identification information, time position information, and command acquisition destination information of the program being selected are obtained as identification results.
  • the control unit 64 stores the channel identification information of the program being selected in the memory 65.
  • step S116 the control unit 64 controls the communication I / F 61, accesses the command server 14 corresponding to the URL indicated by the command acquisition destination information, and transmits the channel identification information and the time position information, thereby receiving the reception device. 12 inquires about commands that can be executed.
  • the command server 14 a command that can be executed in the time zone corresponding to the time position information in the program corresponding to the channel identification information is acquired and transmitted to the receiving device 12.
  • step S117 the control unit 64 controls the communication I / F 61 to determine whether or not a command has been received from the command server 14 as a command inquiry destination.
  • step S117 If it is determined in step S117 that no command has been received, the process returns to step S111, and the subsequent processes are repeated.
  • the command server 14 if there is no command that matches the condition defined by the channel identification information and the time position information, the command is not transmitted (the command is transmitted but indicates that processing is not required). It may be)
  • step S118 the command analysis unit 62 reads the command ID included in the command, and determines whether or not the processing from step S119 onward is already executed for the command. If it is determined that the processing after step S119 has already been executed, the processing returns to step S111, and the subsequent processing is repeated. On the other hand, if it is determined that the process after step S119 is not executed for the command, the process proceeds to step S119.
  • step S119 the command analysis unit 62 reads the command action included in the command, and determines whether the command is one of a register, execute, terminate, inject event, or suspend.
  • step S120 the command analysis unit 62 determines whether or not the determination result in step S119 is a register. If it is determined that the register is a register, the process proceeds to step S121.
  • step S121 the control unit 64 controls the communication I / F 61 to access the application server 15 corresponding to the application URL of the command and acquire the data broadcasting application specified by the application ID.
  • the data broadcast application acquired by the communication I / F 61 is held in the cache memory 68.
  • the control unit 64 stores the application expiration date and the application holding priority in the memory 65 in association with the acquired data broadcasting application. Thereby, the data broadcast application held in the cache memory 68 is managed by the control unit 64 according to the expiration date and the holding priority.
  • step S120 If it is determined in step S120 that the determination result in step S119 is not a register, the process proceeds to step S122.
  • step S122 the control unit 64 determines whether or not the determination result in step S119 is execute. If it is determined to be execute, the process proceeds to step S123.
  • step S123 the application engine 67 determines whether the data broadcasting application specified by the command ID of the command is in a suspended state (suspended state) according to the control from the control unit 64. Specifically, when data indicating a dormant state is saved in the data broadcasting application specified by the command ID in the save memory 69B, it is determined that the data is being paused.
  • step S123 If it is determined in step S123 that the data broadcasting application specified by the command ID is not paused, the process proceeds to step S124.
  • step S124 the application engine 67 acquires the data broadcasting application specified by the command ID if it has not been acquired (does not exist in the cache memory 68) according to the control from the control unit 64.
  • step S125 the control unit 64 performs a synchronization control process.
  • the details of the synchronization control processing will be described with reference to the flowchart of FIG.
  • step S151 the control unit 64 determines whether or not the command effective time included in the command is set. *
  • step S151 If it is determined in step S151 that the command effective time is set, the process proceeds to step S152.
  • step S152 the control unit 64 determines whether it is time to execute the command.
  • This command effective time is specified by, for example, absolute date / time, relative time, or PTS.
  • an absolute date it is determined whether or not a specific date set in advance has been reached.
  • the relative time for example, it is determined whether or not a specific time set in advance has elapsed from the start time of the program.
  • PTS it is determined whether or not it is time to execute a command based on the clock from the clock synchronization unit 63.
  • step S152 the determination process is repeated until it is determined that it is time to execute the command. That is, the execution of the command is waited until the time for executing the command is reached.
  • step S152 If it is determined in step S152 that it is time to execute the command, the process returns to step S125 in FIG. 15, and the subsequent processes are executed.
  • step S126 the application engine 67 terminates the data broadcasting application that is currently being executed, according to the control from the control unit 64.
  • step S127 the application engine 67 activates the data broadcasting application specified by the command ID in accordance with the control from the control unit 64.
  • the data broadcasting application is started after the time for executing the command has elapsed, so that, for example, data broadcasting is performed in accordance with the progress of the program. For example, or a data broadcasting application can be activated at a specific time zone.
  • step S152 in FIG. 16 is skipped, and steps S126 and S127 are executed immediately after the acquisition process in step S124 is completed. Is done. In this case, immediately after an unacquired data broadcast application is acquired, the data broadcast application is activated.
  • step S123 If it is determined in step S123 that the data broadcasting application specified by the command ID is in a suspended state (suspended state), the process proceeds to step S128.
  • step S1208 the control unit 64 performs the synchronization control process of FIG. That is, when the command effective time is set, the process of step S129 is performed when the command execution time comes, and when the command effective time is not set, the process of step S129 is immediately performed. Is done.
  • step S129 the application engine 67 moves the data in the save memory 69B to the work memory 69A according to the control from the control unit 64, and activates the data broadcasting application specified by the command ID. As a result, the suspended data broadcasting application specified by the command ID is resumed from the suspended state. Thereafter, the process returns to step S111, and the subsequent processes are repeated.
  • step S130 the control unit 64 determines whether or not the determination result in step S119 is an injection event. If it is determined that the determination event is an injection event, the process proceeds to step S131.
  • step S131 the control unit 64 performs the synchronization control process of FIG. That is, when the command effective time is set, the process of step S132 is performed when the command execution time is reached, and when the command effective time is not set, the process of step S132 is immediately performed. Is done.
  • step S132 the control unit 64 controls the application engine 67 only when the command ID of the command matches the command ID of the operating data broadcasting application, and the command in the operating data broadcasting application is controlled. Fire (execute) the event corresponding to the event ID. Thereafter, the process returns to step S111, and the subsequent processes are repeated.
  • step S130 determines whether the determination result in step S119 is not an injection event. If it is determined in step S130 that the determination result in step S119 is not an injection event, the process proceeds to step S133.
  • step S133 the control unit 64 determines whether or not the determination result in step S119 is suspend. If it is determined that the process is suspend, the process proceeds to step S134.
  • step S134 the control unit 64 performs the synchronization control process of FIG. That is, when the command effective time is set, the process of step S135 is performed when the command execution time is reached, and when the command effective time is not set, the process of step S135 is immediately performed. Is done.
  • step S135 the application engine 67, in accordance with control from the control unit 64, indicates data indicating the state of the currently executing data broadcasting application (that is, data currently written in the work memory 69A. Hierarchical structure in the information to be displayed. If there is, the information indicating the hierarchy of the displayed information is saved in the save memory 69B. Thereafter, the process returns to step S111, and the subsequent processes are repeated.
  • step S133 If it is determined in step S133 that the determination result in step S119 is not suspend, the determination result in step S119 is termination, and the process proceeds to step S136.
  • step S136 the control unit 64 performs the synchronization control process of FIG. That is, when the command effective time is set, the process of step S137 is performed when the command execution time comes, and when the command effective time is not set, the process of step S137 is immediately performed. Is done.
  • step S137 the application engine 67 terminates the data broadcasting application specified by the command ID if it is being executed in accordance with the control from the control unit 64.
  • step S138 the application engine 67 deletes the data related to the data broadcasting application specified by the command ID from the work memory 69A and the save memory 69B according to the control from the control unit 64, and also stores the data broadcasting application in the cache memory. Erasing from 68. Thereafter, the process returns to step S111, and the subsequent processes are repeated.
  • step S111 If it is determined in step S111 that it is not time to extract fingerprint information that is periodically performed, the process proceeds to step S139.
  • step S139 the channel switching detection unit 70 detects channel switching and determines whether or not the channel has been switched. If it is determined in step S139 that the channel has not been switched, the process returns to step S111, and the subsequent processes are repeated.
  • step S140 fingerprint information is extracted from the video signal and audio signal of the program by the fingerprint extraction unit 60 and transmitted to the ACR server 13 as in steps S112 to S114 described above. If the identification result from the ACR server 13 is received by the communication I / F 61, the process proceeds to step S143.
  • the control unit 64 acquires channel identification information of a program to be viewed after channel switching detection obtained from the identification result from the communication I / F 61, and also performs channel switching from the memory 65. The channel identification information of the program that was viewed before the detection is read out.
  • step S143 the control unit 64 compares the channel identification information of the programs before and after the channel switching detection, and determines whether or not the channel identification information matches.
  • step S143 the application engine 67 terminates the data broadcast application specified by the command ID if it is being executed in accordance with the control from the control unit 64.
  • step S145 the application engine 67 deletes the data related to the data broadcasting application specified by the command ID from the work memory 69A and the save memory 69B according to the control from the control unit 64, and also stores the data broadcasting application in the cache memory. Erasing from 68. Thereafter, the process returns to step S111, and the subsequent processes are repeated.
  • step S143 if it is determined in step S143 that the channel identification information matches, for example, if it is a false detection, the channel has not been switched normally for some reason, so the processing in steps S144 and 145 is skipped. Returns to step S111, and the subsequent processing is repeated.
  • steps S124 to S127 after acquiring an unacquired data broadcast application in steps S124 to S127 (S124), when the time to execute the command is reached (S125), the acquired data broadcast application is displayed.
  • steps S124 and S125 may be reversed. That is, in this case, until the time for executing the command, the acquisition of the unacquired data broadcasting application is not performed, and when the time for executing the command is reached, the unacquired data broadcasting application is acquired, Will be launched.
  • FIG. 17 is a diagram showing an example of an operation scenario when the command effective time is not set.
  • the receiving device 12 periodically displays a video of a program being selected when a program of channel A (CH-A) corresponding to a digital television broadcast signal or a cable television broadcast signal is displayed on the display 32. Fingerprint information is extracted from the signal and transmitted to the ACR server 13. The ACR server 13 that has received the fingerprint information performs ACR identification processing, and the identification result is transmitted to the receiving device 12.
  • CH-A program of channel A
  • the receiving device 12 inquires of the command server 14 about the command according to the identification result from the ACR server 13, but if there is no command that can be executed by the receiving device 12, a response from the command server 14. Is not done.
  • the receiving device 12 periodically extracts fingerprint information, and in response thereto, inquiries to the ACR server 13 and the command server 14 are continuously performed.
  • the receiving device 12 accesses the application server 15 corresponding to the application URL, acquires the data broadcasting application, and executes it.
  • the program of channel A (CH-A) displayed on the display 32 includes program related information (“Video Synchronized application” in the figure) corresponding to the data broadcasting application for channel A (CH-A). Etc. are superimposed and displayed.
  • the receiving device 12 when the channel being selected is switched from channel A (CH-A) to channel B (CH-B), for example, the receiving device 12 performs, for example, the first detection method to the fourth detection described above. Channel switching is detected by any of the detection methods. Then, the receiving device 12 extracts fingerprint information from the video signal and audio signal of the program viewed after detecting the channel switching, and transmits the fingerprint information to the ACR server 13 to acquire the identification result of the program. The receiving device 12 compares the channel identification information of the programs displayed on the display 32 before and after the detection of the channel switching. If the channel identification information of these programs is different, the channel has been switched normally. Forcibly terminate the data broadcasting application. As a result, the program related information superimposed on the channel A (CH-A) program is erased, and only the channel B (CH-B) program is displayed.
  • CH-A channel A
  • CH-B channel B
  • the receiving device 12 accesses the application server 15 corresponding to the application URL and acquires the data broadcasting application. And run. Thereby, the program related information corresponding to the data broadcasting application for channel B (CH-B) (“Video Synchronized application” in the figure) is displayed on the program of channel B (CH-B) displayed on the display 32. Etc. are superimposed and displayed.
  • the execute command has been described as the command received from the command server 14 in the receiving device 12, but other commands may be received. For example, if an inject event command is received during the execution of the data broadcasting application, the event is ignited in the data broadcasting application being executed, and if the suspend command is received, the data being executed Broadcast application is suspended. Further, for example, when a terminate command is received during execution of the data broadcast application, the data broadcast application being executed is terminated.
  • the receiving device 12 since the command effective time is not set for the command transmitted by the command server 14, the receiving device 12 immediately executes the command received from the command server 14. become. In the receiving device 12, when the channel is switched, the data broadcasting application being executed is forcibly terminated.
  • FIG. 18 is a diagram showing an example of an operation scenario when the command effective time is set.
  • the receiving device 12 periodically extracts fingerprint information, and when receiving an execute command from the ACR server 13, the receiving device 12 accesses the application server 15 corresponding to the application URL and selects a data broadcasting application. get.
  • the command effective time is set for the execute command
  • execution of the execute command is waited until the time for executing the command is reached after acquiring the data broadcasting application (in the figure). "Waiting for sync").
  • program related information corresponding to a data broadcasting application is displayed in synchronization with a specific scene of a program on channel A (CH-A)
  • the time for synchronization with the specific scene is the command effective time. Since it is described, the data broadcasting application is started after waiting for the time to execute the command.
  • the specific scene of the program of channel A (CH-A) and the program related information (“Video Synchronized application” in the figure) can be synchronized.
  • the receiving device 12 detects channel switching, The data broadcasting application being executed is forcibly terminated. As a result, the program related information superimposed on the channel A (CH-A) program is erased, and only the channel B (CH-B) program is displayed.
  • fingerprint information is continuously extracted, and when an execute command is received from the command server 14, the receiving device 12 accesses the application server 15 corresponding to the application URL and acquires a data broadcasting application. To do. In addition, the receiving device 12 waits for the time to execute the command and activates the data broadcasting application. Thereby, the program related information corresponding to the data broadcasting application for channel B (CH-B) (“Video Synchronized application” in the figure) is displayed on the program of channel B (CH-B) displayed on the display 32. Etc. are superimposed and displayed.
  • CH-B Channel B
  • the execute command has been described as the command received from the command server 14 in the receiving device 12, but other commands may be received.
  • the event is ignited in the data broadcasting application being executed after the time for executing the command.
  • a suspend command is received during execution of the data broadcasting application, the data broadcasting application being executed is suspended after waiting for the time to execute the command.
  • a terminate command is received during execution of the data broadcasting application, the data broadcasting application being executed is terminated after waiting for the time to execute the command.
  • the receiving device 12 since the command effective time is set for the command transmitted by the command server 14, the receiving device 12 waits for the time to execute the command and waits for the command server 14. The command received from will be executed. As a result, the receiving device 12 can execute a command at an arbitrary timing, not the resolution of fingerprint information extraction. In addition, when channel switching is detected, the receiving device 12 forcibly terminates the data broadcasting application that is being executed. Therefore, the receiving device 12 executes at the timing of channel switching, not the resolution of fingerprint information extraction. The data broadcasting application inside can be terminated.
  • FIG. 19 shows a broadcast system 1 according to the second embodiment.
  • an AV amplifier 41 having a function as an AV selector is connected between the receiving device 12 and the set top box 19 as compared with FIG. 1.
  • the AV amplifier 41 has an input / output unit conforming to the HDMI standard, and an electronic device having an HDMI terminal such as a game machine 42 or an electronic device 43 is connected to the input side of the AV amplifier 41, for example,
  • the receiving device 12 is connected to the output side via the HDMI cable 20.
  • the AV amplifier 41 selects desired AV content from among a plurality of AV contents input from a plurality of electronic devices connected to the input side, and outputs the selected AV content to the receiving device 12 connected to the output side.
  • the receiving device 12 detects the switching of the AV content to be viewed according to the AV content selection result by the AV amplifier 41. When the switching of the AV content to be viewed is detected, the receiving device 12 ends the data broadcasting application being executed in conjunction with the AV content.
  • FIG. 20 illustrates a configuration example of the receiving device 12 of FIG.
  • the input to the channel switching detection unit 70 is different from that in FIG. That is, in FIG. 20, only the notification signal from the HDMI terminal 59 is input to the channel switching detection unit 70.
  • the HDMI terminal 59 inputs audio signals and video signals of AV content from the switching destination electronic device that are input via the HDMI cable 20 when the electronic device selected by the AV amplifier 41 is switched. Are supplied to the selector 54 and the selector 57, respectively.
  • the HDMI terminal 59 outputs a notification signal for notifying the switching to the channel switching detection unit 70.
  • the receiving device 12 when the input to the HDMI terminal 59 is switched from AV content from the set top box 19 to AV content from the game machine 42, the clock signal from the AV amplifier 41 becomes discontinuous and synchronized. Will need to be resynchronized.
  • the HDMI terminal 59 outputs a notification signal for notifying switching of input AV content to the channel switching detection unit 70. Then, when the notification signal from the HDMI terminal 59 is detected, the channel switching detection unit 70 can detect switching of the AV content to be viewed and supply the detection result to the control unit 64.
  • the AV amplifier 41 switches the input from the set-top box 19 to the game machine 42, when the data broadcasting application is superimposed on the cable television program in the receiving device 12, the data broadcasting is performed.
  • the game screen can be displayed after the game application is terminated.
  • the receiving apparatus 12 uses the AV content selection result output from the AV amplifier 41 as the fifth detection method in addition to the first detection method to the fourth detection method described above.
  • a method of detecting switching of the AV content to be viewed can be employed.
  • FIG. 21 is a diagram illustrating a specific example of a broadcasting system to which the present technology is applied.
  • the AV content (“Content” in the figure) provided from the content provider (Content Provider) is assigned metadata related to the program (“Metadata” in the figure), and the broadcasting device 11 (“TV1” in the figure) that directly receives a digital television broadcast signal from 11 (“ASP (Authorized Service Provider)” in the figure) can acquire metadata transmitted together with the AV content. Therefore, the receiving device obtains and executes a data broadcasting application (“Application” in the figure) by accessing the application server 15 managed by a broadcaster or the like based on the metadata. Is possible.
  • the receiving device 12 when receiving a digital television broadcast signal from the broadcasting device 11 via a CATV network or a satellite communication network, the signal after conversion by the set top box 19 (“STB (Set Top Box)” in the figure). Is received by the receiving device 12 (“TV2” in the figure) via the HDMI cable 20. In this case, the output from the set top box 19 is only AV content, metadata cannot be used, and information regarding the program cannot be acquired. Therefore, the receiving device 12 acquires the identification result by transmitting the fingerprint information (“Fingerprint” in the drawing) extracted from the AV content to the ACR server 13. Further, the receiving device 12 acquires a command from the command server 14 in accordance with the identification result from the ACR server 13. The receiving device 12 can acquire and execute a data broadcast application from the application server 15 in accordance with a command from the command server 14.
  • STB Set Top Box
  • the broadcasting system to which this technology is applied realizes a data broadcasting content service that is executed in conjunction with the program even when the program is retransmitted via the CATV network or satellite communication network. can do. That is, for example, as shown in FIGS. 1 and 19, the present technology is not limited to the case where the receiving device 12 directly receives a digital television broadcast signal from the broadcasting device 11, but also includes a CATV network 18 and a satellite communication network. As described above, since the set-top box 19 or the like is used, the present invention can also be applied to a case where metadata transmitted together with AV content cannot be sent to the receiving device 12.
  • FIG. 22 shows a communication system 81 according to the present embodiment.
  • a distribution server 91 connected to the Internet 16 is provided instead of the broadcasting device 11, the CATV device 17, the CATV network 18, and the set top box 19.
  • the distribution server 91 distributes AV content such as VOD content to the receiving device 12 via the Internet 16 in response to a request from the receiving device 12.
  • the receiving device 12 extracts fingerprint information from the video signal and audio signal of the VOD content from the distribution server 91 and transmits the fingerprint information to the ACR server 13.
  • the ACR server 13 performs ACR identification processing.
  • content identification information, time position information, and command acquisition destination information are transmitted as identification results. That is, when AV content from the broadcast apparatus 11 is acquired, channel identification information is obtained as an identification result.
  • content identification information such as a content ID is identified. As a result.
  • the receiving device 12 inquires about a command that can be executed by the receiving device 12 by accessing the command server 14 corresponding to the URL described in the command acquisition destination information and transmitting the content identification information and the time position information. . Then, the receiving device 12 controls the operation of the data broadcast application in accordance with the command from the command server 14.
  • the receiving device 12 can receive the AV content not only via the broadcast network but also via the communication network. Since AV content received from either the broadcast network or the communication network is identified by the ACR server 13, the receiving device 12 can acquire a command according to the identification result from the command server 14. it can. Further, when channel switching is detected, the receiving device 12 inquires of the ACR server 13 about the identification result of the VOD content. Then, the receiving device 12 compares the content identification information obtained before and after the channel switching detection, and when the channel is switched normally, the data broadcast displayed superimposed on the VOD content before the channel switching. The app can be terminated.
  • the ACR server 13 may transmit the identification result directly to the command server 14 without transmitting it to the receiving device 12.
  • the receiving device 12 transmits the fingerprint information to the ACR server 13
  • the ACR server 13 performs ACR identification processing and transmits the identification result to the command server 14.
  • the command server 14 sends the command to the receiving device 12 according to the identification result from the ACR server 13.
  • the receiving device 12 can perform an operation such as acquiring a command from the command server 14 only by transmitting the fingerprint information to the ACR server 13.
  • the command server 14 transmits the data broadcast application acquisition command directly to the application server 15 without transmitting it to the reception apparatus 12.
  • the fingerprint information is sent to the ACR server 13.
  • an operation such as acquiring a data broadcasting application from the application server 15 becomes possible.
  • the receiving device 12 and the set top box 19 and the AV amplifier 41 are configured to perform communication according to the HDMI standard.
  • the communication standard is not limited to the HDMI standard, and at least the set top box 19 or the like. Any configuration is possible as long as data communication including video signals, audio signals, and control signals is possible.
  • the series of processes described above can be executed by hardware or software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 23 is a block diagram illustrating a configuration example of hardware of a computer that executes the above-described series of processes by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 105 is further connected to the bus 104.
  • An input unit 106, an output unit 107, a recording unit 108, a communication unit 109, and a drive 110 are connected to the input / output interface 105.
  • the input unit 106 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 107 includes a display, a speaker, and the like.
  • the recording unit 108 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 109 includes a network interface or the like.
  • the drive 110 drives a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 101 loads, for example, the program stored in the recording unit 108 to the RAM 103 via the input / output interface 105 and the bus 104 and executes the program, as described above. A series of processing is performed.
  • the program executed by the computer 100 can be provided by being recorded in, for example, a removable medium 111 such as a package medium.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 108 via the input / output interface 105 by attaching the removable medium 111 to the drive 110.
  • the program can be received by the communication unit 109 via a wired or wireless transmission medium and installed in the recording unit 108.
  • the program can be installed in the ROM 102 or the recording unit 108 in advance.
  • the program executed by the computer 100 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as when the call is performed in parallel. It may be a program in which processing is performed.
  • processing steps for describing a program for causing the computer 100 to perform various processes do not necessarily have to be processed in time series in the order described in the flowchart, and may be performed in parallel or individually. (For example, parallel processing or object processing).
  • the program may be processed by one computer, or may be processed in a distributed manner by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above-described flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this technique can take the following structures.
  • the detection unit detects switching of a channel from the first AV content to a second AV content different from the first AV content; When the switching of the channel from the first AV content to the second AV content is detected, the control unit ends the application program that is executed in conjunction with the first AV content.
  • the receiving device according to 1).
  • a storage unit for storing first identification information for identifying the first AV content obtained from the identification result of the first AV content;
  • the feature amount extraction unit extracts a feature amount from data of the second AV content when switching of the channel from the first AV content to the second AV content is detected;
  • the identification result acquisition unit acquires the identification result of the second AV content identified using the extracted feature amount,
  • the stored first identification information is different from the second identification result for identifying the second AV content obtained from the identification result of the second AV content,
  • the receiving device according to (2), wherein the application program is terminated.
  • the receiving unit directly receives the AV content transmitted from a transmitting device, The detection unit detects switching of the channel according to an operation of switching the channel from the first AV content to the second AV content with respect to the reception device. (2) or (3) Receiver device.
  • the receiving unit is connected to an information processing apparatus that converts data of the AV content transmitted from a transmission apparatus according to the reception apparatus, in a manner compliant with the HDMI (High Definition Multimedia Interface) standard, Receiving the converted AV content from the information processing device;
  • the detection unit detects switching of the channel from the first AV content to the second AV content according to the analysis result of the video signal of the AV content received from the information processing device.
  • the receiving device according to (3).
  • the detection unit may be configured such that a plurality of frames constituting the AV content are continuously displayed on the same screen for a predetermined period, or the plurality The receiving device according to (5), wherein channel switching is detected by analyzing whether or not the frame of the frame becomes a black screen continuously for a predetermined period.
  • the detection unit detects switching of the channel from the first AV content to the second AV content according to the analysis result of the audio signal of the AV content received from the information processing device.
  • the detection unit determines whether the sample of the audio signal is in a no-signal state in a predetermined section or whether the sample is in a discontinuous state in the predetermined section.
  • the switching device according to (7), wherein channel switching is detected by analyzing whether or not.
  • the receiving unit is connected to an information processing device that converts the data of the AV content transmitted from the transmission device according to the reception device in a method compliant with the HDMI standard, and is converted from the information processing device.
  • Receiving the AV content of The detection unit detects switching of the channel according to an operation of switching the channel from the first AV content to the second AV content with respect to the information processing apparatus. (2) or (3) Receiver.
  • the receiving unit is connected to a selection device that selects and outputs desired AV content from among a plurality of AV contents input from a plurality of information processing devices in a manner compliant with the HDMI standard, so that the selection is performed.
  • ACR Automatic Content Recognition
  • the receiving device according to any one of (1) to (11), wherein the feature amount extraction unit extracts the feature amount from one or both of a video signal and an audio signal of the AV content.
  • the command indicates one of acquisition or registration, acquisition or activation, event firing, interruption, or termination of the application program
  • the control unit controls acquisition, registration, acquisition, or activation of the application program, or event firing, suspension, or termination of the application program that is being executed in accordance with each command.
  • the receiving apparatus in any one.
  • the receiving device is: Receive AV content, Extracting feature values from the received AV content data; Obtaining an identification result of the AV content identified using the extracted feature quantity; According to the acquired identification result, a command for controlling the operation of an application program executed in conjunction with the AV content is acquired, In accordance with the acquired command, control the operation of the application program, Detecting switching of the AV content to be viewed; A receiving method including a step of ending the application program executed in conjunction with the AV content when switching of the AV content is detected.
  • the receiving device is: A receiving unit for receiving AV content; A feature amount extraction unit that extracts a feature amount from the received AV content data; An identification result acquisition unit that transmits the extracted feature quantity to the first information processing apparatus and acquires an identification result of the AV content identified by using the feature quantity in the first information processing apparatus; , The identification result acquired from the first information processing apparatus is transmitted to the second information processing apparatus and executed in conjunction with the AV content according to the identification result from the second information processing apparatus.
  • a command acquisition unit for acquiring a command for controlling the operation of the application program to be executed;
  • a control unit that controls the operation of the application program acquired from the third information processing apparatus in response to the command acquired from the second information processing apparatus;
  • a detection unit for detecting switching of the AV content to be viewed;
  • the control unit ends the application program being executed in conjunction with the AV content
  • the first information processing device includes a first providing unit that provides the identification result obtained by identifying the AV content using the feature amount in response to an inquiry from the receiving device,
  • the second information processing apparatus A second providing unit for providing the command according to the identification result in response to an inquiry from the receiving device;
  • the third information processing apparatus An information processing system comprising: a third providing unit that provides the application program according to the command in response to an inquiry from the receiving device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

本技術は、ACR技術を用いてAVコンテンツに連動して実行されるアプリケーションプログラムを提供することができるようにする受信装置、受信方法、プログラム、及び情報処理システムに関する。 受信装置は、AVコンテンツを受信し、受信したAVコンテンツのデータから特徴量を抽出し、抽出した特徴量を用いて識別されたAVコンテンツの識別結果を取得し、取得した識別結果に応じて、AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得し、取得したコマンドに応じて、アプリケーションプログラムの動作を制御し、視聴されるAVコンテンツの切り替えを検出し、AVコンテンツの切り替えが検出された場合、AVコンテンツに連動して実行されているアプリケーションプログラムを終了させる。本技術は、例えば、デジタルテレビジョン放送信号を受信するテレビジョン受像機に適用することができる。

Description

受信装置、受信方法、プログラム、及び情報処理システム
 本技術は、受信装置、受信方法、プログラム、及び情報処理システムに関し、特に、ACR技術を用いてAVコンテンツに連動するアプリケーションプログラムを提供することができるようにした受信装置、受信方法、プログラム、及び情報処理システムに関する。
デジタルテレビジョン放送信号を受信する受信装置において、デジタルテレビジョン番組等のAVコンテンツと連動して実行されるアプリケーションプログラムをインターネットに接続されたサーバから取得して実行するサービスが普及することが予想される。そのため、このような放送と通信を融合したハイブリッドサービスを実現するための技術の検討が行われている(例えば、特許文献1参照)。
 また、地上波放送を直接受信しないで、CATV網や衛星通信網を介して受信する場合、それらの放送信号と同期した制御信号を送信することで、放送と通信のハイブリッドサービスを実現することが検討されているが、既存のCATV網や衛星放送網の設備、専用端末の改修を行わなければ、サービスを実現することが難しいというのが現状である。
特開2006-245653号公報
 ところで、ACR(Automatic Content Recognition)と称される、番組等のAVコンテンツを識別する技術が知られている。ACR技術では、識別対象となるAVコンテンツのビデオ信号及びオーディオ信号から抽出された特徴量を、あらかじめ多数のAVコンテンツのビデオ信号及びオーディオ信号から抽出された特徴量が登録されているデータベースと照合することで、AVコンテンツの識別が行われる。
 ACR技術を用いてAVコンテンツを識別して、さらに識別されたAVコンテンツに連動して実行されるアプリケーションプログラムを提供することができれば、放送と通信のハイブリッドサービスを実現することができる。しかしながら、現状では、ACR技術を用いて、AVコンテンツに連動して実行されるアプリケーションプログラムを提供するための技術方式は確立されていない。
 本技術はこのような状況に鑑みてなされたものであり、ACR技術を用いてAVコンテンツに連動して実行されるアプリケーションプログラムを提供することができるようにするものである。
 本技術の第1の側面の受信装置は、AVコンテンツを受信する受信部と、受信した前記AVコンテンツのデータから特徴量を抽出する特徴量抽出部と、抽出した前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得する識別結果取得部と、取得した前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得するコマンド取得部と、取得した前記コマンドに応じて、前記アプリケーションプログラムの動作を制御する制御部と、視聴される前記AVコンテンツの切り替えを検出する検出部とを備え、前記制御部は、前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる。
 前記検出部は、第1のAVコンテンツから、前記第1のAVコンテンツと異なる第2のAVコンテンツへのチャンネルの切り替えを検出し、前記制御部は、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出された場合、前記第1のAVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる。
 前記第1のAVコンテンツの前記識別結果から得られる前記第1のAVコンテンツを識別するための第1の識別情報を記憶する記憶部をさらに備え、前記特徴量抽出部は、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出された場合、前記第2のAVコンテンツのデータから特徴量を抽出し、前記識別結果取得部は、抽出した前記特徴量を用いて識別された前記第2のAVコンテンツの識別結果を取得し、前記制御部は、記憶された前記第1の識別情報と、前記第2のAVコンテンツの識別結果から得られる前記第2のAVコンテンツを識別するための第2の識別結果とが異なる場合、前記アプリケーションプログラムを終了させる。
 前記受信部は、送信装置から送信される前記AVコンテンツを直接受信し、前記検出部は、前記受信装置に対する前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えの操作に応じて、当該チャンネルの切り替えを検出する。
 前記受信部は、送信装置から送信される前記AVコンテンツのデータを前記受信装置に応じて変換する情報処理装置と、HDMI(High Definition Multimedia Interface)規格に準拠した方式で接続されることで、前記情報処理装置から変換後の前記AVコンテンツを受信し、前記検出部は、前記情報処理装置から受信した前記AVコンテンツのビデオ信号の解析結果に応じて、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えを検出する。
 前記検出部は、前記情報処理装置から受信した前記AVコンテンツのビデオ信号に基づいて、前記AVコンテンツを構成する複数のフレームが所定の区間連続して同一画面となるか、又は前記複数のフレームが所定の区間連続して黒画面となるかを解析することで、チャンネルの切り替えを検出する。
 前記検出部は、前記情報処理装置から受信した前記AVコンテンツのオーディオ信号の解析結果に応じて、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えを検出する。
 前記検出部は、前記情報処理装置から受信した前記AVコンテンツのオーディオ信号に基づいて、前記オーディオ信号のサンプルが所定の区間で無信号状態になるかと、前記サンプルが所定の区間で不連続状態になるかを解析することで、チャンネルの切り替えを検出する。
 前記受信部は、送信装置から送信される前記AVコンテンツのデータを前記受信装置に応じて変換する情報処理装置と、HDMI規格に準拠した方式で接続されることで、前記情報処理装置から変換後の前記AVコンテンツを受信し、前記検出部は、前記情報処理装置に対する前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えの操作に応じて、当該チャンネルの切り替えを検出する。
 前記受信部は、複数の情報処理装置から入力される複数のAVコンテンツの中から所望のAVコンテンツを選択して出力する選択装置と、HDMI規格に準拠した方式で接続されることで、前記選択装置から出力される前記AVコンテンツを受信し、前記検出部は、前記選択装置による前記AVコンテンツの選択結果に応じて、視聴される前記AVコンテンツの切り替えを検出する。
 前記識別結果取得部は、抽出した前記特徴量からACR(Automatic Content Recognition)技術を用いて識別される前記AVコンテンツの識別結果を取得する。
 前記特徴量抽出部は、前記AVコンテンツのビデオ信号及びオーディオ信号のいずれか一方又は双方から前記特徴量を抽出する。
 前記コマンドは、前記アプリケーションプログラムの取得若しくは登録、取得若しくは起動、イベント発火、中断、又は終了のうちのいずれかを示しており、前記制御部は、各コマンドに応じて、前記アプリケーションプログラムの取得若しくは登録、若しくは取得若しくは起動、又は実行中の前記アプリケーションプログラムのイベント発火、休止、若しくは終了を制御する。
 受信装置は、独立した装置であってもよいし、1つの装置を構成している内部ブロックであってもよい。
 本技術の第1の側面の受信方法又はプログラムは、前述した本技術の第1の側面の受信装置に対応する受信方法又はプログラムである。
 本技術の第1の側面の受信装置、受信方法、及びプログラムにおいては、AVコンテンツが受信され、受信された前記AVコンテンツのデータから特徴量が抽出され、抽出された前記特徴量を用いて識別された前記AVコンテンツの識別結果が取得され、取得された前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドが取得され、取得された前記コマンドに応じて、前記アプリケーションプログラムの動作が制御され、視聴される前記AVコンテンツの切り替えが検出され、前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムが終了される。
 本技術の第2の側面の情報処理システムは、受信装置、第1の情報処理装置、第2の情報処理装置、及び第3の情報処理装置から構成される情報処理システムにおいて、前記受信装置は、AVコンテンツを受信する受信部と、受信した前記AVコンテンツのデータから特徴量を抽出する特徴量抽出部と、抽出した前記特徴量を前記第1の情報処理装置に送信して、前記第1の情報処理装置にて前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得する識別結果取得部と、前記第1の情報処理装置から取得した前記識別結果を前記第2の情報処理装置に送信して、前記第2の情報処理装置から、前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得するコマンド取得部と、前記第2の情報処理装置から取得した前記コマンドに応じて、前記第3の情報処理装置から取得した前記アプリケーションプログラムの動作を制御する制御部と、視聴される前記AVコンテンツの切り替えを検出する検出部とを備え、前記制御部は、前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させ、前記第1の情報処理装置は、前記受信装置からの問い合わせに応じて、前記特徴量を用いて前記AVコンテンツを識別することで得られる前記識別結果を提供する第1の提供部を備え、前記第2の情報処理装置は、前記受信装置からの問い合わせに応じて、前記識別結果に応じた前記コマンドを提供する第2の提供部を備え、前記第3の情報処理装置は、前記受信装置からの問い合わせに応じて、前記コマンドに応じた前記アプリケーションプログラムを提供する第3の提供部を備える。
 本技術の第2の側面の情報処理システムにおいては、受信装置、第1の情報処理装置、第2の情報処理装置、及び第3の情報処理装置から構成される情報処理システムにおいて、前記受信装置によって、AVコンテンツが受信され、受信された前記AVコンテンツのデータから特徴量が抽出され、抽出された前記特徴量を前記第1の情報処理装置に送信して、前記第1の情報処理装置にて前記特徴量を用いて識別された前記AVコンテンツの識別結果が取得され、前記第1の情報処理装置から取得した前記識別結果を前記第2の情報処理装置に送信して、前記第2の情報処理装置から、前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドが取得され、前記第2の情報処理装置から取得した前記コマンドに応じて、前記第3の情報処理装置から取得した前記アプリケーションプログラムの動作が制御され、視聴される前記AVコンテンツの切り替えが検出され、前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムが終了され、前記第1の情報処理装置によって、前記受信装置からの問い合わせに応じて、前記特徴量を用いて前記AVコンテンツを識別することで得られる前記識別結果が提供され、前記第2の情報処理装置によって、前記受信装置からの問い合わせに応じて、前記識別結果に応じた前記コマンドが提供され、前記第3の情報処理装置によって、前記受信装置からの問い合わせに応じて、前記コマンドに応じた前記アプリケーションプログラムが提供される。
 本技術の第1の側面及び第2の側面によれば、ACR技術を用いてAVコンテンツに連動して実行されるアプリケーションプログラムを提供することができる。
放送システムの構成例を示す図である。 受信装置の構成例を示す図である。 各装置間の連携を示すシーケンス図である。 ACR技術の概念を説明する図である。 ビデオ信号を用いたチャンネル切り替え検出の例を示す図である。 オーディオ信号を用いたチャンネル切り替え検出の例を示す図である。 データ放送用アプリの動作の例を示す図である。 データ放送用アプリの動作の例を示す図である。 コマンドに含まれる情報の項目の一例を示す図である。 コマンドの詳細仕様を示す図である。 コマンドの詳細仕様を示す図である。 コマンドの記述例を示す図である。 アプリケーションの状態遷移を示す図である。 各コマンドと状態遷移の関係を示す図である。 ACR識別結果に応じたコマンド対応処理を示すフローチャートである。 同期制御処理を示すフローチャートである。 動作シナリオの例を示す図である。 動作シナリオの例を示す図である。 放送システムの他の構成例を示す図である。 受信装置の他の構成例を示す図である。 本技術を適用した放送システムの具体例を示す図である。 通信システムの構成例を示す図である。 コンピュータの構成例を示す図である。
 以下、図面を参照しながら本技術の実施の形態について説明する。
<第1の実施の形態>
[放送システムの構成例]
 図1は、第1の実施の形態である放送システム1を示している。この放送システム1は、放送装置11、受信装置12、ACRサーバ13、コマンドサーバ14、アプリサーバ15、CATV装置17、及びセットトップボックス19から構成される。
 受信装置12、ACRサーバ13、コマンドサーバ14、及びアプリサーバ15は、インターネット16を介して、相互に接続されている。また、受信装置12は、セットトップボックス19とHDMIケーブル20を介して接続され、CATV装置17とセットトップボックス19は、CATV網18を介して接続されている。
 放送装置11は、例えばデジタルテレビジョン番組の放送を行う放送事業者により提供される。放送装置11は、AVコンテンツのデジタルテレビジョン放送信号を送信(放送)するようになされている。なお、以下の説明では、放送装置11から送信されるAVコンテンツの一例として、デジタルテレビジョン番組を説明する。
 受信装置12は、放送装置11から送信されたデジタルテレビジョン放送信号を受信して、デジタルテレビジョン番組の映像及び音声を取得する。受信装置12は、取得した映像をディスプレイ(後述する図2のディスプレイ32)に出力するとともに、音声をスピーカ(後述する図2のスピーカ31)に出力する。
 なお、受信装置12は、単体として存在してもよいし、例えば、テレビジョン受像機やビデオレコーダ等に内蔵されているようにしてもよい。また、受信装置12は、リモートコントローラ12Rに対する操作に応じたコマンドを赤外線により受光する受光部(後述する図2の受光部71)を有しており、当該コマンドに応じて、例えばチャンネルの切り替えなどの各種の動作を行う。受信装置12の詳細な構成は、図2を参照して後述する。
 また、受信装置12は、定期的に、インターネット16を介してACRサーバ13にアクセスして、デジタルテレビジョン番組の識別結果を問い合わせる。その際、デジタルテレビジョン番組のビデオ信号及びオーディオ信号から抽出される特徴量(以下、フィンガプリント情報(Finger Print)ともいう)が、ACRサーバ13に送信される。
 ACRサーバ13は、任意のAVコンテンツのビデオ信号及びオーディオ信号から抽出された特徴量が登録されているデータベースを有しており、インターネット16に接続された任意の受信装置12からの問い合わせに応じて、ACR(Automatic Content Recognition)技術を用いたAVコンテンツの識別を行う。具体的には、ACRサーバ13は、受信装置12からのフィンガプリント情報を、データベースと照合することで、デジタルテレビジョン番組を識別し、その識別結果を、インターネット16を介して受信装置12に送信する。
 受信装置12は、ACRサーバ13から受信した識別結果に応じて、インターネット16を介してコマンドサーバ14にアクセスして、デジタルテレビジョン番組に連動して実行されるデータ放送用のアプリケーションプログラムの動作を制御するためのコマンドを取得する。以下、デジタルテレビジョン番組等のAVコンテンツに連動して実行されるアプリケーションプログラムを、データ放送用アプリと称して説明する。
 コマンドサーバ14は、例えば放送事業者やケーブルテレビ事業者等の事業者により提供されるサーバであって、データ放送用アプリの動作を制御するためのコマンドを管理する。コマンドサーバ14は、受信装置12からの問い合わせに応じて、コマンドを、インターネット16を介して受信装置12に送信する。
 受信装置12は、コマンドサーバ14から受信したコマンドに応じて、データ放送用アプリの動作を制御する。また、受信装置12は、コマンドサーバ14から受信したコマンドに応じて、インターネット16を介してアプリサーバ15にアクセスし、データ放送用アプリを取得する。
 アプリサーバ15は、例えば放送事業者やケーブルテレビ事業者等の事業者により提供されるサーバであって、データ放送用アプリを管理する。アプリサーバ15は、受信装置12からの問い合わせに応じて、データ放送用アプリを、インターネット16を介して受信装置12に送信する。
 CATV装置17は、例えばケーブルテレビ事業者により提供される。CATV装置17は、放送装置11から送信されるデジタルテレビジョン放送信号を受信して、デジタルテレビジョン番組の映像及び音声を取得する。CATV装置17は、デジタルテレビジョン放送信号を、ケーブルテレビジョン番組を送信(放送)するためのケーブルテレビジョン放送信号に変換して、CATV網18に接続されたセットトップボックス19に再送信する。
 なお、CATV装置17は、ケーブルテレビジョン番組として、放送装置11から取得したデジタルテレビジョン番組を再送信するに限らず、ケーブルテレビ事業者が自主制作した番組を送信するようにしてもよい。なお、以下の説明では、CATV装置17から送信されるAVコンテンツの一例として、ケーブルテレビジョン番組を説明する。
 セットトップボックス19は、ケーブルテレビジョン用のSTB(Set Top Box)であって、CATV網18と接続される。また、セットトップボックス19は、HDMI(High Definition Multimedia Interface)端子を有する受信装置12と、HDMIケーブル20を介して接続される。セットトップボックス19は、CATV網18を介してCATV装置17から受信したケーブルテレビジョン放送信号を、受信装置12にて対応可能な信号に変換する。そして、セットトップボックス19は、HDMI規格に基づいて、変換後のケーブルテレビジョン放送信号から得られるオーディオ信号及びビデオ信号を、制御信号などとともに、HDMIケーブル20を介して受信装置12に出力する。
 なお、セットトップボックス19は、リモートコントローラ19Rに対する操作に応じたコマンドを赤外線により受光する受光部(不図示)を有しており、当該コマンドに応じて、例えばチャンネルの切り替えなどの各種の動作を行う。
 受信装置12は、セットトップボックス19からのオーディオ信号及びビデオ信号、その他制御信号を受信して、ケーブルテレビジョン番組の映像及び音声を取得し、取得した映像をディスプレイ(図2のディスプレイ32)に出力するとともに、音声をスピーカ(図2のスピーカ31)に出力する。
 また、受信装置12は、ケーブルテレビジョン番組についても、前述したデジタルテレビジョン番組の場合と同様に、ACRサーバ13にアクセスして、ケーブルテレビジョン番組のデータから抽出されるフィンガプリント情報の識別結果を問い合わせることができる。そして、受信装置12は、ACRサーバ13からの識別結果に応じて、コマンドサーバ14からコマンドを取得して、データ放送用アプリの動作を制御することができる。受信装置12はまた、コマンドサーバ14からのコマンドに応じて、アプリサーバ15からデータ放送用アプリを取得することができる。
 図1の放送システム1は、以上のように構成される。
 なお、以下の説明では、前述したように、受信装置12により受信されるAVコンテンツの一例として、放送装置11からのデジタルテレビジョン番組、又はCATV装置17からのケーブルテレビジョン番組が受信される例を説明する。また、以下の説明では、デジタルテレビジョン番組と、ケーブルテレビジョン番組を区別する必要がない場合には、単に番組と称して説明する。
 また、図1の放送システムの例では、説明の都合上、受信装置12が、放送装置11からのデジタルテレビジョン番組と、CATV装置17からのケーブルテレビジョン番組の双方を受信可能な構成の例を図示しているが、いずれか一方の番組のみを受信可能な構成とすることも可能である。
[受信装置の構成例]
 図2は、図1の受信装置12の構成例を示している。
 受信装置12は、チューナ51、多重分離部52、オーディオデコーダ53、セレクタ54、オーディオ出力部55、ビデオデコーダ56、セレクタ57、ビデオ出力部58、HDMI端子59、フィンガプリント抽出部60、通信I/F61、コマンド解析部62、クロック同期部63、制御部64、メモリ65、操作部66、アプリエンジン67、キャッシュメモリ68、アプリ用メモリ69、チャンネル切替検出部70、及び受光部71から構成される。
 チューナ51は、放送装置11からのデジタルテレビジョン放送信号をアンテナ(不図示)を介して受信する。チューナ51は、ユーザによって選局されたチャンネルに対応するデジタルテレビジョン放送信号を復調し、その結果得られるトランスポートストリーム(Transport Stream、以下、TSという)を多重分離部52に出力する。
 多重分離部52は、チューナ51から入力されるTSをオーディオ符号化信号と、ビデオ符号化信号に分離し、それぞれをオーディオデコーダ53と、ビデオデコーダ56に出力する。また、多重分離部52は、TSを構成するTSパケットからPCR(Program Clock Reference)を抽出して、クロック同期部63に供給する。
 オーディオデコーダ53は、入力されたオーディオ符号化信号をデコードし、その結果得られるオーディオ信号をセレクタ54に出力する。ビデオデコーダ56は、入力されたビデオ符号化信号をデコードし、その結果得られるビデオ信号をセレクタ57に出力する。
 HDMI端子59は、HDMI規格に準拠した端子であって、HDMIケーブル20を介してセットトップボックス19に接続される。HDMI端子59は、HDMI規格に基づいて、セットトップボックス19から出力されるオーディオ信号及びビデオ信号を制御信号などとともに受信する。HDMI端子59は、受信した各種の信号のうち、オーディオ信号をセレクタ54に出力し、ビデオ信号をセレクタ57に出力する。
 セレクタ54には、オーディオデコーダ53からのオーディオ信号と、HDMI端子59からのオーディオ信号が入力される。セレクタ54は、制御部64からの制御に従い、オーディオデコーダ53又はHDMI端子59のいずれか一方から入力されたオーディオ信号を選択して、オーディオ出力部55、フィンガプリント抽出部60、及びチャンネル切替検出部70に出力する。すなわち、セレクタ54は、制御部64からの制御に従い、デジタルテレビジョン番組が視聴される場合には、その入力をオーディオデコーダ53側に切り替える一方、ケーブルテレビジョン番組が視聴される場合には、その入力をHDMI端子59側に切り替える。
 セレクタ57には、ビデオデコーダ56からのビデオ信号と、HDMI端子59からのビデオ信号が入力される。セレクタ57は、制御部64からの制御に従い、ビデオデコーダ56又はHDMI端子59のいずれか一方から入力されたビデオ信号を選択して、ビデオ出力部58、フィンガプリント抽出部60、及びチャンネル切替検出部70に出力する。すなわち、セレクタ57は、制御部64からの制御に従い、デジタルテレビジョン番組が視聴される場合には、その入力をビデオデコーダ56側に切り替える一方、ケーブルテレビジョン番組が視聴される場合には、その入力をHDMI端子59側に切り替える。
 オーディオ出力部55は、セレクタ54から入力されたオーディオ信号を、スピーカ31に出力する。また、ビデオ出力部58は、セレクタ57から入力されたビデオ信号を、ディスプレイ32に出力する。これにより、AVコンテンツの映像がディスプレイ32に表示されるとともに、その音声がスピーカ31から出力されるととなり、選局されたチャンネルの番組が視聴可能となる。なお、スピーカ31及びディスプレイ32は、受信装置12と一体に構成されていてもよい。
 フィンガプリント抽出部60には、セレクタ54からのオーディオ信号と、セレクタ57からのビデオ信号が供給される。フィンガプリント抽出部60は、オーディオ信号及びビデオ信号のいずれか一方又は双方から特徴量を抽出し、フィンガプリント情報として、通信I/F61に供給する。
 通信I/F61は、フィンガプリント抽出部60からのフィンガプリント情報を、インターネット16を介してACRサーバ13に送信する。また、通信I/F61は、ACRサーバ13から送信される番組の識別結果を受信し、制御部64に供給する。
 制御部64は、メモリ65にあらかじめ記憶されている制御用プログラムを実行することにより受信装置12の各部の動作を制御する。メモリ65には、制御部64によって実行される制御用プログラムがあらかじめ記憶されている。この制御用プログラムは、デジタルテレビジョン放送信号、又はインターネット16を介して取得する更新データに基づいて更新することができる。また、メモリ65は、制御部64からの各種のデータを適宜記憶する。操作部66は、ユーザからの各種の操作を受け付けて、それに対応する操作信号を制御部64に通知する。
 また、制御部64は、通信I/F61からの識別結果に応じて、通信I/F61を制御して、インターネット16を介してコマンドサーバ14にアクセスし、コマンドを問い合わせる。通信I/F61は、コマンドサーバ14から送信されるコマンドを受信し、コマンド解析部62に供給する。
 コマンド解析部62は、通信I/F61からのコマンドを解析し、その解析結果を制御部64に供給する。
 クロック同期部63は、例えばPLL(Phase Locked Loop)によって構成され、多重分離部52からのPCRに応じたシステムクロックを、オーディオデコーダ53、ビデオデコーダ56、及び制御部64など、受信装置12の各部に供給する。これにより、受信装置12では、放送装置11と同期したシステムクロックを得ることができるため、オーディオ信号及びビデオ信号を再生することができる。
 制御部64は、コマンド解析部62からの解析結果に基づき、番組に連動したデータ放送用アプリの取得若しくは登録、取得若しくは起動(実行)、イベント発火、中断、又は終了等を制御する。また、制御部64は、コマンド解析部62からの解析結果に基づき、クロック同期部63からのシステムクロックを基準に、コマンドの実行のタイミングを制御する。
 アプリエンジン67は、制御部64からの制御に従い、通信I/F61を制御して、インターネット16を介してアプリサーバ15にアクセスし、データ放送用アプリを要求する。通信I/F61は、アプリサーバ15から送信されるデータ放送用アプリを受信し、キャッシュメモリ68に保持させる。
 アプリエンジン67は、制御部64からの制御に従い、キャッシュメモリ68に保持されているデータ放送用アプリを読み出して実行する。実行中のデータ放送用アプリのビデオ信号は、ビデオ出力部58に供給される。
 ビデオ出力部58は、アプリエンジン67から入力されるビデオ信号と、セレクタ57から入力されたビデオ信号を合成して、ディスプレイ32に出力する。
アプリ用メモリ69は、ワークメモリ69A及び退避メモリ69Bとからなる。アプリエンジン67は、実行中のデータ放送用アプリに関するデータ(具体的には、表示されている情報の階層などを含む)をワークメモリ69Aに記録する。また、アプリエンジン67は、実行中のデータ放送用アプリを休止する場合、アプリ用メモリ69のワークメモリ69Aのデータを退避メモリ69Bに移動させる。そして、休止したデータ放送用アプリを再開する場合、退避メモリ69Bのデータをワークメモリ69Aに移動させて休止前の状態を復活させる。
 チャンネル切替検出部70は、番組のチャンネルの切り替えを検出する。具体的には、チャンネル切替検出部70は、セレクタ54からのオーディオ信号及びセレクタ57からのビデオ信号のいずれか一方又は双方を解析することで、番組のチャンネルの切り替えを検出し、その検出結果を制御部64に供給する。
 また、チャンネル切替検出部70には、受光部71からリモートコントローラ12R又はリモートコントローラ19Rに対する操作に応じたコマンドが入力される。チャンネル切替検出部70は、受光部71からのコマンドに基づいて、番組のチャンネルの切り替えを検出して、その検出結果を制御部64に供給する。
 制御部64は、チャンネル切替検出部70からの検出結果に基づき、アプリエンジン67を制御して、番組に連動して実行されているデータ放送用アプリを終了させる。
 図2の受信装置12は、以上のように構成される。
[各装置間の連携]
 次に、図3乃至図8を参照して、図1の放送システム1を構成する各装置間の連携について説明する。図3は、受信装置12でのチャンネル選局時と、チャンネル切り替え時における各装置間の連携を示すシーケンス図である。
 図3に示すように、放送装置11は、デジタルテレビジョン放送信号を送信し、CATV装置17は、ケーブルテレビジョン放送信号を送信している。受信装置12においては、ユーザにより所望のチャンネルが選局されると、放送装置11からのデジタルテレビジョン放送信号、又はセットトップボックス19を介してCATV装置17からのケーブルテレビジョン放送信号のいずれかが受信される。受信装置12は、受信した放送信号に対応する番組の映像をディスプレイ32に表示するとともに、対応する音声をスピーカ31から出力する(S11)。
 また、受信装置12では、定期的に、番組のビデオ信号及びオーディオ信号から特徴量が抽出され(S12)、それらの特徴量が、フィンガプリント情報として、ACRサーバ13に送信される(S13)。
 ACRサーバ13は、ACR識別処理を行い、受信装置12からのフィンガプリント情報を、データベースと照合することで、受信装置12にて選局中の番組を識別する(S14)。具体的には、図4に示すように、ACRサーバ13では、受信装置12からフィンガプリント情報による問い合わせを受けると、ACR識別処理部13Aによって、フィンガプリント情報が、あらかじめ用意されたFPデータベース13Bと照合され、受信装置12にて選局中の番組が識別される。
 なお、フィンガプリント情報(特徴量)は、例えば、AVコンテンツの全体又は一部構成要素の固有情報であって、FPデータベース13Bには、あらかじめ多数のAVコンテンツの固有情報が登録されている。ACR識別処理では、例えば、それらの固有情報の類似度又は一致度が判定される。なお、この類似度又は一致度の判定方法としては、各種の文献などによって開示されている、公知の技術を用いることができる。ACR技術を用いることで、AVコンテンツの解像度、アスペクト比、ビットレート、又はフォーマットなどの情報に依存せずに、ビデオ信号及びオーディオ信号の特徴量からAVコンテンツを識別することができる。
 このACR識別処理によって、番組のチャンネル番号を識別するための情報(以下、チャンネル識別情報という)と、番組の開始から終了までを時間軸で表したときのフィンガプリント情報が抽出された時間位置を示す情報(以下、時間位置情報という)が得られる。また、FPデータベース13Bには、チャンネル識別情報と対応して、その番組に連動して実行されるデータ放送用アプリの動作を制御するためのコマンドの取得先を示す情報(以下、コマンド取得先情報という)が格納されている。例えば、コマンド取得先情報としては、コマンドサーバ14のURL(Uniform Resource Locator)が記述される。
 ACR識別処理部13Aは、FPデータベース13Bから、識別されたチャンネル番号に対応するコマンド取得先情報を取得する。そして、ACR識別処理部13Aは、ACR識別処理の識別結果として、チャンネル識別情報、時間位置情報、及びコマンド取得先情報を、問い合わせ元の受信装置12に送信する(S15)。
 受信装置12は、ACRサーバ13からの識別結果を取得して、その識別結果を解析する(S16)。また、受信装置12は、識別結果の解析結果に従って、コマンド取得先情報に記述されたURLのコマンドサーバ14にアクセスして、チャンネル識別情報及び時間位置情報を送信することで、受信装置12にて実行可能となるコマンドを問い合わせる(S17)。
 コマンドサーバ14は、受信装置12からの問い合わせに応じて、チャンネル識別情報及び時間位置情報に応じたコマンドを、受信装置12に送信する(S18)。具体的には、例えば、コマンドサーバ14は、番組ごとに実行可能となるコマンドを管理しており、受信装置12からのチャンネル識別情報に対応する番組において、時間位置情報に対応する時間帯に実行可能となるコマンドを特定する。例えば、コマンドサーバ14は、受信装置12からの時間位置情報に基づいて、受信装置12にて対象となるフィンガプリント情報が抽出された時刻から次のフィンガプリント情報が抽出されるまでの間(例えば、数秒間)に動作させるべき1又は複数のコマンドを特定する。そして、コマンドサーバ14は、特定されたコマンドを、インターネット16を介して受信装置12に送信する。
 受信装置12は、コマンドサーバ14からのコマンドを取得して、そのコマンドを解析する(S19)。また、受信装置12は、コマンドの解析結果に従って、アプリサーバ15にアクセスし、選局中の番組に連動して実行されるデータ放送用アプリを要求する(S20)。
 アプリサーバ15は、受信装置12からのアプリ要求に応じて、データ放送用アプリを、受信装置12に送信する(S21)。そして、受信装置12は、アプリサーバ15からのデータ放送用アプリを取得して実行する(S22)。その結果、ディスプレイ32には、番組に対してデータ放送用アプリが重畳された映像が表示される。
 その後、受信装置12において、選局中のチャンネルが他のチャンネルに切り替えられた場合(S23)、チャンネル切替検出部70によって、当該チャンネルの切り替えが検出される(S24)。ここで、番組のチャンネル切り替えの検出方法としては、例えば、以下に示す検出方法のいずれかを採用することができる。
 第1の検出方法としては、リモートコントローラ12Rからのチャンネル切り替えのコマンドを利用する方法がある。この検出方法では、受信装置12において、放送装置11からのデジタルテレビジョン番組が選局されている場合に、ユーザの選局操作に応じたリモートコントローラ12Rからのチャンネル切り替えのコマンドが受光部71により受信されたとき、チャンネル切替検出部70は、デジタルテレビジョン番組のチャンネルの切り替えを検出することができる。
 第1の検出方法であると、ユーザの選局操作に応じて、チャンネルの切り替えが検出されるため、確実にチャンネルの切り替えを検出することができる。なお、チャンネル切り替えのコマンドは、受光部71がリモートコントローラ12Rからの赤外線により受光する場合に限らず、例えば、操作部66に対するユーザの選局操作に応じて、操作部66からチャンネル切替検出部70に出力されるようにしてもよい。
 第2の検出方法としては、番組のビデオ信号の解析結果を利用する方法がある。この検出方法では、受信装置12がCATV装置17からセットトップボックス19を介してケーブルテレビジョン番組を受信している場合に、チャンネル切替検出部70は、ケーブルテレビジョン番組のビデオ信号を解析することで、その解析結果に応じてチャンネルの切り替えを検出することができる。
 図5のAに示すように、チャンネル切替検出部70は、ケーブルテレビジョン番組のビデオ信号に対応する複数のフレームが、所定の区間が連続して同一の画面(フリーズ画面)となるかを解析して、同一画面が連続する区間が検出された場合、ケーブルテレビジョン番組のチャンネルの切り替えを検出することができる。具体的には、例えば、チャンネル切替検出部70は、前後のフレームの対応する位置ごとの映像サンプル値のフレーム間差分の値を求めて、その平均値と閾値θdを比較する。そして、チャンネル切替検出部70は、平均値が閾値θd以下となるフレームが連続してNフレーム続いた場合、同一画面が連続しているとみなして、チャンネルの切り替えを検出する。
 また、図5のBに示すように、チャンネル切替検出部70は、ケーブルテレビジョン番組のビデオ信号に対応する複数のフレームが、所定の区間が連続して黒画面となるかを解析して、黒画面が連続する区間が検出された場合、ケーブルテレビジョン番組のチャンネルの切り替えを検出することができる。具体的には、例えば、チャンネル切替検出部70は、フレームごとに映像サンプル値の平均値を求めて、その平均値と閾値θbを比較する。そして、チャンネル切替検出部70は、平均値が閾値θb以下となるフレームが連続してNフレーム続いた場合、黒画面が連続しているとみなして、チャンネルの切り替えを検出する。
 すなわち、チャンネル切り替え時に、ディスプレイ32に表示されるケーブルテレビジョン番組が、黒画面を挟んで別の番組に切り替わるか、あるいは、フリーズ画面を挟んで別の番組に切り替わるかは、例えば、セットトップボックス19の仕様等によって決まるものであり、受信装置12が決定できるものではない。そこで、受信装置12は、ケーブルテレビジョン番組のビデオ信号を解析して、同一画面又は黒画面が連続している場合に、チャンネルの切り替えを検出することで、どちらの仕様にも対応できるようにしている。
 第3の検出方法としては、番組のオーディオ信号の解析結果を利用する方法がある。この検出方法では、受信装置12がCATV装置17からセットトップボックス19を介してケーブルテレビジョン番組を受信している場合に、ケーブルテレビジョン番組のオーディオ信号を解析し、その解析結果に応じてチャンネルの切り替えを検出することができる。
 図6に示すように、チャンネル切替検出部70は、ケーブルテレビジョン番組のオーディオ信号のサンプルが所定の区間で無信号状態となるか、又はサンプルが所定の区間で不連続状態になるかを解析して、無信号状態及び不連続状態の区間が検出された場合、ケーブルテレビジョン番組のチャンネルの切り替えを検出することができる。具体的には、例えば、チャンネル切替検出部70は、オーディオ信号について、所定の時間幅ごとに音声エネルギーのレベルを求めて、そのレベルと閾値θsを比較する。そして、チャンネル切替検出部70は、音声エネルギーのレベルが閾値θs以下となる時間がM秒続いた場合、無信号状態であるとみなすことができる。また、例えば、チャンネル切替検出部70は、オーディオ信号について、線形予測により得られる予測サンプル値と、実測された実サンプル値との差分を求めて、その差分値と閾値θaを比較する。そして、チャンネル切替検出部70は、差分値が閾値θa以上となった場合、不連続状態であるとみなすことができる。
 なお、第2の検出方法及び第3の検出方法による検出を同時に行うことで、映像と音声の双方の解析結果に基づき、チャンネルの切り替えを検出することになるため、検出の精度をさらに向上させることができるが、第2の検出方法又は第3の検出方法による検出を個別に行ってもよい。また、第3の検出方法における無信号状態と不連続状態の検出であるが、双方の状態を検出することで、検出の精度をさらに向上させることができるが、無信号状態と不連続状態のうちの一方の状態のみを検出するようにしてもよい。
 また、例えば、第2の検出方法及び第3の検出方法で示した、ビデオ信号についての同一画面又は黒画面の検出と、オーディオ信号についての無信号状態又は不連続状態の検出のすべての検出を行い、それらの検出状態に応じてポイントを付与して、ポイントの合計が、あらかじめ設定された値以上となる場合に、チャンネルが切り替えられたとみなしてもよい。
 第4の検出方法としては、リモートコントローラ19Rからのチャンネル切り替えのコマンドを利用する方法がある。この検出方法では、受信装置12において、CATV装置17からのケーブルテレビジョン番組を選局している場合に、ユーザの選局操作に応じてリモートコントローラ19Rからのチャンネル切り替えのコマンドが受光部71により受信されたとき、チャンネル切替検出部70は、ケーブルテレビジョン番組のチャンネルの切り替えを検出することができる。
 具体的には、受信装置12では、リモートコントローラ19Rからのコマンドは識別できないため、識別不能のコマンドが受光部71により受信されたとき、ケーブルテレビジョン番組のチャンネルが切り替えられたとみなすことができる。ただし、リモートコントローラ19Rからのコマンドは、チャンネル切り替えに相当するコマンドだけではないため、受信装置12にあらかじめ、セットトップボックス19で用いられるコマンドの対応表を設定しておくことで、リモートコントローラ19Rからのチャンネル切り替えに相当するコマンドを識別できるようにすればよい。あるいは、受信装置12は、リモートコントローラ19Rからの識別不能なコマンドを受信したとき、とりあえず、チャンネル切り替えが検出されたと推定して、視聴されるケーブルテレビジョン番組からフィンガプリント情報を抽出して、ACRサーバ13に送信するようにしてもよい。これにより、受信装置12は、ACRサーバ13からの識別結果を取得することができるので、推定されたチャンネル切り替えの検出の前後のチャンネル識別情報を比較して、正常にチャンネル切り替えが行われたか否か判定することができる。つまり、受信装置12は、正常にチャンネルが切り替えられた場合、リモートコントローラ19Rからの識別不能なコマンドが、チャンネル切り替えに相当するコマンドであることを学習することになる。このようにコマンドを学習することで、受信装置12は、次に、リモートコントローラ19Rからコマンドを受信したとき、そのコマンドが、チャンネル切り替えに相当するコマンドであるかを識別することができる。
 以上の検出方法を用いてチャンネルの切り替えを検出することができるが、前述した検出方法は一例であって、それ以外のチャンネルツの切り替えを検出可能な方法により、番組のチャンネルの切り替えが検出されるようにしてもよい。
 図3に戻り、受信装置12では、チャンネルの切り替えが検出された場合、チャンネル切り替え後に視聴される番組のビデオ信号及びオーディオ信号からフィンガプリント情報が抽出され(S25)、ACRサーバ13に送信される(S26)。すると、ACRサーバ13では、受信装置12からのフィンガプリント情報を、FPデータベース13Bと照合するACR識別処理が行われ、受信装置12にて選局中の番組が識別される(S27)。ACR識別処理については、前述した図4で説明した通りである。そして、ACRサーバ13は、ACR識別処理の識別結果を、問い合わせ元の受信装置12に送信する(S28)。なお、ステップS25乃至S28の処理は、前述したステップS12乃至S15の処理に対応するものである。
 そして、受信装置12は、ACRサーバ13からの識別結果に基づいて、チャンネル切り替えの検出前に得られたチャンネル識別情報と、チャンネル切り替えの検出後に得られたチャンネル識別情報を比較する(S29)。受信装置12は、チャンネル切り替えの検出前後のチャンネル識別情報が異なる場合、正常にチャンネルが切り替わっているので、実行中のデータ放送用アプリを強制的に終了させる(S30)。これにより、チャンネル切り替え後の番組には、チャンネル切り替え前の番組に重畳して表示されていたデータ放送用アプリが表示されないことになる。ここでステップS25乃至S29の処理に時間を要する場合、あるいはステップS24のチャンネル切り替え検出が確実であると見なせる場合には、ステップS24の直後にデータ放送アプリを終了してもよい。その場合でもステップS25乃至S29の処理をその後に行うことによりチャンネル切り替えを確認する。
 以上説明した各装置間の連携であるが、当該連携時におけるディスプレイ32に表示される映像の遷移とともに図示すると、図7に示すようになる。なお、ACRサーバ13、コマンドサーバ14、及びアプリサーバ15のそれぞれが受信装置12に対して行う処理は、いわゆるクラウドコンピューティングによるサービスとして提供することが可能である。したがって、図7では、ACRサーバ13、コマンドサーバ14、及びアプリサーバ15により提供されるサービスを、それぞれ、ACR識別サービス、コマンド提供サービス、及びアプリ提供サービスとして図示している。
 図7に示すように、受信装置12において、チャンネルA(CH-A)が選局されると、ディスプレイ32には、番組CH-Aの映像P1が表示される。その後、受信装置12は、選局中の番組CH-Aのビデオ信号及びオーディオ信号から、定期的にフィンガプリント情報(特徴量)の抽出を行い(S12-1)、ACRサーバ13に送信する(S13-1)。一方、ACRサーバ13は、ACR識別サービスを実行することで、受信装置12にて選局中の番組CH-Aを識別して、その識別結果を受信装置12に提供する。
 受信装置12は、ACRサーバ13からの識別結果に応じて、コマンドサーバ14にアクセスして、受信装置12にて実行可能となるコマンドを問い合わせる。一方、コマンドサーバ14は、コマンド提供サービスを実行することで、受信装置12からの問い合わせに応じたコマンドを、受信装置12に提供する。また、受信装置12は、コマンドサーバ14からのコマンドが、データ放送用アプリの取得若しくは登録を指示するためのコマンド(後述するレジスタコマンド)である場合、アプリサーバ15にアクセスし、データ放送用アプリを要求する(S19-1)。一方、アプリサーバ15は、アプリ提供サービスを実行することで、受信装置12からの要求に応じて、データ放送用アプリを受信装置12に提供する。受信装置12は、アプリサーバ15から取得したデータ放送用アプリを登録する(S19-1)。
 また、コマンドサーバ14からのコマンドが、データ放送用アプリの取得若しくは起動を指示するためのコマンド(後述するエクスキュートコマンド)である場合、受信装置12は、取得済みのデータ放送用アプリを起動する(S19-2)。これにより、ディスプレイ32には、番組CH-Aに対して、当該番組CH-Aに関連する番組関連情報を示したデータ放送用アプリCH-Aが重畳された映像P2が表示される。その後も、受信装置12では、フィンガプリント情報の抽出と送信が継続して実行され(S12-2,・・・、S13-2,・・・)、ACRサーバ13からの識別結果に応じて、コマンドサーバ14からコマンドが取得される。そして、受信装置12は、取得されたコマンドに応じて、データ放送用アプリCH-Aの動作を制御する(S19-3)。
 ここで、選局中のチャンネルが、チャンネルA(CH-A)からチャンネルB(CH-B)に切り替えられた場合、受信装置12では、例えば前述した第1の検出方法乃至第4の検出方法のいずれかの検出方法により、チャンネルの切り替えが検出される(S24)。そして、受信装置12は、チャンネル切り替えの検出後に視聴される番組のビデオ信号及びオーディオ信号からフィンガプリント情報を抽出して(S25)、ACRサーバ13に送信する(S26)ことで、ACR識別サービスによる識別結果を取得する。
 受信装置12は、チャンネル切り替えの検出前後に視聴される番組のチャンネル識別情報を比較して、それらの番組のチャンネル識別情報が異なる場合、正常にチャンネルが切り替わっているので、実行中のデータ放送用アプリCH-Aを強制的に終了させる。この場合、ディスプレイ32には、チャンネル切り替えの検出後の番組CH-Bの映像P3のみが表示される。一方、チャンネル切り替えの検出前後の番組のチャンネル識別情報が同一となる場合、例えば誤検出であった場合など、何らかの原因でチャンネルが切り替わっていないため、データ放送用アプリCH-Aを継続して実行させる。この場合、ディスプレイ32には、チャンネル切り替えの検出前と同様に、データ放送用アプリCH-Aが番組CH-Aに重畳した映像P2がそのまま表示される。
 すなわち、正常にチャンネルが切り替えられたとき、チャンネル切り替えの検出前の番組と連動して実行されていたデータ放送用アプリが強制的に終了され、チャンネル切り替え後の番組のみが表示されることになる。これにより、チャンネルを切り替えた後に、チャンネル切り替え前に選局していた番組用のデータ放送用アプリがそのまま継続して表示されることを防ぐことができる。
 なお、仮に、チャンネルを切り替えるに際して、チャンネル切り替えの検出を行わない場合、図8に示すように、チャンネルA(CH-A)からチャンネルB(CH-B)に切り替えられているにもかかわらず、データ放送用アプリCH-Aがそのまま実行される。そのため、ディスプレイ32には、データ放送用アプリCH-Aが番組CH-Bに重畳した映像P4が表示されることになる。つまり、データ放送用アプリCH-Aは、定期的に行われるフィンガプリント情報の抽出が行われ、実行中のデータ放送用アプリを終了させるためのコマンド(後述するターミネートコマンド)が取得されるまでは、実行が継続され、番組CH-Bに重畳表示されることとなる。
 これでは、チャンネルの切り替えによって番組CH-Bが表示されているにもかかわらず、番組CH-Bに関係のない、番組CH-A用のデータ放送用アプリCH-Aが表示されることになり、例えば、番組制作者等の意図に反するだけでなく、視聴者を混乱させてしまうことになる。そこで、本技術では、図7に示したように、チャンネル切り替え時に、チャンネル切り替えの検出を行い、正常にチャンネル切り替えが行われたとき、データ放送用アプリが強制的に終了されるようにしている。
 以上のように、放送システム1を構成する各装置間での連携が行われることで、受信装置12に対して、視聴中の番組に対するACR識別処理により得られた識別結果に応じたデータ放送用アプリを提供することが可能となる。また、受信装置12において、視聴中の番組のチャンネルが切り替えられた場合、データ放送用アプリが強制的に終了されるので、チャンネルが切り替えられた場合でも、番組とデータ放送用アプリの同期をとることができる。
[コマンドの詳細]
 次に、図9乃至図12を参照して、コマンドサーバ14により提供されるコマンドの詳細について説明する。図9は、コマンドに含まれる情報の項目の一例を示している。
 「コマンドID」は、当該コマンドを識別するための情報である。同一内容のコマンドが複数回送信される場合、各コマンドのコマンドIDは同一のものとなる。
 「コマンド発効時刻」は、当該コマンドを実行する時刻を示す「絶対日時」、「相対時間」、又は「PTS」のいずれかにより指定される。「絶対日時」は、番組の進行とは無関係に、あらかじめ設定された特定の日時となったときにコマンドを実行させる場合に指定される。また、「相対時間」は、番組中の基準となる時刻から特定の時間が経過したときにコマンドを実行させる場合に指定される。例えば、相対時間としては、番組の開始時刻からの相対的な時間が指定される。また、「PTS」は、同期再生を行うための時間情報であるPTS(Presentation Time Stamp)を用いて、コマンドを実行させる場合に指定される。すなわち、コマンド発効時刻としては、時分秒で指定する方式のほか、TSのSTC(System Time Clock)値で指定する方式を採用することが可能である。
 なお、コマンド発効時刻が既に経過している場合、当該コマンドは、受信された時点で即時に実行される。
 「コマンド対象機器タイプ」は、当該コマンドによるデータ放送用アプリ制御の対象となる機器が指定される。ここでは、受信装置本体(受信装置12)の他、受信装置12に外部装置が接続される場合には、その外部装置が、コマンドの対象機器として指定される。
 「コマンドアクション」は、当該コマンドが、「アプリ取得」(Register)、「アプリ起動」(Execute)、「アプリ終了」(Terminate)、「イベント発火」(Inject_event)、「アプリ中断」(Suspend)のいずれかであるかを示す。
 レジスタ(Register)コマンドは、受信装置12に対して、データ放送用アプリの取得若しくは登録を指示するためのコマンドである。ここで、データ放送用アプリの登録とは、取得したデータ放送用アプリに対応付けて、その優先度と有効期限を記憶することを意味する。データ放送用アプリは、制御部64により、優先度と保持期限に従って管理される。
 エクスキュート(Execute)コマンドは、受信装置12に対して、データ放送用アプリの取得若しくは起動を指示するためのコマンドである。
 ターミネート(Terminate)コマンドは、受信装置12に対して、実行中のデータ放送用アプリを終了させるためのコマンドである。
 インジェクトイベント(Inject_event)コマンドは、受信装置12に対して、実行中のデータ放送用アプリにおいてイベントを発火させるためのコマンドである。
 サスペンド(Suspend)コマンドは、受信装置12に対して、実行中のデータ放送用アプリを休止させるためのコマンドである。
 「コマンド適用分散化パラメータ」は、受信装置12などの対象機器において、当該コマンドを適用するタイミングを確率的に分散させるためのパラメータである。このパラメータにより、コマンドサーバ14やアプリサーバ15にアクセスするタイミングが調整されるため、サーバに対するアクセスを分散して、負荷を軽減することが可能となる。
 「アプリID」は、当該コマンドに対応するデータ放送用アプリの識別情報である。「アプリタイプ」は、当該コマンドに対応するデータ放送用アプリのタイプを示す情報である。「事業者ID」は、当該コマンドに対応するデータ放送用アプリの実行サービスを行う事業者(例えば、放送局など)の識別情報である。
「アプリURL」は、コマンドアクションが、「アプリ取得」又は「アプリ起動」である場合において、データ放送用アプリの取得先のURLを示す情報である。「アプリ有効期限」は、データ放送用アプリの有効期限を示す情報である。また、「アプリ保持優先度」は、当該コマンドに対応するデータ放送用アプリを取得、保持するときの優先度を示す情報である。データ放送用アプリが登録される場合、アプリ有効期限とデータ放送用アプリ保持優先度が記憶され、データ放送用アプリは、それらの有効期限と優先度に従って管理される。
 「イベントID」は、コマンドアクションが、「イベント発火」である場合において、アプリIDにて指定されたデータ放送用アプリにおいて発火すべきイベントの識別情報である。また、「イベント付加データ」は、コマンドアクションが、「イベント発火」である場合において、イベントを発火する際に参照されるデータが記載される。
 ここで、コマンドの詳細仕様について、図10及び図11に示す。
 コマンド要素は、destination属性、action属性のほか、timing要素、diffusion要素、application要素、event要素を主に含む。
 destination属性は、図9の「コマンド対象機器タイプ」に対応するものである。例えば、destination属性には、コマンドの対象機器が受信装置12となる場合、“receiver”が指定され、コマンドの対象機器が外部装置となる場合、“external_1”や“external_2”が指定される。
 action属性は、図9の「コマンドアクション」に対応するものである。例えば、action属性には、データ放送用アプリの取得若しくは起動を指示する場合、“execute”が指定され、データ放送用アプリの取得若しくは登録を指示する場合、“register”が指定され、データ放送用アプリの中断を指示する場合、“suspend”が指定される。また、action属性には、データ放送用アプリの終了を指示する場合、“terminate”が指定され、実行中のデータ放送用アプリにおいてイベントを引火させる場合、“event”が指定される。 
 timing要素は、図9の「コマンド発効時刻」に対応するものである。timing要素の属性としては、unit属性がある。例えば、unit属性には、「絶対日時」を用いる場合、“utc”が指定され、「相対時間」を用いる場合、“smpte”が指定され、「PTS」を用いる場合、“pts”が指定される。
 diffusion要素は、図9の「コマンド適用分散化パラメータ」に対応するものである。diffusion要素の属性としては、rate属性、range属性、period属性があり、それぞれ、分配数、最大遅延時間、コマンド適用拡散期間が指定される。
 application要素は、図9の「アプリID」、「アプリタイプ」、「アプリURL」、「アプリ保持優先度」、及び「アプリ有効期限」に対応するものであって、id属性、type属性、url属性、priority属性、及びexpire_date属性が指定される。url属性及びexpire_date属性は、action属性が、“execute”又は“register”となる場合には必須の項目となる。また、priority属性は、通常は“0”が指定され、優先度を高くする場合には、“1”が指定される。
 event要素は、図9の「イベントID」及び「イベント付加データ」に対応するものであって、id属性、data属性が指定される。event要素は、action属性が、“event”となる場合には必須の項目となる。
[コマンドの記述例]
 図12は、コマンドの記述例を示す図である。
 図12の例では、command要素には、destination属性として“receiver”が指定され、action属性として“execute”が指定されている。すなわち、当該コマンドは、受信装置12宛てのエクスキュートコマンドとなる。
 command要素の開始タグと終了タグの間には、timing要素とapplication要素が記述される。
 timing要素には、unit属性として“pts”が指定され、その値として“1286743”が指定されている。すなわち、当該コマンドは、“1286743”であるクロックが経過したときに実行される。
 application要素には、id属性として“1”が指定され、type属性として“html”、url属性として“xxx.com/yyy”が指定され、expire_date属性として“2011-01-21”が指定されている。すなわち、HTML(Hyper Text Markup Language)により記述されたデータ放送用アプリが、“xxx.com/yyy”であるURLにより指定されるアプリサーバ15から取得できることを意味する。
 なお、コマンドの記述方法は任意であって、図12に限定されるものではない。
[データ放送用アプリの状態遷移]
 図13は、レジスタ、エクスキュート、インジェクトイベント、サスペンド、及びターミネートの各コマンドに応じて受信装置12にて動作するデータ放送用アプリの状態遷移図である。同図に示すように、データ放送用アプリの状態は、解放状態(Released)、準備状態(Ready)、実行中状態(Active)、又は休止状態(Suspended)の4種類のうちのいずれかに遷移していると定義される。
 解放状態は、データ放送用アプリが受信装置12に未取得である状態を指す。準備状態は、そのデータ放送用アプリが受信装置12に登録済みであって起動されていない状態を指す。実行中状態は、データ放送用アプリが起動されて実行中である状態を指す。休止状態は、データ放送用アプリの実行が中断され、その中断したときの状態を示す情報が退避メモリ69Bに保持されている状態を指す。
 データ放送用アプリが解放状態に遷移しているとき(受信装置12に未取得のとき)、レジスタコマンドが受信され、レジスタコマンドに従ってそのデータ放送用アプリが取得(登録)されると、準備状態に遷移する。
 データ放送用アプリが準備状態であるとき、エクスキュートコマンドが受信され、エクスキュートコマンドに従ってそのデータ放送用アプリが起動されると、実行中状態に遷移する。
 また、データ放送用アプリが解放状態に遷移しているとき(受信装置12に未取得のとき)、エクスキュートコマンドが受信され、エクスキュートコマンドに従ってそのデータ放送用アプリが取得されて起動されると、実行中状態に遷移する。
 データ放送用アプリが実行中状態に遷移しているとき、サスペンドコマンドが受信され、サスペンドコマンドに従って実行中のデータ放送用アプリが中断されると休止状態に遷移する。
 データ放送用アプリが休止状態に遷移しているとき、エクスキュートコマンドが受信され、エクスキュートコマンドに従って、中断されていたデータ放送用アプリが再開されると、実行中状態に遷移する。
 データ放送用アプリが、実行中状態又は休止状態に遷移しているとき、ターミネートコマンドが受信され、ターミネートコマンドに従って、実行中のデータ放送用アプリが終了されると、準備状態に遷移する(図中の「A」)。なお、準備状態への遷移は、ターミネートコマンドに基づくもののほか、他のデータ放送用アプリが実行されたときなどにも発生する。
 また、データ放送用アプリが、準備状態、実行中状態、又は休止状態に遷移しているとき、コマンドのアプリ有効期限が経過したとき、解放状態に遷移する(図中の「B」)。
 図14は、各コマンドと状態遷移の関係を示している。
 図14は、受信装置12において、番組やCM等のAVコンテンツのデータから抽出されたフィンガプリント情報がACRサーバ13に送信されることで、コマンドサーバ14からの各種のコマンドと、アプリサーバ15からのデータ放送用アプリがそれぞれ取得される様子を模式的に表している。なお、図14では、図7及び図8と同様に、ACRサーバ13、コマンドサーバ14、及びアプリサーバ15によって、ACR識別サービス、コマンド提供サービス、及びアプリ提供サービスがそれぞれ提供されるものとする。
 受信装置12において、データ放送用アプリが解放状態に遷移しているとき(受信装置12に未取得のとき)、レジスタコマンドに応じて、そのデータ放送用アプリが取得、保持され、登録されると準備状態に遷移する。
 受信装置12において、データ放送用アプリが準備状態にあるとき、エクスキュートコマンドに応じて、そのデータ放送用アプリが起動されると実行中状態に遷移する。
 また、受信装置12以外の他の装置において、データ放送用アプリが解放状態に遷移しているとき(他の装置に未取得のとき)、エクスキュートコマンドに応じて、そのデータ放送用アプリが取得、起動されると実行中状態に遷移する。
 受信装置12において、データ放送用アプリが実行中状態に遷移しているとき、インジェクトイベントコマンドに応じて、実行中のデータ放送用アプリにてイベントが発火された場合、状態は実行中状態のままとなる。
 受信装置12において、データ放送用アプリが実行中状態に遷移しているとき、サスペンドコマンドに応じて、実行中のデータ放送用アプリが中断されると休止状態に遷移する。また、受信装置12において、データ放送用アプリが休止状態に遷移しているとき、エクスキュートコマンドに応じて、中断されていたデータ放送用アプリが再開されると、実行中状態に遷移する。
 ここで、受信装置12において、データ放送用アプリが実行中状態に遷移しているとき、チャンネルの切り替えが検出されると、実行中のデータ放送用アプリは、強制的に終了されて準備状態に遷移する。
 また、受信装置12において、データ放送用アプリが実行中状態に遷移しているとき、ターミネートコマンドに応じて、実行中のデータ放送用アプリが終了されると準備状態に遷移する。なお、データ放送用アプリが準備状態、実行中状態、又は休止状態に遷移しているとき、当該データ放送用アプリのアプリ有効期限が経過すると、当該データ放送用アプリがキャッシュメモリ68から消去され、登録が抹消されて解放状態に遷移する。
[ACR識別結果に応じたコマンド対応処理]
 次に、受信装置12が、ACR識別処理により得られる識別結果に応じたコマンドを受信したときのコマンド対応処理(以下、ACR識別結果に応じたコマンド対応処理という)について、図15及び図16を参照して説明する。
 図15は、ACR識別結果に応じたコマンド対応処理を説明するフローチャートである。このACR識別結果に応じたコマンド対応処理は、ユーザが番組を視聴しているとき、すなわち、受信装置12が放送装置11からのデジタルテレビジョン放送信号、又はセットトップボックス19を介してCATV装置17からのケーブルテレビジョン放送信号を受信している間、繰り返して実行される。
 フィンガプリント抽出部60は、ステップS111において、所定の時間を経過したか否かを判定し、所定の時間を経過するのを待って、番組のビデオ信号及びオーディオ信号からフィンガプリント情報を抽出する(ステップS112)。すなわち、フィンガプリント抽出部60は、例えば数秒などの所定の間隔で、定期的にフィンガプリント情報の抽出を行う。
 ステップS113において、フィンガプリント抽出部60は、通信I/F61を制御して、抽出されたフィンガプリント情報を、インターネット16を介してACRサーバ13に送信して、選局中の番組の識別結果を問い合わせる。ACRサーバ13では、フィンガプリント情報に基づいて、ACR識別処理が行われ、その識別結果が受信装置12に送信される。なお、ACRサーバ13において、番組の識別結果を得られない場合には、識別結果の送信は行われない。
 ステップS114において、制御部64は、通信I/F61を制御して、識別結果の問い合わせ先のACRサーバ13から、識別結果を受信したか否かを判定する。
 ステップS114において、識別結果を受信していないと判定された場合、処理は、ステップS111に戻り、それ以降の処理が繰り返される。例えば、受信装置12において、放送休止中のチャンネルが選択されている場合に、フィンガプリント情報が抽出されると、ACRサーバ13側では、番組を識別することができず、識別結果の送信が行われないことになる(識別結果は送信されるが、該当なしを示すことにしてもよい)。
 一方、ステップS114において、識別結果を受信したと判定された場合、処理は、ステップS115に進められる。ステップS115において、制御部64は、通信I/F61により受信された選局中の番組の識別結果の解析を行う。ここでは、識別結果として、選局中の番組のチャンネル識別情報、時間位置情報、及びコマンド取得先情報が得られる。また、制御部64は、選局中の番組のチャンネル識別情報をメモリ65に記憶させる。
 ステップS116において、制御部64は、通信I/F61を制御して、コマンド取得先情報が示すURLに対応するコマンドサーバ14にアクセスし、チャンネル識別情報及び時間位置情報を送信することで、受信装置12にて実行可能となるコマンドを問い合わせる。コマンドサーバ14では、チャンネル識別情報に対応する番組において、時間位置情報に対応する時間帯に実行可能となるコマンドが取得され、受信装置12に送信される。
 ステップS117において、制御部64は、通信I/F61を制御して、コマンドの問い合わせ先のコマンドサーバ14から、コマンドを受信したか否かを判定する。
 ステップS117において、コマンドを受信していないと判定された場合、処理は、ステップS111に戻り、それ以降の処理が繰り返される。例えば、コマンドサーバ14では、チャンネル識別情報及び時間位置情報により定められる条件に一致するコマンドが存在しない場合、コマンドの送信は行われないことになる(コマンドは送信されるが、処理不要を示すことにしてもよい)。
 一方、ステップS117において、コマンドを受信したと判定された場合、処理は、ステップS118に進められる。ステップS118において、コマンド解析部62は、コマンドに含まれるコマンドIDを読み出し、当該コマンドに対してステップS119以降の処理を既に実行済みであるか否かを判定する。既に、ステップS119以降の処理を実行済みであると判定された場合、処理は、ステップS111に戻り、それ以降の処理が繰り返される。一方、当該コマンドに対して、ステップS119以降の処理を実行していないと判定された場合、処理はステップS119に進められる。
 ステップS119において、コマンド解析部62は、コマンドに含まれるコマンドアクションを読み出し、当該コマンドが、レジスタ、エクスキュート、ターミネート、インジェクトイベント、又はサスペンドのいずれかであるかを判別する。
 ステップS120において、コマンド解析部62は、ステップS119の判別結果がレジスタであるか否かを判定し、レジスタであると判定された場合、処理はステップS121に進められる。
 ステップS121において、制御部64は、通信I/F61を制御して、当該コマンドのアプリURLに対応するアプリサーバ15にアクセスして、アプリIDにより特定されるデータ放送用アプリを取得させる。通信I/F61により取得されたデータ放送用アプリは、キャッシュメモリ68に保持される。また、制御部64は、取得されたデータ放送用アプリに対応付けて、そのアプリ有効期限とアプリ保持優先度を、メモリ65に記憶する。これにより、キャッシュメモリ68に保持されたデータ放送用アプリは、制御部64により、有効期限と保持優先度に従って管理される。
 この後、処理は、ステップS111に戻り、それ以降の処理が繰り返される。
 ステップS120において、ステップS119の判定結果がレジスタでないと判定された場合、処理は、ステップS122に進められる。ステップS122において、制御部64は、ステップS119の判定結果がエクスキュートであるか否かを判定し、エクスキュートであると判定された場合、処理は、ステップS123に進められる。
 ステップS123において、アプリエンジン67は、制御部64からの制御に従い、当該コマンドのコマンドIDにより特定されるデータ放送用アプリが休止中(サスペンド状態)であるか否かを判定する。具体的には、退避メモリ69Bに、コマンドIDにより特定されるデータ放送用アプリに、休止の状態を示すデータが退避されている場合に休止中であると判定する。
 ステップS123において、コマンドIDにより特定されるデータ放送用アプリが休止中ではないと判定された場合、処理はステップS124に進められる。ステップS124において、アプリエンジン67は、制御部64からの制御に従い、コマンドIDにより特定されるデータ放送用アプリが未取得(キャッシュメモリ68に存在しない)の場合にそれを取得する。
 ステップS125において、制御部64は、同期制御処理を行う。ここで、同期制御処理の詳細について、図16のフローチャートを参照して説明する。
 ステップS151において、制御部64は、当該コマンドに含まれるコマンド発効時刻が設定されているか否かを判定する。 
 ステップS151において、コマンド発効時刻が設定されていると判定された場合、処理は、ステップS152に進められる。ステップS152において、制御部64は、コマンドを実行する時刻になったか否かを判定する。
 このコマンド発効時刻は、例えば、絶対日時、相対時間、又はPTSにより指定される。ステップS152の判定処理では、絶対日時が指定されている場合、あらかじめ設定された特定の日時となった否かが判定される。また、相対時間が指定されている場合、例えば、番組の開始時刻から、あらかじめ設定された特定の時間が経過したか否かが判定される。さらに、PTSが指定された場合、クロック同期部63からのクロックに基づいて、コマンドを実行する時刻になったか否かが判定される。
 ステップS152の判定処理では、コマンドを実行する時刻になったと判定されるまで、判定処理が繰り返される。すなわち、コマンドを実行する時刻になるまで、当該コマンドの実行を待つことになる。
 そして、ステップS152において、コマンドを実行する時刻になったと判定された場合、処理は、図15のステップS125に戻され、それ以降の処理が実行される。
 ステップS126において、アプリエンジン67は、制御部64からの制御に従い、現在実行中のデータ放送用アプリがあるならば、それを終了させる。そして、ステップS127において、アプリエンジン67は、制御部64からの制御に従い、コマンドIDにより特定されるデータ放送用アプリを起動する。
 すなわち、ステップS125の同期制御処理(図16)を行うことで、当該コマンドを実行する時刻が経過してから、データ放送用アプリが起動されるので、例えば、番組の進行にあわせて、データ放送用アプリを起動させたり、あるいは、ある特定の時間帯にデータ放送用アプリを起動させたりすることが可能となる。
 また、コマンド発効時刻が設定されていない場合(図16のステップS151の「No」)、図16のステップS152はスキップされ、ステップS124の取得処理が終了した後、直ちに、ステップS126,S127が実行される。この場合、未取得のデータ放送用アプリが取得された後、直ちに、そのデータ放送用アプリが起動されることになる。
 この後、処理はステップS111に戻り、それ以降の処理が繰り返される。
 また、ステップS123において、コマンドIDにより特定されるデータ放送用アプリが休止中(サスペンド状態)であると判定された場合、処理はステップS128に進められる。
 ステップS128において、制御部64は、図16の同期制御処理を行う。すなわち、コマンド発効時刻が設定されている場合には、コマンドを実行する時刻になったとき、ステップS129の処理が行われ、コマンド発効時刻が設定されていない場合には、直ちに、ステップS129の処理が行われる。
 ステップS129において、アプリエンジン67は、制御部64からの制御に従い、退避メモリ69Bのデータをワークメモリ69Aに移して、コマンドIDにより特定されるデータ放送用アプリを起動する。これにより、コマンドIDにより特定される、休止中のデータ放送用アプリが休止された状態から再開されることになる。この後、処理はステップS111に戻り、それ以降の処理が繰り返される。
 ステップS122において、ステップS119の判別結果がエクスキュートではないと判定された場合、処理はステップS130に進められる。ステップS130において、制御部64は、ステップS119の判別結果がインジェクトイベントであるか否かを判定し、インジェクトイベントであると判定された場合、処理はステップS131に進められる。
 ステップS131において、制御部64は、図16の同期制御処理を行う。すなわち、コマンド発効時刻が設定されている場合には、コマンドを実行する時刻になったとき、ステップS132の処理が行われ、コマンド発効時刻が設定されていない場合には、直ちに、ステップS132の処理が行われる。
 ステップS132において、制御部64は、当該コマンドのコマンドIDと、動作中のデータ放送用アプリのコマンドIDが一致する場合のみ、アプリエンジン67を制御して、動作中のデータ放送用アプリにおいて、コマンドのイベントIDに対応するイベントを発火(実行)させる。この後、処理はステップS111に戻り、それ以降の処理が繰り返される。
 ステップS130において、ステップS119の判別結果がインジェクトイベントではないと判定された場合、処理はステップS133に進められる。ステップS133において、制御部64は、ステップS119の判別結果がサスペンドであるか否かを判定し、サスペンドであると判定された場合、処理はステップS134に進められる。
 ステップS134において、制御部64は、図16の同期制御処理を行う。すなわち、コマンド発効時刻が設定されている場合には、コマンドを実行する時刻になったとき、ステップS135の処理が行われ、コマンド発効時刻が設定されていない場合には、直ちに、ステップS135の処理が行われる。
 ステップS135において、アプリエンジン67は、制御部64からの制御に従い、現在実行中のデータ放送用アプリの状態を示すデータ(すなわち、現在ワークメモリ69Aに書き込まれているデータ。表示する情報に階層構造がある場合、表示されている情報の階層を示す情報を含む)を退避メモリ69Bに退避させる。この後、処理はステップS111に戻り、それ以降の処理が繰り返される。
 ステップS133において、ステップS119の判別結果がサスペンドではないと判定された場合、ステップS119の判別結果はターミネートであるので、処理はステップS136に進められる。
 ステップS136において、制御部64は、図16の同期制御処理を行う。すなわち、コマンド発効時刻が設定されている場合には、コマンドを実行する時刻になったとき、ステップS137の処理が行われ、コマンド発効時刻が設定されていない場合には、直ちに、ステップS137の処理が行われる。
 ステップS137において、アプリエンジン67は、制御部64からの制御に従い、コマンドIDにより特定されるデータ放送用アプリが実行中であればそれを終了させる。ステップS138において、アプリエンジン67は、制御部64からの制御に従い、コマンドIDにより特定されるデータ放送用アプリに関するデータを、ワークメモリ69A及び退避メモリ69Bから消去するとともに、データ放送用アプリをキャッシュメモリ68から消去させる。この後、処理はステップS111に戻り、それ以降の処理が繰り返される。
 また、ステップS111において、定期的に行われるフィンガプリント情報の抽出を行う時間ではないと判定された場合、処理は、ステップS139に進められる。ステップS139において、チャンネル切替検出部70は、チャンネルの切り替えの検出を行い、チャンネルが切り替えられたか否かを判定する。ステップS139において、チャンネルが切り替えられていないと判定された場合、処理は、ステップS111に戻り、それ以降の処理が繰り返される。
 一方、ステップS139において、チャンネルが切り替えられたと判定された場合、処理は、ステップS140に進められる。ステップS140乃至S142においては、前述したステップS112乃至S114と同様に、フィンガプリント抽出部60によって、番組のビデオ信号及びオーディオ信号からフィンガプリント情報が抽出され、ACRサーバ13に送信される。そして、通信I/F61によって、ACRサーバ13からの識別結果が受信された場合、処理は、ステップS143に進められる。なお、ステップS143の判定処理の前処理として、制御部64は、通信I/F61からの識別結果から得られるチャンネル切り替え検出後に視聴される番組のチャンネル識別情報を取得するとともに、メモリ65からチャンネル切り替え検出前に視聴されていた番組のチャンネル識別情報を読み出す。
 そして、制御部64は、ステップS143において、チャンネル切り替え検出前後の番組のチャンネル識別情報を比較して、それらのチャンネル識別情報が一致するか否かを判定する。
 ステップS143において、チャンネル識別情報が異なると判定された場合、チャンネルが正常に切り替わっているため、処理は、ステップS144に進められる。ステップS144において、アプリエンジン67は、制御部64からの制御に従い、コマンドIDにより特定されるデータ放送用アプリが実行中であればそれを終了させる。ステップS145において、アプリエンジン67は、制御部64からの制御に従い、コマンドIDにより特定されるデータ放送用アプリに関するデータを、ワークメモリ69A及び退避メモリ69Bから消去するとともに、データ放送用アプリをキャッシュメモリ68から消去させる。この後、処理はステップS111に戻り、それ以降の処理が繰り返される。
 なお、ステップS143において、チャンネル識別情報が一致すると判定された場合、例えば誤検出であった場合など、何らかの原因で正常にチャンネルが切り替わっていないため、ステップS144,145の処理をスキップして、処理は、ステップS111に戻り、それ以降の処理が繰り返される。
 以上で、ACR識別結果に応じたコマンド対応処理の説明を終了する。前述したACR識別結果に応じたコマンド対応処理によれば、AVコンテンツ(例えば番組やCMなど)に連動してデータ放送用アプリを起動したり、イベントを発火させたり、終了したりすることができる。さらに、データ放送用アプリを実行中の状態を保持したままで休止させて、他のデータ情報用アプリを実行、終了し、その後、休止したデータ放送用アプリを休止状態から再開することができる。
 また、ACR識別結果に応じたコマンド対応処理を行うことで、ACR技術を用いて、AVコンテンツに連動して実行されるデータ放送用アプリを提供することが可能となる。さらに、チャンネルが切り替えられたとき、実行中のデータ放送用アプリが終了されるので、データ放送用アプリが想定外に表示されることを防ぐことができる。
 なお、図15の例では、ステップS124乃至S127において、未取得のデータ放送用アプリを取得した後(S124)、コマンドを実行する時刻となったとき(S125)、取得されたデータ放送用アプリを起動するとして説明したが、ステップS124とS125の処理の順番を逆にしてもよい。すなわち、この場合、コマンドを実行する時刻となるまでは、未取得のデータ放送用アプリの取得は行われず、コマンドを実行する時刻となったときに、未取得のデータ放送用アプリが取得され、起動されることになる。
[動作シナリオ]
 受信装置12において、図15のACR識別結果に応じたコマンド対応処理を行うことで、例えば、図17及び図18に示すようなデータ放送用アプリの運用が可能となる。
 図17は、コマンド発効時刻が設定されていない場合の動作シナリオの例を示す図である。
 受信装置12は、デジタルテレビジョン放送信号又はケーブルテレビジョン放送信号に対応するチャンネルA(CH-A)の番組が、ディスプレイ32に表示されているとき、定期的に、選局中の番組のビデオ信号などからフィンガプリント情報を抽出して、ACRサーバ13に送信する。フィンガプリント情報を受信したACRサーバ13では、ACR識別処理が行われ、その識別結果が、受信装置12に送信される。
 受信装置12は、ACRサーバ13からの識別結果に応じて、コマンドサーバ14に対してコマンドを問い合わせるが、受信装置12にて実行可能となるコマンドが存在しない場合には、コマンドサーバ14からの応答は行われない。
 その後、受信装置12では、フィンガプリント情報の抽出が定期的に行われ、それに対応してACRサーバ13とコマンドサーバ14に対する問い合わせも継続的に行われる。そして、受信装置12は、コマンドサーバ14からエクスキュートコマンドを受信した場合、アプリURLに対応するアプリサーバ15にアクセスし、データ放送用アプリを取得して、実行する。これにより、ディスプレイ32に表示されたチャンネルA(CH-A)の番組には、チャンネルA(CH-A)用のデータ放送用アプリに対応する番組関連情報(図中の「Video Synchronized application」)などが重畳表示される。
 ここで、選局中のチャンネルが、チャンネルA(CH-A)からチャンネルB(CH-B)に切り替えられた場合、受信装置12では、例えば、前述した第1の検出方法乃至第4の検出方法のいずれかの検出方法により、チャンネルの切り替えが検出される。そして、受信装置12は、チャンネル切り替え検出後に視聴される番組のビデオ信号及びオーディオ信号からフィンガプリント情報を抽出して、ACRサーバ13に送信して、当該番組の識別結果を取得する。受信装置12は、チャンネル切り替えの検出前後にディスプレイ32に表示されていた番組のチャンネル識別情報を比較して、それらの番組のチャンネル識別情報が異なる場合、正常にチャンネルが切り替わっているので、実行中のデータ放送用アプリを強制的に終了させる。これにより、チャンネルA(CH-A)の番組に重畳表示されていた番組関連情報が消されて、チャンネルB(CH-B)の番組のみが表示される。
 また、受信装置12は、チャンネルB(CH-B)を選局中に、コマンドサーバ14からエクスキュートコマンドを受信した場合、アプリURLに対応するアプリサーバ15にアクセスし、データ放送用アプリを取得して、実行する。これにより、ディスプレイ32に表示されたチャンネルB(CH-B)の番組には、チャンネルB(CH-B)用のデータ放送用アプリに対応する番組関連情報(図中の「Video Synchronized application」)などが重畳表示される。
 なお、図17の例では、受信装置12において、コマンドサーバ14から受信されるコマンドとして、エクスキュートコマンドを説明したが、それ以外のコマンドが受信されるようにしてもよい。例えば、データ放送用アプリの実行中に、インジェクトイベントコマンドが受信された場合には、実行中のデータ放送用アプリにおいてイベントが引火され、サスペンドコマンドが受信された場合には、実行中のデータ放送用アプリが休止される。また、例えば、データ放送用アプリの実行中に、ターミネートコマンドが受信された場合には、実行中のデータ放送用アプリが終了される。
 以上のように、図17の動作シナリオでは、コマンドサーバ14により送信されるコマンドには、コマンド発効時刻が設定されていないため、受信装置12では、コマンドサーバ14から受信したコマンドを直ちに実行することになる。また、受信装置12では、チャンネルが切り替えられた場合には、実行中のデータ放送用アプリが強制的に終了される。
 図18は、コマンド発効時刻が設定された場合の動作シナリオの例を示す図である。
 図18において、受信装置12は、フィンガプリント情報の抽出を定期的に行い、ACRサーバ13からエクスキュートコマンドを受信した場合、アプリURLに対応するアプリサーバ15にアクセスして、データ放送用アプリを取得する。また、当該エクスキュートコマンドには、コマンド発効時刻が設定されているため、データ放送用アプリを取得した後、コマンドを実行する時刻になるまで、エクスキュートコマンドの実行を待つことになる(図中の「同期待ち」)。例えば、チャンネルA(CH-A)の番組の特定のシーンに同期させて、データ放送用アプリに対応する番組関連情報を表示させる場合、その特定のシーンと同期するための時刻がコマンド発効時刻に記述されているので、コマンドを実行する時刻になるのを待って、データ放送用アプリを起動することになる。これにより、チャンネルA(CH-A)の番組の特定のシーンと番組関連情報(図中の「Video Synchronized application」)を同期させることができる。
 また、選局中のチャンネルが、チャンネルA(CH-A)からチャンネルB(CH-B)に切り替えられた場合、前述した図17と同様に、受信装置12では、チャンネルの切り替えが検出され、実行中のデータ放送用アプリが強制的に終了される。これにより、チャンネルA(CH-A)の番組に重畳表示されていた番組関連情報が消されて、チャンネルB(CH-B)の番組のみが表示される。
 その後もフィンガプリント情報の抽出が継続して行われ、コマンドサーバ14からエクスキュートコマンドを受信した場合、受信装置12は、アプリURLに対応するアプリサーバ15にアクセスして、データ放送用アプリを取得する。また、受信装置12は、コマンドを実行する時刻を待って、データ放送用アプリを起動する。これにより、ディスプレイ32に表示されたチャンネルB(CH-B)の番組には、チャンネルB(CH-B)用のデータ放送用アプリに対応する番組関連情報(図中の「Video Synchronized application」)などが重畳表示される。
 図18の例では、受信装置12において、コマンドサーバ14から受信されるコマンドとして、エクスキュートコマンドを説明したが、それ以外のコマンドが受信されるようにしてもよい。例えば、データ放送用アプリの実行中に、インジェクトイベントコマンドが受信された場合、コマンドを実行する時刻を待って、実行中のデータ放送用アプリにおいてイベントが引火される。また、データ放送用アプリの実行中に、サスペンドコマンドが受信された場合には、コマンドを実行する時刻を待って、実行中のデータ放送用アプリが休止される。また、例えば、データ放送用アプリの実行中に、ターミネートコマンドが受信された場合には、コマンドを実行する時刻を待って、実行中のデータ放送用アプリが終了される。
 以上のように、図18の動作シナリオでは、コマンドサーバ14により送信されるコマンドには、コマンド発効時刻が設定されているため、受信装置12では、コマンドを実行する時刻を待って、コマンドサーバ14から受信したコマンドを実行することになる。これにより、受信装置12では、フィンガプリント情報の抽出の分解能ではなく、任意のタイミングで、コマンドを実行することが可能となる。また、受信装置12では、チャンネルの切り替えが検出された場合には、実行中のデータ放送用アプリを強制的に終了させるため、フィンガプリント情報の抽出の分解能ではなく、チャンネル切り替えのタイミングで、実行中のデータ放送用アプリを終了させることができる。
<第2の実施の形態>
[放送システムの他の構成例]
 図19は、第2の実施の形態である放送システム1を示している。この放送システム1は、図1と比べて、受信装置12とセットトップボックス19の間に、AVセレクタとしての機能を有するAVアンプ41が接続されている。
 AVアンプ41は、HDMI規格に準拠した入出力部を有し、その入力側には、例えばセットトップボックス19の他、ゲーム機42や電子機器43などのHDMI端子を有する電子機器が接続され、その出力側には、HDMIケーブル20を介して受信装置12が接続される。AVアンプ41は、入力側に接続された複数の電子機器から入力される複数のAVコンテンツの中から所望のAVコンテンツを選択し、出力側に接続された受信装置12に出力する。
 受信装置12は、AVアンプ41によるAVコンテンツの選択結果に応じて、視聴されるAVコンテンツの切り替えを検出する。受信装置12は、視聴されるAVコンテンツの切り替えが検出された場合、AVコンテンツに連動して実行中のデータ放送用アプリを終了させる。
 なお、図19において、前述した以外の構成については、図1の放送システム1と同様であるため、その説明は省略する。
 図19の放送システム1は、以上のように構成される。
[受信装置の他の構成例]
 図20は、図19の受信装置12の構成例を示している。この受信装置12では、図2と比べて、チャンネル切替検出部70に対する入力が異なっている。すなわち、図20において、チャンネル切替検出部70には、HDMI端子59からの通知信号のみが入力される。
 具体的には、HDMI端子59は、AVアンプ41により選択される電子機器が切り替えられた場合、HDMIケーブル20を介して入力される、切り替え先の電子機器からのAVコンテンツのオーディオ信号及びビデオ信号を、セレクタ54及びセレクタ57にそれぞれ供給する。また、HDMI端子59は、その切り替えを通知するための通知信号を、チャンネル切替検出部70に出力する。例えば、受信装置12では、HDMI端子59への入力が、セットトップボックス19からのAVコンテンツから、ゲーム機42からのAVコンテンツに切り替えられたとき、AVアンプ41からのクロック信号が不連続となり同期が失われるため、再同期処理を行う必要がある。HDMI端子59は、例えば、AVアンプ41からのクロック信号が不連続になったとき、入力されるAVコンテンツの切り替えを通知するための通知信号を、チャンネル切替検出部70に出力する。そして、チャンネル切替検出部70は、HDMI端子59からの通知信号が検出された場合、視聴されるAVコンテンツの切り替えを検出して、その検出結果を制御部64に供給することができる。
 これにより、例えば、AVアンプ41が、セットトップボックス19からゲーム機42に入力を切り替えた場合、受信装置12では、ケーブルテレビジョン番組にデータ放送用アプリが重畳表示されているとき、そのデータ放送用アプリを終了させてから、ゲーム用の画面をさせることができる。
 図20の受信装置12は、以上のように構成される。
 以上のように、受信装置12においては、前述した第1の検出方法乃至第4の検出方法以外に、第5の検出方法として、AVアンプ41から出力されるAVコンテンツの選択結果を利用して、視聴されるAVコンテンツの切り替えを検出する方法を採用することができる。
[具体的な運用例]
 また、本技術によれば、AVコンテンツに対応したメタデータがなくても、ACRサーバ13によりAVコンテンツの識別が行われるため、例えば、以下のような運用が可能となる。
 図21は、本技術を適用した放送システムの具体例を示す図である。
 図21に示すように、コンテンツプロバイダ(Content Provider)から提供されるAVコンテンツ(図中の「Content」)には、番組に関するメタデータ(図中の「Metadata」)が付与されており、放送装置11(図中の「ASP(Authorized Service Provider)」)からのデジタルテレビジョン放送信号を直接受信する受信装置12(図中の「TV1」)は、AVコンテンツとともに送信されるメタデータを取得できる。したがって、当該受信装置は、メタデータに基づいて、放送事業者などにより管理されるアプリサーバ15にアクセスすることで、データ放送用アプリ(図中の「Application」)を取得して、実行することが可能となる。
 一方、CATV網や衛星通信網などを介して、放送装置11からのデジタルテレビジョン放送信号を受信する場合、セットトップボックス19(図中の「STB(Set Top Box)」)による変換後の信号が、HDMIケーブル20を介して、受信装置12(図中の「TV2」)により受信される。この場合、セットトップボックス19からの出力は、AVコンテンツのみとなり、メタデータを利用することができず、番組に関する情報を取得することができない。したがって、当該受信装置12は、AVコンテンツから抽出されたフィンガプリント情報(図中の「Fingerprint」)を、ACRサーバ13に送信することで識別結果を取得する。また、受信装置12は、ACRサーバ13からの識別結果に応じて、コマンドサーバ14からコマンドを取得する。そして、受信装置12は、コマンドサーバ14からのコマンドに応じて、アプリサーバ15からデータ放送用アプリを取得して、実行することが可能となる。
 以上のように、本技術を適用した放送システムでは、番組がCATV網や衛星通信網などを介して再送信される場合においても、番組に連動して実行されるデータ放送用コンテンツのサービスを実現することができる。すなわち、本技術は、例えば、図1及び図19に示すように、放送装置11からのデジタルテレビジョン放送信号を直接、受信装置12が受信する場合だけでなく、CATV網18や衛星通信網などのように、セットトップボックス19等を使用するために、AVコンテンツとともに送信されるメタデータを受信装置12に送ることができない場合にも適用することができる。
<第3の実施の形態>
[通信システムの構成例]
 前述した説明では、受信装置12が、放送装置11からのデジタルテレビジョン放送信号、又はCATV装置17からのケーブルテレビジョン放送信号に対応するAVコンテンツを受信する例を説明したが、AVコンテンツは、インターネット16を介してVOD(Video On Demand)により配信されるようにしてもよい。
 図22は、本実施の形態である通信システム81を示している。
 図22において、図1と対応する箇所には同一の符号が付してあり、その説明は適宜省略する。
 すなわち、図22では、図1と比べると、放送装置11、CATV装置17、CATV網18、及びセットトップボックス19の代わりに、インターネット16に接続された配信サーバ91が設けられている。配信サーバ91は、受信装置12からの要求に応じて、VODコンテンツ等のAVコンテンツを、インターネット16を介して、受信装置12に配信する。
 受信装置12は、配信サーバ91からのVODコンテンツのビデオ信号及びオーディオ信号から、フィンガプリント情報を抽出して、ACRサーバ13に送信する。ACRサーバ13では、ACR識別処理が行われるが、ここでは、識別結果として、コンテンツ識別情報、時間位置情報、コマンド取得先情報が送信される。すなわち、放送装置11からのAVコンテンツを取得した場合には、チャンネル識別情報が識別結果として得られるが、配信サーバ91からのVODコンテンツを取得した場合には、コンテンツIDなどのコンテンツ識別情報が識別結果として得られる。
 受信装置12は、コマンド取得先情報に記述されたURLに対応するコマンドサーバ14にアクセスして、コンテンツ識別情報及び時間位置情報を送信することで、受信装置12にて実行可能となるコマンドを問い合わせる。そして、受信装置12は、コマンドサーバ14からのコマンドに応じて、データ放送用アプリの動作を制御することになる。
 このように、受信装置12は、AVコンテンツを、放送網を介して受信するのみならず、通信網を介して受信することができる。そして、放送網と通信網のどちらから受信されたAVコンテンツであっても、ACRサーバ13により識別されるので、受信装置12は、コマンドサーバ14から、識別結果に応じたコマンドを取得することができる。また、受信装置12は、チャンネルの切り替えが検出された場合には、ACRサーバ13に対して、VODコンテンツの識別結果を問い合わせる。そして、受信装置12は、チャンネル切り替え検出前後に得られたコンテンツ識別情報を比較して、正常にチャンネルが切り替わっている場合には、チャンネル切り替え前のVODコンテンツに重畳して表示されていたデータ放送用アプリを終了させることができる。
 なお、前述の説明では、ACRサーバ13、コマンドサーバ14、及びアプリサーバ15など、提供する機能ごとにサーバを複数設ける例を説明したが、それらの機能(サービス)の全部又は一部をまとめて、1又は複数のサーバにより提供されるようにしてもよい。
 また、ACRサーバ13は、識別結果を受信装置12に送信せずに、コマンドサーバ14に直接送信するようにしてもよい。例えば、受信装置12が、フィンガプリント情報をACRサーバ13に送信すると、ACRサーバ13は、ACR識別処理を行い、その識別結果を、コマンドサーバ14に送信する。そして、コマンドサーバ14は、ACRサーバ13からの識別結果に応じて、コマンドを受信装置12する。これにより、受信装置12は、フィンガプリント情報をACRサーバ13に送信するだけで、コマンドサーバ14からコマンドを取得する、といった運用が可能となる。さらに、コマンドサーバ14が、データ放送用アプリの取得コマンドを、受信装置12に送信せずに、アプリサーバ15に直接送信することで、例えば、受信装置12では、フィンガプリント情報をACRサーバ13に送信すると、アプリサーバ15からデータ放送用アプリを取得する、といった運用が可能となる。
 さらに、本実施の形態では、受信装置12と、セットトップボックス19やAVアンプ41とがHDMI規格による通信を行う構成としているが、通信の規格はHDMI規格に限らず、少なくともセットトップボックス19等との間で、ビデオ信号やオーディオ信号、制御信号を含んだデータ通信が可能な構成であればよい。
[本技術を適用したコンピュータの説明]
 前述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
 図23は、前述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
 コンピュータ100において、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
 バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、入力部106、出力部107、記録部108、通信部109、及びドライブ110が接続されている。
 入力部106は、キーボード、マウス、マイクロフォンなどよりなる。出力部107は、ディスプレイ、スピーカなどよりなる。記録部108は、ハードディスクや不揮発性のメモリなどよりなる。通信部109は、ネットワークインタフェースなどよりなる。ドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア111を駆動する。
 以上のように構成されるコンピュータ100では、CPU101が、例えば、記録部108に記憶されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、前述した一連の処理が行われる。
 コンピュータ100(CPU101)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア111に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
 コンピュータ100では、プログラムは、リムーバブルメディア111をドライブ110に装着することにより、入出力インタフェース105を介して、記録部108にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部109で受信し、記録部108にインストールすることができる。その他、プログラムは、ROM102や記録部108に、あらかじめインストールしておくことができる。
 なお、コンピュータ100が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
 ここで、本明細書において、コンピュータ100に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。
 また、プログラムは、1のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
 さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
 なお、本技術の実施の形態は、前述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 また、前述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
 さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
 なお、本技術は、以下のような構成をとることができる。
(1)
 AVコンテンツを受信する受信部と、
 受信した前記AVコンテンツのデータから特徴量を抽出する特徴量抽出部と、
 抽出した前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得する識別結果取得部と、
 取得した前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得するコマンド取得部と、
 取得した前記コマンドに応じて、前記アプリケーションプログラムの動作を制御する制御部と、
 視聴される前記AVコンテンツの切り替えを検出する検出部と
 を備え、
 前記制御部は、前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる
 受信装置。
(2)
 前記検出部は、第1のAVコンテンツから、前記第1のAVコンテンツと異なる第2のAVコンテンツへのチャンネルの切り替えを検出し、
 前記制御部は、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出された場合、前記第1のAVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる
 (1)に記載の受信装置。
(3)
 前記第1のAVコンテンツの前記識別結果から得られる前記第1のAVコンテンツを識別するための第1の識別情報を記憶する記憶部をさらに備え、
 前記特徴量抽出部は、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出された場合、前記第2のAVコンテンツのデータから特徴量を抽出し、
 前記識別結果取得部は、抽出した前記特徴量を用いて識別された前記第2のAVコンテンツの識別結果を取得し、
 前記制御部は、記憶された前記第1の識別情報と、前記第2のAVコンテンツの識別結果から得られる前記第2のAVコンテンツを識別するための第2の識別結果とが異なる場合、前記アプリケーションプログラムを終了させる
 (2)に記載の受信装置。
(4)
 前記受信部は、送信装置から送信される前記AVコンテンツを直接受信し、
 前記検出部は、前記受信装置に対する前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えの操作に応じて、当該チャンネルの切り替えを検出する
 (2)又は(3)に記載の受信装置。
(5)
 前記受信部は、送信装置から送信される前記AVコンテンツのデータを前記受信装置に応じて変換する情報処理装置と、HDMI(High Definition Multimedia Interface)規格に準拠した方式で接続されることで、前記情報処理装置から変換後の前記AVコンテンツを受信し、
 前記検出部は、前記情報処理装置から受信した前記AVコンテンツのビデオ信号の解析結果に応じて、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えを検出する
 (2)又は(3)に記載の受信装置。
(6) 前記検出部は、前記情報処理装置から受信した前記AVコンテンツのビデオ信号に基づいて、前記AVコンテンツを構成する複数のフレームが所定の区間連続して同一画面となるか、又は前記複数のフレームが所定の区間連続して黒画面となるかを解析することで、チャンネルの切り替えを検出する
 (5)に記載の受信装置。
(7)
 前記検出部は、前記情報処理装置から受信した前記AVコンテンツのオーディオ信号の解析結果に応じて、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えを検出する
 (2)、(3)、又は(5)のいずれかに記載の受信装置。
(8)
 前記検出部は、前記情報処理装置から受信した前記AVコンテンツのオーディオ信号に基づいて、前記オーディオ信号のサンプルが所定の区間で無信号状態になるかと、前記サンプルが所定の区間で不連続状態になるかを解析することで、チャンネルの切り替えを検出する
 (7)に記載の受信装置。
(9)
 前記受信部は、送信装置から送信される前記AVコンテンツのデータを前記受信装置に応じて変換する情報処理装置と、HDMI規格に準拠した方式で接続されることで、前記情報処理装置から変換後の前記AVコンテンツを受信し、
 前記検出部は、前記情報処理装置に対する前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えの操作に応じて、当該チャンネルの切り替えを検出する
 (2)又は(3)に記載の受信装置。
(10)
 前記受信部は、複数の情報処理装置から入力される複数のAVコンテンツの中から所望のAVコンテンツを選択して出力する選択装置と、HDMI規格に準拠した方式で接続されることで、前記選択装置から出力される前記AVコンテンツを受信し、
 前記検出部は、前記選択装置による前記AVコンテンツの選択結果に応じて、視聴される前記AVコンテンツの切り替えを検出する
 (1)に記載の受信装置。
(11)
 前記識別結果取得部は、抽出した前記特徴量からACR(Automatic Content Recognition)技術を用いて識別される前記AVコンテンツの識別結果を取得する
 (1)乃至(10)のいずれかに記載の受信装置。
(12)
 前記特徴量抽出部は、前記AVコンテンツのビデオ信号及びオーディオ信号のいずれか一方又は双方から前記特徴量を抽出する
 (1)乃至(11)のいずれかに記載の受信装置。
(13)
 前記コマンドは、前記アプリケーションプログラムの取得若しくは登録、取得若しくは起動、イベント発火、中断、又は終了のうちのいずれかを示しており、
 前記制御部は、各コマンドに応じて、前記アプリケーションプログラムの取得若しくは登録、若しくは取得若しくは起動、又は実行中の前記アプリケーションプログラムのイベント発火、休止、若しくは終了を制御する
 (1)乃至(12)のいずれかに記載の受信装置。
(14)
 受信装置の受信方法において
 前記受信装置が、
 AVコンテンツを受信し、
 受信した前記AVコンテンツのデータから特徴量を抽出し、
 抽出した前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得し、
 取得した前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得し、
 取得した前記コマンドに応じて、前記アプリケーションプログラムの動作を制御し、
 視聴される前記AVコンテンツの切り替えを検出し、
 前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる
 ステップを含む受信方法。
(15)
 コンピュータに、
 AVコンテンツを受信し、
 受信した前記AVコンテンツのデータから特徴量を抽出し、
 抽出した前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得し、
 取得した前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得し、
 取得した前記コマンドに応じて、前記アプリケーションプログラムの動作を制御し、
 視聴される前記AVコンテンツの切り替えを検出し、
 前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる
 ステップを含む処理を実行させるためのプログラム。
(16)
 受信装置、第1の情報処理装置、第2の情報処理装置、及び第3の情報処理装置から構成される情報処理システムにおいて、
 前記受信装置は、
  AVコンテンツを受信する受信部と、
  受信した前記AVコンテンツのデータから特徴量を抽出する特徴量抽出部と、
  抽出した前記特徴量を前記第1の情報処理装置に送信して、前記第1の情報処理装置にて前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得する識別結果取得部と、
  前記第1の情報処理装置から取得した前記識別結果を前記第2の情報処理装置に送信して、前記第2の情報処理装置から、前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得するコマンド取得部と、
  前記第2の情報処理装置から取得した前記コマンドに応じて、前記第3の情報処理装置から取得した前記アプリケーションプログラムの動作を制御する制御部と、
  視聴される前記AVコンテンツの切り替えを検出する検出部と
 を備え、
 前記制御部は、前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させ、
 前記第1の情報処理装置は、  前記受信装置からの問い合わせに応じて、前記特徴量を用いて前記AVコンテンツを識別することで得られる前記識別結果を提供する第1の提供部を備え、
 前記第2の情報処理装置は、
  前記受信装置からの問い合わせに応じて、前記識別結果に応じた前記コマンドを提供する第2の提供部を備え、
 前記第3の情報処理装置は、
  前記受信装置からの問い合わせに応じて、前記コマンドに応じた前記アプリケーションプログラムを提供する第3の提供部を備える
 情報処理システム。
 1 放送システム, 11 放送装置, 12 受信装置, 12R リモートコントローラ, 13 ACRサーバ, 14 コマンドサーバ, 15 アプリサーバ, 17 CATV装置, 19 セットトップボックス, 19R リモートコントローラ, 51 チューナ, 31 スピーカ, 32 ディスプレイ, 41 AVアンプ, 42 ゲーム機, 59 HDMI端子, 60 フィンガプリント抽出部, 61 通信I/F, 62 コマンド解析部, 64 制御部, 67 アプリエンジン, 70 チャンネル切替検出部, 71 受光部, 81 通信システム, 91 配信サーバ, 100 コンピュータ, 101 CPU

Claims (16)

  1.  AVコンテンツを受信する受信部と、
     受信した前記AVコンテンツのデータから特徴量を抽出する特徴量抽出部と、
     抽出した前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得する識別結果取得部と、
     取得した前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得するコマンド取得部と、
     取得した前記コマンドに応じて、前記アプリケーションプログラムの動作を制御する制御部と、
     視聴される前記AVコンテンツの切り替えを検出する検出部と
     を備え、
     前記制御部は、前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる
     受信装置。
  2.  前記検出部は、第1のAVコンテンツから、前記第1のAVコンテンツと異なる第2のAVコンテンツへのチャンネルの切り替えを検出し、
     前記制御部は、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出された場合、前記第1のAVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる
     請求項1に記載の受信装置。
  3.  前記第1のAVコンテンツの前記識別結果から得られる前記第1のAVコンテンツを識別するための第1の識別情報を記憶する記憶部をさらに備え、
     前記特徴量抽出部は、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えが検出された場合、前記第2のAVコンテンツのデータから特徴量を抽出し、
     前記識別結果取得部は、抽出した前記特徴量を用いて識別された前記第2のAVコンテンツの識別結果を取得し、
     前記制御部は、記憶された前記第1の識別情報と、前記第2のAVコンテンツの識別結果から得られる前記第2のAVコンテンツを識別するための第2の識別結果とが異なる場合、前記アプリケーションプログラムを終了させる
     請求項2に記載の受信装置。
  4.  前記受信部は、送信装置から送信される前記AVコンテンツを直接受信し、
     前記検出部は、前記受信装置に対する前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えの操作に応じて、当該チャンネルの切り替えを検出する
     請求項2に記載の受信装置。
  5.  前記受信部は、送信装置から送信される前記AVコンテンツのデータを前記受信装置に応じて変換する情報処理装置と、HDMI(High Definition Multimedia Interface)規格に準拠した方式で接続されることで、前記情報処理装置から変換後の前記AVコンテンツを受信し、
     前記検出部は、前記情報処理装置から受信した前記AVコンテンツのビデオ信号の解析結果に応じて、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えを検出する
     請求項2に記載の受信装置。
  6.  前記検出部は、前記情報処理装置から受信した前記AVコンテンツのビデオ信号に基づいて、前記AVコンテンツを構成する複数のフレームが所定の区間連続して同一画面となるか、又は前記複数のフレームが所定の区間連続して黒画面となるかを解析することで、チャンネルの切り替えを検出する
     請求項5に記載の受信装置。
  7.  前記検出部は、前記情報処理装置から受信した前記AVコンテンツのオーディオ信号の解析結果に応じて、前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えを検出する
     請求項5に記載の受信装置。
  8.  前記検出部は、前記情報処理装置から受信した前記AVコンテンツのオーディオ信号に基づいて、前記オーディオ信号のサンプルが所定の区間で無信号状態になるかと、前記サンプルが所定の区間で不連続状態になるかを解析することで、チャンネルの切り替えを検出する
     請求項7に記載の受信装置。
  9.  前記受信部は、送信装置から送信される前記AVコンテンツのデータを前記受信装置に応じて変換する情報処理装置と、HDMI規格に準拠した方式で接続されることで、前記情報処理装置から変換後の前記AVコンテンツを受信し、
     前記検出部は、前記情報処理装置に対する前記第1のAVコンテンツから前記第2のAVコンテンツへのチャンネルの切り替えの操作に応じて、当該チャンネルの切り替えを検出する
     請求項2に記載の受信装置。
  10.  前記受信部は、複数の情報処理装置から入力される複数のAVコンテンツの中から所望のAVコンテンツを選択して出力する選択装置と、HDMI規格に準拠した方式で接続されることで、前記選択装置から出力される前記AVコンテンツを受信し、
     前記検出部は、前記選択装置による前記AVコンテンツの選択結果に応じて、視聴される前記AVコンテンツの切り替えを検出する
     請求項1に記載の受信装置。
  11.  前記識別結果取得部は、抽出した前記特徴量からACR(Automatic Content Recognition)技術を用いて識別される前記AVコンテンツの識別結果を取得する
     請求項1に記載の受信装置。
  12.  前記特徴量抽出部は、前記AVコンテンツのビデオ信号及びオーディオ信号のいずれか一方又は双方から前記特徴量を抽出する
     請求項1に記載の受信装置。
  13.  前記コマンドは、前記アプリケーションプログラムの取得若しくは登録、取得若しくは起動、イベント発火、中断、又は終了のうちのいずれかを示しており、
     前記制御部は、各コマンドに応じて、前記アプリケーションプログラムの取得若しくは登録、若しくは取得若しくは起動、又は実行中の前記アプリケーションプログラムのイベント発火、休止、若しくは終了を制御する
     請求項1に記載の受信装置。
  14.  受信装置の受信方法において
     前記受信装置が、
     AVコンテンツを受信し、
     受信した前記AVコンテンツのデータから特徴量を抽出し、
     抽出した前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得し、
     取得した前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得し、
     取得した前記コマンドに応じて、前記アプリケーションプログラムの動作を制御し、
     視聴される前記AVコンテンツの切り替えを検出し、
     前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる
     ステップを含む受信方法。
  15.  コンピュータに、
     AVコンテンツを受信し、
     受信した前記AVコンテンツのデータから特徴量を抽出し、
     抽出した前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得し、
     取得した前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得し、
     取得した前記コマンドに応じて、前記アプリケーションプログラムの動作を制御し、
     視聴される前記AVコンテンツの切り替えを検出し、
     前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させる
     ステップを含む処理を実行させるためのプログラム。
  16.  受信装置、第1の情報処理装置、第2の情報処理装置、及び第3の情報処理装置から構成される情報処理システムにおいて、
     前記受信装置は、
      AVコンテンツを受信する受信部と、
      受信した前記AVコンテンツのデータから特徴量を抽出する特徴量抽出部と、
      抽出した前記特徴量を前記第1の情報処理装置に送信して、前記第1の情報処理装置にて前記特徴量を用いて識別された前記AVコンテンツの識別結果を取得する識別結果取得部と、
      前記第1の情報処理装置から取得した前記識別結果を前記第2の情報処理装置に送信して、前記第2の情報処理装置から、前記識別結果に応じて、前記AVコンテンツに連動して実行されるアプリケーションプログラムの動作を制御するためのコマンドを取得するコマンド取得部と、
      前記第2の情報処理装置から取得した前記コマンドに応じて、前記第3の情報処理装置から取得した前記アプリケーションプログラムの動作を制御する制御部と、
      視聴される前記AVコンテンツの切り替えを検出する検出部と
     を備え、
     前記制御部は、前記AVコンテンツの切り替えが検出された場合、前記AVコンテンツに連動して実行されている前記アプリケーションプログラムを終了させ、
     前記第1の情報処理装置は、
      前記受信装置からの問い合わせに応じて、前記特徴量を用いて前記AVコンテンツを識別することで得られる前記識別結果を提供する第1の提供部を備え、
     前記第2の情報処理装置は、
      前記受信装置からの問い合わせに応じて、前記識別結果に応じた前記コマンドを提供する第2の提供部を備え、
     前記第3の情報処理装置は、
      前記受信装置からの問い合わせに応じて、前記コマンドに応じた前記アプリケーションプログラムを提供する第3の提供部を備える
     情報処理システム。
PCT/JP2012/072354 2011-09-22 2012-09-03 受信装置、受信方法、プログラム、及び情報処理システム WO2013042531A1 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
EP12833101.4A EP2760200A4 (en) 2011-09-22 2012-09-03 RECEIVING DEVICE, RECEIVING METHOD, PROGRAM, AND DATA PROCESSING SYSTEM
CA2845593A CA2845593C (en) 2011-09-22 2012-09-03 Reception device, reception method, program, and information processing system
CN201280044760.1A CN103814569B (zh) 2011-09-22 2012-09-03 接收装置、接收方法、接收设备和信息处理***
BR112014006092A BR112014006092A2 (pt) 2011-09-22 2012-09-03 dispositivo de recepção, método de recepção, programa, e, sistema de processamento de informação
KR1020147006557A KR102086870B1 (ko) 2011-09-22 2012-09-03 수신 장치, 수신 방법, 프로그램 및 정보 처리 시스템
AU2012310795A AU2012310795B2 (en) 2011-09-22 2012-09-03 Reception device, reception method, program, and information processing system
MX2014003104A MX336516B (es) 2011-09-22 2012-09-03 Dispositivo de recepcion, metodo de recepcion programa, y sistema de procesamiento de informacion.
US14/241,759 US9503778B2 (en) 2011-09-22 2012-09-03 Reception device, reception method, program, and information processing system
US15/290,814 US9967613B2 (en) 2011-09-22 2016-10-11 Reception device, reception method, program, and information processing system
US15/356,009 US10440423B2 (en) 2011-09-22 2016-11-18 Reception device, reception method, program, and information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-207842 2011-09-22
JP2011207842A JP5948773B2 (ja) 2011-09-22 2011-09-22 受信装置、受信方法、プログラム、及び情報処理システム

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US14/241,759 A-371-Of-International US9503778B2 (en) 2011-09-22 2012-09-03 Reception device, reception method, program, and information processing system
US15/290,814 Continuation US9967613B2 (en) 2011-09-22 2016-10-11 Reception device, reception method, program, and information processing system
US15/356,009 Continuation US10440423B2 (en) 2011-09-22 2016-11-18 Reception device, reception method, program, and information processing system

Publications (1)

Publication Number Publication Date
WO2013042531A1 true WO2013042531A1 (ja) 2013-03-28

Family

ID=47914308

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/072354 WO2013042531A1 (ja) 2011-09-22 2012-09-03 受信装置、受信方法、プログラム、及び情報処理システム

Country Status (10)

Country Link
US (3) US9503778B2 (ja)
EP (1) EP2760200A4 (ja)
JP (1) JP5948773B2 (ja)
KR (1) KR102086870B1 (ja)
CN (1) CN103814569B (ja)
AU (1) AU2012310795B2 (ja)
BR (1) BR112014006092A2 (ja)
CA (1) CA2845593C (ja)
MX (1) MX336516B (ja)
WO (1) WO2013042531A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105706457A (zh) * 2013-11-15 2016-06-22 三星电子株式会社 显示装置和设置通用遥控器的方法
EP3026922A4 (en) * 2013-07-26 2016-08-03 Panasonic Ip Man Co Ltd VIDEO RECEIVING DEVICE, ADDITIONAL INFORMATION DISPLAY PROCEDURE AND ADDITIONAL INFORMATION DISPLAY SYSTEM
EP3043570A4 (en) * 2013-09-04 2016-08-10 Panasonic Ip Man Co Ltd VIDEO RECEIVING DEVICE, VIDEO RECOGNITION METHOD, AND ADDITIONAL INFORMATION DISPLAY SYSTEM
US9762951B2 (en) 2013-07-30 2017-09-12 Panasonic Intellectual Property Management Co., Ltd. Video reception device, added-information display method, and added-information display system
US9774924B2 (en) 2014-03-26 2017-09-26 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method and additional information display system
US9900650B2 (en) 2013-09-04 2018-02-20 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
US10194216B2 (en) 2014-03-26 2019-01-29 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
US10200765B2 (en) 2014-08-21 2019-02-05 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method
US10298668B2 (en) 2014-03-24 2019-05-21 Square Enix Co., Ltd. Interactive system, terminal apparatus, server apparatus, control method, program, and recording medium
US10616613B2 (en) 2014-07-17 2020-04-07 Panasonic Intellectual Property Management Co., Ltd. Recognition data generation device, image recognition device, and recognition data generation method

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5372049B2 (ja) 2011-02-04 2013-12-18 株式会社東芝 メモリシステム
US9501399B2 (en) * 2011-02-04 2016-11-22 Kabushiki Kaisha Toshiba Memory system capable of controlling wireless communication function
KR102060449B1 (ko) * 2011-08-05 2019-12-30 소니 주식회사 수신 장치, 수신 방법, 프로그램 및 정보 처리 시스템
US9049496B2 (en) * 2011-09-01 2015-06-02 Gracenote, Inc. Media source identification
US9769503B2 (en) * 2012-11-14 2017-09-19 Saturn Licensing Llc Information processor, information processing method and program
US9146990B2 (en) * 2013-01-07 2015-09-29 Gracenote, Inc. Search and identification of video content
JP5838351B2 (ja) * 2013-03-26 2016-01-06 パナソニックIpマネジメント株式会社 映像受信装置及び受信映像の画像認識方法
JP2015167345A (ja) * 2014-02-14 2015-09-24 ミハル通信株式会社 Catv監視装置およびcatv監視方法
CN104023251B (zh) * 2014-06-13 2015-08-19 腾讯科技(深圳)有限公司 基于视频的互动方法和***
KR20160085076A (ko) * 2015-01-07 2016-07-15 삼성전자주식회사 콘텐츠를 제공하는 방송 서버를 판단하는 방법 및 이를 제공하는 전자 장치
US10750236B2 (en) * 2015-04-23 2020-08-18 The Nielsen Company (Us), Llc Automatic content recognition with local matching
US9516377B1 (en) * 2015-06-12 2016-12-06 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching
US9918141B2 (en) * 2015-08-05 2018-03-13 Surewaves Mediatech Private Limited System and method for monitoring and detecting television ads in real-time using content databases (ADEX reporter)
US9699504B2 (en) * 2015-09-28 2017-07-04 Rovi Guides, Inc. Systems and methods for identifying a source of media content based on a log of content identifiers
US9854304B2 (en) 2015-09-28 2017-12-26 Rovi Guides, Inc. Systems and methods for identifying a source of media content based on a log of fingerprints
KR20170052364A (ko) * 2015-11-04 2017-05-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
EP3391651B1 (en) * 2015-12-16 2022-08-10 Roku, Inc. Dynamic video overlays
KR102560635B1 (ko) * 2015-12-28 2023-07-28 삼성전자주식회사 컨텐트 인식 장치 및 그 동작 방법
KR102246597B1 (ko) * 2016-01-05 2021-05-03 그레이스노트, 인코포레이티드 컨텐츠 특성 기반 트리거 피처를 갖는 컴퓨팅 시스템
US10063918B2 (en) 2016-02-29 2018-08-28 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on single-match
US9930406B2 (en) 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US9924222B2 (en) 2016-02-29 2018-03-20 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on location
KR102504174B1 (ko) 2018-05-11 2023-02-27 삼성전자주식회사 전자 장치 및 그의 제어방법
KR102546026B1 (ko) 2018-05-21 2023-06-22 삼성전자주식회사 전자 장치 및 그의 컨텐츠 인식 정보 획득
KR102599951B1 (ko) * 2018-06-25 2023-11-09 삼성전자주식회사 전자 장치 및 그의 제어방법
JP7313972B2 (ja) * 2018-08-22 2023-07-25 日本放送協会 受信機および端末装置
KR20200080387A (ko) 2018-12-18 2020-07-07 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
AU2019457816A1 (en) * 2019-07-19 2022-03-03 Ibiquity Digital Corporation Targeted fingerprinting of radio broadcast audio
WO2023176997A1 (ko) * 2022-03-17 2023-09-21 엘지전자 주식회사 디스플레이 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005510145A (ja) * 2001-11-16 2005-04-14 タレス コマンド付きの放送番組信号、関連コマンド書込み及び読取りシステム、制作及び放送チャネル
JP2006245653A (ja) 2005-02-28 2006-09-14 Hitachi Kokusai Electric Inc デジタル放送受信機
WO2007043483A1 (ja) * 2005-10-07 2007-04-19 Sharp Kabushiki Kaisha 受信装置、サーバ、テレビ受像機、モバイル端末機器、システム、受信方法、情報処理プログラム、および記録媒体
JP2010182323A (ja) * 2000-02-19 2010-08-19 Digimarc Corp 透かしエンコーダ及びデコーダイネーブルソフトウェア及び装置
JP2011155317A (ja) * 2010-01-25 2011-08-11 Canon Inc デジタル放送受信装置、及びその制御方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7372976B2 (en) 1998-04-16 2008-05-13 Digimarc Corporation Content indexing and searching using content identifiers and associated metadata
US8645838B2 (en) 1998-10-01 2014-02-04 Digimarc Corporation Method for enhancing content using persistent content identification
US8332478B2 (en) 1998-10-01 2012-12-11 Digimarc Corporation Context sensitive connected content
US20020032734A1 (en) 2000-07-26 2002-03-14 Rhoads Geoffrey B. Collateral data combined with user characteristics to select web site
US20020062382A1 (en) 1999-05-19 2002-05-23 Rhoads Geoffrey B. Collateral data combined with other data to select web site
US7298864B2 (en) 2000-02-19 2007-11-20 Digimarc Corporation Digital watermarks as a gateway and control mechanism
US8091025B2 (en) 2000-03-24 2012-01-03 Digimarc Corporation Systems and methods for processing content objects
US20030187798A1 (en) 2001-04-16 2003-10-02 Mckinley Tyler J. Digital watermarking methods, programs and apparatus
JP4370560B2 (ja) * 2003-07-31 2009-11-25 日本電気株式会社 視聴調査システム、方法、視聴調査用プログラム、視聴調査端末およびサーバー
WO2006126852A1 (en) 2005-05-26 2006-11-30 Electronics And Telecommunications Research Institute Method and apparatus for synchronizing data service with video service in digital multimedia broadcasting
CN101218819A (zh) * 2005-05-26 2008-07-09 韩国电子通信研究院 数字多媒体广播中同步数据服务和视频服务的方法和装置
US8930984B2 (en) * 2006-07-04 2015-01-06 Koninklijke Philips N.V. Method of content substitution
US20080256115A1 (en) * 2007-04-11 2008-10-16 Oleg Beletski Systems, apparatuses and methods for identifying transitions of content
JP2009212743A (ja) 2008-03-04 2009-09-17 Sony Corp 電子機器、送信方法及びプログラム
JP4683067B2 (ja) * 2008-04-17 2011-05-11 ソニー株式会社 音声処理装置、音声処理方法およびプログラム
US9390167B2 (en) * 2010-07-29 2016-07-12 Soundhound, Inc. System and methods for continuous audio matching
JP5152056B2 (ja) * 2009-03-19 2013-02-27 富士通モバイルコミュニケーションズ株式会社 無線送信装置、無線受信装置および無線通信方法
DE102009016853A1 (de) * 2009-04-08 2010-10-14 Bayer Materialscience Ag Verfahren zur Herstellung von Diaryl- oder Alkylarylcarbonaten aus Dialkylcarbonaten
US20110063503A1 (en) * 2009-07-06 2011-03-17 Brand Steven M Synchronizing secondary content to a multimedia presentation
US8695053B2 (en) * 2009-09-10 2014-04-08 Jeffrey Huang Apparatus and method for multimedia data reception, processing, routing, storage, and access using a web / cloud-computing synchronization of personal multimedia data
US20110154200A1 (en) * 2009-12-23 2011-06-23 Apple Inc. Enhancing Media Content with Content-Aware Resources
JP5668512B2 (ja) * 2011-02-15 2015-02-12 ソニー株式会社 情報処理装置、及び、情報処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010182323A (ja) * 2000-02-19 2010-08-19 Digimarc Corp 透かしエンコーダ及びデコーダイネーブルソフトウェア及び装置
JP2005510145A (ja) * 2001-11-16 2005-04-14 タレス コマンド付きの放送番組信号、関連コマンド書込み及び読取りシステム、制作及び放送チャネル
JP2006245653A (ja) 2005-02-28 2006-09-14 Hitachi Kokusai Electric Inc デジタル放送受信機
WO2007043483A1 (ja) * 2005-10-07 2007-04-19 Sharp Kabushiki Kaisha 受信装置、サーバ、テレビ受像機、モバイル端末機器、システム、受信方法、情報処理プログラム、および記録媒体
JP2011155317A (ja) * 2010-01-25 2011-08-11 Canon Inc デジタル放送受信装置、及びその制御方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3026922A4 (en) * 2013-07-26 2016-08-03 Panasonic Ip Man Co Ltd VIDEO RECEIVING DEVICE, ADDITIONAL INFORMATION DISPLAY PROCEDURE AND ADDITIONAL INFORMATION DISPLAY SYSTEM
US9955103B2 (en) 2013-07-26 2018-04-24 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, appended information display method, and appended information display system
US9762951B2 (en) 2013-07-30 2017-09-12 Panasonic Intellectual Property Management Co., Ltd. Video reception device, added-information display method, and added-information display system
EP3043570A4 (en) * 2013-09-04 2016-08-10 Panasonic Ip Man Co Ltd VIDEO RECEIVING DEVICE, VIDEO RECOGNITION METHOD, AND ADDITIONAL INFORMATION DISPLAY SYSTEM
US9900650B2 (en) 2013-09-04 2018-02-20 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
US9906843B2 (en) 2013-09-04 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and display system for providing additional information to be superimposed on displayed image
CN105706457A (zh) * 2013-11-15 2016-06-22 三星电子株式会社 显示装置和设置通用遥控器的方法
US10298668B2 (en) 2014-03-24 2019-05-21 Square Enix Co., Ltd. Interactive system, terminal apparatus, server apparatus, control method, program, and recording medium
US11516284B2 (en) 2014-03-24 2022-11-29 Square Enix Co., Ltd. Interactive system, terminal apparatus, server apparatus, control method, program, and recording medium
US10735502B2 (en) 2014-03-24 2020-08-04 Square Enix Co., Ltd. Interactive system, terminal apparatus, server apparatus, control method, program, and recording medium
US9906844B2 (en) 2014-03-26 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method and additional information display system
US10194216B2 (en) 2014-03-26 2019-01-29 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
US9774924B2 (en) 2014-03-26 2017-09-26 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method and additional information display system
US10616613B2 (en) 2014-07-17 2020-04-07 Panasonic Intellectual Property Management Co., Ltd. Recognition data generation device, image recognition device, and recognition data generation method
US10200765B2 (en) 2014-08-21 2019-02-05 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method

Also Published As

Publication number Publication date
AU2012310795A1 (en) 2014-03-20
EP2760200A4 (en) 2015-03-18
US9503778B2 (en) 2016-11-22
AU2012310795B2 (en) 2017-06-08
US20170034573A1 (en) 2017-02-02
BR112014006092A2 (pt) 2017-04-04
US20140230002A1 (en) 2014-08-14
US20170070771A1 (en) 2017-03-09
CA2845593A1 (en) 2013-03-28
US9967613B2 (en) 2018-05-08
CN103814569B (zh) 2017-09-12
US10440423B2 (en) 2019-10-08
JP2013070268A (ja) 2013-04-18
EP2760200A1 (en) 2014-07-30
KR20140063686A (ko) 2014-05-27
JP5948773B2 (ja) 2016-07-06
MX336516B (es) 2016-01-22
KR102086870B1 (ko) 2020-03-09
CA2845593C (en) 2020-01-28
MX2014003104A (es) 2014-04-25
CN103814569A (zh) 2014-05-21

Similar Documents

Publication Publication Date Title
JP5948773B2 (ja) 受信装置、受信方法、プログラム、及び情報処理システム
US11019406B2 (en) Receiving device, receiving method, program, and information processing system
KR102001573B1 (ko) 수신 장치, 수신 방법, 프로그램 및 정보 처리 시스템
KR102017145B1 (ko) 수신 장치, 수신 방법, 프로그램 및 정보 처리 시스템
JP6250402B2 (ja) 受信装置、受信方法、プログラム、及び情報処理システム
KR102019618B1 (ko) 수신 장치, 수신 방법 및 프로그램
JP2016001908A (ja) 受信方法、受信装置、供給方法、および供給装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12833101

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012833101

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2845593

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 14241759

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20147006557

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2014/003104

Country of ref document: MX

ENP Entry into the national phase

Ref document number: 2012310795

Country of ref document: AU

Date of ref document: 20120903

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014006092

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014006092

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140314