JP2014002616A - Video retrieval system - Google Patents
Video retrieval system Download PDFInfo
- Publication number
- JP2014002616A JP2014002616A JP2012138188A JP2012138188A JP2014002616A JP 2014002616 A JP2014002616 A JP 2014002616A JP 2012138188 A JP2012138188 A JP 2012138188A JP 2012138188 A JP2012138188 A JP 2012138188A JP 2014002616 A JP2014002616 A JP 2014002616A
- Authority
- JP
- Japan
- Prior art keywords
- video
- server
- image
- tag list
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明の実施形態は、映像検索システムに関する。 Embodiments described herein relate generally to a video search system.
例えば目的として、大量の録画コンテンツの中から所望の番組コーナーやシーン、人物を検索し、見たい場面のみを視聴可能にするための映像検索システムがある。 For example, there is a video search system for searching a desired program corner, scene, or person from a large amount of recorded contents so that only a desired scene can be viewed.
従来より録画機器の大容量化に伴なって、大量の録画コンテンツの中から見たい場面に簡単にアクセスする機能が必要となっている。録画した番組をテレビで再生中にスマートフォンやタブレット端末を用いて、ユーザが手動でタグリスト（時刻情報の付いたユーザコメントのリスト）を作成し、クラウドサーバを通じてサービス利用者間でタグリストを共有する、タグリストシェアシステムがある。タグリストシェアは上記のニーズにある程度応えることができる。
しかしながら課題として、タグリストは基本的にユーザが手動で作成する必要があるため、例えば、名前を知らない、あるいは思い出せないタレントが登場する場面でタグリストを作成しにくいという問題がある。画像認識技術を駆使することにより、この問題を解決することへの要望がある。
With the increase in capacity of recording devices, a function for easily accessing scenes to be viewed from a large amount of recorded contents is required. While playing a recorded program on a TV, the user manually creates a tag list (list of user comments with time information) using a smartphone or tablet terminal, and shares the tag list among service users via a cloud server There is a tag list sharing system. Tag list sharing can meet the above needs to some extent.
However, as a problem, since the tag list basically needs to be manually created by the user, for example, there is a problem that it is difficult to create a tag list in a scene where a talent who does not know the name or can not remember appears. There is a desire to solve this problem by making full use of image recognition technology.
本発明の実施の形態は、画像認識によりユーザにとってより利便性をもってタグリストを作成することができる技術を提供することを目的とする。 An object of the embodiment of the present invention is to provide a technique capable of creating a tag list more conveniently for a user by image recognition.
上記課題を解決するために、実施形態によれば映像検索システムは、放送される映像を受信して蓄積する映像蓄積手段と、蓄積された前記映像をユーザに提示するモニタと、蓄積された前記映像中の任意の番組の任意の場面に対して付加されたタグリストを管理する管理サーバと、前記モニタの画像を撮影すると共に番組情報を受信し、撮影したこの画像の情報と検索要求を送信するモバイル端末と、前記画像と前記検索要求を受信して検索処理を実行し、この検索処理の結果を前記モバイル端末に送信する画像認識サーバとを備え、前記管理サーバは前記結果に基づいて生成したタグリストを受信して管理する。 In order to solve the above problem, according to the embodiment, a video search system includes a video storage unit that receives and stores broadcast video, a monitor that presents the stored video to a user, and the stored video A management server that manages a tag list added to an arbitrary scene of an arbitrary program in a video, and captures an image of the monitor, receives program information, and transmits information on the captured image and a search request. A mobile terminal, and an image recognition server that receives the image and the search request, executes a search process, and transmits a result of the search process to the mobile terminal, and the management server generates based on the result Receive and manage the tag list.
以下、実施形態を図１乃至図８を参照して説明する。まず図１は、本構成のブロック図である。 Hereinafter, embodiments will be described with reference to FIGS. 1 to 8. First, FIG. 1 is a block diagram of this configuration.
録画再生装置（レコーダ装置）１は概要として、アンテナを介して取得可能な番組を選局して受信するチューナ部３、チューナ部３が受信した番組からユーザの指示する操作及び制御入力に対応する制御を実行する制御ＣＰＵ部（主制御ブロック）５、チューナ部３が受信した番組を外部装置である映像表示装置（モニタ装置）１０１が表示可能に処理し、ユーザの要求に従い、後述する記録ユニットに記録（録画）する録画信号処理部７を含む。
The recording / playback apparatus (recorder apparatus) 1 generally corresponds to a
制御ＣＰＵ部５は、ＧＵＩ処理部５１、録画／再生モード処理部５２、録画制御処理部５３、録画時自動チャプター生成部５４、タグ編集処理部５５、タイトル／チャプター／タグ再生処理部５６、ＥＰＧ情報取得部５７及びタグリスト編集処理部５８等の要素を、少なくとも含む。また、制御ＣＰＵ部５には、後段に説明するが、さまざまな情報を記憶するメモリ部９、外部ネットワーク網を通じ、さまざまな情報を取得し、あるいは共有するためのデータの受け渡しが可能なネットワーク制御部１１、及びリモート端末（リモコン）１３を用いたユーザ操作及び、ユーザによる直接操作を受けつけるユーザ操作入力部１５が接続される。
The
ネットワーク制御部１１は、ネットワーク（インターネット／クラウドコンピューティング）上のデータ管理サーバ２０１との接続により、上述の『タグ』及びそのリストである『タグリスト』を共有できる。従って、後段に説明するが、他のユーザが用意した『タグ』及び『タグリスト』を参照し、その『タグリスト』に従う番組（コンテンツ）の再生が可能である。
The
タグリストの管理を行なうタグリストアプリは、外部の電子機器、例えばユーザ端末１２で動作するアプリケーション、または、録画機（録画再生装置）１内で動作する。タグリストアプリから、タイトル／チャプター／タグ再生処理部５６に対して、チャプター編集コマンドを送ることができる。ユーザ端末１２から送る場合は、ネットワーク制御部１１を経由して行なう。
The tag list application for managing the tag list operates in an external electronic device, for example, an application that operates on the
図１は、実施形態を適用する録画再生装置の構成の一例でありなお、以下に詳細に説明するその他各要素／構成は、ハードウェアで実現するものであってもよいし、マイクロコンピュータ（処理装置，ＣＰＵ）等を用いてソフトウエアで実現するものであってもよい。 FIG. 1 is an example of a configuration of a recording / playback apparatus to which the embodiment is applied. The other elements / configurations described in detail below may be realized by hardware, or may be a microcomputer (processing It may be realized by software using a device, CPU) or the like.
なお、映像表示装置１０１は、映像を再生するモニタ装置と音声（オーディオ）を再生するスピーカ装置とが一体に設けられたものであってもよいし、それぞれが独立して用意されているものであってもよい。また、モニタ装置とＡＶ（Audio Visual）アンプ装置等の組み合わせであってもよいことはいうまでもない。
Note that the
チューナ部３は、地上アナログ／地上デジタル等に代表される公衆向け放送や放送衛星を介して供給される公衆向け衛星放送波の任意のチャンネルの番組（タイトル）を受信可能で、例えばＴＳ（Transport stream，以降“ＴＳ”と呼称する）形式であるデジタル放送を受信できる。なお、チューナ部３は、詳述しないが、例えば光ケーブル等の通信網を介してプロバイダあるいは配信局（地域ネットワーク基地局）等から供給される限定的なコンテンツも受信可能である。
The
制御ＣＰＵ部５にはまた、タイマーコントローラ（時計部）９０が接続する。時計部（タイマーコントローラ）９０は、時刻や、ユーザからの入力により設定される予約録画のための予約時刻（日時）と録画対象チャンネル等の情報を管理するとともに、その情報を保持可能である。なお、時計部９０は、チューナ部３が含む地上デジタルチューナ部が受信するデジタル放送から、ＴＯＴ（Time Offset Table）と呼ばれる「時刻情報」を、常時取得できる。すなわち、時計部９０は、実質的に電波時計を内蔵している機器と同等の時刻管理が可能である。なお、時計部９０は、スケジューラ機能およびメッセンジャ機能により規定される所定の時刻において、電源部９１による、商用電源に対する電源のオン／オフ（通電）を制御できることはいうまでもない。すなわち、コンセントが抜かれている等の物理的に通電が困難な状況下以外においては、電力消費の比較的大きな要素を除く制御ＣＰＵ部５等への２次電源（ＤＣ（直流）３１Ｖあるいは２４Ｖもしくは５Ｖ等）は、通常確保されており、予め規定された時刻に、録画信号処理部７あるいは後段に説明するＨＤＤ１７等を起動されることは、いうまでもない。
A timer controller (clock unit) 90 is also connected to the
ＧＵＩ処理部５１は、ユーザによる操作信号あるいは制御入力の入力に用いる、ＧＵＩ（Graphical User Interface）あるいはアイコン等を、モニタ装置１０１に表示するための表示出力を生成する。この出力は、後段に説明するが、録画信号処理部７が出力する映像信号に、所定の透過率で重ね合わせられる。
The
録画／再生モード処理部５２は、録画時には、ユーザが設定した録画（記録）モードで記録媒体への記録が可能に、録画信号処理部７による記録処理時に適用する記録（録画）モードを設定し、再生時には、記録時に設定された記録モードに対応する再生モードを設定する。
The recording / playback
録画制御処理部５３は、録画／再生モード処理部５２において設定された録画（記録）モードに対応する記録レート（映像）、記録すべき音声種別（二ヶ国語／日本語のみ／二ヶ国語のみ等）、音声種別がＨＢＲ（High Bit Rate）オーディオ等のレートを変更可能である場合の記録レート（オーディオ）、あるいはチャプター（任意区切り）の有無、等の録画時に処理すべき情報に基づく処理を設定する。なお、チャプターは録画番組内の区切りとして利用され、再生中のチャプター間スキップ、あるいは録画された番組を編集する際の目印として使われる。
The recording
録画時自動チャプター生成部５４は、録画制御処理部５３により、チャプターをつけることが設定されていない場合であっても、例えばＣＭ（コマーシャル）の前後、あるいは特別なシーンの前後において、チャプターを付与する。なお、毎週決まった時間に繰り返し録画が設定されている番組がある場合、その番組に設定されたチャプターの位置情報に従い、自動的にチャプターを付与することも可能である。また、後段に説明するが、ネットワーク制御部によるネットワークへの接続、及びサーバへのアクセスの結果、録画した番組と同一の番組に用意されたチャプターの位置情報がある場合、それを取得してチャプターを付与することもできる。
Even when the recording
タグ編集処理部５５は、録画制御処理部５３がチャプターを付与する設定に設定されていない場合であっても、例えばＣＭの前後、あるいは特別なシーンの前後に、任意にチャプターを付与することを可能に、チャプターが付与されるであろう、仮想したチャプター位置に対する位置情報を保持する。
Even if the recording
タイトル／チャプター／タグ再生処理部５６は、録画制御処理部５３、及び録画時自動チャプター生成部５４により設定されたチャプターに従い、例えば再生中のチャプター間スキップ、あるいは録画された番組の編集時の映像の取り込み開始、を設定する。なお、チャプターには、予め「名称または識別のための表示（タイトル）」を付属することができ、「タイトル」が付属したチャプターを再生する場合は、表示出力映像中の所定の位置に、「タイトル」を表示できる。
The title / chapter / tag
ＥＰＧ情報取得部５７は、受信した番組から録画制御処理部５３（または制御ＣＰＵ部５のファームウエア等）により分離したＥＰＧ（Electric Program Guide，電子番組表）により供給される番組情報、例えば＜出演者名＞、＜解説＞、＜コメント＞等を取得し、メモリ部９が含む所定の格納部に書き込む。
The EPG
タグリスト編集処理部５８は、チャプターと独立に設定可能で、開始位置（始点）と終了位置（終点）とにより規定される区間である『タグ』と、その規定された区間（『タグ』）の特徴を示す「説明」／［コメント］等が付属する映像の『タグ』を管理する。なお、『タグ』は、＜目印をつけて整理する＞という意味の『タギング（Taging）』と類似である。
The tag list
録画信号処理部７は、詳述しないが、ビデオエンコーダ、ビデオデコーダ、オーディオエンコーダ、及びオーディオデコーダ等、を少なくとも含む。なお、各エンコーダは、入力されたアナログ信号（ビデオ（映像）／オーディオ（音声））を、デジタル信号に変換（エンコード）するもので、例えばＭＰＥＧ（Moving Picture Experts Group）−２あるいはＭＰＥＧ−４（Ｈ．２６４−ＡＶＣ）等に準拠した信号圧縮が広く用いられている。また、各デコーダは、ＭＰＥＧ−２あるいはＭＰＥＧ−４（Ｈ．２６４−ＡＶＣ）等に圧縮されたデジタル信号を、デコードすることはいうまでもない。 Although not described in detail, the recording signal processing unit 7 includes at least a video encoder, a video decoder, an audio encoder, an audio decoder, and the like. Each encoder converts (encodes) an input analog signal (video (video) / audio (sound)) into a digital signal. For example, MPEG (Moving Picture Experts Group) -2 or MPEG-4 ( H.264-AVC) is widely used. It goes without saying that each decoder decodes a digital signal compressed to MPEG-2 or MPEG-4 (H.264-AVC) or the like.
録画信号処理部７には、ＨＤＤ（Hard Disk Drive，大容量記憶装置）１７、例えばＤＶＤ規格、あるいはＤＶＤ規格に比較してより記録密度が高められた光ディスク（着脱可能な記録媒体）を用い、光ディスクが保持した情報を再生し、あるいはチューナ部３が受信した番組（コンテンツ）すなわち映像データおよびオーディオデータを、光ディスクに記録可能なディスクドライブ装置１９、例えばＳＳＤ（Solid State Drive，半導体メモリ装置）であるメモリカードから映像データおよびオーディオデータを読み出し、もしくは同データをメモリカードに書き込むリーダ／ライタ２１が接続する。なお、記録媒体として、例えば図示しないＵＳＢポートを経由して録画信号処理部７と接続する記憶装置（ＵＳＢ（Universal Serial Bus）を通じて接続するＨＤＤ、ネットワーク制御部１１と接続する記憶装置、例えばＬＡＮ−Ｄｉｓｋ（ＬＡＮ（Local Area Network）を通じて接続するＨＤＤ等も、広く用いることができる。また、ネットワークを経由した接続／ＵＳＢを用いた接続に加え、例えばＤＬＮＡ（Digital Living Network Alliance（登録商標）
）規格等に準拠したネットワークコントローラや、図示しないBluetooth（登録商標）／（ブルートゥース（登録商標）と表記することもある）が用意され、それらを経由して、データの受け渡しが可能なレコーダ装置やＨＤＤ装置、もしくは携帯可能な端末装置が接続されてもよいことはいうまでもない。なお、ＵＳＢ接続により、キーボードが用意され
ることで、以下に説明する［コメント］等の文字入力も、容易である。
For the recording signal processing unit 7, an HDD (Hard Disk Drive, large capacity storage device) 17, for example, the DVD standard or an optical disk (detachable recording medium) having a higher recording density than the DVD standard is used. Information stored on the optical disk is reproduced or a program (content) received by the
) A network controller compliant with the standard, etc., a Bluetooth (registered trademark) / (notably shown as Bluetooth (registered trademark)) not shown, and a recorder device capable of passing data via them Needless to say, an HDD device or a portable terminal device may be connected. In addition, since a keyboard is prepared by USB connection, it is easy to input characters such as [comment] described below.
メモリ部９は、例えばＳＤＲＡＭ（Synchronous DRAM，DRAM = Dynamic Random Access Memory）等に代表され、ワークメモリとして用いる書き換え可能型のメモリ、制御ＣＰＵ部５（及び録画再生装置１の任意の要素）を動作させるためのプログラムを保持したＲＯＭ、あるいは詳述しないが、録画予約制御部において予約された予約日時、録画／ダビング種別、長さ（開始時間／終了時間）、チャンネル（ｃｈ）、レート等の情報を保持する不揮発性メモリ（ＮＶＭ）等を含む。メモリ部９はまた、上述した『タグ』及びそのリストである『タグリスト』を含む『タグ情報』を保持する所定の大きさの記憶領域を、有する。なお、メモリ部９は、番組（コンテンツ）の再生に必要となるアプリケーション（プログラム／プロトコル）等も保持（記憶）する。また、新たなアプリケーション（プログラム／プロトコル）が供給された場合、例えばプラグイン機能により、それを収容可能である。
The
ユーザ操作入力部１５は、詳述しないが、録画再生装置１本体に設けられる操作ボタン群により直接指示される（ユーザからの）操作入力を受け付ける。例えば、録画再生装置１に通常設けられている再生（ＰＬＡＹ）ボタンによる再生指示、録画（ＲＥＣ）ボタンによる録画指示、主電源のオン／オフ等、を指示する。また、ユーザ操作入力部１５は、リモコン１３によるユーザの指示、例えばチューナ部３を通じて受信（取得）すべき放送波／入力の選択、録画信号処理部７による録画処理、及び後段に説明する種々の記録媒体が保持する番組の再生、削除ダビング（またはムーブ）等のユーザ操作を受け付け、制御ＣＰＵ部５に、対応するコマンドを入力する。
Although not described in detail, the user
ネットワーク制御部１１は、ネットワーク（インターネット／クラウドコンピューティング）上のデータ管理サーバ２０１との接続により、上述の『タグ』及びそのリストである『タグリスト』を共有できる。従って、後段に説明するが、他のユーザが用意した『タグ』及び『タグリスト』を参照し、その『タグリスト』に従う番組（コンテンツ）の再生が可能である。
The
ネットワーク制御部１１はまた、ネットワーク上に公開されている「ｉカレンダ（i Calendar Store server）」に、『タグ』もしくは『タグリスト』を書き込む（アップデートする）とともに、予め予定（登録）されたユーザ端末との間で、例えばＥ−メールによる『タグリスト』の閲覧あるいは取得が可能である。なお、「ｉカレンダ（i Calendar）」は、ＰＩＭ（Personal Information Manager）データ標準に準拠したスケジュール管理アプリケーションであり、今日では、ＰＤＡ（Personal Digital assistant）やスマートフォン等に代表される携帯端末や携帯電話装置に、標準的に実装されている（あるいは携帯端末や携帯電話装置がサポートしている）。従って、同アプリケーションをサポートした（実装されている）任意の端末装置を用いる他のユーザが書き込んだ『タグ』もしくは『タグリスト』が存在することを確認できた場合、その『タグリスト』を取得して、番組（コンテンツ）の再生に反映することが可能である。
The
また、上述の『タグ』及びそのリストである『タグリスト』の共有は、図示しないが、家庭内あるいは企業（オフィス）内のグループを単位とするホームサーバで用いられてもよいことはいうまでもない。なお、ホームサーバとしては、例えばユーザが保有するＰＣ（Personal Computer）であってもよい。 In addition, although the above-described “tag” and the “tag list” that is a list thereof are not shown, it may be used in a home server in units of a group in a home or a company (office). Nor. The home server may be a PC (Personal Computer) owned by the user, for example.
データ管理サーバ２０１は、上述した『タグ』あるいは『タグリスト』を管理するタグリスト管理部２１１、『タグ』及び『タグリスト』を収容するデータベース部２２１、予め予定（登録）されたユーザ端末との間で、例えばＥ−メールの送受信を可能とする通知送受信部２３１、を少なくとも含む。また、データ管理サーバ２０１は、例えば地上デジ
タル放送を提供する個々の放送事業者が提供するＥＰＧ（電子番組表）や上述の番組録画装置を提供する製造メーカが独自に用意したサーバ、及び視聴が無料ではあるが視聴契約を必要とする番組を提供する番組提供事業者が提供する番組一覧（コンテンツテーブル）等を含む。
The
ところで一方図７は、後述のネットワークを中継するサーバ１０のハードウェアなどのシステム構成の一例を示すものである。
Meanwhile, FIG. 7 shows an example of a system configuration such as hardware of a
図７に示すように、このサーバ１０は、ＣＰＵ７１、ノースブリッジ７２、主メモリ７３、サウスブリッジ７４、ＢＩＯＳ−ＲＯＭ７５、磁気ディスク駆動装置（ＨＤＤ）７６、光磁気ディスク駆動装置（ＯＤＤ）７７、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）７８、ネットワークコントローラ７９等を備えている。
As shown in FIG. 7, the
ＣＰＵ７１は、本サーバ１０の動作を制御するメインプロセッサである。このＣＰＵ７１は、ＨＤＤ７６から主メモリ７３にロードされる、オペレーティングシステム、各種アプリケーションプログラムおよびユーティリティプログラムを実行する。
The
ノースブリッジ７２は、ＣＰＵ７１のローカルバスとサウスブリッジ７４との間を接続するブリッジデバイスである。また、ノースブリッジ７２には、ＣＲＴディスプレイ２を制御する表示コントローラおよび主メモリ７３を制御するメモリコントローラも内蔵されている。
The
サウスブリッジ７４は、例えばＰＣＩ（peripheral component interconnect）バスやＬＰＣ（low pin count）バスに接続された各種Ｉ／Ｏデバイスを制御するためのＩ／Ｏコントローラとして機能する。また、このサウスブリッジ７４には、ＨＤＤ７６およびＯＤＤ７７を制御するＩＤＥ（Integrated Drive Electronics）も内蔵されている。ＢＩＯＳ−ＲＯＭ７５も、このサウスブリッジ７４によってアクセスが制御される。ＢＩＯＳ−ＲＯＭ７５は、システムＢＩＯＳを電気的に書き換え可能に格納するフラッシュＲＯＭである。
The
ＥＣ／ＫＢＣ７８は、電源管理のためのエンベデッドコントローラと、キーボード（ＫＢ）８３およびマウス８４などを制御するキーボードコントローラとが集積された１チップマイクロコンピュータである。ネットワークコントローラ７９は、ＬＡＮを介した他のコンピュータとのデータ通信を制御する。
The EC /
さて以上のようなハードウェア構成例を基にして、図２のようなシステムを組むことができる。即ち図２は、一実施形態を示す機能ブロック構成図である。前提としてモバイル端末であるユーザ端末１２は、サーバとのネットワーク接続可能な、カメラ搭載の端末である。
Now, based on the above hardware configuration example, a system as shown in FIG. 2 can be assembled. That is, FIG. 2 is a functional block configuration diagram showing an embodiment. As a premise, the
このモバイル端末は、ネットワークを介してプロバイダなどのサーバ１０と接続されている。またこのサーバ１０は、ネットワークを介してTVメーカサーバ２５（データ管理サーバ２０１）、代表として２つのCSP(Cache’ Server Pages、後述)サーバ２６と２７に接続されている。また、ＴVメーカサーバ２５、CSPサーバ２６と２７は夫々の情報（回答情報）を含むDBであるDB５D,6D,7Dを接続している。なおAないしDの構成要素については後述する。
This mobile terminal is connected to a
サーバ１０は、各CSPサーバ（２６，２７など）や、メーカサーバ２５に問い合わせ、DB＊D（＊＝５，６，７）から必要な情報を取得する。この情報は、ユーザの想定質問に対する回答情報の予備群をなす。そして絞り込んだ情報をサーバ１０はモバイル端末へ送る。要は図１、図７のようなハードウェア構成例を基にして、図２のようなシステムを組むことができる。
The
ここで図２の構成で用いているCSPについて構成・動作を補足する。 Here, the configuration and operation of the CSP used in the configuration of FIG. 2 will be supplemented.
CSP は、受信した HTTP (Hypertext Transport Protocol) 要求に応答して、動的なコンテンツを提供する。以下では、CSP で HTTP がどのように処理されるかという点について基本的な内容を説明する。 The CSP provides dynamic content in response to incoming HTTP (Hypertext Transport Protocol) requests. In the following, we will explain the basic content of how HTTP is handled by CSP.
HTTP は、クライアントがサーバへ要求を送る単純なプロトコルである。HTTP はステートレス方式のプロトコルで、クライアントとサーバ間は、要求のやりとりに必要な間のみ接続される。すべての HTTP 要求には、要求のタイプ (GET や POST など)、URL、およびバージョン・ナンバーを指定する 要求ヘッダ が含まれている。また、付加情報が含まれることもある。CSP はどの HTTP 要求を処理すべきかを自動的に決定し、それを Cache’ サーバ内の適切なクラスへ配信し、要求の情報を使用しやすいオブジェクトにまとめる (%CSP.Request オブジェクトなど)。
図２に関するCSP 実行時環境として、以下のCSP と HTTP 要求のアーキテクチャが表わされる。
HTTP is a simple protocol in which a client sends a request to a server. HTTP is a stateless protocol, and the client and server are connected only when necessary to exchange requests. Every HTTP request includes a request header that specifies the type of request (such as GET or POST), URL, and version number. Additional information may also be included. The CSP automatically determines which HTTP request should be handled, distributes it to the appropriate class in the Cache 'server, and organizes the request information into a usable object (such as the% CSP.Request object).
The following CSP and HTTP request architecture is represented as the CSP runtime environment for FIG.
A.HTTP クライアント (Web ブラウザなど)
B.HTTP サーバ (Apache ((R)、以下省略) や IIS ((R)、以下省略) などの Web サーバ)
C.CSP ゲートウェイ (Web サーバへの Cache’ アド・オン)
D.Cache’ サーバ (要求された CSP アプリケーションを CSP サーバで実行する場所となるサーバ)
このうちCSP ゲートウェイは、Webサーバと同一ハードウェア内に置くものとされている。
A. HTTP client (Web browser etc.)
B. HTTP servers (Web servers such as Apache ((R), omitted) and IIS ((R), omitted))
C.CSP gateway (Cache 'add-on to web server)
D.Cache 'server (the server where the requested CSP application runs on the CSP server)
Of these, the CSP Gateway is supposed to be placed in the same hardware as the Web server.
次に図８は、CSP が HTTP 要求を処理するときの、イベントの以下のようなフローを表している。 Next, FIG. 8 shows the following flow of events when the CSP processes an HTTP request.
１．ブラウザ (または同様の Web クライアント) が、HTTP 要求を生成する。 1. A browser (or similar web client) generates an HTTP request.
２．Web サーバは、これが CSP 要求であると判断し、その要求を Web サーバにインストールされている CSP ゲートウェイに送信する。2a としてWeb サーバは、アプリケーション構成によっては、静的コンテンツを処理する場合がある。 2. The web server determines that this is a CSP request and sends the request to the CSP gateway installed on the web server. As 2a, the Web server may process static content depending on the application configuration.
３．CSP ゲートウェイは、その要求を再度まとめて、適切な Cache’ サーバに送信する。
４．Cache’ サーバは、メッセージをデコードし、要求が静的ページに対してであるか、それとも CSP クラスに対してであるかを判断する。
3. The CSP Gateway repackages the request and sends it to the appropriate Cache 'server.
4). The Cache 'server decodes the message and determines whether the request is for a static page or a CSP class.
.html や .jpg などの静的ファイルに対する要求であれば、Cache’ サーバはローカル・ファイル・システムでそのファイルを見つけ、4a としてそのコンテンツをクライアントに返信する。
クラスに対する要求であれば、アプリケーションを構成するイベント処理クラスのうち、どのクラスでイベントを処理するかを決定し、そのクラスの Page メソッドを呼び出す。
５．Page メソッドの出力または静的ページが、HTTP 応答として CSP ゲートウェイに返送される。
６．CSP ゲートウェイは HTTP の応答を Web サーバに渡す (具体的には、応答は CSP ゲートウェイを経由して、Web サーバへ返送される)。
If the request is for a static file such as .html or .jpg, the Cache 'server finds the file in the local file system and sends the content back to the client as 4a.
If it is a request for a class, it decides which class will process the event from among the event processing classes that make up the application, and calls the Page method of that class.
5. The output of the Page method or static page is sent back to the CSP Gateway as an HTTP response.
6). The CSP Gateway passes the HTTP response to the Web server (specifically, the response is sent back to the Web server via the CSP Gateway).
７．Web サーバは Web ブラウザに応答を返し、Web ブラウザがその応答を処理する。HTML の場合はその内容が表示される。 7). The web server returns a response to the web browser, and the web browser processes the response. In the case of HTML, the contents are displayed.
さて図３に実施形態の中心となるシステム構成を示す。本実施例では、録画機能を備えたデジタルテレビ（録画再生装置１＋モニタ１０１）、ユーザがテレビを操作したりタグリストを作成するためのモバイル端末(ユーザ端末１２)、クライアント(モバイル端末)からのリクエストを受けて画像認識／検索処理を実行し、処理結果をクライアントに返す画像認識サーバ（ＣＳＰサーバ２６，２７）、タグリストの保存／管理を行なうタグリスト管理サーバ（ＴＶメーカサーバ２５）から構成される。モバイル端末はカメラが搭載されているものとする。
FIG. 3 shows a system configuration that is the center of the embodiment. In this embodiment, a digital TV (recording /
録画機能付きデジタルテレビは、あらかじめユーザが指定したテレビ番組を映像蓄積手段である内蔵ハードディスクＨＤＤ（図１）に録画／保存する。保存するデータは映像、音声の他、番組タイトル、放送時間に関する情報などである。以下、図３を参照しながら処理手順を説明する。 The digital TV with a recording function records / stores a TV program designated in advance by a user in a built-in hard disk HDD (FIG. 1) as video storage means. The data to be stored includes video, audio, program title, information on broadcast time, and the like. The processing procedure will be described below with reference to FIG.
前提として、ユーザが録画番組を視聴中、ある場面にタグを登録したくなったものの、出演者の名前が思い出せなかったり、元々知らないタレントであるため、人物名をタグに書き込めない状況を想定する。人物名をタグに登録できなければ、後で本人がそのタグリストを利用する時に、あるいは、他のタグリストシェア利用者が該当タグリストを使用する時に、その場面を人物名で頭出しすることができない。 As a premise, it is assumed that the user wants to register a tag in a scene while watching a recorded program, but the name of the performer cannot be remembered or it is an unknown talent, so the person name cannot be written on the tag To do. If the person name cannot be registered in the tag, the scene will be cued by the person name when the person uses the tag list later or when another tag list share user uses the tag list. I can't.
そこで、モバイル端末に搭載されたカメラでテレビ画面を撮影し、撮影した画像を画像認識サーバ２６に送信して人物名を問い合わせる。撮影時には必要に応じて認識対象の人物の顔をズームアップする。画像認識サーバ２６には、撮影画像上の人物が誰なのかを認識する顔認識エンジンが組み込まれており、認識処理の結果、出力された人物名をモバイル端末に送信する。
Therefore, a television screen is photographed with a camera mounted on the mobile terminal, and the photographed image is transmitted to the
モバイル端末では、受信した人物名と番組名、その場面の時刻情報からタグリストを作成し、タグリスト管理サーバ２５に送信する。タグリスト管理サーバ２５はタグリストシェア利用者からのリクエストに応じて、作成したタグリストを配信する。この結果、ユーザは番組に付加されたタグリストを参照しながら録画番組を視聴することが可能となる。
The mobile terminal creates a tag list from the received person name, program name, and time information of the scene, and transmits it to the tag
上記の画像認識エンジンは認識対象となる人物の画像データベースを準備し、各人物の顔画像から固有の特徴を学習することで実現される。学習は登録人数などにも依存するが一般的に非常に時間を要する処理であるため、画像データベースを用いてあらかじめオフラインで行なっておく。また、認識対象の名前が不明であっても、性別、年齢、国籍などの属性が分かる場合にはモバイル端末を通して画像認識サーバ２６に提供して候補を絞ることで処理時間や正解率を改善することができる。
The image recognition engine described above is realized by preparing an image database of a person to be recognized and learning unique features from each person's face image. Although learning depends on the number of registered persons and the like, it is generally a very time-consuming process, so it is performed offline beforehand using an image database. Even if the name of the recognition target is unknown, if the attributes such as gender, age, nationality, etc. are known, the processing time and accuracy rate are improved by providing the
画像認識は誤認識することがあるため、図４に示すように複数の画像認識サーバ２６，２６’、２６’ ’に問合せて認識結果の多数決を取ることで最終結果としても良い。この場合、各画像認識サーバの精度などの性能が分かっている場合には、その性能に応じて付加した重みを考慮した多数決を取っても良い。
Since image recognition may be erroneously recognized, the final result may be obtained by querying a plurality of
また、テレビと連動した物販サービスを本実施形態に組み込むこともできる。画像認識技術を用いて情報番組などで紹介された商品の詳細情報をモバイル端末に配信するサービスがある。あらかじめ映像の特定の場面に商品情報を登録しておき、モバイル端末で撮影した画像とマッチングを行ない、対応する商品情報を視聴者に送信する。このサービスを本発明に組み込むことで、より簡単に商品情報にアクセス可能となる。 In addition, a product sales service linked to a television can be incorporated into this embodiment. There is a service that distributes detailed information of products introduced in information programs using image recognition technology to mobile terminals. Product information is registered in advance in a specific scene of the video, matching is performed with an image taken with a mobile terminal, and the corresponding product information is transmitted to the viewer. By incorporating this service into the present invention, product information can be accessed more easily.
図５に商品情報受信システムの基本構成を示す。前述の顔認識の場合と同様にテレビ画面をモバイル端末で撮影し、画像認識サーバ２６に撮影画像と検索リクエストを送信する。画像認識サーバはこれを受信してあらかじめ登録された映像とのマッチング処理を行ない、撮影した画像に対応する商品情報をモバイル端末に配信する。
FIG. 5 shows a basic configuration of the product information receiving system. As in the case of the face recognition described above, a TV screen is shot with a mobile terminal, and a shot image and a search request are transmitted to the
モバイル端末は受信した商品情報をWebブラウザなどでユーザに提供する。獲得した商品情報はタグとしてタグリスト管理サーバ２５で保存／管理され、一度検索した情報は簡単にアクセスすることができる。すなわち、商品情報は番組情報、録画日時と組み合わせてタグリスト管理サーバ２５に送信して蓄積される。蓄積されたタグリストはサービス利用者のリクエストに応じて参照され、画像認識を行なうことなく商品情報にアクセスすることができる。
The mobile terminal provides the received product information to the user through a Web browser or the like. The acquired product information is stored / managed as a tag in the tag
また、図６のように画像認識サーバ２７に文字認識エンジンを備えることで、テレビ画面にスーパーインポーズされた文字や、フリップボード、モニタ画面などに表示された文字を認識してタグリストとすることも可能である。サーバから配信された認識結果の一部が誤っている場合にはユーザがモバイル端末上で編集ソフトを用いて修正後にタグリスト管理サーバに送信する。
Further, by providing the
上記のいずれの場合もカメラで撮影した画像を画像認識サーバに送信するとしたが、画像認識サーバがＴＶチューナを備え、全てのテレビ放送を受信し、画像認識処理を逐次行なっても良い。この場合には、モバイル端末から番組タイトルや録画日時などの番組情報を送信すれば画像を一意に指定できるため、画像自身を送信する必要はない。 In any of the above cases, the image captured by the camera is transmitted to the image recognition server. However, the image recognition server may include a TV tuner, receive all television broadcasts, and perform image recognition processing sequentially. In this case, if program information such as a program title and recording date / time is transmitted from the mobile terminal, the image can be uniquely specified, and therefore it is not necessary to transmit the image itself.
ユーザが知らない詳細な情報をタグリストに書き込むことができる。一度行なった画像認識の結果をタグリストとして保存／管理することで同じ操作をする必要がない。 Detailed information unknown to the user can be written to the tag list. By storing / managing the result of image recognition once performed as a tag list, the same operation is not necessary.
（実施形態の方法の補足）
以下のような映像検索システムを構成するものである。
(Supplement of the method of the embodiment)
The following video search system is configured.
（１）基本構成：タグリスト作成
テレビ放送映像を受信して蓄積するテレビ放送映像蓄積手段と、蓄積した映像をユーザに提示するテレビモニタと、蓄積されたテレビ映像中の任意の番組の任意の場面に対して付加されたタグリスト（時刻情報付きのユーザコメント）を管理する管理サーバと、テレビ画面を撮影すると共に番組情報を受信し、撮影した画像の情報と検索要求を送信するカメラ付きモバイル端末と、撮影画像と検索要求を受信して検索処理を実行し、その結果を前記モバイル端末に送信する画像認識サーバと、前記検索結果に基づいて生成したタグリストを受信して管理する管理サーバを有することを特徴とする映像検索システム。
(1) Basic configuration: tag list creation Television broadcast video storage means for receiving and storing TV broadcast video, a TV monitor for presenting the stored video to the user, and any program of any program in the stored TV video A management server that manages a tag list (user comment with time information) added to a scene, and a mobile with a camera that shoots a TV screen, receives program information, and sends information about the photographed image and a search request A terminal, an image recognition server that receives a captured image and a search request, executes search processing, and transmits the result to the mobile terminal; and a management server that receives and manages a tag list generated based on the search result A video search system comprising:
（２）タグリスト利用
（１）に記載の画像検索システムを用いて作成したタグリストを使用することを特徴とする映像検索システム。
(2) Use of tag list A video search system using a tag list created by using the image search system described in (1).
（３）画像認識サーバの具体例１
（１）に記載の画像認識サーバが、顔認証を行なうことを特徴とする映像検索システム。
(3) Specific example 1 of image recognition server
A video search system, wherein the image recognition server according to (1) performs face authentication.
（４）画像認識サーバの具体例２
（１）に記載の画像認識サーバが、文字認識を行なうことを特徴とする映像検索システム。
(4) Specific example 2 of image recognition server
A video search system, wherein the image recognition server according to (1) performs character recognition.
（５）複数の画像認識サーバ
（１）に記載の画像認識サーバが複数あり、それらから配信される複数の認識結果を統合して、統合された認識結果を（１）に記載の管理サーバに送信することを特徴とする映像検索システム。
(5) A plurality of image recognition servers There are a plurality of image recognition servers described in (1), a plurality of recognition results distributed from them are integrated, and the integrated recognition results are stored in the management server described in (1). A video search system characterized by transmitting.
従来のタグリストシェアは、ユーザが手動でタグリストを作成するため、例えば、ユーザが知らない出演者の名前はタグリストに登録されないという問題点がある。また、テレビ画面をキャプチャして画像認識サーバに問い合わせることで検索可能であるが、何度も同じ検索を行なうのは非効率という問題点がある。
In the conventional tag list sharing, the user manually creates a tag list. For example, there is a problem that names of performers that the user does not know are not registered in the tag list. Further, although it is possible to search by capturing a television screen and inquiring to the image recognition server, it is inefficient to perform the same search many times.
実施形態の効果として、ユーザが知らないタレントがテレビに出演している場合に、画像認識サーバに問い合わせることでタレント名を調べることや、テレビショッピング番組などで詳しい商品情報を取得することが可能となる。また、検索結果をタグリストとして保存／管理することで何度も同じ検索処理を行なうことなく、再利用することができる。その他、実用的効果は多大である。 As an effect of the embodiment, when a talent that the user does not know appears on the TV, it is possible to check the name of the talent by inquiring to the image recognition server, or to acquire detailed product information on a TV shopping program, etc. Become. Further, by storing / managing the search result as a tag list, it can be reused without performing the same search process many times. Other practical effects are enormous.
即ち先行技術と比べた発明の効果として、画像認識技術を駆使して、詳細なタグリストを作成可能になる。また、検索結果をタグリストとして保存／管理することで利便性を高めることができる。
That is, as an effect of the invention compared to the prior art, a detailed tag list can be created using image recognition technology. Further, convenience can be enhanced by storing / managing search results as a tag list.
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。例えば顔認証の他に、音声による話者認識を援用してもよい。
In addition, this invention is not limited to the said embodiment, In the range which does not deviate from the summary, it can implement in various modifications. For example, in addition to face authentication, voice speaker recognition may be used.
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。 Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements according to different embodiments may be appropriately combined.
１…録画再生装置（レコーダ装置）、３…チューナ部、５…制御ＣＰＵ部、７…録画信号処理部、９…メモリ部、１１…ネットワーク制御部、１５…ユーザ操作入力部、５１…ＧＵＩ処理部、５３…録画制御処理部、５５…タグ編集処理部、５７…ＥＰＧ情報取得部、５８…タグリスト編集処理部、９０…タイマーコントローラ、９１…電源部。
DESCRIPTION OF
Claims (5)
蓄積された前記映像をユーザに提示するモニタと、
蓄積された前記映像中の任意の番組の任意の場面に対して付加されたタグリストを管理する管理サーバと、
前記モニタの画像を撮影すると共に番組情報を受信し、撮影したこの画像の情報と検索要求を送信するモバイル端末と、
前記画像と前記検索要求を受信して検索処理を実行し、この検索処理の結果を前記モバイル端末に送信する画像認識サーバとを備え、
前記管理サーバは前記結果に基づいて生成したタグリストを受信して管理する映像検索システム。 Video storage means for receiving and storing the broadcast video;
A monitor that presents the stored video to a user;
A management server that manages a tag list added to an arbitrary scene of an arbitrary program in the stored video;
A mobile terminal that captures an image of the monitor and receives program information and transmits information of the captured image and a search request;
An image recognition server that receives the image and the search request, executes a search process, and transmits a result of the search process to the mobile terminal;
The video search system, wherein the management server receives and manages a tag list generated based on the result.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012138188A JP2014002616A (en) | 2012-06-19 | 2012-06-19 | Video retrieval system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012138188A JP2014002616A (en) | 2012-06-19 | 2012-06-19 | Video retrieval system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014002616A true JP2014002616A (en) | 2014-01-09 |
Family
ID=50035722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012138188A Pending JP2014002616A (en) | 2012-06-19 | 2012-06-19 | Video retrieval system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014002616A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017509938A (en) * | 2014-05-29 | 2017-04-06 | テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド | INTERACTION METHOD BASED ON MULTIMEDIA PROGRAM AND TERMINAL DEVICE |
| US10390108B2 (en) | 2014-06-13 | 2019-08-20 | Tencent Technology (Shenzhen) Company Limited | Interaction method based on multimedia programs and terminal device |
-
2012
- 2012-06-19 JP JP2012138188A patent/JP2014002616A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017509938A (en) * | 2014-05-29 | 2017-04-06 | テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド | INTERACTION METHOD BASED ON MULTIMEDIA PROGRAM AND TERMINAL DEVICE |
| US10390108B2 (en) | 2014-06-13 | 2019-08-20 | Tencent Technology (Shenzhen) Company Limited | Interaction method based on multimedia programs and terminal device |
| US10834479B2 (en) | 2014-06-13 | 2020-11-10 | Tencent Technology (Shenzhen) Company Limited | Interaction method based on multimedia programs and terminal device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10609097B2 (en) | Methods, apparatus, and systems for instantly sharing video content on social media | |
| US10194189B1 (en) | Playback of content using multiple devices | |
| WO2015096648A1 (en) | Video sharing method and system in smart tv | |
| US8495495B2 (en) | Information processing apparatus, bookmark setting method, and program | |
| US8588824B2 (en) | Transferring media context information based on proximity to a mobile device | |
| US8380818B2 (en) | Information processing system, information processing device, information processing method, and program | |
| US8924427B2 (en) | Notification of a pending digital video recorder deletion event | |
| TWI630487B (en) | Cooperative provision of personalized user functions using shared and personal devices | |
| US20070043740A1 (en) | Information processing apparatus, information processing method and information processing program product | |
| CN110740386B (en) | Live broadcast switching method and device and storage medium | |
| WO2014190655A1 (en) | Application synchronization method, application server and terminal | |
| JP5094704B2 (en) | Content sharing system and content sharing method | |
| JP5449113B2 (en) | Program recommendation device | |
| CN102316084A (en) | Method, system and terminal for realizing data sharing through network television | |
| WO2015035934A1 (en) | Methods and systems for facilitating video preview sessions | |
| JP2019122027A (en) | Captured moving image service system, captured moving image display method, communication terminal device and computer program | |
| JP2014002616A (en) | Video retrieval system | |
| KR20000054715A (en) | Method and system for servicing by using the internet, method for producing and transmitting moving picture files and recording medium thereof | |
| JP2019106670A (en) | Server and program | |
| JP2007243605A (en) | Communication equipment, communication method, and program | |
| JP6001293B2 (en) | Content recording and playback system and method | |
| JP2010239457A (en) | Method and device for reproducing information | |
| JP2009177673A (en) | Television program remote recording system, method, and program | |
| WO2019130585A1 (en) | Captured video service system, server device, captured video management method, and computer program | |
| JP6181468B2 (en) | Information processing terminal and information processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20140614 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150216 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150218 |