JP4984545B2 - コンテンツ表示再生システム及びコンテンツ表示再生方法 - Google Patents

コンテンツ表示再生システム及びコンテンツ表示再生方法 Download PDF

Info

Publication number
JP4984545B2
JP4984545B2 JP2006014187A JP2006014187A JP4984545B2 JP 4984545 B2 JP4984545 B2 JP 4984545B2 JP 2006014187 A JP2006014187 A JP 2006014187A JP 2006014187 A JP2006014187 A JP 2006014187A JP 4984545 B2 JP4984545 B2 JP 4984545B2
Authority
JP
Japan
Prior art keywords
content
unit
operation control
display
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006014187A
Other languages
English (en)
Other versions
JP2006352827A (ja
Inventor
晃一 松田
博紀 橋
英樹 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006014187A priority Critical patent/JP4984545B2/ja
Publication of JP2006352827A publication Critical patent/JP2006352827A/ja
Application granted granted Critical
Publication of JP4984545B2 publication Critical patent/JP4984545B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、有線又は無線ネットワークに接続したコンテンツ供給部及び表示再生部の操作を操作制御装置により制御し、上記操作制御装置を含めた各部間で映像情報を伝送し、表示再生部及び上記操作制御装置において映像を表示するコンテンツ表示再生システム及びコンテンツ表示再生方法に関する。
今日、TV放送番組をビデオテープに録画するビデオレコーダの普及により、TV放送番組をその放送時間ではない、自分の都合のよい時間に視聴するといういわゆる「タイムシフト」という概念に基づく視聴スタイルが定着している。この視聴スタイルにより多くのTV放送番組が録画され、時間を置いて視聴されている。さらに、近年、録画メディアがビデオテープからハードディスクに変わったことで、より多くの映像データを容量を気にせず手軽にハードディスク(記憶装置)に保存することができるようになった。以下では、特に断らない限り、このようなハードディスクを用いたビデオレコーダのことをデジタルビデオレコーダ(Digital Video Recorder:DVR)と記す。
また、最近、AVコンテンツサーバ(コンテンツ供給部)及び、CRT、LCD、プラズマディスプレイ等の表示再生装置を、家庭内、事業所内、地域内さらにグローバルな地域内に構成した有線又は無線ネットワークに接続した、コンテンツ表示再生システムが知られるようになった。このコンテンツ表示再生システムでは、上記デジタルビデオレコーダをAVコンテンツサーバとして上記ネットワークに少なくとも1台接続していれば、例えば録画したTV放送番組を上記ネットワークを介し、上記AVコンテンツサーバから離れた場所において視聴することが可能である。
ところで、従来、TV受像機において、画質の調整やタイマの設定などは、TV受像機の遠隔操作装置、操作制御装置、或いはリモートコマンダ(以下、リモコンと略称する。)のボタン操作等よって、TV受像機の表示画面に実行可能な処理を選択するためのメニューを表示する。そして、使用者は、TV受像機のリモコンを用いて、目的とする処理を選択し、表示画面に表示されるガイダンス表示などにしたがって、リモコンを操作することにより、画質の調整やタイマの設定などの目的とする処理を行うことができるようにされている。
また、STB(Set-Top box) やIRD(Integrated Reciver Decoder)などと呼ばれる衛星放送信号を受信する受信機などにおいては、EPGなどと呼ばれる電子番組ガイドなどのデータ表示を、モニタ受像機の表示画面に表示するようにすることが行われている。この場合には、使用者は、受信機のリモコンを用い、モニタ受像機の表示画面に表示されている電子番組ガイドに基づいて、視聴しようとする番組を選択することにより、受信機の選局チャンネルを変えることができるようにされている。
このように、TV受像機やTV放送信号を受信する受信機においては、メニューやガイダンス、あるいは、電子番組ガイドなどの情報表示と、リモコン操作とを組み合わせることによって、目的とする処理をわかりやすく比較的に簡単に実行させることができるように工夫されている。
しかし、前述のように、TV受像機やSTBやIRDに対して目的とする処理を行わせるために、メニューやガイダンスなどの必要な情報をTV受像機などの表示画面に表示し、この表示情報を見ながらリモコンを操作する方式では、リモコンに対する操作が繁雑になる場合がある。
例えば、複数のメニューの中から目的とする処理を選択項目として含むメニューを表示させるために、メニューのページ送りを複数回行わなければならなかったり、表示画面上のカーソルを移動させるためにリモコンに対して頻繁に操作を行わなければならなかったり、また、リモコンを通じて決定操作を行わなければならないなどの場合がある。
また、TV受像機などのモニタ装置も、LCDなどを用いることによって、小型化、軽量化が進み、持ち運びが可能で、使用者の手が届く位置で使用されるものも増えている。このような場合には、TV受像機のリモコンは不用であるし、また、TV受像機に映像信号や音声信号を供給する受信機などの外部入力装置のリモコンの存在が煩わしくなってしまう。
そこで、本件出願人は、表示装置を用いて、テレビ番組などの映像情報を観視したり、音声情報を聴取したりすることができるとともに、表示装置の表示素子に表示される操作用表示情報とタッチパネルなどの接触位置検出手段を通じて、ベース装置やベース装置に接続される外部入力装置を遠隔操作することができるようにして、煩わし操作を行うことなく、遠隔操作を行うことを可能にし、より使い勝手のよいホームネットワークを構築することが可能な双方向通信システムを先に提案している。このシステムによれば、表示装置の表示素子に表示される操作用表示情報とタッチパネルなどの接触位置検出手段を通じて、ベース装置やベース装置に接続される外部入力装置を遠隔操作することができ、所望の映像を簡単な選択して表示装置に表示することができるのである。
さらに、本件出願人は、下記特許文献1にて、このような双方向通信システムを利用して、複数の表示装置にベース装置から映像信号を供給するに当たり、ユーザが指で画面をなぞる操作により、映像機器間で映像の送受を行うことを可能にし、従来のリモコンのようなボタン操作とは異なり、感覚的に切替えを行うことができるようにしたコンテンツ表示再生システム及び映像表示制御装置を開示した。具体的には、可搬型表示装置のLCDに設けたタッチパネル上でユーザが指を上方向にジェスチャ入力すると、可搬型表示装置に表示されていた映像Aがそれまで映像Bを表示していた大型表示装置に表示されるスロウ機能が実行される。また、可搬型表示装置のLCDに設けたタッチパネル上でユーザが指を下方向にジェスチャ入力すると、大型表示装置に表示されていた映像Bがそれまで映像Aを表示していた可搬型表示装置に表示されるキャッチ機能が実行される。このように、下記特許文献1によって開示されたスロウ/キャッチ機能により、複数の表示装置間での直感的な画面の切り替えが可能となった。
特開2003−333359号公報
ところで、上述したような、上記デジタルビデオレコーダをAVコンテンツサーバとして上記ネットワークに少なくとも1台接続したコンテンツ表示再生システムにおいて、上記特許文献1で開示されたスロウ/キャッチ機能を用いれば、上記AVコンテンツサーバに存在する映像データを上記可搬型表示装置や上記大型表示装置の間で送受することは想到できるが、上記AVコンテンツサーバに存在する映像データを他の記憶装置や記憶メディアに複製する操作を伴った映像データの表示は別々の動作であり、直感的な操作が不可能であった。
本発明は、上記実情に鑑みてなされたものであり、コンテンツ供給部に存在する映像データを複数の表示再生部間で送受しながら表示し、かつ記憶装置に複製する操作を直感的に行なうことができるコンテンツ表示再生システム及びコンテンツ表示再生方法の提供を目的とする。
本発明に係るコンテンツ表示再生システムは、上記課題を解決するために、ネットワークに接続したコンテンツ供給部及び表示再生部の操作を操作制御部により制御し、上記操作制御部を含めた各部間でコンテンツを送受し、上記表示再生部及び上記操作制御部においてコンテンツの映像を表示及び音声を再生するコンテンツ表示再生システムにおいて、上記操作制御部は、ユーザによる操作入力を受け付ける入力操作受付部と、上記入力操作受付部によって受け付けた操作入力に応じて上記コンテンツを上記各部間で送受するための操作制御信号を生成するコンテンツ送受信号生成部と、上記コンテンツ送受信号生成部によって生成された第1の操作制御信号に応じて上記コンテンツ供給部から受信したコンテンツを表示再生するか、又は上記コンテンツ送受信号生成部によって生成された第2の操作制御信号に応じて上記表示再生部から受け取ったコンテンツに関する情報に基づいて該当するコンテンツ供給部から受信したコンテンツを表示再生する操作制御部内表示再生部と、上記コンテンツ送受信号生成部によって生成された上記第1の操作制御信号又は上記第2の操作制御信号に応じて上記コンテンツ供給部から受信したコンテンツを記憶する記憶部とを備え、上記第1の操作制御信号又は上記第2の操作制御信号に応じて上記コンテンツ供給部から受信したコンテンツを上記操作制御部内表示再生部に表示再生させ、かつ上記記憶部に当該コンテンツを記憶させる。
本発明によれば、第1の操作制御信号又は上記第2の操作制御信号に応じてコンテンツ供給部から受信したコンテンツを操作制御部内表示再生部に表示再生させるとき、同時に記憶部に当該コンテンツを記憶させる。
また、操作制御部は、コンテンツ送受信号生成部によって生成された第3の操作制御信号に応じて、それまで操作制御部内表示再生部にて表示再生していたコンテンツ供給部からのコンテンツを上記表示再生部にコンテンツ配信させ、かつコンテンツを記憶部に記憶させる。
このように、コンテンツを、操作制御部の制御に基づいて、表示再生部にスロウ/表示再生部からキャッチするときに、当該コンテンツを記憶部に記憶する。
また、操作制御部は、上記第1の操作制御信号、上記第2の操作制御信号又は上記第3の操作制御信号に応じて上記コンテンツ供給部から受信したコンテンツを記憶部に記憶した後、上記コンテンツ送受信号生成部によって生成された第4の操作制御信号に応じて上記表示再生部にストリーミング配信する。
本発明に係るコンテンツ表示再生方法は、上記課題を解決するために、ネットワークに接続したコンテンツ供給部及び表示再生部の操作を操作制御部により制御し、上記操作制御部を含めた各部間でコンテンツを送受し、上記表示再生部及び上記操作制御部においてコンテンツの映像を表示及び音声を再生するコンテンツ表示再生方法において、上記操作制御部は、ユーザによる操作入力を受け付ける入力操作受付工程と、上記入力操作受付工程によって受け付けた操作入力に応じて上記コンテンツを上記各部間で送受するための操作制御信号を生成するコンテンツ送受信号生成工程と、上記コンテンツ送受信号生成工程によって生成された第1の操作制御信号に応じて上記コンテンツ供給部から受信したコンテンツを表示再生するか、又は上記コンテンツ送受信号生成部によって生成された第2の操作制御信号に応じて上記表示再生部から受け取ったコンテンツに関する情報に基づいて該当するコンテンツ供給部から受信したコンテンツを表示再生する操作制御部内表示再生工程と、上記コンテンツ送受信号生成工程によって生成された上記第1の操作制御信号又は上記第2の操作制御信号に応じて上記コンテンツ供給部から受信したコンテンツを記憶部に記憶する記憶工程とを備え、上記第1の操作制御信号又は上記第2の操作制御信号に応じて上記コンテンツ供給部から受信したコンテンツを上記操作制御部内表示再生工程に表示再生させ、かつ上記記憶部に当該コンテンツを記憶させる。
本発明によれば、第1の操作制御信号又は上記第2の操作制御信号に応じてコンテンツ供給部から受信したコンテンツを操作制御部内表示再生部に表示再生させるとき、同時に記憶部に当該コンテンツを記憶させる。
このように、コンテンツを、操作制御部の制御に基づいて、表示再生部にスロウ/表示再生部からキャッチするときに、当該コンテンツを記憶部に記憶する。
本発明に係るコンテンツ表示再生プログラムを記録した記録媒体は、上記課題を解決するために、ネットワークに接続したコンテンツ供給部及び表示再生部の操作を操作制御部により制御し、上記操作制御部を含めた各部間でコンテンツを送受し、上記表示再生部及び上記操作制御部においてコンテンツの映像を表示及び音声を再生するためのコンテンツ表示再生プログラムを記録した記録媒体において、上記コンテンツ表示再生プログラムは、ユーザによる操作入力を受け付ける入力操作受付工程と、上記入力操作受付工程によって受け付けた操作入力に応じて上記コンテンツを上記各部間で送受するための操作制御信号を生成するコンテンツ送受信号生成工程と、上記コンテンツ送受信号生成工程によって生成された第1の操作制御信号に応じて上記コンテンツ供給部から受信したコンテンツを表示再生するか、又は上記コンテンツ送受信号生成部によって生成された第2の操作制御信号に応じて上記表示再生部から受け取ったコンテンツに関する情報に基づいて該当するコンテンツ供給部から受信したコンテンツを表示再生する操作制御部内表示再生工程と、上記コンテンツ送受信号生成工程によって生成された上記第1の操作制御信号又は上記第2の操作制御信号に応じて上記コンテンツ供給部から受信したコンテンツを記憶部に記憶する記憶工程とを備え、上記第1の操作制御信号又は上記第2の操作制御信号に応じて上記コンテンツ供給部から受信したコンテンツを上記操作制御部内表示再生工程に表示再生させ、かつ上記記憶部に当該コンテンツを記憶させるプログラムであり、このコンテンツ表示再生プログラムを記録している。
本発明に係る操作制御装置は、上記課題を解決するために、コンテンツ表示再生システムにあってネットワークに接続したコンテンツ供給部及び表示再生部の操作を制御し、各部間でコンテンツを送受する操作制御装置において、ユーザによる操作入力を受け付ける入力操作受付部と、上記入力操作受付部によって受け付けた操作入力に応じて上記コンテンツを上記各部間で送受するための操作制御信号を生成するコンテンツ送受信号生成部と、上記コンテンツ送受信号生成部によって生成された第1の操作制御信号に応じて上記コンテンツ供給部から受信したコンテンツを表示再生するか、又は上記コンテンツ送受信号生成部によって生成された第2の操作制御信号に応じて上記表示再生部から受け取ったコンテンツに関する情報に基づいて該当するコンテンツ供給部から受信したコンテンツを表示再生する操作制御部内表示再生部と、上記コンテンツ送受信号生成部によって生成された上記第1の操作制御信号又は上記第2の操作制御信号に応じて上記コンテンツ供給部から受信したコンテンツを記憶する記憶部とを備え、上記第1の操作制御信号又は上記第2の操作制御信号に応じて上記コンテンツ供給部から受信したコンテンツを上記操作制御部内表示再生部に表示再生させ、かつ上記記憶部に当該コンテンツを記憶させる。
本発明に係るコンテンツ表示再生システムは、上記課題を解決するために、ネットワークに接続した複数のコンテンツ供給部の操作を操作制御部により制御し、上記操作制御部を含めた各部間でコンテンツを送受するコンテンツ表示再生システムにおいて、上記操作制御部はユーザによる操作入力を受け付ける入力操作受付部を有し、第1のコンテンツ供給部からストリーミング配信されたコンテンツを再生中に上記入力操作受付部においてアナログパッドを左右横方向又は上下縦方向の一方にスライドさせた操作が行われると、第1のコンテンツ供給部から上記ストリーミング配信されているコンテンツを他のコンテンツ供給部に複製させる。
本発明に係るコンテンツ表示再生システムは、上記課題を解決するために、ネットワークに接続した複数のコンテンツ供給部の操作を操作制御部により制御し、上記操作制御部を含めた各部間でコンテンツを送受するコンテンツ表示再生システムにおいて、上記操作制御部はユーザによる操作入力を受け付ける入力操作受付部を有し、第1のコンテンツ供給部から送信されてきたコンテンツメタ情報に基づいて複数のコンテンツリストを表示しているとき、上記入力操作受付部によりコンテンツが選択され、さらにアナログパッドを左右横方向又は上下縦方向の一方にスライドさせた操作が行われると、第1のコンテンツ供給部から上記選択されたコンテンツを他のコンテンツ供給部に複製させる。
本発明に係るコンテンツ表示再生システムは、上記課題を解決するために、ネットワークに接続したコンテンツ供給部の操作を操作制御部により制御し、上記操作制御部を含めた各部間でコンテンツを送受するコンテンツ表示再生システムにおいて、上記操作制御部はユーザによる操作入力を受け付ける入力操作受付部とコンテンツを記録している記憶部を有し、上記記憶部からコンテンツを再生中に上記入力操作受付部においてアナログパッドを左右横方向又は上下縦方向の一方にスライドさせた操作が行われると、上記再生中のコンテンツを上記コンテンツ供給部に複製させる。
本発明に係るコンテンツ表示再生システムは、上記課題を解決するために、ネットワークに接続したコンテンツ供給部の操作を操作制御部により制御し、上記操作制御部を含めた各部間でコンテンツを送受するコンテンツ表示再生システムにおいて、上記操作制御部はユーザによる操作入力を受け付ける入力操作受付部とコンテンツを記録している記憶部を有し、上記記憶部に記録しているコンテンツリストを表示中に、上記入力操作受付部においてアナログパッドを左右横方向又は上下縦方向の一方にスライドさせた操作が行われると、上記入力操作受付部によってコンテンツリストから選択されたコンテンツを上記コンテンツ供給部に複製させる。
本発明に係るコンテンツ表示再生システムは、上記課題を解決するために、ネットワークに接続したコンテンツ供給部の操作を操作制御部により制御し、上記操作制御部を含めた各部間でコンテンツを送受するコンテンツ表示再生システムにおいて、上記操作制御部はユーザによる操作入力を受け付ける入力操作受付部とコンテンツを記録するための記憶装置を有し、コンテンツ供給部からストリーミング配信されたコンテンツを再生中に上記入力操作受付部においてアナログパッドを左右横方向又は上下縦方向の一方にスライドさせた操作が行われると、コンテンツ供給部から上記ストリーミング配信されているコンテンツを上記記憶装置に複製する。
本発明に係るコンテンツ表示再生システムは、上記課題を解決するために、ネットワークに接続したコンテンツ供給部の操作を操作制御部により制御し、上記操作制御部を含めた各部間でコンテンツを送受するコンテンツ表示再生システムにおいて、上記操作制御部はユーザによる操作入力を受け付ける入力操作受付部とコンテンツを記録するための記憶装置を有し、コンテンツ供給部から送信されてきたコンテンツメタ情報に基づいて複数のコンテンツリストを表示しているとき、上記入力操作受付部によりコンテンツが選択され、さらにアナログパッドを左右横方向又は上下縦方向の一方にスライドさせた操作が行われると、上記コンテンツ供給部から上記選択されたコンテンツを上記記憶装置に複製する。
本発明に係るコンテンツ表示再生システム及びコンテンツ表示再生方法によれば、コンテンツ供給部に存在する映像データを複数の表示再生部間で送受しながら表示し、かつ記憶装置に複製する操作を直感的に行なうことができる。
本発明に係る記録媒体によれば、コンテンツ供給部に存在する映像データを複数の表示再生部間で送受しながら表示し、かつ記憶装置に複製する操作を直感的に行なうことができるコンテンツ表示再生プログラムを、広く提供することができる。
本発明に係る操作制御装置によれば、上記コンテンツ表示再生システムにあって、コンテンツ供給部に存在する映像データを複数の表示再生部間で送受しながら表示し、かつ記憶装置に複製する操作を直感的に行なうことができる。
以下、本発明を実施するための最良の形態について図面を参照しながら説明する。
図1は本発明を適用したコンテンツ表示再生システムの構成図である。このコンテンツ表示再生システム10は、無線ネットワークと有線ネットワークとを組み合わせたホームネットワーク11に、デジタルビデオレコーダ等のAVコンテンツサーバを具体例とする2台のコンテンツ供給部12及び13と、CRT、LCD、PDP等の表示素子を有して映像を表示すると共に映像に関連した音声を再生する3台の表示再生部14、15及び16を接続している。この表示再生部は、映像を表示すると共に音声を再生するものであり、対象メディアを限定しない表示と再生の機能を有してなるので、レンダラ(renderer)と呼称されることもある。また、ホームネットワーク11には、各コンテンツ供給部及び各表示再生部の操作を制御する操作制御部17も接続している。
ホームネットワーク11は、家庭内デジタルネットワークであり、ハブ11aを介し、例えばIEEE1394に基づいた有線ケーブル11bにより、上述したように2台のコンテンツ供給部12及び13と、3台の表示再生部14、15及び16とを接続している。また、無線LANのアクセスポイント11cをハブ11bに接続し、操作制御部17を、例えばIEEE802.11方式のプロトコル、あるいは、その発展プロトコルなどの所定のプロトコルを用いて無線接続している。このため、操作制御部17は、ホームネットワーク11上の上記各コンテンツ供給部12及び13及び各表示再生部14、15及び16と接続されており、それらの操作を制御することができる。
このコンテンツ表示再生システム10は、ホームネットワーク11に接続したコンテンツ供給部12,13及び表示再生部14乃至16の操作を操作制御部17により制御し、操作制御部17を含めた各部間でAVコンテンツを送受し、表示再生部14乃至16及び上記操作制御部17においてAVコンテンツの映像を表示及び音声を再生するコンテンツ表示再生システムである。
特に、操作制御部17は、ユーザによる操作入力を受け付ける入力操作受付部60(図6)と、入力操作受付部60によって受け付けた操作入力に応じてAVコンテンツを上記各部間で送受するための操作制御信号を生成するコンテンツ送受信号生成部(コントロール信号生成部62)と、上記コンテンツ送受信号生成部(コントロール信号生成部62)によって生成された第1の操作制御信号(コンテンツ配信要求信号)に応じて上記コンテンツ供給部12又は13から受信したAVコンテンツを表示再生するか、又は上記コンテンツ送受信号生成部(コントロール信号生成部62)によって生成された第2の操作制御信号(キャッチ操作制御信号)に応じて上記表示再生部から受け取ったコンテンツに関する情報に基づいて該当するコンテンツ供給部から受信したコンテンツを表示再生する操作制御部内表示再生部(コンテンツ表示部63)と、コンテンツ送受信号生成部(コントロール信号生成部62)によって生成された上記第1の操作制御信号(コンテンツ配信要求信号)又は上記第2の操作制御信号(キャッチ操作制御信号)に応じて上記コンテンツ供給部から受信したコンテンツを記憶する記憶部69(図6)とを備え、上記第1の操作制御信号(コンテンツ配信要求信号)又は上記第2の操作制御信号(キャッチ操作制御信号)に応じて上記コンテンツ供給部から受信したコンテンツを上記操作制御部内表示再生部(コンテンツ表示部63)に表示再生させ、かつ上記記憶部69に当該コンテンツを記憶させる。
操作制御部17は、第1の操作制御信号(コンテンツ配信要求信号)又は上記第2の操作制御信号(キャッチ操作制御信号)に応じて上記記憶部69に記憶されたコンテンツを、ホームネットワーク11に接続された他のコンテンツ供給部に複製する。
また、操作制御部17は、第1の操作制御信号(コンテンツ配信要求信号)又は上記第2の操作制御信号(キャッチ操作制御信号)に応じて上記記憶部69に記憶されたコンテンツを、上記ネットワークとは異なる他のネットワークに接続されたコンテンツ供給部に複製する(図16)。
また、操作制御部17は、コンテンツ送受信号生成部(コントロール信号生成部62)によって生成された第3の操作制御信号(スロウ操作制御信号)に応じて、それまで上記操作制御部内表示再生部63にて表示再生していた上記コンテンツ供給部からのコンテンツを上記表示再生部にコンテンツ配信させ、かつ上記コンテンツを上記記憶部69に記憶する。
また、操作制御部17は、上記第1の操作制御信号(コンテンツ配信要求信号)、上記第2の操作制御信号(キャッチ操作制御信号)又は上記第3の操作制御信号(スロウ操作制御信号)に応じて上記コンテンツ供給部から受信したコンテンツを記憶部に記憶した後、上記コンテンツ送受信号生成部によって生成された第4の操作制御信号(ストリーミング配信制御信号)に応じて上記表示再生部にストリーミング配信する。
図2は、コンテンツ供給部12の機能ブロック図である。コンテンツ供給部13についても同様である。コンテンツ供給部12は、上記デジタルビデオレコーダなどのAVコンテンツサーバである。コンテンツ供給部12は、ネットワークI/F部20と、コンテンツ配信処理部12と、コンテンツ蓄積部22からなる。
このコンテンツ表示再生システム10にあって、コンテンツ供給部12は、BSデジタル、CSデジタル、地上波アナログ、インターネットを通じて家庭内にて受信した映像及び音声コンテンツ(以下、コンテンツという)を、図2に示す、ハードディスク等の大容量蓄積媒体からなるコンテンツ蓄積部22にストリーミングデータとして蓄積する。また、コンテンツ供給部12は、コンテンツ蓄積部22に蓄積した上記ストリーミングデータを、ネットワークI/F部20を介して、操作制御部17から送信された配信要求に応じてコンテンツ配信処理部21により読み出して再生し、要求先の表示再生部又は操作制御部へネットワークI/F部20を通してストリーミング配信することができる。
図3は、コンテンツ供給部12のハードウェアの構成例を示す図である。CPU23は、ROM(Read Only Memory)24に記憶されているサーバプログラム、またはハードディスクドライブ22からRAM(Random Access Memory)25にロードされたサーバプログラムに従って、各種の処理を実行する。RAM25にはまた、CPU23が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU23、ROM24、およびRAM25は、バス26を介して相互に接続されている。このバス26にはまた、入出力インターフェース27も接続されている。
入出力インターフェース27には、ボタン、スイッチ、キーボードあるいはマウスなどで構成される入力部28、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などのディスプレイ、並びにスピーカなどで構成される出力部29、上記ネットワークI/F部20として機能する、モデムやターミナルアダプタなどで構成される通信部20、および上記コンテンツ蓄積部22として機能するハードディスクドライブ22が接続されている。
通信部20は、ホームネットワーク11を介して通信処理を行う。このコンテンツ表示再生システム10にあって、コンテンツ供給部12及び13の通信部20は、有線によりハブ11aを介して無線LAN用アクセスポイント11cに接続している。また、ハブ11aを介して有線11bにより3台の表示再生部14、15及び16に接続している。よって、コンテンツ供給部12及び13は、通信部20を通してホームネットワーク11内の無線通信路にて操作制御部17と接続し、有線通信路11bにて複数の表示再生部14、15及び16に接続している。無線LAN用アクセスポイント11cと後述の操作制御部17は、IEEE802.11方式のプロトコル、あるいはその発展プロトコルなどの所定のプロトコルにしたがった無線通信が行なわれる。
ハードディスクドライブ22には、サーバプログラムの他、ストリーミング配信するためのメディアデータなどが格納されている。
入出力インターフェース27にはまた、必要に応じてドライブ30が接続され、磁気ディスク31、光ディスク32、光磁気ディスク33、あるいは半導体メモリ34などが適宜装着され、そこから読み出されたコンピュータプログラム(サーバプログラムなど)が、必要に応じてハードディスクドライブ22にインストールされる。
上記図2の機能ブロック図との関係でいえば、図3の各部は以下のようになる。通信部20はネットワークI/F部20として機能し、HDD22はコンテンツ蓄積部22として機能する。また、CPU23、ROM24、RAM25、及びドライブ30に接続された各メディア31乃至34等はコンテンツ配信処理部21として機能する。
よって、このコンテンツ供給部12の動作をハードウェアの構成に基づいて説明すると以下のようになる。コンテンツ供給部12は、コンピュータであって、そのCPU23がサーバプログラムに基づいて、ストリーミングデータの配信処理を実行する。例えば、コンテンツ供給部12は、HDD22に様々なメディアデータを記憶させ、操作制御部17からホームネットワーク11を介して所定のメディアデータのストリーミング配信が要求された場合、対応するコンテンツデータを読み出し、ストリーミング配信を行うために所定のパケットを生成し、ホームネットワーク11を介して配信する。
図4は、表示再生部14、15及び16の機能ブロック図である。例えば表示再生部14は、コンテンツ供給部12又は13からストリーミング配信されたストリーミングデータを受信し、再生してLCDやCRTに表示することのできるストリーミング再生機能を有すると共に、映像に関連した音声データを再生し、スピーカから出力する表示再生装置である。このため、表示再生部14は、ホームネットワーク11に接続するインターフェース機能部であるネットワークI/F部40と、ネットワークI/F部40を介してストリーミングデータ(コンテンツデータ)を受信するコンテンツ受信処理部41と、コンテンツデータをデコードするコンテンツデコード部42と、コンテンツデコード部42でデコードされたコンテンツデータを再生するコンテンツ再生部43と、再生されたコンテンツの映像を表示するコンテンツ表示部44と、再生されたコンテンツの音声を出力するコンテンツ音声出力部45からなる。
これらの機能部を以下のように用いて表示再生部14は、ストリーミング再生機能部として動作する。ネットワークI/F部40によりホームネットワーク11に接続し、コンテンツ受信部41によりネットワークI/F部40を介してストリーミングデータ(コンテンツデータ)を受信し、コンテンツデコード部42によりコンテンツデータをデコードし、コンテンツ再生部43によりコンテンツデコード部42でデコードされたコンテンツデータを再生し、コンテンツ表示部44により再生されたコンテンツ映像を表示し、コンテンツ音声出力部45により映像に関連した音声を出力する。
図5は、表示再生部14、15及び16のハードウェアの構成例を示す図である。例えば、表示再生部14は、通信部(I/F)40と、受信処理部41と、デコード部42と、映像信号処理部43−Vと、LCD44、音声信号増幅部43−Aと、スピーカ45とを備えている。この表示再生部14の各部は、CPU46を中心とする制御部によって制御するようにされている。制御部は、CPU46、ROM48、RAM49、EEPROM50がCPUバス47を通じて接続されて構成されたマイクロコンピュータである。また、CPU46は入力I/F51を介してキー入力部52と接続されており、ユーザによる例えば音量調整、画質調整、あるいは電源投入切断などの操作信号を受け付ける。
ROM48は表示再生部14等において実行される各種の処理プログラムや処理に必要なデータなどを記録している。RAM49は、各種の処理において得られたデータを一時的に記憶保持するなどのように、主に各種の処理の作業領域として用いられるものである。
EEPROM50は、いわゆる不揮発性のメモリであり、電源が落とされても、記憶保持した情報が失われることがなく、例えば、各種の設定パラメータなどを記憶保持することができるものである。
通信部(I/F)40は、ホームネットワーク11を介して通信処理を行う。このコンテンツ表示再生システム10にあって表示再生部14の通信部40は、有線11bにてハブ11aを介して無線LAN用アクセスポイント11cに接続している。また、ハブ11aを介して有線11bにてコンテンツ供給部12及び13に接続している。よって、表示再生部14、15及び16は、通信部40を通してホームネットワーク11内の無線通信路にて操作制御部17と接続し、有線通信路11bにて複数のコンテンツ供給部12及び13に接続している。
受信処理部41は、これに供給された信号を復調するなどの処理を行って、復調後の信号をデコード部(伸長処理部)42に供給する。コンテンツ供給部12及び13は、地上波放送番組のテキストデータや映像データなどの表示用データや音声データ、あるいは、衛星放送番組の映像信号や音声信号などの情報信号をデータ圧縮して送信してくる。
このため、表示再生部14のデコード部42は、受信処理部41からの復調されたデータ圧縮されている信号の供給を受けて、映像信号と音声信号とを分離し、分離した信号を伸長(圧縮解凍)することにより、データ圧縮前の元の信号を復元する。
そして、デコード部42は、復元した映像信号と音声信号とをD/A変換(デジタル/アナログ変換)し、アナログ映像信号と、アナログ音声信号とを形成する。そして、デコード部42は、アナログ映像信号を映像信号処理部43−Vに供給し、アナログ音声信号を、音声信号増幅部43−Aに供給する。
映像信号処理部43−Vは、デコード部42から供給される映像信号から、表示用信号を形成し、これをLCD44に供給する。これにより、LCD44の表示画面には、コンテンツ供給部12又は13から送信されてきた映像信号に応じた映像が表示される。
一方、音声信号増幅部43−Aは、これに供給された音声信号を所定のレベルにまで増幅し、これをスピーカ45に供給する。これにより、スピーカ45からは、コンテンツ供給部12又は13から送信されてきた映像信号に関連する音声信号に応じた音声が放音される。
このように、表示再生部14乃至16は、コンテンツ供給部12又は13からホームネットワーク11を介して送信されてくるテレビ放送番組などの映像信号や音声信号を受信して、その受信した映像信号や音声信号を再生して出力することにより、使用者に提供することができる。
図6は、操作制御部17の機能ブロック図である。操作制御部17は、ホームネットワーク11に接続したコンテンツ供給部12及び13、表示再生部14、15及び16の操作を制御するための遠隔操作装置(リモートコントローラ)である。また、この操作制御部は、LCDのような表示デバイスを持ち、コンテンツ供給部12及び13からのAVコンテンツのストリーミング配信を受けて再生することが可能である。つまり、AVコンテンツのストリーミング再生機能と、なおかつホームネットワーク11に接続されている複数のコンテンツ供給部12及び13、複数の表示再生部14、15及び16の制御機能を併せ持つ。
具体的に、操作制御部17は、操作制御部17自体を含めた各部間で映像情報の送受(送受信又は伝送)を制御し、表示再生部14乃至16及び操作制御部17自体における映像の表示と音声の再生を制御する。このため操作制御部17は、ユーザによる操作入力を受け付ける入力操作受付部60と、操作入力に応じて映像情報を各部間で送受するための操作信号を生成する映像情報送受信号生成機能を一機能とするコントロール信号生成部62と、コントロール信号生成部62によって生成された操作信号に応じてストリーミング再生した映像情報を表示する表示部63とを備える。
また、操作制御部17は、ホームネットワーク11の無線LANアクセスポイント11cとの間でIEEE802.11方式のプロトコル、あるいはその発展プロトコルなどの所定のプロトコルにしたがった無線通信を行なうためのネットワークI/F部64を有する。また、コンテンツ供給部12及び13が格納しているコンテンツに関する情報やコンテンツデータそのものを受信し、復調するなどの処理を行うコンテンツ受信処理部65を有する。
また、コンテンツ受信処理部65により受信されて復調されたコンテンツに関する情報からコンテンツのリストを生成するリスト生成部66と、リスト生成部66によって生成されたリストを表示するリスト表示部67とを有する。また、コンテンツ受信処理部65により受信され復調されたコンテンツデータをデコードして再生するコンテンツ再生部68と、コンテンツ再生部68によって再生されるコンテンツデータを記憶する記憶部69とを備える。コンテンツ再生部68によって再生されたコンテンツデータは上記表示部63により映像表示される。
また、操作制御部17は、入力操作受付部60にて受け付けたユーザによる入力操作がどのような入力操作であるのかを判定する入力操作判定部61をコントロール信号生成部62との間に有する。
コントロール信号生成部62は、ユーザが入力操作受付部60の操作子などを押圧、回転或いは押し上げ、押し下げなどして行なったキー入力に対する入力操作判定部61による判定結果に基づいて各種コントロール信号を生成する。生成されるコントロール信号の具体例としては、所望のコンテンツ供給部に格納されているコンテンツデータを、所望の表示再生部にストリーミング再生させるスロウ操作信号がある。また、ある表示再生部にて表示されているコンテンツデータを操作制御部17の表示部63に表示するキャッチ操作信号がある。さらに、キャッチ操作時に、コンテンツデータを記憶部69に複製する複製操作信号がある。
このほか、コントロール信号生成部62は、ユーザの入力操作に基づいて所望のコンテンツ供給部12又は13を選択するコンテンツ供給選択信号を生成する。また、所望のコンテンツを選択するためのコンテンツ選択信号を生成する。コンテンツ選択信号は、コンテンツ受信処理部65で受信されたコンテンツに関する情報からリスト生成部66が生成し、リスト表示部67が表示したコンテンツリストを視認したユーザの操作に応じて生成される。また、コントロール信号生成部62は、表示再生部14、15及び16を選択するための表示再生部選択信号を生成する。この表示再生部選択信号は、表示再生部リスト表示部70に表示された表示再生部リストを視認したユーザの操作に応じて生成される。
もちろん、コントロール信号生成部62は、操作制御部17自体の表示部63にコンテンツを再生したり、停止したり、ポーズするための再生操作信号の他、表示を選択した表示再生部14、15及び16におけるコンテンツの再生を開始、停止、ポーズするなどの操作信号も生成する。
図7は、操作制御部17のハードウェアの構成例である。操作制御部17は、CPU71をバス72を介してネットワーク通信部64、コーデック処理部74、GDP(Graphics Display Processor)78、赤外線通信部79に接続している。また、CPU71をROM/RAM73、LCD63、記憶装置69に接続している。また、CPU71には入力操作部60である入力スイッチマトリックス部60が接続されている。
ネットワーク通信部64は、アンテナ80を介し、無線LAN用のアクセスポイント11cと 上述したように、IEEE802.11方式のプロトコル、あるいはその発展プロトコルなどの所定のプロトコルにしたがった無線通信を行なう。
ネットワーク通信部64による無線通信により、操作制御部17は入力操作部(入力スイッチマトリックス部)60によるユーザ入力操作に応じてCPU71がコントロール信号生成部62として機能し、生成した上記各コントロール信号をホームネットワーク11に接続されている複数のコンテンツ供給部12、13、或いは複数の表示再生部14、15及び16にアクセスポイント11cを通じて送信することができる。また、上記各部からの応答信号を受信することができる。
ROM73は、操作制御部17において実行する、本発明のコンテンツ表示再生プログラムや、各種の処理プログラム、また処理に必要なデータを記録している。RAM73は、各種の処理において得られたデータを一時的に記憶保持するなどのように、主に各種の処理の作業領域として用いられる。
もちろん、操作制御部17は、不揮発性のメモリであるEEPROMを備えていてもよい。このEEPROMを備えることにより、電源が落とされても、記憶保持した情報が失われることがなく、例えば、各種の設定パラメータ等を記憶保持することができる。
記憶部69は、例えばキャッチ機能時に、コンテンツ供給部12又は13からストリーミング配信されたコンテンツデータを記憶するメモリである。半導体メモリでも、HDDでもよい。
コーデック処理部74は、ネットワーク通信部64を介してストリーミング配信され、CPU71の制御によって分離された映像データ、音声データをデコードする。デコードされた映像情報はGDP78により映像信号処理が施され、LCD63に表示される。また、音声情報は、増幅器75にて増幅された後、ステレオ2ch用スピーカ76L、76Rに送られ各スピーカ76L、76Rから放音される。
赤外線通信部79は、直接に各電子機器などをリモートコントロールする操作信号に応じた赤外線信号を、コントロール対象の電子機器のコントロール信号受信部に送信する。
図8は、上記ハードウェア構成の操作制御部17のCPU71によって実行されるソフトウェアのブロック図である。遠隔操作信号を生成し、各コンテンツ供給部12、13や、表示再生部14、15及び16を制御するためのリモートコマンドアプリケーション81がある。また、映像、音楽、画像デコーダ部82、リモート機器制御部83、グラフィックスライブラリ84、映像ストリーム処理部85が、オペレーティングシステムOS86に基づいて実行される。さらに、ネットワークプロトコル処理部87は、上記802.11bの無線プロトコル88を実行する。また、グラフィックプロセッサ89は、GDP78により動作する。
次に、本コンテンツ表示再生システム10における、操作制御部17での第1の操作制御信号(コンテンツ配信要求信号)に応じたストリーミング再生表示、第3の操作制御信号(スロウ操作制御信号)に応じたスロウ操作による表示再生部での表示、第2の操作制御信号(キャッチ操作制御信号)に応じたキャッチ操作による操作制御部での表示を図9、図10、図11に示す。
まず、図9に示す操作制御部17に搭載されている表示パネル上のLCD63には、コンテンツ供給部12に保管されているコンテンツの情報からコンテンツがリスト表示される(17−1)。ユーザはカーソル移動ボタン90を使って、リスト上に斜線で示すように示されるカーソル91を希望するコンテンツ名に合せることでコンテンツを選択し、決定ボタン92を押す。すると、操作制御部17のコントロール信号生成部62は第1の操作制御信号(コンテンツ配信要求信号)を生成し、選択したコンテンツAをコンテンツ供給部12からストリーミング配信させ、操作制御部17でストリーミング再生してLCD63上に表示する(17−2)。このとき、過去に途中まで再生したという履歴情報があれば、途中から再生を始めることができる。
次に、図10に示すように、この選択したコンテンツAを表示再生部14で再生させるように制御したい場合を考える。この操作制御部17には、操作パネル上にジョイスティック操作子93が具備されており、その操作がコンテンツの切り換え動作に割り付けられているものとする。操作制御部17で選択したコンテンツを、表示再生部14に切り換えて表示する際には、ジョイスティック操作子93を上方向(上方向に向いた黒矢印のように)に移動させてスロウ操作を行なう(17−3)。すると、操作制御部17のコントロール信号生成部62は第3の操作制御信号(スロウ操作制御信号)を生成する。このスロウ操作によってコンテンツAは表示再生部14によりストリーミング再生される。このとき操作制御部17のLCD63の表示は消える(17−4)。なお、ここでは、コンテンツAを操作制御部17のLCD63に表示している状態からスロウ操作を行ったが、コンテンツAのアイコンを操作制御部17にて選択してすぐにスロウ操作をすることもできる。
次に、図11に示すように、この選択したコンテンツAを再度操作制御部17で再生させるように制御したい場合を考える。この操作制御部17では、上述したようにジョイスティック操作子93の操作はコンテンツの切り換え動作に割り付けられているものとする。操作制御部17で選択したコンテンツAを、表示再生部14(14−1)から操作制御部17に切り換えて表示する際には、ジョイスティック操作子93を下方向(下方向に向いた黒矢印のように)に移動させてキャッチ操作を行なう(17−5)。すると、操作制御部17のコントロール信号生成部62は第2の操作制御信号(キャッチ操作制御信号)を生成する。このキャッチ操作によってコンテンツAは表示再生部14から操作制御部17に切り換わり、操作制御部17によりストリーミング再生される(17−6)。このとき表示再生部14のLCD上の表示は消える(14−2)。
このコンテンツ表示再生システム10は、操作制御部17を用いたスロウ操作、キャッチ操作によりコンテンツ供給部に存在する映像データを表示再生部14〜16、あるいは操作制御部17間でホームネットワーク11を介して送受(例えば、スロウ、キャッチ)しながら表示し、さらに記憶装置69に記憶、複製する操作を直感的に行なう。従来は、スロウ/キャッチ機能を用いれば、上記AVコンテンツサーバに存在する映像データを上記可搬型表示装置や上記大型表示装置の間で送受することは想到できるが、上記AVコンテンツサーバに存在する映像データを他の記憶装置や記憶メディアに複製する操作を伴った映像データの表示は別々の動作であり、直感的な操作が不可能であった。
図12には、キャッチ操作&コピー処理時のフローチャートを示す。このフローチャートは、操作制御部17のCPU71が行う処理手順である。上記図1に示したコンテンツ表示再生システムの環境で、操作制御部17を用いて、コンテンツ供給部12に蓄積されている映像データを表示再生部14で表示しているとする。
この状態で、ステップS1で、操作制御部17を用いてキャッチ操作を行う。そうすると、S2で現在表示再生しているコンテンツ(図12には映像データと記すがこれは関連する音声データを含んでいる映像データであり、コンテンツと読み替えることとするのが分かりやすい。以下、映像データはコンテンツと読み替える。)とそのデータを格納しているコンテンツ供給部12の情報が、操作制御部17に指定されている表示再生部14から無線LANを介して得られる。その後、ステップS3に進み、キャッチ操作がコピー操作に割り当てられているかどうかが調べられる。キャッチ操作をコピー操作に割り当てる操作の設定は、図15を用いて後述する。
ステップS3にてキャッチ操作がコピー操作に割り当てられていると操作制御部17のCPU71が判定した場合、ステップS4に進み、操作制御部17はキャッチ処理を別タスクで開始し、その後、ステップS5に進む。
ステップS5では、操作制御部17を用いて、映像表示を依頼した表示再生部(この場合は表示再生部14)に、表示している映像データを管理するコンテンツ供給部(この場合は、コンテンツ供給部12)と、どのコンテンツの映像データを表示しているかの情報を用い、コンテンツ供給部12に、該当のコンテンツの映像データを、キャッチ操作を行った操作制御部17に、コピーするように要求を出す。
ステップS6にて、コンテンツ供給部12よりエラーを受け取った場合には、ステップS8に進み、その旨ユーザに報告して終了する。ステップS6にて、コンテンツ供給部12からエラーを受け取らず、応答ACKを受け取った場合は、ステップS7にて、上記ステップS5の要求により、コンテンツ供給部12より送られてきた映像データを、操作制御部17の記憶装置69に保存するコピー処理を起動し,終了する。
一方、ステップS3にてキャッチ操作がコピー操作に割り当てられていないと操作制御部17のCPU71が判定すると、ステップS9に進み、キャッチ操作時に特定のキー、例えば操作制御部17のシフトキーが押されているかどうかを調べる。
ステップS9にて、特定のキーが押下されていると判定したときには、ステップS10に進み、特定キーの押下時のキャッチ操作時に同時にコピー処理を行う設定になっているかを調べる。このステップS10において、キャッチ処理と同時にコピー操作を行う設定になっていると判定した場合は、ステップS4に進み、キャッチ処理を別タスクで行う。
ステップS10で、キャッチ処理と同時にコピー操作を行う設定になっていないと判定したときには、ステップS11に進み、コピー操作だけを行う設定かどうかを調べる。
ステップS11にてコピー処理だけを行う設定になっている場合は、上述したステップS5に進み、表示している映像データを管理するコンテンツ供給部(この場合は、コンテンツ供給部12)と、どのコンテンツの映像データを表示しているかの情報を用い、コンテンツ供給部12に、該当のコンテンツの映像データを、キャッチ操作を行った操作制御部17に、コピーするように要求を出す。
ステップS11にてコピー処理だけを行う設定になっていないときは、ステップS12に進み、通常のキャッチ処理が行われる。このキャッチ処理については、図13を参照して後述する。
このように、コンテンツ表示再生システム10は、操作制御部17による直感的な操作によって、キャッチ操作時に記憶部69にコンテンツ供給部12からのコンテンツを複製することができる。
図13は、図12におけるステップS12のキャッチ処理の手順を示すフローチャートである。先ず、ステップS41にて、上記図12のステップS2で得られたコンテンツ供給部12の情報とコンテンツ(図には単に映像データと記す)の情報を基に、コンテンツ供給部12から操作制御部17へ、コンテンツデータをストリーム転送するように要求を出す。その結果、ステップS42にてエラーを受け取った場合には、ステップS45にてでその旨表示し処理を終了する。
ステップS42にて、エラーを受け取らなかった場合(ACKを受け取った場合)、ステップS43に進む。ステップS43では、操作制御部17がコンテンツ供給部12からコンテンツを受け取り、それをデコードし、操作制御部17が具備するディスプレイ(LCD)63に表示する。ステップS44にて操作制御部17のCPU71によりデータが終了したと判定するまでこの処理を繰り返す。
図14は、図12のステップS7にて行われるデータコピーイン処理のフローチャートである。ステップS61にて、コンテンツ供給部12より送られてくるデータを記憶装置69に書き込む。次にステップS62に進み、データが終了するまで、ステップS61の処理が行われ、データが終了するとコピーイン処理が終了する。
図15は、上述したキャッチ操作、又は後述するスロウ操作にコピー操作を割り当てる際の操作制御部17のユーザインターフェース(UI)例である。操作制御部17の表示パネルのLCD63に、操作の設定画面110が表示される。この設定画面110では、ラジオボタン111に「スロウ/キャッチ操作時にコピー操作も行う。」という操作設定が割り当てられる。また、ラジオボタン112に「特定キーの押下に伴うスロウ/キャッチ操作時にコピー操作を行う。」という操作設定が割り当てられる。また、ラジオボタン113に「特定キーの押下に伴うスロウ/キャッチ操作をコピー操作だけとする。」という操作設定が割り当てられる。また、ラジオボタン114に「スロウ/キャッチ操作をコピー操作に割り当てない。」という操作設定が割り当てられる。いずれかのラジオボタンがオンの場合は他のラジオボタンはオフとなる。オンとされたラジオボタンの操作に応じ、いずれか一つの設定が選択される。
図16は、第1のコンテンツ表示再生システム10にて実行された、図12のフローチャートによるキャッチ操作に伴ったコンテンツ供給部12からのコピーコンテンツデータを、第2のコンテンツ表示再生システム100にて、再利用する環境(たとえば、別の家など)のシステム構成を示す。
第2のコンテンツ表示再生システム100は、図16に示すように、ホームネットワーク101に1台のコンテンツ供給部102と、表示再生部103とを有線接続している構成である。そこに、第1の表示再生システム10にてコンテンツ供給部12からコンテンツデータをキャッチ操作時にコピーし、記憶部69に格納した操作制御部17だけを、持ち運び、ホームネットワーク101を介して表示再生部103にスロウ操作し、さらにコンテンツ供給部102に該当のコンテンツデータをコピーする。また、操作制御部17の記憶部に上記キャッチ操作、スロウ操作などと同時に記憶されたコンテンツデータは、第1のコンテンツ表示再生システム10のコピー先のコンテンツ供給部12ではない、他のコンテンツ供給部13に複製してもよいのはもちろんである。
また、操作制御部17の記憶部に上記キャッチ操作、スロウ操作などと同時に記憶されたコンテンツデータは、コンテンツ表示再生システム10、100の表示再生部に、各ホームネットワーク11を通してストリーミング配信されてもよい。
図17は、図16に示した環境で、操作制御部17を用いてスロウ操作を行った場合の処理の流れを示す。ステップS21にて、操作制御部17上で、記憶部69内に保存されている映像データを再生している、もしくは、映像データのアイコンを選択している状態で、スロウ処理がなされたとする。ステップS22に処理が進み、スロウ操作にコピー操作が割り当てられているかどうかをチェックする。これは、上記図15に示した操作設定に基づいている。
ステップS22にて、スロウ操作がコピー操作に割り当てられていると判定したときには、ステップS23にてスロウ処理を別タスクで開始し、ステップS24に進む。ステップS24では、コンテンツデータをコピー可能なコンテンツ供給部(図15の場合、コンテンツ供給部102)を探す。
ステップS24にてコンテンツデータをコピー可能なコンテンツ供給部102が見つかった場合、ステップS26に進み、コンテンツデータを記憶装置69よりコンテンツ供給部102へコピーする処理(データコピーアウト処理)を起動し、処理を終了する。
ステップS25にてコンテンツ供給部が見つからなかった場合、ステップS27にて、エラーを表示し、その旨ユーザに伝え、終了する。
ステップS22にて、スロウ操作がコピー操作に割り当てられていないと判定した場合は、ステップS28に進み、例えばシフトキーのような特定のキーが押されているかを調べる。
ステップS28にて、特定のキーが押されていると判定した場合、ステップS29に進み、スロウ処理と同時にコピー操作を行う設定かどうかを調べる。
ステップS29で、スロウ処理と同時にコピー操作を行う設定であると判定したときには、ステップS23に進み、前述の処理であるスロウ処理を別タスクで行う。
ステップS29でスロウ処理と同時にコピー操作を行う設定でないと判定したときには、ステップS30に進み、コピーだけが行われる設定かどうかを調べる。このステップS30にて、コピーだけが行われる設定と判定した場合は、ステップS24に進み、前述した処理であるコンテンツデータをコピー可能なコンテンツ供給部を探す。
ステップS30にて、コピーだけが行われる設定ではないと判定した場合、ステップS31に進み、スロウ処理を別タスクで行う。
これにより、図16に示したような環境でも、操作制御部17により、第2のコンテンツ表示再生システム100において、スロウ操作時にコンテンツデータを所望のコンテンツ供給部102に複製することができる。
図18は、スロウ処理の流れを示すフローチャートである。ステップS51で、図17で指定されたコンテンツデータを、操作制御部17で指定した表示再生部103へ、ストリーム転送する旨、要求を出す。その結果、ステップS52でエラーを受け取った場合には、ステップS55でその旨表示し処理を終了する。
ステップS52にてエラーを受け取らなかった場合(ACKを受け取った場合)は、ステップS53に進む。ステップS53で、表示再生部103に、コンテンツデータをストリーム転送する。ステップS54で、該当コンテンツデータが終了するまでこの処理を繰り返す。
図19は、データコピーアウト処理のフローチャートである。ステップS71で、該当コンテンツデータを記憶装置69より取り出し、所望のコンテンツ供給部102にコピーする。次に、ステップS72に進み、データが終了するまで、ステップS71の処理を行い、データが終了するとコピーアウト処理が終了する。
また、本発明のコンテンツ表示再生システムでは、図20及び図21を参照して以下に説明するように、コンテンツ供給部12とコンテンツ供給部13間でのコンテンツコピーを操作制御部17におけるスロウ操作により実行してもよい。
図20は、ルータ機能を備えたハブ11aにコンテンツ供給部12とコンテンツ供給部13を有線接続し、アクセスポイント11cを介して操作制御部17を無線接続した構成である。ステップS401にてコンテンツ供給部12から操作制御部17へコンテンツ1がストリーミング配信され、操作制御部17にてストリーミング再生されている。操作制御部17にてコンテンツ1再生中にジョイスティック93のようなアナログパッドをユーザが矢印Rのように右に向かって横方向にスライド操作し、コンテンツ供給部13にコンテンツ1をスロウ操作する(ステップS402)。すると、そのスロウ操作によりコンテンツ供給部12のコンテンツ蓄積部22に蓄積されているオリジナルのコンテンツ1がコンテンツ供給部13のコンテンツ蓄積部22にコピーされる(ステップS403)。
図21は、図20と同様にルータ機能を備えたハブ11aにコンテンツ供給部12とコンテンツ供給部13を有線接続し、アクセスポイント11cを介して操作制御部17を無線接続した構成である。ステップS411にてコンテンツ供給部12から操作制御部17へコンテンツメタ情報を送信する。ここでいうコンテンツメタ情報は、コンテンツのタイトル、コンテンツの在処、コンテンツの全体の時間、コンテンツのコーデック種類、コンテンツの解像度、コンテンツのサムネイルからなる。コンテンツのタイトルに対して、コンテンツの在処、コンテンツの全体の時間、コンテンツのコーデック種類、コンテンツの解像度、コンテンツのサムネイルを一つのセットにして複数存在させることもある。これは、同じ内容のコンテンツであっても、異なるコーデックや解像度のものが複数存在していることがあるからである。
すると、操作制御部17では上記コンテンツメタ情報を参照し、コンテンツ供給部毎のコンテンツリストを生成し、リスト表示部67に表示する。コンテンツリストはテキストデータでもよいし、サムネイル画像でもよい。操作制御部17のリスト表示部67に上記コンテンツリストを表示中に、ユーザがコンテンツリストから例えばコンテンツ2のサムネイル100を選択し、コンテンツ供給部13へ上記アナログパッドを矢印Rのように右に向かって横方向にスライド操作してスロウ操作を行う(ステップS412)。すると、スロウ操作によりコンテンツ供給部12のコンテンツ蓄積部22に蓄積されているオリジナルのコンテンツ1がコンテンツ供給部13のコンテンツ蓄積部22にコピーされる(ステップS413)。
また、本発明のコンテンツ表示再生システムでは、図22及び図23を参照して以下に説明するように、操作制御部17からコンテンツ供給部12へのコンテンツコピーをスロウ操作により実行してもよい。この場合、コンテンツは操作制御部17からコンテンツ供給部12にアップロードされることになる。
図22は、ルータ機能を備えたハブ11aにコンテンツ供給部12を有線接続し、アクセスポイント11cを介して操作制御部17を無線接続した構成である。ステップS421にて、例えば記憶装置69などのメモリーデバイス上に保存してあるコンテンツ3を再生中に、ユーザがジョイスティック93のようなアナログパッドを矢印Rのように右に向かって横方向にスライド操作し、コンテンツ供給部12にコンテンツ1をスロウ操作する。すると、そのスロウ操作により操作制御部17の記憶装置69に蓄積されているオリジナルのコンテンツ3がコンテンツ供給部12のコンテンツ蓄積部22にコピーされる(ステップS422)。
図23は、図22と同様にルータ機能を備えたハブ11aにコンテンツ供給部12を有線接続し、アクセスポイント11cを介して操作制御部17を無線接続した構成である。ステップS431にて、例えば記憶装置69などのメモリーデバイス上のコンテンツリストを表示部63のリスト表示部67に表示中に、ユーザがコンテンツ4の例えばサムネイル101を選択してから、ジョイスティック93のようなアナログパッドを矢印Rのように右に向かって横方向にスライドし、コンテンツ4をコンテンツ供給部12へスロウ操作する。すると、そのスロウ操作により操作制御部17の記憶装置69に蓄積されているオリジナルのコンテンツ4がコンテンツ供給部12のコンテンツ蓄積部22にコピーされる(ステップS432)。
また、本発明のコンテンツ表示システムでは、図24及び図25を参照して以下に説明するように、コンテンツ供給部12から操作制御部17へのコンテンツコピーをキャッチ操作により実行してもよい。この場合、コンテンツはコンテンツ供給部12から操作制御部17にダウンロードされることになる。
図24は、ルータ機能を備えたハブ11aにコンテンツ供給部12を有線接続し、アクセスポイント11cを介して操作制御部17を無線接続した構成である。ステップS441にて、コンテンツ供給部12から操作制御部17へコンテンツ5がストリーミング配信され、操作制御部17にてコンテンツ5をストリーミング再生している。操作制御部17にてコンテンツ5再生中にジョイスティック93のようなアナログパッドをユーザが矢印Lのように左に向かって横方向にスライド操作し、記憶装置69のようなメモリーデバイスにコンテンツ5をキャッチ操作する(ステップS442)。すると、そのキャッチ操作によりコンテンツ供給部12のコンテンツ蓄積部22に蓄積されているオリジナルのコンテンツ5が操作制御部17の上記メモリ-デバイスへコピーされる(ステップS443)。
図25は、図24と同様にルータ機能を備えたハブ11aにコンテンツ供給部12を有線接続し、アクセスポイント11cを介して操作制御部17を無線接続した構成である。ステップS451にてコンテンツ供給部12から操作制御部17へコンテンツメタ情報を送信する。すると、操作制御部17では上記コンテンツメタ情報を参照し、コンテンツ供給部毎のコンテンツリストを生成し、表示部63のリスト表示部67に表示する。コンテンツリストはテキストデータでもよいし、サムネイル画像でもよい。操作制御部17のリスト表示部67に上記コンテンツリストを表示中に、ユーザがコンテンツリストから例えばコンテンツ6のサムネイル102を選択し、記憶装置69へ上記アナログパッドを矢印Lのように左に向かって横方向にスライド操作し、記憶装置69のようなメモリーデバイスにコンテンツ6をキャッチ操作する(ステップS452)。すると、そのキャッチ操作によりコンテンツ供給部12のコンテンツ蓄積部22に蓄積されているオリジナルのコンテンツ6が操作制御部17の上記メモリーデバイスへコピーされる(ステップS453)。
上記図20から図25までに示したスロウ操作によるコンテンツのコピー、キャッチ操作によるコンテンツのコピー操作について以下にまとめる。
操作制御部17の入力操作受付部60に設けられているジョイスティック93のようなアナログパッドを横方向スライドすることにより、コンテンツのコピーに割り当てることができる。
上記アナログパッドを右方向にスライドするとスロウ操作になり、コンテンツのコピー先はコンテンツ供給部となる。ただし、コンテンツが他のコンテンツ供給部に蓄積されているならば、コンテンツ供給部間のコンテンツコピーである。また、コンテンツが操作制御部17の上記記憶装置69のようなメモリーデバイス上にあるならば、操作制御部17からコンテンツ供給部へのアップロードとなる。
また、上記アナログパッドを左方向にスライドするとキャッチ操作になり、コンテンツのコピー先は操作制御部の上記メモリーデバイスとなり、コンテンツはダウンロードされることになる。
以上には、図20乃至図25を参照して、アナログパッドの横方向スライドをコピー専用とする処理を説明したが、アナログパッドの縦方向スライドを再生とコピーで共用することもできる。
前述したように、アナログパッドを縦方向にスライドするとスロウ操作になる。ただし、図2に示した表示再生部を指定した場合は、操作制御部から表示再生部へコンテンツ再生処理を図10で示したように移行させることになる。また、コンテンツ供給部を指定した場合はコピー操作となる。この場合、コンテンツがコンテンツ供給部上にあるならばコンテンツ供給装置間のコピー操作となる。また、コンテンツが操作制御部のメモリースティック上にあるならば操作制御部からコンテンツ供給部へのアップロードとなる。
また、アナログパッドを下方向にスライドすると前述したようにキャッチ操作となる。ただし、指定先が操作制御部であれば図11で説明したキャッチ操作であり、指定先が操作制御部のメモリーデバイスであればコンテンツ供給部から操作制御部へのコンテンツのダウンロードとなる。
コンテンツ表示再生システムの構成図である。 コンテンツ供給部の機能ブロック図である。 コンテンツ供給部のハードウェア図である。 表示再生部の機能ブロック図である。 表示再生部のハードウェア図である。 操作制御部の機能ブロック図である。 操作制御部のハードウェア図である。 操作制御部のソフトウェア図である。 操作制御部における表示再生処理を説明する図である。 操作制御部によるスロウ操作を説明する図である。 操作制御部によるキャッチ操作を説明する図である。 キャッチ&コピー処理を示すフローチャートである。 キャッチ処理を示すフローチャートである。 データコピーイン処理を示すフローチャートである。 UI上での操作設定を示す図である。 コンテンツデータの再利用を説明する図である。 スロウ&コピー処理のフローチャートである。 スロウ処理のフローチャートである。 データコピーアウト処理を示すフローチャートである。 コンテンツ供給部間のコンテンツコピーをスロウ操作で実行する処理を説明するための図である。 コンテンツ供給部間のコンテンツコピーをスロウ操作で実行する処理を説明するための図である。 操作制御部からコンテンツ供給部へのコンテンツコピーをスロウ操作で実行する処理を説明するための図である。 操作制御部からコンテンツ供給部へのコンテンツコピーをスロウ操作で実行する処理を説明するための図である。 コンテンツ供給部から操作制御部へのコンテンツコピーをキャッチ操作で実行する処理を説明するための図である。 コンテンツ供給部から操作制御部へのコンテンツコピーをキャッチ操作で実行する処理を説明するための図である。
符号の説明
10 コンテンツ表示再生システム、11 ホームネットワーク、12,13 コンテンツ供給部、14,15,16 表示再生部、17 操作制御部

Claims (4)

  1. ネットワークに接続した複数のコンテンツ供給部の操作を操作制御部により制御し、上記操作制御部を含めた各部間でコンテンツを送受するコンテンツ表示再生システムにおいて、
    上記操作制御部はユーザによる操作入力を受け付ける入力操作受付部を有し、第1のコンテンツ供給部からストリーミング配信されたコンテンツを再生中に上記入力操作受付部においてアナログパッドを左右横方向又は上下縦方向の一方にスライドさせた操作が行われると、当該スライド操作にコピー操作が割り当てられていると判定された場合、第1のコンテンツ供給部から上記ストリーミング配信されて再生中のコンテンツに対応する該第1のコンテンツ供給部に蓄積されているオリジナルのコンテンツを他のコンテンツ供給部にコンテンツコピーさせるコンテンツ表示再生システム。
  2. ネットワークに接続した複数のコンテンツ供給部の操作を操作制御部により制御し、上記操作制御部を含めた各部間でコンテンツを送受し表示再生するコンテンツ表示再生方法において、
    上記操作制御部はユーザによる操作入力を受け付ける入力操作受付部を有し、第1のコンテンツ供給部からストリーミング配信されたコンテンツを再生中に上記入力操作受付部においてアナログパッドを左右横方向又は上下縦方向の一方にスライドさせた操作が行われると、当該スライド操作にコピー操作が割り当てられていると判定された場合、第1のコンテンツ供給部から上記ストリーミング配信されて再生中のコンテンツに対応する該第1のコンテンツ供給部に蓄積されているオリジナルのコンテンツを他のコンテンツ供給部にコンテンツコピーさせるコンテンツ表示再生方法。
  3. ネットワークに接続したコンテンツ供給部の操作を操作制御部により制御し、上記操作制御部を含めた各部間でコンテンツを送受するコンテンツ表示再生システムにおいて、
    上記操作制御部はユーザによる操作入力を受け付ける入力操作受付部とコンテンツを記録するための記憶装置を有し、コンテンツ供給部からストリーミング配信されたコンテンツを再生中に上記入力操作受付部においてアナログパッドを左右横方向又は上下縦方向の一方にスライドさせた操作が行われると、当該スライド操作にコピー操作が割り当てられていると判定された場合、コンテンツ供給部から上記ストリーミング配信されて再生中のコンテンツに対応する上記コンテンツ供給部に蓄積されているオリジナルのコンテンツを上記記憶装置にコンテンツコピーするコンテンツ表示再生システム。
  4. ネットワークに接続したコンテンツ供給部の操作を操作制御部により制御し、上記操作制御部を含めた各部間でコンテンツを送受し表示再生するコンテンツ表示再生方法において、
    上記操作制御部はユーザによる操作入力を受け付ける入力操作受付部とコンテンツを記録するための記憶装置を有し、コンテンツ供給部からストリーミング配信されたコンテンツを再生中に上記入力操作受付部においてアナログパッドを左右横方向又は上下縦方向の一方にスライドさせた操作が行われると、当該スライド操作にコピー操作が割り当てられていると判定された場合、コンテンツ供給部から上記ストリーミング配信されて再生中のコンテンツに対応する上記コンテンツ供給部に蓄積されているオリジナルのコンテンツを上記記憶装置にコンテンツコピーするコンテンツ表示再生方法。
JP2006014187A 2005-05-18 2006-01-23 コンテンツ表示再生システム及びコンテンツ表示再生方法 Expired - Fee Related JP4984545B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006014187A JP4984545B2 (ja) 2005-05-18 2006-01-23 コンテンツ表示再生システム及びコンテンツ表示再生方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005145960 2005-05-18
JP2005145960 2005-05-18
JP2006014187A JP4984545B2 (ja) 2005-05-18 2006-01-23 コンテンツ表示再生システム及びコンテンツ表示再生方法

Publications (2)

Publication Number Publication Date
JP2006352827A JP2006352827A (ja) 2006-12-28
JP4984545B2 true JP4984545B2 (ja) 2012-07-25

Family

ID=37648125

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006014187A Expired - Fee Related JP4984545B2 (ja) 2005-05-18 2006-01-23 コンテンツ表示再生システム及びコンテンツ表示再生方法

Country Status (1)

Country Link
JP (1) JP4984545B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100048090A (ko) * 2008-10-30 2010-05-11 삼성전자주식회사 터치와 모션을 통해 제어 명령을 생성하는 인터페이스 장치, 인터페이스 시스템 및 이를 이용한 인터페이스 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001054090A (ja) * 1999-08-09 2001-02-23 Fujitsu Ltd 情報受信装置および情報受信プログラムを記録したコンピュータ読み取り可能な記録媒体
JP3686396B2 (ja) * 2001-08-06 2005-08-24 松下電器産業株式会社 ストリーム処理装置
JP3984452B2 (ja) * 2001-11-09 2007-10-03 大日本印刷株式会社 動画データ配信システム、動画データ受信再生装置、コンピュータプログラム、コンテンツ不正流通防止方法
JP3925297B2 (ja) * 2002-05-13 2007-06-06 ソニー株式会社 映像表示システム及び映像表示制御装置
JP2004040181A (ja) * 2002-06-28 2004-02-05 Canon Inc 動画蓄積方法および動画蓄積装置
JP4195253B2 (ja) * 2002-07-24 2008-12-10 ソニー株式会社 遠隔制御機器および遠隔制御機器の制御方法
JP4379681B2 (ja) * 2003-04-04 2009-12-09 ソニー株式会社 携帯型情報処理装置、情報送信制御方法及び情報通信システム
JP4332707B2 (ja) * 2003-05-12 2009-09-16 ソニー株式会社 操作入力受付装置、操作入力受付方法および遠隔操作システム
JP4547880B2 (ja) * 2003-08-07 2010-09-22 ソニー株式会社 情報処理装置、情報記録媒体再生装置、コンテンツ利用制御システム、および方法、並びにコンピュータ・プログラム

Also Published As

Publication number Publication date
JP2006352827A (ja) 2006-12-28

Similar Documents

Publication Publication Date Title
JP4715535B2 (ja) コンテンツ表示再生システム、コンテンツ表示再生方法、コンテンツ表示再生プログラムを記録した記録媒体及び操作制御装置
JP4385995B2 (ja) コンテンツ表示再生システム、コンテンツ表示再生方法、コンテンツ表示再生プログラムを記録した記録媒体及び操作制御装置
JP4385996B2 (ja) コンテンツ表示再生システム、コンテンツ表示再生方法、コンテンツ表示再生プログラムを記録した記録媒体及び操作制御装置
US8321898B2 (en) Content display-playback system, content display-playback method, and recording medium and operation control apparatus used therewith
JP4929177B2 (ja) 映像表示装置及び再生装置
JP5353713B2 (ja) タイムシフト視聴システム、表示装置およびタイムシフト視聴方法
KR101286257B1 (ko) 컨텐츠 출력 시스템, 정보 표시 장치, 컨텐츠 출력 장치,및 컨텐츠 정보 표시 방법
US20010020958A1 (en) Method of menu-driven control of an external connected device in an audio/video apparatus
JPWO2008117586A1 (ja) コンテンツ再生システム、コンテンツ再生・制御装置およびコンピュータプログラム
JP2007019695A (ja) 再生装置
JP5251036B2 (ja) 表示出力装置
JP2010039540A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2007228022A (ja) 情報処理装置および方法、指示装置および方法、並びにプログラム
JP2006339899A (ja) Av機器及びその制御方法
JP4984545B2 (ja) コンテンツ表示再生システム及びコンテンツ表示再生方法
JP4280776B2 (ja) 情報再生装置及び方法、並びにコンピュータプログラム
JP2007053701A (ja) Ieee1894シリアルバスに接続されるセットトップボックス、及びieee1394シリアルバスに接続されるコントローラ機器
KR100864720B1 (ko) 하나의 오에스디 화면을 통해 각 장치의 제어가 가능한콤비네이션 시스템 및 그의 동작제어방법
JP2005223632A (ja) 記録映像表示装置、記録映像表示方法及び記録映像表示システム
JP2008052868A (ja) ディスク記録再生装置
JP2007189418A (ja) 情報処理装置および方法、並びにプログラム
JP5449724B2 (ja) デジタルテレビジョン受信装置
JP2006041584A (ja) 映像機器用マルチリモコンシステム
US20060064723A1 (en) Method for an instant pop-up interface for a set-top box
JP2012109816A (ja) 録画装置及び録画装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110809

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110928

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120228

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120416

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees