JP2009017017A

JP2009017017A - マルチメディア再生機器

Info

Publication number: JP2009017017A
Application number: JP2007174196A
Authority: JP
Inventors: Hideki Tanabe; 英樹田邊; Hiroshi Nishigaki; 宏西垣
Original assignee: Funai Electric Co Ltd
Current assignee: Funai Electric Co Ltd
Priority date: 2007-07-02
Filing date: 2007-07-02
Publication date: 2009-01-22

Abstract

【課題】手書き情報をコンテンツそのものとは別個に格納するようにし、これによって、オリジナルのコンテンツデータには手を加えずに、個人ごとにカスタマイズされたコンテンツデータの提示の態様を提供する。
【解決手段】複数のマルチメディア再生機器１によって共用される画像コンテンツのうち、所望の画像コンテンツが外部記憶部１１から供給されてコンテンツ表示部によりディスプレイ５３に表示されるとき、当該所望の画像コンテンツに関連付けされた手書き情報はマルチメディア再生機器１の情報記憶部４から読出して、当該所望の画像コンテンツにオーバレイして表示される。このように、手書き情報を画像コンテンツそのものとは別個にマルチメディア再生機器１毎に格納する。
【選択図】図１

Description

この発明はマルチメディア再生機器に関し、特に、コンテンツ（映像・画像）の再生中に再生画面上に手書き入力した内容をコンテンツと関連付けて再利用することを可能とするマルチメディア再生機器に関する。

従来は、映像データを表示して、メモを手書き入力し、画像とメモを個別に格納して再生する機器が提供されている。たとえば、特許文献１では、ビデオカメラで撮影した映像中に注釈を手書きで記入できる構成が示される。

特許文献２においては、デジタルカメラを用いて撮影を行なう予定の被写体に関するメモ情報を、デジタルカメラを用いて入力可能とする構成が示される。特許文献３では、表示機能付カメラにおいて、カメラで文字情報を取扱可能とし、撮像データをノート感覚で編集する構成が示される。

特許文献４では、映像信号などの記録を行なう磁気テープに、メモ情報を記録する領域を設ける構成が示される。
特開平１０−０２８２５０号公報特開２００６−１４１０５号公報特開平０４−３２１３８９号公報特開平０５−０８１７６４号公報

最近は、個人単位でマルチメディア再生機器を携帯し移動するという環境が整えられつつある。その場合には、各人のマルチメディア再生機器はネットワークを介して、１個または複数個のサーバに接続され、各人がサーバに登録されたデータを共用するという環境が提供される。したがってこのような機器においては、ネットワークへのサーバに保存されたコンテンツを共用する場合、その共用の仕方を各人ごとにカスタマイズ化する環境の充実が望まれていた。しかしながら、上述の特許文献１〜４では、このようなネットワーク接続型のポータブル機器におけるユーザ毎のカスタマイズに向けられたコンテンツの利用に関する提案はなされていなかった。

このようなネットワーク接続型のポータブル機器の場合には、クライアントであるポータブル機器側でメモ書きを実現するとき、コンテンツデータそのものを加工する（メタデータをコンテンツに格納することも含む）と、サーバ側のデータそのものを加工することとなってしまうから、コンテンツを各人が共用するという環境を維持することができなくなる。

それゆえにこの発明の目的は、手書き情報をコンテンツそのものとは別個に格納するようにし、これによって、オリジナルのコンテンツデータには手を加えずに、個人ごとにカスタマイズされたコンテンツデータの提示の態様を提供するマルチメディア再生機器を提供することである。

この発明のある局面に従うと、マルチメディア再生機器は、ディスプレイと前記ディスプレイの全面に載置された透明タッチパネルからなる表示一体型入力部と、外部記憶部から読出されて入力する画像コンテンツを再生しディスプレイに表示するコンテンツ表示部と、コンテンツ表示部により画像コンテンツが表示されている状態において、透明タッチパネル上に手書き入力された手書き情報を読込む手書き情報読込部と、手書き情報読込部により読込まれた手書き情報が、画像コンテンツと関連付けて格納される情報記憶部と、所望の画像コンテンツが外部記憶部から供給されてコンテンツ表示部によりディスプレイに表示されるとき、当該所望の画像コンテンツに関連付けされた手書き情報を情報記憶部から読出して、当該所望の画像コンテンツにオーバレイして表示するオーバレイ画像表示部とを備え、外部記憶部に格納される画像コンテンツは、複数のマルチメディア再生機器によって共用され、透明タッチパネル上に手書き入力された手書き情報を手書き情報読込部により読込むとき、表示されている画像コンテンツの再生状態の情報を取得し、手書き情報読込部により読込まれた手書き情報と関連付けて情報記憶部に格納し、オーバレイ画像表示部は、所望の画像コンテンツがディスプレイに表示されるとき、当該所望の画像コンテンツに関連付けされた手書き情報と、当該手書き情報に関連付けされた再生状態の情報とを情報記憶部から読出して、読出した手書き情報を、読出した再生状態の情報に従い当該所望の画像コンテンツにオーバレイして表示し、オーバレイ画像表示部は、所望の画像コンテンツがディスプレイに表示されるとき、当該所望の画像コンテンツに関連付けされた手書き情報が複数個ある場合には、情報記憶部から読出した複数の手書き情報を、所定時間間隔で切替えて当該所望の画像コンテンツにオーバレイして表示し、所望の画像コンテンツに手書き情報がオーバレイして表示された状態の画像を、印刷出力し、手書き情報に関連付けて当該手書き情報が指す画像のサムネイル画像を生成する第１サムネイル画像生成部と、手書き情報が関連付けされた画像コンテンツに関連付けて当該画像コンテンツのサムネイル画像を生成する第２サムネイル画像生成部と、第１サムネイル画像生成部または第２サムネイル画像生成部により生成されたサムネイル画像を一覧表示するサムネイル表示部と、をさらに備え、オーバレイ画像表示部は、サムネイル表示部により表示されたサムネイル画像のうちから選択指示されたサムネイル画像に関連付けされた画像コンテンツが、外部記憶部から読出されてディスプレイに再生表示され、手書き情報は、関連の画像コンテンツのメタデータとして個別にファイルとして情報記憶部に格納される。

この発明の他の局面に従う、マルチメディア再生機器は、ディスプレイとディスプレイの全面に載置された透明タッチパネルからなる表示一体型入力部と、外部記憶部から読出されて入力する画像コンテンツを再生しディスプレイに表示するコンテンツ表示部と、コンテンツ表示部により画像コンテンツが表示されている状態において、透明タッチパネル上に手書き入力された手書き情報を読込む手書き情報読込部と、手書き情報読込部により読込まれた手書き情報が、画像コンテンツと関連付けて格納される情報記憶部と、所望の画像コンテンツが外部記憶部から供給されてコンテンツ表示部によりディスプレイに表示されるとき、当該所望の画像コンテンツに関連付けされた手書き情報を情報記憶部から読出して、当該所望の画像コンテンツにオーバレイして表示するオーバレイ画像表示部とを備え、外部記憶部に格納される画像コンテンツは、複数のマルチメディア再生機器によって共用される。

好ましくは、透明タッチパネル上に手書き入力された手書き情報を手書き情報読込部により読込むとき、表示されている画像コンテンツの再生状態の情報を取得し、手書き情報読込部により読込まれた手書き情報と関連付けて情報記憶部に格納する。

好ましくは、オーバレイ画像表示部は、所望の画像コンテンツがディスプレイに表示されるとき、当該所望の画像コンテンツに関連付けされた前記手書き情報と、当該手書き情報に関連付けされた再生状態の情報とを情報記憶部から読出して、読出した手書き情報を、読出した再生状態の情報に従い当該所望の画像コンテンツにオーバレイして表示する。

好ましくは、オーバレイ画像表示部は、所望の画像コンテンツがディスプレイに表示されるとき、当該所望の画像コンテンツに関連付けされた手書き情報が複数個ある場合には、情報記憶部から読出した複数の手書き情報を、所定時間間隔で切替えて当該所望の画像コンテンツにオーバレイして表示する。

好ましくは、所望の画像コンテンツに前記手書き情報がオーバレイして表示された状態の画像を、印刷出力する。

好ましくは、手書き情報に関連付けて当該手書き情報が指す画像のサムネイル画像を生成する第１サムネイル画像生成部と、手書き情報が関連付けされた画像コンテンツに関連付けて当該画像コンテンツのサムネイル画像を生成する第２サムネイル画像生成部と、第１サムネイル画像生成部または第２サムネイル画像生成部により生成されたサムネイル画像を一覧表示するサムネイル表示部と、をさらに備え、オーバレイ画像表示部は、サムネイル表示部により表示されたサムネイル画像のうちから選択指示されたサムネイル画像に関連付けされた画像コンテンツが、外部記憶部から読出されてディスプレイに再生表示される。

好ましくは、手書き情報は、関連の画像コンテンツのメタデータとして個別にファイルとして情報記憶部に格納される。

発明によれば、複数のマルチメディア再生機器によって共用される画像コンテンツのうち、所望の画像コンテンツが外部記憶部から供給されてコンテンツ表示部によりディスプレイに表示されるとき、当該所望の画像コンテンツに関連付けされた手書き情報をマルチメディア再生機器の情報記憶部から読出して、当該所望の画像コンテンツにオーバレイして表示する。このように、手書き情報を画像コンテンツそのものとは別個にマルチメディア再生機器毎に格納するようにし、これによって、オリジナルのコンテンツデータには手を加えずに、マルチメディア再生機器のユーザ個人ごとにカスタマイズされたコンテンツデータの提示が可能となる。

以下、この発明の実施の形態について図面を参照して詳細に説明する。
図１には本実施の形態に係るマルチメディア再生機器のハードウェア構成が示される。マルチメディア再生機器１は、コンピュータ２、コンテンツ再生部３、各種情報を記憶するための情報記憶部４、液晶等のディスプレイ５３およびディスプレイ５３の全面上に載置された透明のタッチパネルからなる入力部５４を一体的に構成してなる表示一体型入力部５、入力・表示制御部６、音声を出力するためのスピーカ部７、外部からユーザにより操作されるキーからなるキー操作部８、外部のサーバ（サーバコンピュータ）１０あるいはプリンタ１５との間で情報の送受信をするためのネットワークＩ／Ｆ（インターフェイスの略）９を備える。

コンピュータ２は、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３およびタイマ２４を含む。

サーバ１０は、各種コンテンツを格納するためのコンテンツ記憶部１１を含む。
図２を参照して、本実施の形態に係るマルチメディア再生機器１が用いられる環境について概略説明する。図２において、各人が携帯して操作するマルチメディア再生機器１は、有線または無線のネットワークを介して、外部のサーバ１０に通信により接続される。サーバ１０は、コンテンツ記憶部１１、コンテンツ記憶部１１の内容を検索するための検索部１２およびサーバ１０とネットワークを接続するための通信部１３を含む。

図３には、本実施の形態に係るマルチメディア再生機器１の外観が示される。マルチメディア再生機器１は、機器の前面部にスピーカ部７、キー操作部８を構成する各種のキー（電源キー８１、モードキー８２、音量を調整するためのキー８３およびカーソルなどの情報の選択操作に用いられるキー８４）を含む。また、表示一体型入力部５は、入力部５４として手書き入力のためにユーザによって用いられるスタイラスペン５５を含む。ユーザはスタイラスペン５５を操作することにより、入力部５４を構成する透明タッチパネル上に所望するメモ書き、絵などを手書き入力することができる。

また、マルチメディア再生機器１の前面には、赤外線を受信するための受光部８Ｂが設けられる。マルチメディア再生機器１は、キー操作部８に代替してリモートコントローラ８Ａを操作して操作に従う指示を赤外線信号に変換してマルチメディア再生機器１に送信すると、送信信号は受光部８Ｂにより受信される。これにより、マルチメディア再生機器１を遠隔から操作することができる。

図４にはマルチメディア再生機器１の機能構成が示される。図４を参照してマルチメディア再生機器１は、ＣＰＵ２１に相当する制御部３０、入力・表示制御部６に相当する表示制御部３１および座標位置検出部３２、画像情報生成部３４およびメタ情報生成部３５を含む画像ファイル生成部３３、オーバーレイ画像生成部３６、第１サムネイル画像生成部３７、第２サムネイル画像生成部３８、サムネイル画像選択部３９、サムネイル画像読出部４０、キー操作部８に相当する操作入力部４１、ファイル選択部４２、画像情報読出部４４およびメタ情報読出部４５からなる画像ファイル読出部４３、表示タイミング決定部４６、プリンタ１５に関連して設けられる印刷制御部４７、ネットワークＩ／Ｆ９に関連して設けられる通信制御部４８、コンテンツ再生部３に関連して設けられるコンテンツ再生部４９、コンテンツ要求部５０、および受信コンテンツ格納部５１を備える。

本実施の形態では、ユーザが入力部５４のスタイラスペン５５を操作して、ディスプレイ５３に表示中のコンテンツに関連したメモ書き（文字、絵など）の手書き入力情報は、座標位置検出部３２により手書きの軌跡を指す時系列の座標データとして読取られる。読取られた手書き入力情報はメモ画像ファイルとして図５または図６に示されるように情報記憶部４に格納される。図５と図６では、外部のコンテンツ記憶部１１のコンテンツ（動画、静止画）とは全く個別に、マルチメディア再生機器１の情報記憶部４においてメモ画像ファイルが記憶される。したがって、複数のマルチメディア再生機器１により共用されるコンテンツ記憶部１１のコンテンツ自体はなんら変更されずに、各マルチメディア再生機器１においてユーザはコンテンツ毎に独自のメモ画像ファイルをもつことができる。

図５には、表示中のコンテンツが動画像であった場合に当該動画像のコンテンツに対応して格納されるメモ画像ファイルが示される。図５を参照してメモ画像ファイル７０は、再生されているコンテンツの各シーンごとに対応して手書き入力されたコメント・絵などからなる画像情報７１と、各画像情報７１に対応して生成されたメタ情報７２を含む。メタ情報７２とは、対応の画像情報７１に関連する情報を指し、ここでは画像情報７１とメタ情報７２とはコンテンツに関連するデータ（メタデータ）であって、コンテンツとは別体のファイルとして格納される。メタ情報７２は、付されたコンテンツが静止画であるか動画であるかの別を示すデータ７２Ａ、動画である場合に、対応の画像情報が手書き入力されたときの再生シーンのタイムスタンプを指すデータ７２Ｂ、そのときのコンテンツの再生状態（再生スピード、再生／一時停止／早送り／巻き戻し）を示すデータ７２Ｃ、コンテンツ名を示すデータ７２Ｄ、対応する画像情報ファイルを識別するための第１ＩＤデータ７２Ｅおよび対応するコンテンツを識別するための第２ＩＤデータ７２Ｆを含む。

タイムスタンプのデータ７２Ｂは、コンテンツの供給元であるサーバ１０からコンテンツとともに供給される。

さらに、情報記憶部４は、メモ画像ファイル７０を構成する画像情報７１のそれぞれに対応して、当該画像情報について生成された第１サムネイル画像データ７３を関連付けて格納している。また、情報記憶部４には、メタ情報７２のそれぞれに対応して、第２サムネイル画像データ７４が格納される。第２サムネイル画像データ７４は、対応のコンテンツについて、メタ情報ファイル７２により特定されるタイムスタンプ７２Ｂにおいて再生されるシーンのサムネイル画像を示している。

画像情報７１は、その画像情報のタイプを示すタイプデータ７１Ａを含む。
図６には、情報記憶部４に格納されるメモ画像ファイル８０の一例が示される。メモ画像ファイル８０は、再生されるコンテンツが静止画である場合に関連付けられるコメント・絵などのメモ画像を示している。メモ画像ファイル８０は、コメント・絵からなる複数の画像情報８１を含む。画像情報８１のそれぞれに対応して、メタ情報８２が格納される。メタ情報８２は、当該メタ情報によって指示される画像情報８１が関連付けられるコンテンツが静止画であるか動画であるかの別を示すデータ８２Ａ、タイムスタンプのデータ８２Ｂ、コンテンツ名のデータ８２Ｄ、第１ＩＤのデータ８２Ｅおよび第２ＩＤのデータ８２Ｆを含む。画像情報８１のそれぞれで示されるコメント・絵の画像は、そのサムネイル画像である第１サムネイル画像８３のそれぞれが関連付けて格納されている。また、メタ情報８２のそれぞれに対応して、当該メタ情報に関連付けられるコンテンツ（静止画）のサムネイル画像を示す第２サムネイル画像８４が格納される。第１ＩＤのデータ８２Ｅは対応する画像情報ファイルを識別するためのデータであり、および第２ＩＤのデータ８２Ｆは対応するコンテンツを識別するためのデータである。

図７を参照して、動画像のコンテンツに対するメモ画像ファイルの生成手順について説明する。画像ファイル生成部３３は、画像情報生成部３４を用いて画像情報を生成するとともに、メタ情報を生成する。まず、コンテンツ再生部３は動画像コンテンツを再生する。つまり、所定のコンテンツを再生するので、再生されたコンテンツは入力・表示制御部６を介してディスプレイ５３に表示される。それを確認したユーザは、スタイラスペン５５を操作し、入力部５４上の透明タッチパネル上にメモ画像を手書き入力する（ステップＳ５）。

スタイラスペン５５が手書き入力する軌跡は座標位置検出部２２により座標データとして時系列に読取られて、読取られた座標データからなる情報は、画像情報生成部３４に与えられる。画像情報生成部３４は、与えられる座標データの情報に基づき画像情報７１を生成し、生成した画像情報７１を情報記憶部４に格納する。このとき、ユーザによりアニメーションの手書き入力が指定されている場合には、ユーザ指定のアニメーションのタイプ（モーションJPEG（Joint Photographic Experts Group）など）のデータがタイプデータ７１Ａとして入力される（ステップＳ７）。また、これはコンテンツが動画像の場合であったが、静止画である場合は、図６に示したように、画像情報８１とそのアニメーションのタイプを示すタイプデータ８１Ａが情報記憶部４に格納される。

また、メタ情報生成部３５は、生成されて格納された画像情報７１に対応して、メタ情報７２を生成し、情報記憶部４に格納する（ステップＳ９、Ｓ１１）。メタ情報生成部３５は、そのときに再生されているコンテンツの再生状態を指す情報、たとえば静止画であるか動画であるかを識別し、さらに、コンテンツ名を取得し、第１ＩＤおよび第２ＩＤのデータ７２Ａ、７２Ｄ、７２Ｅおよび７２Ｆの値を割り振る。さらに、動画である場合には、対応の画像情報７１が入力された時点のコンテンツに付与されているタイムスタンプを得て、これをデータ７２Ｂとして当該メタ情報７２に格納する。また、このときのキー操作部８を介し指示されているコンテンツの再生状態（通常再生、スロー再生などの別）のデータを７２Ｃとしてメタ情報ファイル７２に格納する。

以上は、動画のコンテンツが再生される場合であったが、静止画のコンテンツが再生される場合には、図６に示されるようにメタ情報生成部３５は、メタ情報ファイル８２を生成する。メタ情報ファイル８２には、タイムスタンプのデータおよび再生状態のデータを除く他のデータ８２Ａ、８２Ｄ、８２Ｅおよび８２Ｆが格納される。これにより、生成された画像情報８１とメタ情報８２が相互に関連付けられて、メモ画像ファイル８０として情報記憶部４に格納される。

ここで、図８の処理手順を参照して、サムネイル画像の生成について説明する。ここでは、画像情報についてのサムネイルを生成するための第１サムネイル画像生成部３７の処理手順を説明する。

第１サムネイル画像生成部３７は、画像ファイル読出部４３の画像情報読出部４４により情報記憶部４から順次読出されるメモ画像の画像情報ファイル７１と８１を入力する（ステップＳ９１）。

順次読出された画像情報は、第１サムネイル画像生成部３７の一時的な格納領域に格納される。

第１サムネイル画像生成部３７は、読出された画像情報の数と、ディスプレイ５３のサイズとに応じて、各画像情報のサムネイルのサイズを算出（検出）する（ステップＳ９３）。そして、検出したサイズに基づき各画像情報をサムネイルとなるまでに縮小処理する（ステップＳ９５）。この縮小処理は、たとえば画像情報をビットマップデータに予め展開しておいたときには、間引くなどの処理によってすることができる。または、ベクトル情報でメモ画像情報が表わされていた場合には、そのベクトル情報の長さ成分を縮小する（方向成分は変化させない）ことにより実現することができる。縮小処理が終了すると、次に縮小された結果得られたサムネイルは情報記憶部４に第１サムネイル画像データ７３と８３として対応の画像情報７１と８１と関連付けられて格納されるとともに、入力・表示制御部６に設けられた図示のないディスプレイ用表示メモリに書込まれる（ステップＳ９７）。そして、サムネイル画像がディスプレイ用表示メモリの内容に従い表示される（ステップＳ９９）。

このようにしてディスプレイ５３に一覧表示されることにより、ユーザは現在情報記憶部４に格納されている各種の画像情報７１と８１のうち、所望の画像情報（メモ書き）を選択して、その選択したメモ書きに対応のコンテンツを検索してディスプレイ５３に表示させることができる。

コンテンツのサムネイルは、コンテンツが選択的に指定されて、サーバ１０のコンテンツ記憶部１１からマルチメディア再生機器１にダウンロードされる毎に、第２サムネイル画像生成部３８により、図８に示した手順と同様にしてサムネイル画像が生成される。静止画のコンテンツである場合には、その静止画のコンテンツについて縮小処理がなされて、第２サムネイル画像データ８４が情報記憶部４に格納される。一方、動画である場合には、その動画について画像情報７１が関連付けられたタイムスタンプのデータ７２Ｂで指示されるシーンのサムネイル画像データ７４が生成されて、情報記憶部４に格納される。

図９を参照して、メモ画像ファイルを、コンテンツの再生とともにディスプレイ５３に表示する手順について説明する。まず、所望のコンテンツがユーザにより選択的に指定されて、選択されたコンテンツがコンテンツ再生部３により再生されディスプレイ５３に表示される（ステップＳ２１）。

その後、画像ファイル読出部４３のメモ画像ファイルが画像情報読出部４４により、情報記憶部４から検索して読出され、メタ情報読出部４５により、メタ情報７２（８２）が情報記憶部４から検索して読出される（ステップＳ２３）。具体的には、再生されるコンテンツは、サーバ１０のコンテンツ記憶部１０から読出されてマルチメディア再生機器１にダウンロードされる。制御部３０はダウンロードされたコンテンツに予め付されている当該コンテンツを識別するためのＩＤデータを画像ファイル読出部４３に与える。画像ファイル読出部４３は与えられるＩＤデータを画像情報読出部４４およびメタ情報読出部４５にそれぞれ与えて、画像情報７１（８１）の読出、メタ情報７２（８２）の読出を指示する。画像情報読出部４４およびメタ情報読出部４５は、与えられるＩＤデータに基づき情報記憶部４を検索して、当該ＩＤデータを第１ＩＤのデータ７２Ｅ（８２Ｅ）として有するメタ情報７２（８２）を特定するとともに、特定されたメタ情報７２（８２）に関連付けられた画像ファイル７１（８１）を検索して読出す。

読出された画像情報は、対応して読出されたメタ情報に基づきオーバーレイ画像生成部３６によりオーバーレイ画像の生成がなされる（ステップＳ２７）。生成された画像はディスプレイ５５に表示される（ステップＳ２９）。

図９のステップＳ２１における再生されるべき所望のコンテンツを選択するための手順について図１０を参照し説明する。

所望するコンテンツを選択するために、ディスプレイ５３には、第１と第２サムネイル画像７３、７４（８３、８４）の一覧が表示される（ステップＳ３１）。具体的には、サムネイル画像読出部４０は、画像情報記憶部４に記憶された第２サムネイル画像７３、７４（８３、８４）を読出し、ディスプレイ５５に表示する。表示される各サムネイル画像には対応の第１ＩＤのデータ７２Ｅ、８２Ｅ（第２ＩＤのデータ７２Ｆ、８２Ｆ）が読み出されて表示される。

この表示されたサムネイル一覧の中から、ユーザはキー操作部８またはスタイラスペン５５を操作することにより、所望のサムネイル画像を選択する（ステップＳ３３）。この選択指示には選択されたサムネイルのＩＤのデータが含まれる。この選択指示は、サムネイル画像選択部３９に与えられるので、応じてサムネイル画像選択部３９は、この選択指示に基づくメタ情報の検索要求を画像ファイル読出部４３に与える。

画像ファイル読出部４３のメタ情報読出部４５は、与えられる検索要求に含まれているＩＤのデータに基づき情報記憶部４を検索して、当該ＩＤのデータに一致する第１または第２ＩＤのデータを格納したメタ情報ファイル７２（８２）を検索して、検索したメタ情報７２（８２）から読第２ＩＤのデータ７２Ｆ（８２Ｆ）に基づく検索要求をコンテンツ要求部５０に与える（ステップＳ３５）。

コンテンツ要求部５０は与えられるメタ情報の第２ＩＤのデータ７２Ｆ（８２Ｆ）に基づくコンテンツ識別のデータとともにコンテンツの要求信号をネットワークＩ／Ｆ９を介してサーバ１０に与える（ステップＳ３７）。

サーバ１０の検索部１２は、通信部１３を介して与えられる第１ＩＤのデータ７２Ｆ（８２Ｆ）に基づきコンテンツ記憶部１１を検索して、該当するコンテンツをコピーして読出す。コピーされたコンテンツは要求元のマルチメディア再生機器１に送信される。

マルチメディア再生機器１の受信コンテンツ格納部５１には受信されたコンテンツが一時的に格納され（ステップＳ３９）、受信されたコンテンツはコンテンツ再生部４９により読出されて、入力・表示制御部６を介してディスプレイ５３に表示される（ステップＳ４１）。

これにより、ユーザはコンテンツのサムネイルおよび手書き情報の画像のサムネイルの一覧から所望サムネイルを選択することで、当該サムネイルに関連付けされたコンテンツを選択し、選択したコンテンツをサーバ１０からダウンロードして、自己のマルチメディア再生機器１においてその画像コンテンツまたは映像コンテンツを表示することができる。

次に、ユーザが予め当該コンテンツに対応して手書き入力しておいたメモ、絵などの画像ファイルをコンテンツにオーバーレイ（重畳）して同時に表示する手順について図１１〜図１３の処理フローチャートを参照し説明する。

図１１を参照して、前述のステップＳ２１において、マルチメディア再生機器１では所望のコンテンツが選択されて受信され表示される。このとき、オーバレイ表示の為の情報の検索がされる。

まず、ファイル選択部４２は、画像情報読出部４４を介して、当該コンテンツのＩＤデータに基づき情報記憶部４を検索して、対応する第１ＩＤのデータ７２Ｆ（８２Ｆ）のメタ情報７２（８２）に関連付けされた画像情報７１（８１）を選択的に読出す（ステップＳ４４）。これら読出されたデータは、オーバーレイ画像生成部３６に与えられる。

続いて、メタ情報読出部４５により、当該コンテンツのＩＤデータに基づき、情報格納部４が検索されて、対応する第１ＩＤのデータ７２Ｆ（８２Ｆ）を有するメタ情報７２（８２）が検索されて読出される（ステップＳ４５）。そして、メタ情報読出部４５により、検索されたメタ情報からタイムスタンプの情報７２Ｂ（８２Ｂ）および再生状態のデータ７２Ｃ（８２Ｃ）が読出される（ステップＳ４７）。これら読出されたデータは、オーバーレイ画像生成部３６に与えられる。

前述したようにコンテンツ再生部４９の制御により選択された所望のコンテンツがディスプレイ５において表示（再生）開始される（ステップＳ５０）。このとき、コンテンツが動画像である場合には、以降の処理が行なわれる。

図１２を参照して、まず、オーバーレイ画像生成部３６は、当該コンテンツに関連のメタ情報７２のタイムスタンプのデータ７２Ｂを読出し、メモ画像ファイル７０に登録されているタイムスタンプ７２Ｂに一致するか否かを判定する（ステップＳ５３）。一致したタイムスタンプのデータ７２Ｂを有するメタ情報ファイル７２を有する画像情報ファイル７１がないと判定されると（ステップＳ５３でＮＯ）、後述するステップＳ６５の処理に移る。

一方、一致したタイムスタンプのデータ７２Ｂを有するメタ情報７２が格納されていることを検知すると（ステップＳ５３でＹＥＳ）、そのメタ情報７２にデータ７２Ｃとして格納されている再生状態と、現在のコンテンツの再生状態が一致するか否かを判定する（ステップＳ５５）。一致していなければ、後述するステップＳ６５の処理に移る。

一方、再生状態が一致しているならば（Ｓ５５でＹＥＳ）、次の処理ステップＳ５７において、当該メタ情報７２の第２ＩＤのデータ７２Ｆによって指示される画像情報ファイル７１を読出す（ステップＳ５７）。オーバーレイ画像生成部３６は、読出した画像情報ファイル７１のタイプ７１Ａを参照し、静止画であるか／動画であるかを検知する（ステップＳ５９）。静止画であると判定すると、ステップＳ６３において、ディスプレイの表示コンテンツにオーバーレイして表示する。その後、ステップＳ６５の処理に移る。

一方、タイプ７１Ａは動画を指していると判定すると（ステップＳ５９で“動画”）、コンテンツの再生速度に合わせて、関連付けられている画像情報ファイル７１の内容をタイプ７１Ａに従う方式でアニメーション表示する（ステップＳ６１）。

その後ステップＳ６５の処理に移る。
ステップＳ６５においては、オーバーレイ画像生成部３６は、コンテンツ再生部４９からコンテンツの再生終了の通知を入力するか否かを判定する（ステップＳ６５）。再生終了の通知を入力すると、図１２の一連の処理を終了するが、再生終了の通知が入力されない間は（ステップＳ６５でＮＯ）、ステップＳ５３の処理に戻り、同様にしてオーバーレイの表示処理を繰返す。

ステップＳ６１の動画の表示は、画像ファイルが座標データの集合からなるベクトルファイルである場合には、そのベクトルファイルの内容に従い、座標で示される軌跡がアニメーションのように順次表示される。これにより、ユーザはコンテンツの再生に同期して、自分が過去に手書き入力したメモ情報を再現し確認することができる。

図１２は、コンテンツが動画であった場合のオーバーレイ表示であったが、静止画コンテンツ表示時の画像情報のオーバーレイ表示について図１３の手順を参照し説明する。図１３を参照して、静止画コンテンツの再生が開始されると、オーバーレイ画像生成部３６は、当該コンテンツのＩＤに基づき、対応のメタ情報８１を検索するように画像ファイル読出部４３に指示する。画像ファイル読出部４３のメタ情報読出部４５は、この指示に基づき情報記憶部４を検索して、再生される静止画コンテンツに対応のメタ情報８１を読出す（ステップＳ７１）。具体的には、与えられるＩＤに一致する第２ＩＤのデータ８２Ｅを格納したメタ情報８２を検索して読出す。

メタ情報読出部４５は、読出したメタ情報８２が示す第１ＩＤのデータ８２Ｅを画像情報読出部４４に与えるので、画像情報読出部４４は、与えられた第１ＩＤのデータ８２Ｅに基づき情報記憶部４を検索して、対応する画像情報８１を読出し、オーバーレイ画像生成部３６に与える（ステップＳ７３）。

オーバーレイ画像生成部３６は、与えられる画像情報８１のタイプ８１Ａを参照して、動画であるか静止画であるかを判定する（ステップＳ７５）。関連付けられていた画像情報８１は動画のファイルであると判定すると（ステップＳ７５で“動画”）、ステップＳ７９の処理において、コンテンツの再生に合わせて画像情報８１に従うアニメーションを表示する。このとき、コンテンツは静止画であるけれども、動画のデータを、前述したように、タイプ８１Ａが指すアニメーションの方式（モーションＪＰＥＧなど）に従い、座標をその軌跡を追って描くようにしてオーバーレイ表示する。その後、ステップＳ８１の処理に移る。

一方、画像情報のタイプ８１Ａに基づき“静止画”と判定すると（ステップＳ７５で“静止画”）、ステップＳ７７において、オーバーレイ画像生成部３６は、当該画像ファイル８１の内容を静止画として読出し、静止画のコンテンツの上にオーバーレイ表示する（ステップＳ７７）。その後、ステップＳ８１の処理に移行する。

ステップＳ８１の処理では、コンテンツの再生が終了したか否かが判定される（ステップＳ８１）。たとえば、ユーザが終了の指示操作を入力したなどである。このときは、図１３のオーバーレイの表示は終了するが、再生の終了指示の操作がなされていないと判定されると（ステップＳ８１でＮＯ）、読出された画像情報ファイルが静止画である場合にはステップＳ７７の処理に戻り、動画と判定されていた場合にはステップＳ７９の処理に戻り、以降の処理が同様に繰返される。

なお、１つの静止画コンテンツに対応する画像ファイル８１が複数枚格納されていた場合には、複数の画像ファイル８１の画像を所定時間間隔で順次に切替えてオーバレイ表示するようにしてもよい。このときの切替えタイミングは、表示タイミング決定部４６により決定されて、オーバーレイ画像生成部３６に与えられる。

図１４は、オーバーレイ画像生成の手順が概略的に示されている。図１４を参照すると、動画／静止画のコンテンツは、オーバーレイ画像生成部３６において、オーバーレイ処理されて、その処理内容によって得られた画像データはディスプレイ用メモリ６Ａ上に展開され、展開されたデータがディスプレイ５３に表示される。

また、本実施の形態では、オーバレイ画像生成部３６によりオーバレイされた表示画像を、キー操作部８の操作に従い、印刷制御部４７を介してプリンタ１５に印刷出力することもできる。

本実施の形態では、ユーザのメモ書きデータから、対応する画像や映像を選択することが可能となる。図１０の手順に従えば、ユーザが任意のメモ書きをした画像のサムネイルが表示されるので、メモ書き内容として、メモ書きした時点でのコメント、日時、ユーザ固有の記号、図形などを書込んでおくことにより、コンテンツの画像や映像を表示するのではなく、メモ書きのサムネイルの表示によって、対応するコンテンツ（画像・映像の内容）とメモ書き画像の対応を把握しやすくなる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本実施の形態に係るマルチメディア再生機器のハードウェア構成図である。本実施の形態に係るネットワーク構成を示す図である。本実施の形態に係るマルチメディア再生機器の外観を示す図である。本実施の形態に係るマルチメディア再生機器の機能構成図である。本実施の形態に係る情報記憶部の内容を示す図である。本実施の形態に係る情報記憶部の内容を示す図である。本実施の形態に係るメモ画像ファイルの生成手順を示す図である。本実施の形態に係るサムネイル画像の生成手順を示す図である。本実施の形態に係るメモ画像ファイルを表示する手順を示す図である。本実施の形態に係る所望コンテンツを再生する手順を示す図である。本実施の形態に係る所望コンテンツを再生する手順を示す図である。本実施の形態に係る動画コンテンツの再生手順を示す図である。本実施の形態に係る静止画コンテンツの再生手順を示す図である。本実施の形態に係るオーバーレイ画像生成手順を示す図である。

符号の説明

３０制御部、３３画像ファイル生成部、３６オーバーレイ画像生成部、３７第１サムネイル画像生成部、３８第２サムネイル画像生成部、３９サムネイル画像選択部、４０サムネイル画像読出部、４２ファイル選択部、４３画像ファイル読出部、４７印刷制御部、４９コンテンツ再生部、５０コンテンツ要求部、５１受信コンテンツ格納部、７０メモ画像ファイル、７１メモ画像、７２メタ情報、７３第１サムネイル画像、７４第２サムネイル画像、８０メモ画像ファイル、８１画像情報、８２メタ情報、８３第１サムネイル画像、８４第２サムネイル画像。

Claims

マルチメディア再生機器であって、
ディスプレイと前記ディスプレイの全面に載置された透明タッチパネルからなる表示一体型入力部と、
外部記憶部から読出されて入力する画像コンテンツを再生し前記ディスプレイに表示するコンテンツ表示部と、
前記コンテンツ表示部により前記画像コンテンツが表示されている状態において、前記透明タッチパネル上に手書き入力された手書き情報を読込む手書き情報読込部と、
前記手書き情報読込部により読込まれた前記手書き情報が、前記画像コンテンツと関連付けて格納される情報記憶部と、
所望の画像コンテンツが前記外部記憶部から供給されて前記コンテンツ表示部により前記ディスプレイに表示されるとき、当該所望の画像コンテンツに関連付けされた前記手書き情報を前記情報記憶部から読出して、当該所望の画像コンテンツにオーバレイして表示するオーバレイ画像表示部とを備え、
前記外部記憶部に格納される前記画像コンテンツは、複数の前記マルチメディア再生機器によって共用され、
前記透明タッチパネル上に手書き入力された前記手書き情報を前記手書き情報読込部により読込むとき、表示されている前記画像コンテンツの再生状態の情報を取得し、前記手書き情報読込部により読込まれた前記手書き情報と関連付けて前記情報記憶部に格納し、
前記オーバレイ画像表示部は、前記所望の画像コンテンツが前記ディスプレイに表示されるとき、当該所望の画像コンテンツに関連付けされた前記手書き情報と、当該手書き情報に関連付けされた前記再生状態の情報とを前記情報記憶部から読出して、読出した前記手書き情報を、読出した前記再生状態の情報に従い当該所望の画像コンテンツにオーバレイして表示し、
前記オーバレイ画像表示部は、前記所望の画像コンテンツが前記ディスプレイに表示されるとき、当該所望の画像コンテンツに関連付けされた前記手書き情報が複数個ある場合には、前記情報記憶部から読出した複数の前記手書き情報を、所定時間間隔で切替えて当該所望の画像コンテンツにオーバレイして表示し、
前記所望の画像コンテンツに前記手書き情報がオーバレイして表示された状態の画像を、印刷出力し、
前記手書き情報に関連付けて当該手書き情報が指す画像のサムネイル画像を生成する第１サムネイル画像生成部と、
前記手書き情報が関連付けされた前記画像コンテンツに関連付けて当該画像コンテンツのサムネイル画像を生成する第２サムネイル画像生成部と、
前記第１サムネイル画像生成部または前記第２サムネイル画像生成部により生成されたサムネイル画像を一覧表示するサムネイル表示部と、をさらに備え、
前記オーバレイ画像表示部は、
前記サムネイル表示部により表示されたサムネイル画像のうちから選択指示されたサムネイル画像に関連付けされた前記画像コンテンツが前記外部記憶部から読出されて前記ディスプレイに再生表示され、
前記手書き情報は、関連の前記画像コンテンツのメタデータとして個別にファイルとして前記情報記憶部に格納される、マルチメディア再生機器。
マルチメディア再生機器であって、
ディスプレイと前記ディスプレイの全面に載置された透明タッチパネルからなる表示一体型入力部と、
外部記憶部から読出されて入力する画像コンテンツを再生し前記ディスプレイに表示するコンテンツ表示部と、
前記コンテンツ表示部により前記画像コンテンツが表示されている状態において、前記透明タッチパネル上に手書き入力された手書き情報を読込む手書き情報読込部と、
前記手書き情報読込部により読込まれた前記手書き情報が、前記画像コンテンツと関連付けて格納される情報記憶部と、
所望の画像コンテンツが前記外部記憶部から供給されて前記コンテンツ表示部により前記ディスプレイに表示されるとき、当該所望の画像コンテンツに関連付けされた前記手書き情報を前記情報記憶部から読出して、当該所望の画像コンテンツにオーバレイして表示するオーバレイ画像表示部とを備え、
前記外部記憶部に格納される前記画像コンテンツは、複数の前記マルチメディア再生機器によって共用される、マルチメディア再生機器。
前記透明タッチパネル上に手書き入力された前記手書き情報を前記手書き情報読込部により読込むとき、表示されている前記画像コンテンツの再生状態の情報を取得し、前記手書き情報読込部により読込まれた前記手書き情報と関連付けて前記情報記憶部に格納する、請求項２に記載のマルチメディア再生機器。
前記オーバレイ画像表示部は、前記所望の画像コンテンツが前記ディスプレイに表示されるとき、当該所望の画像コンテンツに関連付けされた前記手書き情報と、当該手書き情報に関連付けされた前記再生状態の情報とを前記情報記憶部から読出して、読出した前記手書き情報を、読出した前記再生状態の情報に従い当該所望の画像コンテンツにオーバレイして表示する、請求項２または３に記載のマルチメディア再生機器。
前記オーバレイ画像表示部は、前記所望の画像コンテンツが前記ディスプレイに表示されるとき、当該所望の画像コンテンツに関連付けされた前記手書き情報が複数個ある場合には、前記情報記憶部から読出した複数の前記手書き情報を、所定時間間隔で切替えて当該所望の画像コンテンツにオーバレイして表示する、請求項２から４のいずれか１項に記載のマルチメディア再生機器。
前記所望の画像コンテンツに前記手書き情報がオーバレイして表示された状態の画像を、印刷出力する、請求項２から５のいずれか１項に記載のマルチメディア再生機器。
前記手書き情報に関連付けて当該手書き情報が指す画像のサムネイル画像を生成する第１サムネイル画像生成部と、
前記手書き情報が関連付けされた前記画像コンテンツに関連付けて当該画像コンテンツのサムネイル画像を生成する第２サムネイル画像生成部と、
前記第１サムネイル画像生成部または前記第２サムネイル画像生成部により生成されたサムネイル画像を一覧表示するサムネイル表示部と、をさらに備え、
前記オーバレイ画像表示部は、
前記サムネイル表示部により表示されたサムネイル画像のうちから選択指示されたサムネイル画像に関連付けされた前記画像コンテンツが、前記外部記憶部から読出されて前記ディスプレイに再生表示される、請求項２から６のいずれか１項に記載のマルチメディア再生機器。
前記手書き情報は、関連の前記画像コンテンツのメタデータとして個別にファイルとして前記情報記憶部に格納される、請求項２から７のいずれか１項に記載のマルチメディア再生機器。