JP7335175B2 - カラオケ装置 - Google Patents

Description

本発明はカラオケ装置に関する。

ＤＶＤやＢＤに収録されたお気に入りの映像作品（映画やドキュメンタリー等）を再生装置（たとえば、ＤＶＤ／ＢＤプレーヤ）で再生し、ＢＧＶとしてテレビ画面に表示させながら、携帯端末等で映像作品の雰囲気にあった楽曲を再生するという楽しみ方が普及している。

また、近年、カラオケ装置と接続された再生装置が備えられたカラオケルームが増加している。カラオケルームの利用者は、映像作品の映像を背景映像としてカラオケ装置の表示装置に表示させつつ、映像作品の雰囲気に合いそうな楽曲を予約してカラオケ歌唱を楽しむことができる。

ここで、特許文献１には、映像データから抽出したキーワードに基づいて楽曲を選択する技術が開示されている。

特開２００３－３０２９７１号公報

ところで、一般的な映像作品は、イントロダクションやクライマックス等、様々な場面で構成されている。そのため、特許文献１の技術を用いて映像作品全体の雰囲気に合った楽曲を選んだとしても、場面によっては適していない可能性もあり得る。

本発明の目的は、映像作品の各場面に適した楽曲をカラオケ演奏可能なカラオケ装置を提供することにある。

上記目的を達成するための一の発明は、メディアに収録された映像作品のデータを再生して映像信号を出力し、表示手段に映像を表示させる再生部と、映像作品を構成する複数の画像のうち所定数の画像それぞれについて、画像の内容を示す画像キーワードを抽出し、当該映像作品において当該画像の再生を開始する再生時刻と紐付ける第１の抽出部と、利用者の歌唱履歴に含まれる所定数の楽曲について、楽曲毎の内容を示す楽曲キーワードを抽出し、当該楽曲を識別するための楽曲識別情報と紐付ける第２の抽出部と、抽出された画像キーワードそれぞれに対し、抽出された複数の楽曲キーワードの中から関連する楽曲キーワードを決定し、決定された前記楽曲キーワードに紐付けられている楽曲識別情報と、当該決定された楽曲キーワードに対応する画像キーワードに紐付けられている再生時刻とを紐付ける処理部と、前記映像作品の再生中において、前記所定数の画像の再生時刻が到来した場合、当該再生時刻に紐付けられている楽曲識別情報が示す楽曲の楽曲データに基づいて、カラオケ演奏を行う音響制御部と、を有するカラオケ装置である。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。

本発明によれば、映像作品の各場面に適した楽曲をカラオケ演奏できる。

第１実施形態に係るカラオケ装置を示す図である。 第１実施形態に係るカラオケ本体を示す図である。 第１実施形態に係る画像キーワードと再生時刻とを紐付けたテーブルである。 第１実施形態に係る楽曲キーワードと楽曲識別情報とを紐付けたテーブルである。 第１実施形態に係る画像キーワードに対して関連性のある音楽キーワードを示すテーブルである。 第１実施形態に係る楽曲識別情報と再生時刻とを紐付けたテーブルである。 第１実施形態に係るカラオケ装置の処理を示すフローチャートである。 第２実施形態に係るカラオケ本体を示す図である。 第２実施形態に係るカラオケ装置の処理を示すフローチャートである。 第２実施形態に係るカラオケ装置の処理を示すフローチャートである。

＜第１実施形態＞
図１～図７を参照して、第１実施形態に係るカラオケ装置について説明する。

＝＝カラオケ装置＝＝
カラオケ装置は、カラオケ演奏、及び利用者がカラオケ歌唱を行うための装置である。カラオケ装置は、カラオケ店舗のカラオケルームに設置されている。

図１に示すように、本実施形態に係るカラオケ装置Ｋは、カラオケ本体１０、スピーカ２０、表示装置３０、マイク４０、及びリモコン装置５０を備える。

スピーカ２０は各種音声を放音するための構成である。表示装置３０はカラオケ本体１０からの信号に基づいて映像や画像を画面に表示するための構成である。表示装置３０は、「表示手段」の一例である。マイク４０は利用者の歌唱音声をアナログの信号に変換してカラオケ本体１０に入力するための構成である。リモコン装置５０は、カラオケ本体１０に対する各種操作をおこなうための装置である。利用者は、リモコン装置５０を用いてカラオケ歌唱を希望する楽曲の選曲等を行うことができる。リモコン装置５０の表示画面には各種操作の指示入力を行うためのアイコン等が表示される。

カラオケ本体１０は、楽曲のカラオケ演奏制御、歌詞や背景映像等の表示制御、マイク４０を通じて入力された信号の処理といった、カラオケ歌唱に関する各種の制御を行う。図１に示すように、カラオケ本体１０は、制御部１１、通信部１２、記憶部１３、音響処理部１４、表示処理部１５及び操作部１６を備える。各構成はインターフェース（図示なし）を介してバスＢに接続されている。

制御部１１は、ＣＰＵ１１ａおよびメモリ１１ｂを備える。ＣＰＵ１１ａは、メモリ１１ｂに記憶された動作プログラムを実行することにより各種の制御機能を実現する。メモリ１１ｂは、ＣＰＵ１１ａに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶装置である。

通信部１２は、ルーター（図示なし）を介してカラオケ本体１０を通信回線に接続するためのインターフェースを提供する。

記憶部１３は、各種のデータを記憶する大容量の記憶装置であり、たとえばハードディスクドライブなどである。

記憶部１３は、楽曲のカラオケ演奏を行うための楽曲データと、楽曲識別情報とを紐付けて記憶している。楽曲データは、伴奏データ、リファレンスデータ等を含む。伴奏データは、カラオケ演奏音の元となるデータである。リファレンスデータは、利用者によるカラオケ歌唱を採点するためのデータである。楽曲識別情報は、たとえば楽曲ＩＤのような、楽曲毎に設定された固有の情報である。

また、記憶部１３は、楽曲のカラオケ演奏に合わせて歌詞テロップを表示装置３０等に表示させるための歌詞テロップデータ、カラオケ演奏時に表示装置３０等に表示される背景画像等の背景画像データ等を楽曲毎に記憶する。

音響処理部１４は、制御部１１の制御に基づき、楽曲のカラオケ演奏に関する制御、及びマイク４０を通じて入力された歌唱音声に基づく信号の処理を行う。表示処理部１５は、制御部１１の制御に基づき、表示装置３０やリモコン装置５０における各種表示に関する処理を行う。たとえば、表示処理部１５は、楽曲のカラオケ演奏時における背景映像に歌詞テロップや各種アイコンが重ねられた映像を表示装置３０に表示させる制御を行う。或いは、表示処理部１５は、リモコン装置５０の表示画面に操作入力用の各種アイコンを表示させる。操作部１６は、パネルスイッチおよびリモコン受信回路などからなり、利用者によるカラオケ装置１のパネルスイッチあるいはリモコン装置５０の操作に応じて選曲信号、演奏中止信号などの操作信号を制御部１１に対して出力する。制御部１１は、操作部１６からの操作信号を検出し、対応する処理を実行する。

＝＝カラオケ本体＝＝
図２に示すように、本実施形態に係るカラオケ本体１０は、再生部１００、第１の抽出部２００、第２の抽出部３００、処理部４００、及び音響制御部５００を備える。再生部１００、第１の抽出部２００、第２の抽出部３００、決定部４００、及び音響制御部５００は、ＣＰＵ１１ａがメモリ１１ｂに記憶されるプログラムを実行することにより実現される。

［再生部］
再生部１００は、メディアに収録された映像作品のデータを再生して映像信号を出力し、表示手段に映像を表示させる。

メディアは、映像作品を収録可能なＤＶＤやＢＤである。映像作品のデータは、少なくとも映像データにより構成されている。

映像データは、カラオケ装置Ｋの表示装置３０で表示される映像に対応するデータである。映像データは、複数の静止画像データから構成される。

たとえば、利用者Ｕは、カラオケルームに入室し、映像作品Ｍのメディアをカラオケ装置Ｋにセットする。その後、利用者Ｕは、リモコン装置５０を介して映像作品Ｍの再生を指示する。

再生部１００は、当該指示に基づいて、メディアに収録された映像作品Ｍのデータを再生して映像信号を出力し、表示装置３０に複数の画像を連続して表示させることにより映像を表示させる。複数の画像は、複数の静止画像データに基づく画像である。各画像は、映像作品において再生を開始する再生時刻（タイムコード）と対応付けられている。

なお、映像作品にはチャプターが設定されているものもある。この場合、チャプター毎のサムネイル画像が設定されている。サムネイル画像は、チャプター内で再生される映像を構成する複数の画像のうちの一つに対応する。

以下の説明において、映像作品Ｍは、１０のチャプター（１つのチャプター当たりの再生時間が１０分。合計６０分）から構成されており、チャプター毎のサムネイル画像として、サムネイル画像ＴＮ０１～サムネイル画像ＴＮ１０が設定されているとする。また、各サムネイル画像は、再生時刻Ｔ０１～再生時刻Ｔ１０の各画像に対応しているとする。

［第１の抽出部］
第１の抽出部２００は、所定数の画像それぞれについて画像キーワードを抽出し、当該映像作品において当該画像の再生を開始する再生時刻と紐付ける。

所定数の画像は、映像作品を構成する複数の画像のうちの一部である。所定数の画像を特定する条件は予め設定されている。たとえば、所定数の画像は、サムネイル画像とすることができる。映像作品Ｍの場合、サムネイル画像ＴＮ０１～サムネイル画像ＴＮ１０が所定の画像に相当する。

或いは、映像作品に含まれる複数の画像を所定の時間間隔でサンプリングしたものを所定数の画像としてもよい。たとえば、再生時間が６０分の映像作品Ｍを６分間隔でサンプリングする場合、１０（再生開始から２分後、８分後、１４分後、２０分後、２６分後、３２分後、３８分後、４４分後、５０分後、５６分後）の画像が、所定数の画像となる。

画像キーワードは、画像の内容（画像に含まれる物体名、画像の示す雰囲気等）を示すものである。

利用者Ｕにより映像作品Ｍのメディアがカラオケ装置Ｋにセットされた場合、第１の抽出部２００は、映像作品Ｍに含まれる複数の画像からサムネイル画像ＴＮ０１～サムネイル画像ＴＮ１０を取得する。

第１の抽出部２００は、取得した各画像を分析し、画像キーワードを抽出する。

画像キーワードの抽出は公知の手法を用いることができる。たとえば、第１の抽出部２００は、Ｇｏｏｇｌｅ Ｃｌｏｕｄ Ｖｉｓｉｏｎ ＡＰＩを用いて画像データの解析を行い、画像に含まれる物体、ラベル、ランドマーク、ウェブエンティティ等に応じた少なくとも一のキーワードを抽出することができる。

第１の抽出部２００は、抽出した画像キーワードを再生時刻と紐付ける。たとえば、第１の抽出部２００は、サムネイル画像ＴＮ０１～サムネイル画像ＴＮ１０を分析し、それぞれのサムネイル画像について一の画像キーワードＩＫ０１～画像キーワードＩＫ１０を抽出したとする。第１の抽出部２００は、画像キーワードＩＫ０１～画像キーワードＩＫ１０を、サムネイル画像ＴＮ０１～サムネイル画像ＴＮ１０それぞれに対応する画像の再生時刻Ｔ０１～再生時刻Ｔ１０と紐付ける（図３参照）。

第１の抽出部２００は、紐付けた画像キーワード及び再生時刻の情報を処理部４００に出力する。

［第２の抽出部］
第２の抽出部３００は、利用者の歌唱履歴に含まれる所定数の楽曲について、楽曲キーワードを抽出し、当該楽曲を識別するための楽曲識別情報と紐付ける。

歌唱履歴は、ある利用者が過去にカラオケ歌唱を行った楽曲の楽曲名、楽曲ＩＤ、歌唱日時、採点結果等を記録したものである。歌唱履歴は、たとえば、サーバ装置（図示なし）に記憶されている。カラオケ装置Ｋは、ある利用者がログインの操作を行った場合、サーバ装置から当該ある利用者の歌唱履歴を取得する。なお、カラオケ装置Ｋが歌唱履歴を予め記憶しておくことでもよい。

所定数の楽曲は、歌唱履歴に含まれる全ての楽曲のうちの一部である。所定数の楽曲を特定する条件は予め設定されている。たとえば、所定数の楽曲は、歌唱回数が多い順に５０曲、採点結果が良い順に４０曲、或いはランダムに３０曲である。楽曲キーワードは、楽曲毎の内容（歌詞に含まれる名詞、歌詞全体の雰囲気等）を示すものである。

たとえば、利用者Ｕの歌唱履歴には楽曲が１００曲含まれているとする。また歌唱回数が多い順に５０曲という条件が設定されているとする。

この場合、第２の抽出部３００は、１００曲の中から歌唱回数が多い５０曲（楽曲Ｓ＊＊＊０１～楽曲Ｓ＊＊＊５０）を選択する。

第２の抽出部３００は、選択した楽曲それぞれについて、楽曲キーワードを抽出する。

楽曲キーワードの抽出は公知の手法を用いることができる。たとえば、第２の抽出部３００は、ＡＩ学習機能を利用し、正解データ及び不正解データに含まれる歌詞データの各々から、少なくとも一の楽曲キーワードを抽出することができる（詳細は特開２０１８－０２５９４９号公報を参照）。

第２の抽出部３００は、抽出した楽曲キーワードを楽曲ＩＤと紐付ける。たとえば、第２の抽出部３００は、楽曲Ｓ＊＊＊０１～楽曲Ｓ＊＊＊５０を分析し、それぞれの楽曲について一の楽曲キーワードＳＫ０１～楽曲キーワードＳＫ５０を抽出したとする。第２の抽出部３００は、楽曲キーワードＳＫ０１～楽曲キーワードＳＫ５０を、楽曲Ｓ＊＊＊０１～楽曲Ｓ＊＊＊５０それぞれの楽曲ＩＤと紐付ける（図４参照）。

第２の抽出部３００は、紐付けた楽曲キーワード及び楽曲ＩＤの情報を処理部４００に出力する。

［処理部］
処理部４００は、抽出された画像キーワードそれぞれに対し、抽出された複数の楽曲キーワードの中から関連する楽曲キーワードを決定し、決定された楽曲キーワードに紐付けられている楽曲識別情報と、当該決定された楽曲キーワードに対応する画像キーワードに紐付けられている再生時刻とを紐付ける。

具体的に、処理部４００は、第１の抽出部２００から出力された画像キーワードそれぞれと、第２の抽出部３００から出力された楽曲キーワードとを比較し、各画像キーワードと、当該画像キーワードと関連する楽曲キーワードを決定する。

関連する楽曲キーワードの決定は、公知の手法を用いることができる。たとえば、処理部４００は、画像キーワードと楽曲キーワードとを対比し、一の画像キーワードと完全一致または部分一致する楽曲キーワードを「関連する楽曲キーワード」として決定する。或いは、処理部４００は、一の画像キーワードを抽出された複数の楽曲キーワードそれぞれと比較し、キーワード間の関連性をスコア化する。そして、処理部４００は、最もスコアの高い楽曲キーワードを、「関連する楽曲キーワード」として決定する。関連性のスコア化は、たとえば、コンテンツから抽出されたキーワードと画像に付与されたタグとの関連度を算出する技術（特開２０１１－１６４８６５号公報参照）等、ＡＩ学習機能を用いる公知の技術を利用することができる。

そして、処理部４００は、当該決定された楽曲キーワードに紐付けられている楽曲ＩＤと、当該決定された楽曲キーワードに対応する画像キーワードに紐付けられている再生時刻とを紐付ける。

たとえば、第１の抽出部２００から、画像キーワードＩＫ０１～ＩＫ１０及び再生時刻Ｔ１０～Ｔ１０の情報が出力され、第２の抽出部３００から、楽曲キーワードＳＫ０１～ＳＫ５０及び楽曲識別情報ＩＤ＊＊＊０１～ＩＤ＊＊＊５０の情報が出力されたとする。

処理部４００は、画像キーワードＩＫ０１～ＩＫ１０それぞれに対し、抽出された複数の楽曲キーワードＳＫ０１～ＳＫ５０の中から関連する楽曲キーワードを決定する（図５参照）。そして、処理部４００は、決定された楽曲キーワードに紐付けられている楽曲ＩＤと、当該決定された楽曲キーワードに対応する画像キーワードに紐付けられている再生時刻とを紐付ける（図６参照）。

なお、一の画像キーワードに対して決定された楽曲キーワードが他の画像キーワードに対しても「関連する楽曲キーワード」として決定される可能性がある。従って、たとえば、処理部４００は、既に「関連する楽曲キーワード」として決定された楽曲キーワードについては対比の対象から外したうえで、関連する楽曲キーワードを決定することができる。

また、関連性のスコアを利用した場合、一の画像キーワードに対してスコアが同じ複数の楽曲キーワードが生じる可能性もありうる。この場合、処理部４００は、たとえば利用者の歌唱履歴において歌唱回数が最も多い楽曲や、採点結果が最も高い楽曲の楽曲キーワードを当該一の画像キーワードに関連する楽曲キーワードとして決定することができる。

一方、決定された楽曲キーワードに対応する楽曲の演奏時間と比べ、１つのチャプターの再生時間が長い場合もある。このような場合、処理部４００は、一の画像キーワードに対して複数の楽曲キーワードを決定してもよい。すなわち、処理部４００は、抽出された一の画像キーワードに対し、抽出された複数の楽曲キーワードの中から、関連する複数の楽曲キーワードであって、当該複数の楽曲キーワードに対応する複数の楽曲の演奏時間の合計時間が当該画像キーワードに対応するチャプターの再生時間未満になるような複数の楽曲キーワードを決定し、決定された複数の楽曲キーワードに紐付けられている複数の楽曲識別情報と、当該決定された楽曲キーワードに対応する一の画像キーワードに紐付けられている再生時刻とを紐付けてもよい。

［音響制御部］
音響制御部５００は、カラオケ装置Ｋからの放音に関する各種制御を行う。たとえば、音響制御部５００は、予約した楽曲の楽曲データに基づいてカラオケ演奏を行う。具体的には、音響制御部５００は、予約待ち行列に登録されている楽曲ＩＤが紐付けられている楽曲データを記憶部１３から読み出し、音響処理部１４を制御することで、スピーカ２０からカラオケ演奏音を放音させる。

ここで、本実施形態において、音響制御部５００は、映像作品の再生中において、所定数の画像の再生時刻が到来した場合、当該再生時刻に紐付けられている楽曲識別情報が示す楽曲の楽曲データに基づいて、カラオケ演奏を行う。

たとえば、再生部１００が映像作品Ｍのデータを再生して映像信号を出力し、表示装置３０に複数の画像を連続して表示させることにより映像を表示させるとする。

音響制御部５００は、サムネイル画像ＴＮ０１に対応する画像の再生時刻Ｔ０１が到来した場合、再生時刻Ｔ０１に紐付けられている楽曲ＩＤ＊＊＊１０（図６参照）が示す楽曲Ｓ＊＊＊１０の楽曲データを記憶部１３から読み出し、音響処理部１４を制御することでスピーカ２０から楽曲Ｓ＊＊＊１０のカラオケ演奏音を放音させる。同様に、音響制御部５００は、サムネイル画像ＴＮ０２～ＴＮ１０に対応する画像の再生時刻Ｔ０２～Ｔ１０が到来した場合、再生時刻Ｔ０２～Ｔ１０に紐付けられている楽曲ＩＤ（図６参照）が示す楽曲の楽曲データを記憶部１３から読み出し、音響処理部１４を制御することでスピーカ２０から各楽曲のカラオケ演奏音を放音させる。

なお、一の楽曲のカラオケ演奏中に次の画像の再生時刻が到来する場合もありうる。この場合、音響制御部５００は、現在のカラオケ演奏をフェードアウトさせつつ、次の再生時刻に紐付けられている楽曲ＩＤが示す楽曲のカラオケ演奏を開始することができる。

＝＝カラオケ装置における処理について＝＝
次に、図７を参照して本実施形態に係るカラオケ装置Ｋにおける処理の具体例について述べる。図７は、カラオケ装置Ｋにおける処理例を示すフローチャートである。この例では、利用者Ｕがカラオケ装置Ｋを利用して映像作品Ｍを鑑賞しながら、カラオケ歌唱を行うとする。

カラオケ装置Ｋは、利用者Ｕからの指示入力に基づいて、利用者Ｕのカラオケ装置Ｋに対するログイン処理を行う（ログイン処理。ステップ１０）。

カラオケ装置Ｋは、サーバ装置から利用者Ｕの歌唱履歴を取得する（歌唱履歴の取得。ステップ１１）。利用者Ｕは、カラオケ装置Ｋに映像作品Ｍが収録されたメディアをセットする。

第１の抽出部２００は、映像作品Ｍを構成する複数の画像のうち所定数の画像それぞれについて、画像の内容を示す画像キーワードを抽出し、当該映像作品において当該画像の再生を開始する再生時刻と紐付ける（画像キーワードと再生時刻との紐付け。ステップ１２）。

また、第２の抽出部３００は、利用者Ｕの歌唱履歴に含まれる所定数の楽曲について、楽曲毎の内容を示す楽曲キーワードを抽出し、当該楽曲を識別するための楽曲ＩＤと紐付ける（楽曲キーワードと楽曲ＩＤとの紐付け。ステップ１３）。

処理部４００は、ステップ１２で抽出された画像キーワードそれぞれに対し、抽出された複数の楽曲キーワードの中から関連する楽曲キーワードを決定する（関連する楽曲キーワードの決定。ステップ１４）。

そして、処理部４００は、ステップ１４で決定された楽曲キーワードに紐付けられている楽曲ＩＤと、当該決定された楽曲キーワードに対応する画像キーワードに紐付けられている再生時刻を紐付ける（楽曲ＩＤと再生時刻との紐付け。ステップ１５）。

その後、再生部１００は、利用者Ｕからの指示入力に基づいて、メディアに収録された映像作品Ｍのデータを再生して映像信号を出力し、表示装置３０に映像を表示させる（映像作品の再生開始。ステップ１６）

映像作品Ｍの再生中において、所定数の画像の再生時刻が到来した場合（ステップ１７でＹの場合）、音響制御部５００は、当該再生時刻に紐付けられている楽曲ＩＤが示す楽曲の楽曲データに基づいて、カラオケ演奏を行う（楽曲のカラオケ演奏。ステップ１８）。

カラオケ装置Ｋは、映像作品Ｍの再生が終了するまで（ステップ１９でＹの場合）、ステップ１７及びステップ１８の処理を繰り返し行う。

以上から明らかなように、本実施形態に係るカラオケ装置Ｋは、メディアに収録された映像作品のデータを再生して映像信号を出力し、表示装置３０に映像を表示させる再生部１００と、映像作品を構成する複数の画像のうち所定数の画像それぞれについて、画像の内容を示す画像キーワードを抽出し、当該映像作品において当該画像の再生を開始する再生時刻と紐付ける第１の抽出部２００と、利用者の歌唱履歴に含まれる所定数の楽曲について、楽曲毎の内容を示す楽曲キーワードを抽出し、当該楽曲を識別するための楽曲識別情報と紐付ける第２の抽出部３００と、抽出された画像キーワードそれぞれに対し、抽出された複数の楽曲キーワードの中から関連する楽曲キーワードを決定し、決定された楽曲キーワードに紐付けられている楽曲識別情報と、当該決定された楽曲キーワードに対応する画像キーワードに紐付けられている再生時刻とを紐付ける処理部４００と、映像作品の再生中において、所定数の画像の再生時刻が到来した場合、当該再生時刻に紐付けられている楽曲識別情報が示す楽曲の楽曲データに基づいて、カラオケ演奏を行う音響制御部５００と、を有する。

このようなカラオケ装置Ｋによれば、映像作品を構成する所定数の画像が表示される毎に、当該画像に関連する楽曲のカラオケ演奏を行うことができる。よって、利用者は、映像作品を楽しみつつ、現在再生されている場面にふさわしい楽曲のカラオケ歌唱を行うことができる。すなわち、本実施形態に係るカラオケ装置Ｋによれば、映像作品の各場面に適した楽曲をカラオケ演奏できる。なお、カラオケ演奏される楽曲は、利用者自身の歌唱履歴に基づいて決定されるため、カラオケ歌唱できないという事態は生じえない。

また、所定数の画像は、映像作品のチャプター毎に設定されているサムネイル画像に対応する画像であってもよい。サムネイル画像を利用することにより、カラオケ装置Ｋは、チャプター毎に適当な楽曲を決定することができる。

＜第２実施形態＞
次に図８～図９Ｂを参照して、第２実施形態に係るカラオケ装置について説明する。本実施形態では、利用者に対し、映像作品を構成する画像に応じた飲食物をレコメンドする例について述べる。第１実施形態と同様の構成については説明を省略する。

＝＝カラオケ本体＝＝
図８に示すように、本実施形態に係るカラオケ本体１０は、再生部１００、第１の抽出部２００、第２の抽出部３００、処理部４００、音響制御部５００、リスト記憶部６００、レコメンド部７００、及び報知部８００を備える。リスト記憶部６００は、記憶部１３の記憶領域の一部に相当する。再生部１００、第１の抽出部２００、第２の抽出部３００、決定部４００、音響制御部５００、レコメンド部７００、及び報知部８００は、ＣＰＵ１１ａがメモリ１１ｂに記憶されるプログラムを実行することにより実現される。

［リスト記憶部］
リスト記憶部６００は、カラオケ装置Ｋが設置された店舗において、利用者に対して提供可能な飲食物のリストを記憶する。

飲食物のリストは、飲食物名、飲食物を識別するための識別ＩＤ、価格、飲食物を撮影した画像、摂取カロリー等を含む。飲食物のリストはカラオケ店舗毎に異なっている。以下の説明では、飲食物のリストに飲食物ＦＤ０１～飲食物ＦＤ３０が含まれているとする。

［レコメンド部］
レコメンド部７００は、第１の抽出部２００が飲食物を示す画像キーワードを抽出した場合に、当該画像キーワード及び飲食物のリストに基づいて、利用者に対して飲食物をレコメンドする。

具体的に、第１の抽出部２００が抽出した画像キーワードが飲食物を示す場合、レコメンド部７００は、リスト記憶部６００から飲食物のリストを読み出して、当該画像キーワードと対比を行い、関連する飲食物を特定する。関連する飲食物の特定は、処理部４００における処理と同様に行うことができる。すなわち、レコメンド部７００は、一の画像キーワードを飲食物のリストに含まれる飲食物それぞれと比較し、キーワードと飲食物との関連性をスコア化する。そして、処理部４００は、最もスコアの高い飲食物を、画像キーワードと関連する飲食物として特定する。

たとえば、第１実施形態におけるサムネイル画像ＴＮ０５から飲食物である「ラーメン」を示す画像キーワードが抽出されたとする。この場合、レコメンド部７００は、飲食物のリストに含まれる飲食物と「ラーメン」とを対比し、関連する飲食物（たとえば、チャーシュー麺）を特定する。

レコメンド部７００は、特定した飲食物の飲食物名や画像、或いは注文を促すメッセージをリモコン装置５０の表示画面に表示させることで、利用者に対してレコメンドを行う。利用者はリモコン装置５０を用いてレコメンドされた飲食物を注文することができる。なお、レコメンド部７００は、関連する飲食物が複数特定された場合、スコアの高いものをレコメンドしてもよいし、特定された全ての飲食物をレコメンドしてもよい。

［報知部］
報知部８００は、レコメンドした飲食物を利用者が注文した場合に、当該飲食物をレコメンドする際に利用した画像キーワードに紐付けられている再生時刻に基づいて、当該飲食物の利用者への提供タイミングを決定し、店舗における飲食物の提供者に対して決定した飲食物の提供タイミングを報知する。

提供タイミングは、映像作品の再生中において、利用者に対して飲食物を提供する時刻である。提供タイミングは、たとえば所定数の画像の再生時刻を基準として決定される。

たとえば、利用者Ｕは、レコメンド部７００によりレコメンドされた「チャーシュー麺」を注文したとする。この場合、報知部８００は、チャーシュー麺をレコメンドする際に利用した画像キーワード（ラーメン）に紐付けられている再生時刻Ｔ０５に基づいて、利用者Ｕへチャーシュー麺を提供する提供タイミングを決定する。たとえば、報知部８００は、提供タイミングとして、再生時刻Ｔ０５の１分前と決定する。

報知部８００は、決定した提供タイミングを店舗における飲食物の提供者に報知する。具体的に、報知部８００は、提供者が所有する携帯端末や店舗に設置されている管理サーバに対して注文する飲食物の識別ＩＤと提供タイミングを送信する。

提供者は、飲食物の識別ＩＤに基づいて提供する飲食物を特定し、提供タイミングに合わせて提供できるよう、飲食物の準備を行う。

なお、報知部８００は、リモコン装置５０の表示画面に提供タイミングを表示させることにより、利用者に対しても提供タイミングを報知することができる。

＝＝カラオケ装置における処理について＝＝
次に、図９Ａ及び図９Ｂを参照して本実施形態に係るカラオケ装置Ｋにおける処理の具体例について述べる。図９Ａ及び図９Ｂは、カラオケ装置Ｋにおける処理例を示すフローチャートである。この例では、利用者Ｕがカラオケ装置Ｋを利用して映像作品Ｍを鑑賞しながら、カラオケ歌唱を行うとする。また、リスト記憶部６００は、カラオケ装置Ｋが設置された店舗において、利用者に対して提供可能な飲食物のリストを記憶している。

ステップ２０からステップ２２は、ステップ１０からステップ１２と同様である。

ここで、第１の抽出部２００が飲食物を示す画像キーワードを抽出した場合（ステップ２３でＹの場合）、レコメンド部７００は、ステップ１２で抽出された画像キーワード及び飲食物のリストに基づいて、利用者に対して飲食物をレコメンドする（飲食物のレコメンド。ステップ２４）。

レコメンドした飲食物を利用者が注文した場合（ステップ２５でＹの場合）、報知部８００は、飲食物をレコメンドする際に利用した画像キーワードに紐付けられている再生時刻に基づいて、当該飲食物の利用者への提供タイミングを決定し、店舗における飲食物の提供者に対して決定した飲食物の提供タイミングを報知する（提供タイミングを報知。ステップ２６）。

ステップ２７からステップ３０は、ステップ１３からステップ１６と同様である。

映像作品の再生中において、ステップ２６で報知された提供タイミングが到来した場合（ステップ３１でＹの場合）、提供者により飲食物が提供される（飲食物の提供。ステップ３２）。

その後、所定数の画像の再生時刻が到来した場合（ステップ３３でＹの場合）、音響制御部５００は、当該再生時刻に紐付けられている楽曲ＩＤが示す楽曲の楽曲データに基づいて、カラオケ演奏を行う（楽曲のカラオケ演奏。ステップ３４）。

カラオケ装置Ｋは、映像作品Ｍの再生が終了するまで（ステップ３５でＹの場合）、ステップ３１からステップ３４の処理を繰り返し行う。

以上から明らかなように、本実施形態に係るカラオケ装置Ｋは、カラオケ装置Ｋが設置された店舗において、利用者に対して提供可能な飲食物のリストを記憶するリスト記憶部６００と、第１の抽出部２００が飲食物を示す画像キーワードを抽出した場合に、当該画像キーワード及び飲食物のリストに基づいて、利用者に対して飲食物をレコメンドするレコメンド部７００と、を有する。このようなカラオケ装置Ｋによれば、利用者に対して映像作品の場面に適した飲食物をレコメンドすることができる。

また、本実施形態に係るカラオケ装置Ｋは、レコメンドした飲食物を利用者が注文した場合に、当該飲食物をレコメンドする際に利用した画像キーワードに紐付けられている再生時刻に基づいて、当該飲食物の利用者への提供タイミングを決定し、店舗における飲食物の提供者に対して決定した飲食物の提供タイミングを報知する報知部８００を有する。このようなカラオケ装置Ｋによれば、利用者は、映像作品の場面に適した飲食物の飲食が可能となる。

＜変形例１＞
映像作品には、音声が含まれているものも多く存在する。このような映像作品のデータは、映像データ及び音声データにより構成されている。音声データは、カラオケ装置Ｋから放音される音声に対応するデータである。音声には、会話の音声、音楽の音声、効果音（機械音、自然音等）等が含まれる。

映像作品が音声を含む場合、再生部１００は、映像作品のデータを再生し、映像信号と併せて音声信号を出力する。音響制御部５００は、音響処理部１４を制御し、スピーカ２０から映像作品の音声を放音させる。

ここで、音響制御部５００は、カラオケ演奏を行わない場合に音声信号に基づく音声を出力することも可能である。

たとえば、第１実施形態の例において、音響制御部５００が、サムネイル画像ＴＮ１の再生時刻Ｔ０１が到来した場合、楽曲Ｓ＊＊＊１０のカラオケ演奏音を放音させたとする。そして、次のチャプターに移る前に楽曲Ｓ＊＊＊１０のカラオケ演奏が終了したとする。この場合、音響制御部５００は、次の再生時刻Ｔ０２が到来するまで、映像作品Ｍの音声データに基づいて、映像作品Ｍの音声を放音させる。

このように映像作品Ｍの音声を放音させることにより、映像のみが表示される状態（音声が放音されない状態）を避けることができる。

なお、音響制御部５００は、映像作品の音声とカラオケ演奏の音声とで放音するボリュームを変更してもよい。

また、第２実施形態の例において、音響制御部５００は、提供タイミングが到来した場合に（或いは提供タイミングを決定する際に用いた再生時刻が到来した場合に）、カラオケ演奏音の放音を中止し、映像作品の音声を放音させてもよい。この場合、利用者は、カラオケ歌唱を中止して飲食を行い易くなる。

＜変形例２＞
再生部１００は、一の再生時刻に紐付けられている楽曲識別情報が示す楽曲の楽曲データに基づいてカラオケ演奏を行う場合、映像作品のデータの再生を中断し、当該一の再生時刻に紐付けられた画像キーワードを抽出した画像を示す画像信号を出力し、当該画像を静止画像として表示手段に表示させ、当該カラオケ演奏の終了後に映像作品のデータの再生を再開することができる。

たとえば、第１実施形態の例において、サムネイル画像ＴＮ０１に対応する画像の再生時刻Ｔ０１が到来した場合、音響制御部５００が楽曲Ｓ＊＊＊１０のカラオケ演奏音を放音させたとする。

この場合、再生部１００は、映像作品Ｍのデータの再生を中断し、サムネイル画像ＴＮ０１に対応する画像を示す画像信号を出力し、表示装置３０にサムネイル画像ＴＮ０１に対応する画像を表示させる。その後、楽曲Ｓ＊＊＊１０のカラオケ演奏が終了した場合、再生部１００は、中断したところから（すなわち、サムネイル画像ＴＮ０１に対応する画像の次の画像から）映像作品のデータの再生を再開する。あるチャプター内においても様々な場面が存在する。そこで、楽曲Ｓ＊＊＊１０を決定する際に用いたサムネイル画像ＴＮ０１に対応する画像を表示させることにより、利用者はカラオケ演奏される楽曲に最も関連性が高い画像を見ながらカラオケ歌唱を行うことが可能となる。

＜その他＞
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 再生部
２００ 第１の抽出部
３００ 第２の抽出部
４００ 処理部
５００ 音響制御部
６００ リスト記憶部
７００ レコメンド部
８００ 報知部
Ｋ カラオケ装置

Claims (6)

1. メディアに収録された映像作品のデータを再生して映像信号を出力し、表示手段に映像を表示させる再生部と、
   映像作品を構成する複数の画像のうち所定数の画像それぞれについて、画像の内容を示す画像キーワードを抽出し、当該映像作品において当該画像の再生を開始する再生時刻と紐付ける第１の抽出部と、
   利用者の歌唱履歴に含まれる所定数の楽曲について、楽曲毎の内容を示す楽曲キーワードを抽出し、当該楽曲を識別するための楽曲識別情報と紐付ける第２の抽出部と、
   抽出された画像キーワードそれぞれに対し、抽出された複数の楽曲キーワードの中から関連する楽曲キーワードを決定し、決定された前記楽曲キーワードに紐付けられている楽曲識別情報と、当該決定された楽曲キーワードに対応する画像キーワードに紐付けられている再生時刻とを紐付ける処理部と、
   前記映像作品の再生中において、前記所定数の画像の再生時刻が到来した場合、当該再生時刻に紐付けられている楽曲識別情報が示す楽曲の楽曲データに基づいて、カラオケ演奏を行う音響制御部と、
   を有するカラオケ装置。
2. 前記所定数の画像は、映像作品のチャプター毎に設定されているサムネイル画像に対応する画像であることを特徴とする請求項１記載のカラオケ装置。
3. カラオケ装置が設置された店舗において、利用者に対して提供可能な飲食物のリストを記憶するリスト記憶部と、
   前記第１の抽出部が飲食物を示す画像キーワードを抽出した場合に、当該画像キーワード及び前記飲食物のリストに基づいて、利用者に対して飲食物をレコメンドするレコメンド部と、
   を有することを特徴とする請求項１または２記載のカラオケ装置。
4. 前記レコメンドした飲食物を利用者が注文した場合に、当該飲食物をレコメンドする際に利用した画像キーワードに紐付けられている再生時刻に基づいて、当該飲食物の利用者への提供タイミングを決定し、店舗における飲食物の提供者に対して決定した飲食物の提供タイミングを報知する報知部と、
   を有することを特徴とする請求項３記載のカラオケ装置。
5. 前記再生部は、メディアに収録された映像作品のデータを再生して音声信号を出力し、
   前記音響制御部は、前記カラオケ演奏を行わない場合に前記音声信号に基づく音声を出力することを特徴とする請求項１から４のいずれか一つに記載のカラオケ装置。
6. 前記再生部は、一の再生時刻に紐付けられている楽曲識別情報が示す楽曲の楽曲データに基づいてカラオケ演奏を行う場合、前記映像作品のデータの再生を中断し、当該一の再生時刻に紐付けられた画像キーワードを抽出した画像を示す画像信号を出力し、当該画像を静止画像として表示手段に表示させ、当該カラオケ演奏の終了後に映像作品のデータの再生を再開することを特徴とする請求項１から５のいずれか一つに記載のカラオケ装置。

Images