JP6773840B1 - カラオケシステム - Google Patents

Abstract

【課題】ルビの誤表示の修正を促すことができるカラオケシステムを提供する。【解決手段】複数のカラオケ装置（２）とサーバ（３）が通信可能に接続されたカラオケシステム（１）であり、複数のカラオケ装置のそれぞれが、歌詞テロップデータを楽曲識別情報に関連付けて記憶する記憶部（２１）と、歌唱音声信号を音声認識処理によってテキスト化した歌唱テキストデータを出力する音声処理部（２４）と、歌詞テロップデータに含まれたルビ情報と当該ルビ情報に対応する歌唱テキストデータを比較して不一致ルビ情報を抽出する抽出部（２５）と、不一致ルビ情報を楽曲識別情報と共にサーバに送信する送信部（２６）とを備え、サーバが、楽曲識別情報毎に不一致ルビ情報の取得回数を集計する集計部（３２）と、不一致ルビ情報の集計結果が所定の条件を満たす場合に修正メッセージを生成する生成部（３３）とを備えている。【選択図】図２

Description

本発明は、カラオケシステムに関する。

一般に、カラオケ装置では演奏データの再生に合わせてモニタに歌詞テロップが表示される。歌詞テロップには仮名以外に漢字や外国語が使用される場合があり、歌詞テロップの漢字等にルビを付して表示するカラオケ装置が提案されている（例えば、特許文献１参照）。特許文献１に記載のカラオケ装置は、歌詞情報にルビ情報を関連付けた歌詞テロップデータによって、ルビ付きの歌詞テロップをモニタに表示させている。ルビ情報を含む歌詞テロップデータは、カラオケ事業者によって内製されたり、カラオケ事業者によって社外に外注されたりして制作される。

特開２００３−１７７７６５号公報

ところで、「この地球」という歌詞テロップを「このほし」と歌唱させる楽曲や、「女」という歌詞テロップを「ひと」と歌唱させる楽曲が存在している。このような楽曲では、歌詞テロップの「地球」のルビとして「ほし」が表示され、「女」のルビとして「ひと」が表示されるべきである。しかしながら、ルビ情報の制作時のミスによって、歌詞テロップの「地球」のルビとして「ちきゅう」が表示され、「女」のルビとして「おんな」が表示される場合がある。楽曲を熟知した歌唱者であれば、ルビの誤表示を無視して歌唱できるが、多くの歌唱者は歌詞テロップに頼ってルビの誤表示に気づくことなく歌唱してしまう。ルビの誤表示は、制作者が気づくか、歌唱者からの指摘がなければ修正されない。

本発明の目的は、ルビの誤表示の修正を促すことができるカラオケシステムを提供することである。

上記目的を達成するための主たる発明は、複数のカラオケ装置とサーバとが通信可能に接続されたカラオケシステムであって、前記複数のカラオケ装置のそれぞれは、ルビ情報を含むデータであり、演奏データの再生に同期して歌詞テロップをモニタに表示させる歌詞テロップデータを楽曲識別情報に関連付けて記憶する記憶部と、演奏データの再生に合わせてマイクロホンから入力された歌唱音声信号を音声認識処理によってテキスト化した歌唱テキストデータを出力する処理部と、歌詞テロップデータのルビ情報と当該ルビ情報に対応する歌唱テキストデータを比較し、当該歌唱テキストデータと異なる不一致ルビ情報を抽出する抽出部と、不一致ルビ情報を楽曲識別情報と共に前記サーバに送信する送信部と、を備え、前記サーバは、不一致ルビ情報を取得して楽曲識別情報毎に不一致ルビ情報の取得回数を集計する集計部と、不一致ルビ情報の集計結果が所定の条件を満たす場合に修正メッセージを生成する生成部と、を備えるカラオケシステムである。

本発明によれば、歌詞テロップデータの制作者がルビの誤表示に気づかない場合や歌唱者からルビの誤表示の指摘がない場合であっても、修正メッセージによってルビの誤表示の修正を促すことができる。

第１実施形態に係るカラオケシステムの概略図である。 第１実施形態に係るカラオケシステムのシステム構成図である。 第１実施形態に係るカラオケシステムの処理を示すフローチャートである。 第２実施形態に係るカラオケシステムのシステム構成図である。 第２実施形態に係るカラオケシステムの処理を示すフローチャートである。

＜第１実施形態＞
図１及び図２を参照して、第１実施形態に係るカラオケシステム１について説明する。図１は、第１実施形態に係るカラオケシステム１の概略図である。図２は、第１実施形態に係るカラオケシステム１のシステム構成図である。なお、カラオケ装置２が通常備えている構成については備えているものとし、説明は省略する。

図１に示すように、カラオケシステム１は、カラオケ事業者によって管理されており、カラオケ店舗に設置された複数のカラオケ装置２と、データセンタ等に設置されたサーバ３とを備えている。複数のカラオケ装置２はネットワーク５を介してサーバ３に通信可能に接続されている。また、サーバ３には外部事業者によって管理された外部システム４がネットワーク５を介して接続されている。ネットワーク５は、例えばインターネット回線網や、公衆交換電話網（PSTN：Public Switched Telephone Network）によって構成されている。

図２に示すように、カラオケシステム１のカラオケ装置２は、リモートコントローラ（不図示）等によって選曲した楽曲の歌唱を楽しむための装置であり、カラオケ本体１１と、モニタ１２と、スピーカ１３と、マイクロホン１４とを備えている。モニタ１２は、カラオケ本体１１からの出力信号によって演奏音に合わせて背景映像と共にルビ付きの歌詞テロップを表示する。スピーカ１３は、カラオケ本体１１からの出力信号によって楽曲の演奏音と共に歌唱者の歌唱音声を放音する。マイクロホン１４は、歌唱者の歌唱音声をアナログの歌唱音声信号に変換してカラオケ本体１１に入力する。

カラオケ本体１１には、記憶部２１と、表示処理部２２と、音響処理部２３と、音声処理部（処理部）２４と、抽出部２５と、送信部２６とが設けられている。記憶部２１には、楽曲固有の楽曲識別情報に関連付けて演奏データ、歌詞テロップデータ、映像データ、リファレンスデータが記憶されている。演奏データの再生によってスピーカ１３から演奏音が放音される。歌詞テロップデータ及び映像データによって演奏データの再生に同期して歌詞テロップ及び背景映像がモニタ１２に表示される。歌詞テロップデータにはルビ情報が含まれている。リファレンスデータによってマイクロホン１４から入力された歌唱音声信号が採点される。

表示処理部２２は、テンポクロック信号に基づいて記憶部２１から歌詞テロップデータ及び映像データを順に読み出して、モニタ１２に歌詞テロップと背景映像を表示させる。歌詞テロップデータに含まれるルビ情報によって、歌詞テロップの一部の漢字等には読み仮名が付される。また、表示処理部２２は、テンポクロック信号によって演奏データの再生に同期して歌詞テロップの表示色を変化させている。これにより、歌唱者が、モニタ１２に表示された歌詞テロップの表示色の変化から、歌詞を見ながら演奏の進行に合わせて歌唱することができる。

音響処理部２３は、テンポクロック信号に基づいて記憶部２１から演奏データを順に読み出して演奏信号を再生する。また、音響処理部２３は、ミキサ、アンプ（いずれも不図示）を含んでおり、再生した演奏信号とマイクロホン１４からの歌唱音声信号をミキサによって適切な比率でミキシングして、このミキシング信号をアンプによって増幅してスピーカ１３に放音させる。これにより、歌唱者が演奏に合わせて歌唱すると、スピーカ１３から演奏音と共に歌唱音声が放音される。

音声処理部２４は、演奏データの再生に合わせて、マイクロホン１４から入力された歌唱音声信号を音声認識処理によってテキスト化した歌唱テキストデータを出力する。歌唱テキストデータは、仮名文字又はローマ字によってテキスト化されている。また、音声処理部２４は、歌唱音声信号に対して公知の波形解析処理を施すことにより、歌唱音声の各仮名を発生した発声タイミングを取得する。これにより、歌唱テキストデータは、演奏の進行に合わせて時系列に並べられる。なお、音声認識処理としては、音声スペクトラムの分析、パターンマッチング等の公知の技術が使用される。

抽出部２５は、記憶部２１から歌詞テロップデータを読み出して、歌詞テロップデータのルビ情報と当該ルビ情報に対応する歌唱テキストデータを比較し、歌唱テキストデータと異なる不一致ルビ情報を抽出する。歌詞テロップデータの表示色の変化タイミングと歌唱テキストデータの発声タイミングとに基づいて歌唱テキストデータが特定されて、この歌唱テキストデータとルビ情報が比較される。この場合、歌唱テキストデータとルビ情報の仮名文字が比較されてもよいし、歌唱テキストデータとルビ情報の仮名文字をローマ字に変換したものが比較されてもよい。

例えば、楽曲Ｘの所定の歌唱区間Ｐにおいて、モニタ１２に歌詞テロップとして「この地球で」が表示され、「地球」の上にルビとして「ちきゅう」が表示されている。歌唱者Ａが、歌詞テロップのルビ通りに「ちきゅう」と歌唱すると、歌唱テキストデータの「ちきゅう」とルビ情報の「ちきゅう」が一致するため、不一致ルビ情報が抽出されない。一方で、歌唱者Ｂが、歌詞テロップのルビを無視して「ほし」と歌唱すると、歌唱テキストデータの「ほし」とルビ情報の「ちきゅう」が異なるため、不一致ルビ情報として「ちきゅう」が抽出される。

送信部２６は、不一致ルビ情報と楽曲識別情報を関連付けて送信データを生成し、送信データに各種処理を施してサーバ３に向けて送信する。このように、カラオケ装置２は、モニタ１２に表示された歌詞テロップのルビと歌唱者の歌唱音声とが一致しない場合に、楽曲識別情報と共に不一致ルビ情報をサーバ３に向けて送信する。なお、本実施形態のカラオケ装置２はスピーカ１３を備える構成にしたが、一人でカラオケボックスに入ってカラオケを楽しむ、いわゆる一人カラオケのように、スピーカ１３の代わりにヘッドホン（不図示）が備えられていてもよい。

カラオケシステム１のサーバ３は、複数のカラオケ装置２の各種情報を統括管理するものであり、受信部３１と、集計部３２と、生成部３３と、送信部３４とを備えている。受信部３１は、カラオケ装置２からの送信データに対して各種処理を施して不一致ルビ情報と楽曲識別情報を取り出して集計部３２に出力する。集計部３２は、複数のカラオケ装置２から送信された不一致ルビ情報を取得して、楽曲識別情報毎に不一致ルビ情報の取得回数を集計する。なお、各楽曲の１度の歌唱中に同じ不一致ルビ情報が繰り返し取得されても、この不一致ルビ情報の取得回数は１回として集計される。

例えば、歌唱者Ａが楽曲Ｘの歌唱し終えた時点の楽曲Ｘの全歌唱回数は１１９回であり、全歌唱回数のうち不一致ルビ情報の「ちきゅう」を一度でも取得した回数は５９回である。歌唱者Ａは歌詞テロップのルビ通りに「ちきゅう」と歌唱するため、不一致ルビ情報の「ちきゅう」を一度でも取得した５９回の歌唱には含まれていない。次に、歌唱者Ｂが楽曲Ｘを歌唱し終えた時点で楽曲Ｘの全歌唱回数が１２０回になる。歌唱者Ｂは歌詞テロップのルビを無視して「ほし」と歌唱するため、不一致ルビ情報の「ちきゅう」を一度でも取得した歌唱回数が６０回になる。

生成部３３は、不一致ルビ情報の集計結果が所定の条件を満たす場合、楽曲識別情報と不一致ルビ情報に基づいて不一致ルビ情報の修正を促す修正メッセージを生成する。生成部３３は、楽曲の全歌唱回数と不一致ルビ情報の取得回数とから不一致度を算出して、全歌唱回数と不一致度が所定の条件を満たすか否かを判定する。例えば、所定の条件は、全歌唱回数が１００回以上かつ不一致度が５０％以上の条件に設定されている。上記の例では、歌唱者Ｂが歌唱し終えた時点で全歌唱回数が１２０回で不一致度が５０％になるため、生成部３３によって不一致ルビ情報の修正メッセージが生成される。

送信部３４は、修正メッセージを含む送信データを生成し、送信データに各種処理を施して外部事業者の外部システム４に向けて送信する。本実施形態では、歌詞テロップデータの制作を外部事業者に外注しているため、外部システム４に修正メッセージを通知しているが、カラオケ事業者が自ら歌詞テロップデータを制作している場合には外部への修正メッセージの通知は不要である。また、本実施形態では、不一致度（割合）を所定の条件としたが、不一致ルビ情報の取得回数を所定の条件としてもよいし、公知の統計的手法を用いて求めた統計値を所定の条件としてもよい。

また、カラオケ装置２の各種処理及びサーバ３の各種処理は、プロセッサを用いてソフトウェアによって実現されてもよいし、集積回路等に形成された論理回路（ハードウェア）によって実現されてもよい。プロセッサを用いる場合には、プロセッサがメモリに記憶されているプログラムを読み出して実行することで各種処理が実施される。プロセッサとしては、例えば、ＣＰＵ（Central Processing Unit）が使用される。また、メモリは、用途に応じてＲＯＭ(Read Only Memory)、ＲＡＭ（Random Access Memory）等の一つ又は複数の記憶媒体によって構成されている。

続いて、図３を参照して、カラオケシステム１の処理動作について説明する。図３は、第１実施形態に係るカラオケシステム１の処理を示すフローチャートである。なお、図３に示すフローチャートは一例を示すものであり、カラオケシステム１の処理動作はこのフローチャートに限定されない。また、図３では、図２の符号を適宜使用して説明する。

図３に示すように、予約登録された楽曲Ｘの歌唱が開始されると（ステップＳ０１）、記憶部２１から演奏データ、歌詞テロップデータ、映像データ、リファレンスデータが読み出される。これにより、スピーカ１３から演奏音が放音されると共にモニタ１２に背景映像と共に歌詞テロップが表示されて歌唱者によって歌唱される。次に、マイクロホン１４から入力された歌唱音声信号が音声処理部２４によって所定の歌唱区間毎に順番にテキスト化され、音声処理部２４から歌唱テキストデータが出力される（ステップＳ０２）。歌唱テキストデータには、歌唱音声の各仮名の発声タイミングが含まれている。

次に、抽出部２５によって歌唱テロップデータのルビ情報と歌唱テキストデータが異なるか否かが判定される（ステップＳ０３）。この場合、歌詞テロップの表示色の変化タイミングと歌唱テキストデータの発声タイミングに基づいて、歌詞テロップデータのルビ情報と歌唱テキストデータが比較される。歌詞テロップデータのルビ情報と歌唱テキストデータが一致する場合、又は歌詞テロップデータにルビ情報が含まれない場合（ステップＳ０３でＮｏ）、楽曲Ｘの歌唱が終了するか否かが判定される（ステップＳ０６）。そして、楽曲Ｘの歌唱が終了するまでステップＳ０２、Ｓ０３の処理が繰り返される。

一方で、歌詞テロップデータのルビ情報と歌唱テキストデータが異なる場合（ステップＳ０３でＹｅｓ）、抽出部２５によって当該ルビ情報が不一致ルビ情報として抽出される（ステップＳ０４）。次に、送信部２６によって不一致ルビ情報と楽曲識別情報がカラオケ装置２からサーバ３に送信される（ステップＳ０５）。サーバ３の集計部３２によって不一致ルビ情報が取得されて、楽曲識別情報毎に不一致ルビ情報の取得回数が集計される（ステップＳ０７）。楽曲Ｘの歌唱中に同じ不一致ルビ情報が繰り返し取得されても、不一致ルビ情報の取得回数は１回として集計される。

次に、生成部３３によって楽曲Ｘの全歌唱回数と不一致ルビ情報の取得回数から不一致度が算出され（ステップＳ０８）、楽曲Ｘの全歌唱回数が一定回数（例えば、１００回）以上か否かが判定される（ステップＳ０９）。楽曲Ｘの全歌唱回数が一定回数未満の場合（ステップＳ０９でＮｏ）、修正メッセージが生成されずにサーバ３の処理が終了する。楽曲Ｘの全歌唱回数が一定回数以上の場合（ステップＳ０９でＹｅｓ）、生成部３３によって不一致ルビ情報の不一致度が一定割合（例えば、５０％）以上か否かが判定される（ステップＳ１０）。

不一致ルビ情報の不一致度が一定割合未満の場合（ステップＳ１０でＮｏ）、修正メッセージが生成されずにサーバ３の処理が終了する。不一致ルビ情報の不一致度が一定割合以上の場合（ステップＳ１０でＹｅｓ）、生成部３３によって不一致ルビ情報の修正を促す修正メッセージが生成される（ステップＳ１１）。そして、送信部３４によってサーバ３から外部システム４に修正メッセージが送信され（ステップＳ１２）、外部システム４において修正メッセージに基づいてルビ情報の修正が検討される。

以上、第１実施形態によれば、歌唱者が演奏に合わせて歌唱すると、マイクロホン１４に入力された歌唱音声信号がテキスト化されて歌唱テキストデータが出力され、演奏に同期してモニタ１２に表示される歌詞テロップのルビ情報と歌唱テキストデータが比較される。歌唱テキストデータと異なる不一致ルビ情報はサーバ３において集計され、集計結果に応じてルビの誤表示の修正メッセージが生成される。よって、歌詞テロップデータの制作者がルビの誤表示に気づかない場合や歌唱者からルビの誤表示の指摘がない場合であっても、修正メッセージによってルビの誤表示の修正を促すことができる。

＜第２実施形態＞
次に、図４を参照して、第２実施形態に係るカラオケシステム１について説明する。図４は、第２実施形態に係るカラオケシステム１のシステム構成図である。第２実施形態については、リファレンスデータを用いて修正メッセージの要否を決定する点で第１実施形態と相違している。したがって、第２実施形態については第１実施形態と同様な構成については説明を省略する。また、第２実施形態に係るカラオケシステム１においては、第１実施形態と同一の名称には同一の符号を付して説明する。

図４に示すように、カラオケ装置２の抽出部２５は、不一致ルビ情報と、当該不一致ルビ情報に対応する歌唱テキストデータと、当該不一致ルビ情報に対応するリファレンスデータとを抽出する。リファレンスデータには、歌唱者の歌唱を採点するために複数のノート（音符）毎にピッチ（音高）が設定されている。なお、一般にカラオケ装置２は、歌唱を採点するために歌唱音声信号とリファレンスデータとをノート単位で常に比較しているため、不一致ルビ情報に対応するリファレンスデータを公知の技術を利用することによって特定することができる。

送信部２６は、不一致ルビ情報及び楽曲識別情報に加え、不一致ルビ情報に対応する歌唱テキストデータと、不一致ルビ情報に対応するリファレンスデータとを関連付けて送信データを生成する。そして、送信部２６は、送信データに各種処理を施してサーバ３に向けて送信する。このように、カラオケ装置２は、モニタ１２に表示された歌詞テロップのルビと歌唱者の歌唱音声とが一致しない場合に、楽曲識別情報、不一致ルビ情報、不一致ルビ情報に対応する歌唱テキストデータ、不一致ルビ情報に対応するリファレンスデータをサーバ３に向けて送信する。

サーバ３の受信部３１は、カラオケ装置２からの送信データに対して各種処理を施して、楽曲識別情報、不一致ルビ情報、不一致ルビ情報に対応する歌唱テキストデータ、不一致ルビ情報に対応するリファレンスデータを取り出して集計部３２に出力する。集計部３２は、複数のカラオケ装置２から送信された不一致ルビ情報を取得して、楽曲識別情報毎に不一致ルビ情報の取得回数を集計する。また、集計部３２は、楽曲識別情報に不一致ルビの集計結果、不一致ルビ情報に対応する歌唱テキストデータ、不一致ルビ情報に対応するリファレンスデータを関連付けて生成部３３に出力する。

生成部３３は、不一致ルビ情報の集計結果が所定の条件を満たす場合に、当該不一致ルビ情報、不一致ルビ情報に対応する歌唱テキストデータ、不一致ルビ情報に対応するリファレンスデータに基づいて修正メッセージを生成する。所定の条件は、第１実施形態と同様に、全歌唱回数が１００回以上かつ不一致度が５０％以上の条件に設定されている。また、生成部３３によって、不一致ルビ情報の音節数及び不一致ルビ情報に対応する歌唱テキストデータの音節数が、それぞれ不一致ルビ情報に対応するリファレンスデータのノート数と比較される。

不一致ルビ情報の音節数が、不一致ルビ情報に対応する歌唱テキストデータの音節数よりも、不一致ルビ情報に対応するリファレンスデータのノート数に近い場合には、不一致ルビが誤表示ではないとして修正メッセージが生成されない。すなわち、不一致ルビ情報の音節数と不一致ルビ情報に対応するリファレンスデータのノート数の差が、不一致ルビ情報に対応する歌唱テキストデータの音節数と不一致ルビ情報に対応するリファレンスデータのノート数の差よりも小さい場合には修正メッセージが生成されない。

また、不一致ルビ情報の音節数よりも、不一致ルビ情報に対応する歌唱テキストデータの音節数が、不一致ルビ情報に対応するリファレンスデータのノート数に近い場合には、不一致ルビが誤表示であるとして修正メッセージが生成される。すなわち、不一致ルビ情報の音節数と不一致ルビ情報に対応するリファレンスデータのノート数の差よりも、不一致ルビ情報に対応する歌唱テキストデータの音節数と不一致ルビ情報に対応するリファレンスデータのノート数の差が小さい場合には修正メッセージが生成される。このように、不一致ルビと歌唱音声の音節数に基づいて修正メッセージの要否が決定される。

例えば、歌唱者Ｂが歌唱し終えた時点で全歌唱回数が１２０回で不一致度が５０％になった場合、不一致ルビ情報の「ちきゅう」の音節数及び不一致ルビ情報の「ちきゅう」に対応する歌唱テキストデータの「ほし」の音節数が、不一致ルビ情報の「ちきゅう」に対応するリファレンスデータのノート数と比較される。不一致ルビ情報の「ちきゅう」の音節数は３であり、歌唱テキストデータの「ほし」の音節数は２である。リファレンスデータのノート数が２の場合、本来の歌詞の音節数は「ちきゅう」よりも「ほし」が近いと推定され、不一致ルビ情報の「ちきゅう」の修正を促す修正メッセージが生成される。

なお、生成部３３は、サーバ３に設けられた辞書機能によって各語句の音節数を取得してもよいし、ネットワーク５を介して外部のデータベースから各語句の音節数を取得してもよい。また、生成部３３は、不一致ルビ情報に対応する歌唱テキストデータを修正候補として当該修正候補を含む修正メッセージを生成してもよい。すなわち、修正メッセージには、不一致ルビ情報の「ちきゅう」の修正を促すメッセージの他、不一致ルビ情報の「ちきゅう」に対応する歌唱テキストデータの「ほし」が修正候補である旨のメッセージが含まれてもよい。

続いて、図５を参照して、カラオケシステム１の処理動作について説明する。図５は、第２実施形態に係るカラオケシステム１の処理を示すフローチャートである。なお、図５に示すフローチャートは一例を示すものであり、カラオケシステム１の処理動作はこのフローチャートに限定されない。また、図５では、図４の符号を適宜使用して説明する。

図５に示すように、第２実施形態に係るステップＳ２１−Ｓ２３、Ｓ２６の各処理は、それぞれ第１実施形態に係るカラオケシステム１の処理動作のステップＳ０１−Ｓ０３、Ｓ０６の各処理と同じである。歌詞テロップデータのルビ情報と歌唱テキストデータが異なる場合（ステップＳ２３でＹｅｓ）、抽出部２５によって不一致ルビ情報と、不一致ルビ情報に対応する歌唱テキストデータと、不一致ルビ情報に対応するリファレンスデータとが抽出される（ステップＳ２４）。次に、抽出された各データと楽曲識別情報が送信部２６によってカラオケ装置２からサーバ３に送信される（ステップＳ２５）。

サーバ３の集計部３２によって楽曲識別情報毎に不一致ルビ情報の取得回数が集計される（ステップＳ２７）。次に、生成部３３によって楽曲Ｘの全歌唱回数と不一致ルビ情報の取得回数から不一致度が算出され（ステップＳ２８）、楽曲Ｘの全歌唱回数が一定回数（例えば、１００回）以上か否かが判定される（ステップＳ２９）。楽曲Ｘの全歌唱回数が一定回数未満の場合（ステップＳ２９でＮｏ）、修正メッセージが生成されずにサーバ３の処理が終了する。楽曲Ｘの全歌唱回数が一定回数以上の場合（ステップＳ２９でＹｅｓ）、生成部３３によって不一致ルビ情報の不一致度が一定割合（例えば、５０％）以上か否かが判定される（ステップＳ３０）。

不一致ルビ情報の不一致度が一定割合未満の場合（ステップＳ３０でＮｏ）、修正メッセージが生成されずにサーバ３の処理が終了する。不一致ルビ情報の不一致度が一定割合以上の場合（ステップＳ３０でＹｅｓ）、歌唱テキストデータの音節数が不一致ルビ情報の音節数よりもリファレンスデータのノート数に近いか否かが判定される（ステップＳ３１）。歌唱テキストデータの音節数が、不一致ルビ情報の音節数よりもリファレンスデータのノート数に近くない場合（ステップＳ３１でＮｏ）、不一致ルビが誤表示ではないとして修正メッセージが生成されずにサーバ３の処理が終了する。

歌唱テキストデータの音節数が、不一致ルビ情報の音節数よりもリファレンスデータのノート数に近い場合（ステップＳ３１でＹｅｓ）、不一致ルビが誤表示であるとして生成部３３によって不一致ルビ情報の修正を促す修正メッセージが生成される（ステップＳ３２）。そして、送信部３４によってサーバ３から外部システム４に修正メッセージが送信され（ステップＳ３３）、外部システム４において修正メッセージに基づいてルビ情報の修正が検討される。

以上、第２実施形態によれば、不一致ルビ情報の音節数と歌唱テキストデータの音節数の違いを利用して、修正メッセージの要否を決定することができる。また、第１実施形態と同様に、修正メッセージによってルビの誤表示の修正を促すことができる。

＜変形例＞
第２実施形態では、サーバ３の生成部３３が、不一致ルビ情報の音節数と歌唱テキストデータの音節数をリファレンスデータのノート数と比較して修正メッセージの要否を決定する構成にしたが、この構成に限定されない。生成部３３は、不一致ルビ情報のイントネーション情報と歌唱テキストデータのイントネーション情報をリファレンスデータの音高推移と比較して修正メッセージの要否を決定してもよい。ここで、変形例に係る生成部３３による修正メッセージの生成ついて説明する。

先ず、変形例の生成部３３は、不一致ルビ情報の集計結果が所定の条件を満たすか否かを判定する。所定の条件は、第１実施形態及び第２実施形態と同様に、全歌唱回数が１００回以上かつ不一致度が５０％以上の条件に設定されている。そして、生成部３３は、不一致ルビ情報の集計結果が所定の条件を満たす場合に、不一致ルビ情報のイントネーション情報及び不一致ルビ情報に対応する歌唱テキストデータのイントネーション情報を、それぞれ不一致ルビ情報に対応するリファレンスデータの音高推移と比較する。なお、ここでいうイントネーション情報とは、語句の標準的な発声音の高低パターンを示すパターン情報である。

不一致ルビ情報のイントネーション情報が、不一致ルビ情報に対応する歌唱テキストデータのイントネーション情報よりも、不一致ルビ情報に対応するリファレンスデータの音高推移に近い場合には、不一致ルビが誤表示ではないとして修正メッセージが生成されない。すなわち、不一致ルビ情報のイントネーション情報の高低変化が不一致ルビ情報に対応するリファレンスデータの音高推移と同じ高低変化であり、不一致ルビ情報に対応する歌唱テキストデータのイントネーション情報の高低変化が不一致ルビ情報に対応するリファレンスデータの音高推移と逆の高低変化である場合に修正メッセージが生成されない。

また、不一致ルビ情報のイントネーション情報よりも、不一致ルビ情報に対応する歌唱テキストデータのイントネーション情報が、不一致ルビ情報に対応するリファレンスデータの音高推移に近い場合には、不一致ルビが誤表示であるとして修正メッセージが生成される。すなわち、不一致ルビ情報のイントネーション情報の高低変化が不一致ルビ情報に対応するリファレンスデータの音高推移と逆の高低変化であり、不一致ルビ情報に対応する歌唱テキストデータのイントネーション情報の高低変化が不一致ルビ情報に対応するリファレンスデータの音高推移と同じ高低変化である場合に修正メッセージが生成される。このように、不一致ルビと歌唱音声のイントネーション情報に基づいて修正メッセージの要否が決定される。

一般に、作詞者が先に歌詞を創作した後に、作曲者が楽曲（歌唱メロディ）を創作する場合、作曲者は語句本来のイントネーションを考慮する。例えば、歌詞テロップの「未来」のルビが「みらい」の場合、「みらい」のイントネーションに沿ってメロディの音高推移が下がるはずである。歌詞テロップの「未来」のルビとして「みらい」が表示されているにも関わらず、一定数以上の歌唱者が「さき」と歌唱し、さらに「未来」に対応するリファレンスデータの音高推移が上昇するものであれば、正しいルビは「みらい」ではなく「さき」である可能性が高い。よって、不一致ルビ情報の「みらい」の修正を促す修正メッセージが生成される。

また、歌詞テロップの「運命」のルビが「うんめい」の場合、「うんめい」のイントネーションに沿ってメロディの音高推移が下がるはずである。歌詞テロップの「運命」のルビとして「うんめい」が表示されているにも関わらず、一定数以上の歌唱者が「さだめ」と歌唱し、さらに「運命」に対応するリファレンスデータの音高推移が上昇するものであれば、正しいルビは「うんめい」ではなく「さだめ」である可能性が高い。よって、不一致ルビ情報の「うんめい」の修正を促す修正メッセージが生成される。

なお、生成部３３は、サーバ３に設けられた辞書機能によって各語句のイントネーション情報を取得してもよいし、ネットワーク５を介して外部のデータベースから各語句のイントネーション情報を取得してもよい。また、生成部３３は、不一致ルビ情報に対応する歌唱テキストデータを修正候補として当該修正候補を含む修正メッセージを生成してもよい。また、生成部３３は、音節数とノート数の比較結果と、イントネーション情報と音高推移の比較結果とに基づいてメッセージの生成の要否を決定してもよい。

以上、変形例によれば、不一致ルビ情報のイントネーション情報と歌唱テキストデータのイントネーション情報の違いを利用して、修正メッセージの要否を決定することができる。また、第１実施形態及び第２実施形態と同様に、修正メッセージによってルビの誤表示の修正を促すことができる。

なお、上記実施形態及び変形例のカラオケシステム１では、修正メッセージが送信された場合、修正メッセージに基づいてルビ情報の修正が検討されるものとして、集計部３２は当該不一致ルビ情報に関わる集計内容を初期化してもよいし、当該不一致ルビ情報に関わる集計自体を以後は停止してもよい。あるいは、修正メッセージが送信された場合でも、修正メッセージに基づいてルビ情報の修正が実施されるまで、集計部３２は当該不一致ルビ情報に関わる集計内容を初期化せず、当該不一致ルビ情報を取得する度に上述の処理を行なってもよい。

また、カラオケ装置２及びサーバ３に対して、カラオケシステム１の処理動作のプログラムをインストールすることによって、カラオケシステム１にルビの誤表示の修正を促す機能が追加されてもよい。このプログラムは記憶媒体に記憶されている。記憶媒体は特に限定されないが、光ディスク、光磁気ディスク、フラッシュメモリ等の非一過性の記憶媒体であってもよい。

また、本実施形態を説明したが、他の実施形態として、上記実施形態及び変形例を全体的又は部分的に組み合わせたものでもよい。

また、本発明の技術は上記の実施の形態に限定されるものではなく、技術的思想の趣旨を逸脱しない範囲において様々に変更、置換、変形されてもよい。さらには、技術の進歩又は派生する別技術によって、技術的思想を別の仕方によって実現することができれば、その方法を用いて実施されてもよい。したがって、特許請求の範囲は、技術的思想の範囲内に含まれ得る全ての実施態様をカバーしている。

１ ：カラオケシステム
２ ：カラオケ装置
３ ：サーバ
１２：モニタ
１４：マイクロホン
２１：記憶部
２４：音声処理部（処理部）
２５：抽出部
２６：送信部
３２：集計部
３３：生成部
３４：送信部

Claims (5)

1. 複数のカラオケ装置とサーバとが通信可能に接続されたカラオケシステムであって、
   前記複数のカラオケ装置のそれぞれは、
   ルビ情報を含むデータであり、演奏データの再生に同期して歌詞テロップをモニタに表示させる歌詞テロップデータを楽曲識別情報に関連付けて記憶する記憶部と、
   演奏データの再生に合わせてマイクロホンから入力された歌唱音声信号を音声認識処理によってテキスト化した歌唱テキストデータを出力する処理部と、
   歌詞テロップデータのルビ情報と当該ルビ情報に対応する歌唱テキストデータを比較し、当該歌唱テキストデータと異なる不一致ルビ情報を抽出する抽出部と、
   不一致ルビ情報を楽曲識別情報と共に前記サーバに送信する送信部と、を備え、
   前記サーバは、
   不一致ルビ情報を取得して楽曲識別情報毎に不一致ルビ情報の取得回数を集計する集計部と、
   不一致ルビ情報の集計結果が所定の条件を満たす場合に修正メッセージを生成する生成部と、を備えたことを特徴とするカラオケシステム。
2. 前記記憶部は、歌唱音声信号を採点するためのリファレンスデータを楽曲識別情報に関連付けて記憶し、
   前記送信部は、不一致ルビ情報及び楽曲識別情報と共に、当該不一致ルビ情報に対応する歌唱テキストデータ及び当該不一致ルビ情報に対応するリファレンスデータを前記サーバに送信し、
   前記生成部は、不一致ルビ情報の集計結果が所定の条件を満たす場合に、当該不一致ルビ情報、当該不一致ルビ情報に対応する歌唱テキストデータ、当該不一致ルビ情報に対応するリファレンスデータに基づいて修正メッセージを生成することを特徴とする請求項１に記載のカラオケシステム。
3. 前記生成部は、不一致ルビ情報の音節数と当該不一致ルビ情報に対応するリファレンスデータのノート数の差よりも、不一致ルビ情報に対応する歌唱テキストデータの音節数と当該不一致ルビ情報に対応するリファレンスデータのノート数の差が小さい場合に修正メッセージを生成することを特徴とする請求項２に記載のカラオケシステム。
4. 前記生成部は、不一致ルビ情報のイントネーション情報の高低変化が当該不一致ルビ情報に対応するリファレンスデータの音高推移と逆の高低変化であり、不一致ルビ情報に対応する歌唱テキストデータのイントネーション情報の高低変化が当該不一致ルビ情報に対応するリファレンスデータの音高推移と同じ高低変化である場合に修正メッセージを生成することを特徴とする請求項２又は請求項３に記載のカラオケシステム。
5. 前記生成部は、不一致ルビ情報に対応する歌唱テキストデータを修正候補として当該修正候補を含む修正メッセージを生成することを特徴とする請求項２から請求項４のいずれか１項に記載のカラオケシステム。

Images