JP2007102103A - オーディオデータ再生装置および携帯端末装置 - Google Patents

Abstract

【課題】 ユーザの歌唱した音声をオリジナルの楽曲の伴奏と組み合わせることが可能なオーディオ再生装置を提供する。
【解決手段】 プレイヤー２２は、オリジナルの歌唱音付きのオーディオデータ２１をデータディスク５から読み取り、オーディオデコーダ２３へ出力する。歌唱音付きのオーディオデータ２１は、オーディオデコーダ２３でデコード後に歌唱音キャンセルモジュール２４にて歌唱音をキャンセルする処理が行われ、ミキサー２５へと出力される。一方、マイクロフォン１０で収音されたアナログ音声信号はデジタル音声データへと変換され、エフェクタ２６を介してミキサー２５へと出力される。ミキサー２５は、歌唱音キャンセル後のオーディオデータとデジタル音声データとをミックスし、Ｄ／Ａ変換後にスピーカ８から発音させると共に、上記ミックスしたデータのエンコードを行い、ユーザの歌唱音付きのオーディオデータを生成する。
【選択図】 図２

Description

本発明は、オーディオデータを再生可能なオーディオデータ再生装置および携帯端末装置に関する。

従来、楽曲データを再生可能な携帯電話機等の楽曲再生装置においては、歌唱音のないＭＩＤＩ（Musical Instruments Digital Interface）形式の楽曲データを用いたカラオケ機能を有するものが開発されている。

ユーザがカラオケ機能を利用する際は、携帯電話機でＭＩＤＩ形式の楽曲データを用いて伴奏音を再生し、携帯電話機に付属のマイクロフォンに向かい歌唱する。このとき、歌唱した音声信号が上記伴奏音の再生信号と携帯電話機内でミックスされ、携帯電話機のスピーカから伴奏音と共にユーザの歌唱音が再生される。

一方、通信回線の大容量化に伴い、オリジナルの歌唱音付きの楽曲をＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）のクオリティに匹敵するオーディオデータとして携帯電話機に配信するサービスが開始されている。
なお、本出願に関する従来技術の参考文献として、特許文献1および特許文献2が知られている。
特開２００１−１９７１６８号公報 特開平０５−１９９６００号公報

しかし、上記従来の携帯電話機においては、カラオケ機能でＭＩＤＩ形式の楽曲データを用いるため、再生される伴奏音はオリジナルの楽曲のものとは異なり、その伴奏音とユーザの歌唱した音声とをミックスして再生したとしても、オリジナルの楽曲と比較してリアル感に欠けるものとなる。

また、カラオケ機能を利用する際には、携帯電話機内に予め歌唱音付きのオリジナルの楽曲をネットワーク上のサーバから通信回線を介してダウンロードし保持していたとしても、新たにＭＩＤＩ形式の楽曲データを取得する必要があった。
本発明は上記事情を考慮してなされたもので、その目的は、ユーザの歌唱した音声をオリジナルの楽曲の伴奏と組み合わせることが可能なオーディオ再生装置を提供することにある。

本発明は上記の課題を解決するためになされたもので、請求項1に記載の発明は、オーディオデータから歌唱音を除去する歌唱音除去手段と、音声を収音し音声データとして出力する音声収音手段と、少なくとも前記歌唱音除去後のオーディオデータを再生する再生手段と、前記歌唱音を除去後のオーディオデータと前記音声データに基づいて新たなオーディオデータを生成するオーディオデータ生成手段とを具備することを特徴とするオーディオデータ再生装置である。

また、請求項２に記載の発明は、請求項１に記載の発明において、前記オーディオデータ生成手段で生成した新たなオーディオデータと、画像データまたはテキストデータとを合わせて１つのファイルにするオーディオデータ加工手段をさらに具備することを特徴とする。

また、請求項３に記載の発明は、オーディオデータから歌唱音を除去する歌唱音除去手段と、音声を収音し音声データとして出力する音声収音手段と、少なくとも前記歌唱音除去後のオーディオデータを再生する再生手段と、前記歌唱音を除去後のオーディオデータと前記音声データを別のオーディオデータとして保存する楽曲ファイルを生成する楽曲ファイル生成手段とを具備することを特徴とするオーディオデータ再生装置である。

また、請求項４に記載の発明は、請求項１から請求項３のいずれか１項に記載の発明において、前記音声データの特徴を変更する音声データ変更手段をさらに具備することを特徴とする。

また、請求項５に記載の発明は、請求項１から請求項４のいずれか１項に記載の発明において、前記歌唱音除去手段は、前記オーディオデータの特定の期間のみに対して歌唱音を除去することを特徴とする。

また、請求項６に記載の発明は、請求項１から請求項５に記載のオーディオデータ再生装置を具備することを特徴とする携帯端末装置である。

また、請求項７に記載の発明は、請求項６に記載の発明において、電話機能をさらに具備し、前記オーディオデータ生成手段で生成したオーディオデータを着信時の再生に割り付けることを特徴とする。

本発明のオーディオ再生装置によれば、歌唱音をキャンセルすることにより生成したオリジナルの楽曲の伴奏音と、ユーザの歌唱音とをミックスして再生することが可能であるため、ユーザはオリジナルの楽曲の伴奏でカラオケを楽しむことができる。

また、オリジナルの楽曲の伴奏音とユーザの歌唱音とをミックスした音声信号から新たな歌唱音付きの楽曲を作成することで、ユーザの作成した楽曲を共有サーバに送付し、共有サーバ上のデータをＷｅｂサイト上に公開して歌唱データのコンテストを行う等のサービス展開が可能となる。

さらにまた、一つの歌唱音付きのオーディオデータを、そのまま再生して音楽鑑賞に用いることも歌唱音をキャンセルしてカラオケに用いることもできる。さらにまた、オーディオデータから歌唱音をキャンセルする期間を指定することで、歌唱音キャンセル処理による伴奏部分の音質の劣化を防止することができる。

以下、図面を参照して本発明の第一の実施形態について説明する。図１は、本発明の第一の実施形態に係る携帯電話機（オーディオデータ再生装置）の構成を示す構成図である。図1において、ＣＰＵ１は携帯電話機内の各部を制御するＣＰＵ（Central Processing Unit）である。

ＲＯＭ２は、ＣＰＵ１が実行するプログラム等を保持するＲＯＭ（Read Only Memory）である。ＲＡＭ３は、ＣＰＵ１が使用するメモリ領域を提供するＲＡＭ（Random Access Memory）である。

インタフェース４は、シリアル通信またはパラレル通信によりデータディスク５と接続するためのインタフェースである。データディスク５は、一ないし複数の歌唱音付きのオーディオデータを格納するディスクであり、ＣＰＵ１はインタフェース４を介してデータディスク５内のオーディオデータを読み取る。

ＤＳＰ６は、データディスク５に記憶されたオーディオデータ（ＭＰ３形式やＡＡＣ形式等で圧縮されている）に対してリアルタイムでデコード処理を行うＤＳＰ（Digital Signal Processor）である。また、ＤＳＰ６は、ユーザの歌唱音が追加されたオーディオデータに対してエンコード処理を行うものである。

Ｄ／Ａ部７は、ＤＳＰ６でデコードされたオーディオデータをアナログ音声信号に変換するＤＡＣ（Digital-to-Analog Converter）である。スピーカ８（再生手段）は、Ｄ／Ａ部７で変換されたアナログ音声信号を発音するスピーカである。

音声処理部９は、マイクロフォン１０（音声収音手段）から出力される音声信号をデジタル音声データに変換し、さらに圧縮して通信部６へ出力する。また、通信部６から出力される圧縮されたデジタル音声データを伸長し、アナログ信号に変換してイヤスピーカ１１へ出力する。なお、ユーザの歌唱音声を収音する際には、通話用のマイクロフォン１０を用いてもよいし、これに代えて、専用のマイクロフォンを設けてもよい。

通信部１２は、アンテナ１３を介して受信した高周波信号を復調し、復調によって得られた音声データについては音声処理部９へ出力し、文字データ、記号データ等についてはバスライン１４を介してＣＰＵ１へ出力するものである。

また、通信部１２は、ＣＰＵ１から供給される文字データ等および音声処理部９から出力される音声データによって高周波の搬送波を変調しアンテナ１３から発信するものである。バスライン１４は、携帯電話機内の各部を相互に接続するバスラインである。入力部１５は、ユーザの指示を入力する操作キー等を有する入力部である。

次に、上述した第一の実施形態の動作を、図２および図３を参照して説明する。図２は、図１の携帯電話機で実行される機能を示す機能構成図であり、図３は図１の携帯電話機でユーザの歌唱付きオーディオデータを生成する手順を示すフローチャートである。

ユーザが入力部１５を使用して歌唱曲を選択する指示を行うと（ステップＳ１０１）、ＣＰＵ１の一機能として実現されるプレイヤー２２は、データディスク５から該当するオリジナルの歌唱付きオーディオデータ２１を読み出す（ステップＳ１０２）。

続いて、ユーザが入力部１５を使用して選択した歌唱曲の再生指示を行うと（ステップＳ１０３）、プレイヤー２２は歌唱音付きのオーディオデータの再生処理を開始するために、ＤＳＰ６の一機能であるオーディオデコーダ２３へオーディオデータを出力する（ステップＳ１０４）。

オーディオデコーダ２３は、入力したオーディオデータをリニアなオーディオデータフォーマットにリアルタイムでデコードし（ステップＳ１０５）、歌唱音キャンセルモジュール２４（歌唱音キャンセル手段）へと出力する。

歌唱音キャンセルモジュール２４は、デコード後のオーディオデータから歌唱音を検出し、検出した歌唱音をキャンセルする処理を行い歌唱音なしのオーディオデータを生成する（ステップＳ１０６）。歌唱音キャンセルモジュール２４は、例えば、図４に示す回路により実現される。

図４においては、オーディオデータのＬ信号とＲ信号の入力に対して、反転回路４１によりＬ信号からＲ信号を引くことでセンター成分を削除し、これに一次のＩＩＲ（Infinite Impulse Response）フィルタ二段（ＬＰＦ（Low Pass Filter）４２とＨＰＦ（High Pass Filter）４３）によるＢＰＦ（Band Pass Filter）特性を加えて、音声帯域の非センター成分を抽出する。

一方、オーディオデータのＬ信号及びＲ信号に対して、並列に二系統のＩＩＲ（ＬＰＦ４４ａとＨＰＦ４５ａ、ＬＰＦ４４ｂとＨＰＦ４５ｂ）を加えて非音声帯域の成分を抽出する。上記抽出した音声帯域の非センター成分に、Ｌ信号及びＲ信号のそれぞれから抽出した非音声帯域の成分をステレオで加えることにより、歌唱音がキャンセルされたＬ信号及びＲ信号が出力される。

ここで、オリジナルの歌唱付きオーディオデータ２１にあらかじめ歌唱音をキャンセルする期間（例えば、歌唱曲の開始からの時間）を指定するデータを加え、歌唱音キャンセルモジュール２４は、指定された期間内のオーディオデータに対してのみ歌唱音キャンセルの処理を行うようにすることも可能である。

歌唱音をキャンセルする方法に関しては、例えば図４に示したとおり、左右のステレオ音声信号からセンターに定位する成分を除去したり、中域の成分を除去するなどの方法が知られている。従って、この歌唱音キャンセルの過程で行う帯域制限等の処理により歌唱音だけでなく演奏音の音質にも影響を与えるが、上述のように歌唱音をキャンセルする区間を指定することにより、演奏音のみの部分に関しては音質を維持することができる。

図２に戻って、歌唱音キャンセルモジュール２４での処理が終了すると、歌唱音がキャンセルされたオーディオデータは、ＤＳＰ６の一機能であるミキサー２５へと出力される。

一方、ユーザがマイクロフォン１０に向かって歌唱を行うと（ステップＳ１０７）、マイクロフォン１０の出力信号が音声処理部９でデジタル音声データに変換され、エフェクタ２６へと出力される。

エフェクタ２６（音声データ変更手段）は、音声処理部９から入力したデジタル音声データの基本ピッチ（音高）、レベル、周波数特性、テンポ、発音、時間等の要素を変換し、ミキサー２５へと出力する。このように、ユーザの歌唱した音声に対して編集を加えることで、例えば、オリジナルの楽曲の歌手に似た声に変換することが可能となる。また、エコーやコーラス等の効果を付与することも可能である。

ミキサー２５は、オーディオデコーダ２３から入力する歌唱音なしのオーディオデータとエフェクタ２６から入力するデジタル音声データとをミックスし（ステップＳ１０８）、Ｄ／Ａ部７およびデータバッファ２７へと出力する。なお、データバッファ２７とは、オーディオデータを一時的に蓄積するメモリ領域であり、ＲＡＭ３内に確保される。

Ｄ／Ａ部７は、ミキサー２５より入力したミックス後のオーディオデータをアナログ音声信号に変換し、スピーカ８へ出力して再生を行う（ステップＳ１０９）。一方、データバッファ２７は、ミックス後のオーディオデータを一時的に蓄積する（ステップＳ１１０）。

続いて、ＤＳＰ６の一機能であるオーディオエンコーダ２８（オーディオデータ生成手段）は、データバッファ２７に蓄積されたオーディオデータを取り出し、所定の圧縮オーディオフォーマットにエンコードする（ステップＳ１１１）。エンコード処理が終了すると、オリジナルの楽曲の伴奏にユーザの歌唱音がミックスされたオーディオデータが生成される（ステップＳ１１２）。

このように、第一の実施形態に係る携帯電話機を用いることで、ユーザは、歌唱音付きのオーディオデータから歌唱音がキャンセルされた曲に合わせて歌唱することで、オリジナルの楽曲の伴奏に合わせてカラオケを楽しむことができる。

また、歌唱音をキャンセルしたオリジナルの楽曲とユーザの歌唱音とをミックスしたオーディオデータを作成することで、様々な利用形態が可能となる。例えば、当該オーディオデータを共有サーバに送付し、共有サーバ上のデータをＷｅｂサイト上に公開し、歌唱データのコンテストを行うサービス展開が可能となる。

さらにまた、ユーザの歌唱音付きのオーディオデータを生成後に、画像データやテキストデータを付加してファイル化し（オーディオデータ加工手段）、知人にメール添付するという利用形態も可能となる。この際、付加する画像データやテキストデータは、オリジナルの歌唱音付きのオーディオデータに含まれているものをそのまま使用してもよいし、携帯電話機内に予め保存されている画像データやテキストデータからユーザが選択してもよい。さらにまた、ユーザの歌唱音付きのオーディオデータを携帯電話機の着信メロディに割り付けることも可能となる。

続いて、本発明の第二の実施形態について、図１および図５を参照して説明する。なお、第二の実施形態においても、携帯電話機（オーディオデータ再生装置）の構成は図１と同様であり、重複した説明は省略する。

図２および図３を用いて前述した第一の実施形態は、歌唱音をキャンセルしたオリジナルの楽曲とユーザの歌唱音とをミックスして新しい一つのオーディオデータを生成する方法であるが、第二の実施形態では、歌唱音をキャンセルしたオリジナルの楽曲を演奏トラック、ユーザの歌唱音をボーカルトラックとして二つのトラックを個別のオーディオデータとしたまま一つの楽曲ファイルにする方法に関して説明する。

図５は、第二の実施形態において、図１の携帯電話機で実行される機能を示す機能構成図である。図５において、第一の実施形態と同様の処理を行うものに関しては、同じ番号を付与し、重複した説明は省略する。

図５において、第一の実施形態と同様に歌唱音付きオーディオデータはプレイヤー２２によりオーディオデコーダ２３へ出力される。オーディオデコーダ２３でデコーダされたオーディオデータは、歌唱音キャンセルモジュール２４により歌唱音がキャンセルされた後、エフェクタ２６から出力されるデジタル音声データと共にＤＳＰ６の一機能である入出力切り替えブロック３０へと入力される。

入出力切り替えブロック３０は、携帯電話機で行う処理に応じてその入力および出力を切り替えるものである。例えば、カラオケ用に再生だけを行うときには、入出力切り替えブロック３０は歌唱音キャンセルモジュール２４およびエフェクタ２６の双方からデータを入力し、Ｄ／Ａ部７のみに出力する処理を行う。

また、再生と同時に楽曲ファイルの作成を行うときには、入出力切り替えブロック３０は歌唱音キャンセルモジュール２４から入力したオーディオデータとエフェクタ２６から入力したデジタル音声データをＤ／Ａ部７に出力し、さらに、オーディオデータとデジタル音声データを個別にデータバッファ２７に出力する。そして、データバッファ２７では、それぞれのデータを個別に記憶する。

楽曲ファイルの作成を行う際には、オーディオエンコーダ２８は、データバッファ２７に蓄積されたオーディオデータとデジタル音声データを取り出し、所定の圧縮オーディオフォーマットでエンコードを行う。

エンコードされたオーディオデータ（歌唱音キャンセル済み）とデジタル音声データは、ＣＰＵ１の一機能である楽曲ファイルメーカ３２（楽曲ファイル生成手段）へ入力され、一つの楽曲ファイル（ユーザの歌唱付きオーディオデータ３３）が生成される。

第二の実施形態においては、歌唱音をキャンセルしたオリジナルの楽曲とユーザの歌唱音とが別々のオーディオデータとして保存されるため、例えば、生成された楽曲ファイルを再生する際に、オリジナルの楽曲の音量を落としてユーザの歌唱音だけを再生するといった利用形態が可能となる。また、ユーザの歌唱音を単独でオーディオデータとして保存することで、歌唱音のみを入れ替えることも可能となる。

以上、本発明の実施形態を詳述してきたが、具体的な構成は本実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本実施形態で述べたオーディオデータは特定の形式で圧縮されている必要はなく、圧縮されていないオーディオデータに対しても本発明を適用できる。

本発明は、カラオケ機能を有し、オーディオデータを再生可能なオーディオデータ再生装置および携帯端末装置に用いて好適である。

本発明の第一および第二の実施形態に係る携帯電話機の構成を示す構成図である。 第一の実施形態において、図１の携帯電話機で実行される機能を示す機能構成図である。 図１の携帯電話機でユーザの歌唱付きオーディオデータを生成する手順を示すフローチャートである。 図２の歌唱音キャンセルモジュール２４の構成の一例を示す回路図である。 第二の実施形態において、図１の携帯電話機で実行される機能を示す機能構成図である。

符号の説明

１…ＣＰＵ、２…ＲＯＭ、３…ＲＡＭ、４…インタフェース、５…データディスク、６…ＤＳＰ、７…Ｄ／Ａ部、８…スピーカ（再生手段）、９…音声処理部、１０…マイクロフォン（音声収音手段）、１１…イヤスピーカ、１４…バスライン、１５…入力部、２４…歌唱音キャンセルモジュール（歌唱音除去手段）、２５…ミキサー、２６…エフェクタ（音声データ変更手段）、２８…オーディオエンコーダ（オーディオデータ生成手段）、３０…入出力切り替えブロック、３２…楽曲ファイルメーカ（楽曲ファイル生成手段）

Claims (7)

1. オーディオデータから歌唱音を除去する歌唱音除去手段と、
   音声を収音し音声データとして出力する音声収音手段と、
   少なくとも前記歌唱音除去後のオーディオデータを再生する再生手段と、
   前記歌唱音を除去後のオーディオデータと前記音声データに基づいて新たなオーディオデータを生成するオーディオデータ生成手段と
   を具備することを特徴とするオーディオデータ再生装置。
2. 前記オーディオデータ生成手段で生成した新たなオーディオデータと、画像データまたはテキストデータとを合わせて１つのファイルにするオーディオデータ加工手段をさらに具備することを特徴とする請求項１に記載のオーディオデータ再生装置。
3. オーディオデータから歌唱音を除去する歌唱音除去手段と、
   音声を収音し音声データとして出力する音声収音手段と、
   少なくとも前記歌唱音除去後のオーディオデータを再生する再生手段と、
   前記歌唱音を除去後のオーディオデータと前記音声データを別のオーディオデータとして保存する楽曲ファイルを生成する楽曲ファイル生成手段と
   を具備することを特徴とするオーディオデータ再生装置。
4. 前記音声データの特徴を変更する音声データ変更手段をさらに具備することを特徴とする請求項１から請求項３のいずれか１項に記載のオーディオデータ再生装置。
5. 前記歌唱音除去手段は、前記オーディオデータの特定の期間のみに対して歌唱音を除去することを特徴とする請求項１から請求項４のいずれか１項に記載のオーディオデータ再生装置。
6. 請求項１から請求項５に記載のオーディオデータ再生装置を具備することを特徴とする携帯端末装置。
7. 電話機能をさらに具備し、
   前記オーディオデータ生成手段で生成したオーディオデータを着信時の再生に割り付けることを特徴とする請求項６に記載の携帯端末装置。

Images