JP5443918B2 - 端末装置、音声出力方法および情報処理システム - Google Patents

端末装置、音声出力方法および情報処理システム Download PDF

Info

Publication number
JP5443918B2
JP5443918B2 JP2009217883A JP2009217883A JP5443918B2 JP 5443918 B2 JP5443918 B2 JP 5443918B2 JP 2009217883 A JP2009217883 A JP 2009217883A JP 2009217883 A JP2009217883 A JP 2009217883A JP 5443918 B2 JP5443918 B2 JP 5443918B2
Authority
JP
Japan
Prior art keywords
buffer
voice
audio
jitter buffer
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009217883A
Other languages
English (en)
Other versions
JP2011066842A (ja
Inventor
清人 渋谷
仁 中村
勝彦 柴田
和大 柳瀬
明俊 山口
章義 森田
幸一 風間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc, Sony Computer Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to JP2009217883A priority Critical patent/JP5443918B2/ja
Priority to PCT/JP2010/005670 priority patent/WO2011033780A1/ja
Priority to CN201080043672.0A priority patent/CN102648606B/zh
Priority to EP10816894.9A priority patent/EP2472804B1/en
Priority to US13/496,504 priority patent/US8949115B2/en
Publication of JP2011066842A publication Critical patent/JP2011066842A/ja
Application granted granted Critical
Publication of JP5443918B2 publication Critical patent/JP5443918B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/358Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/98Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/062Synchronisation of signals having the same nominal but fluctuating bit rates, e.g. using buffers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92Video game devices specially adapted to be hand-held while playing
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/408Peer to peer connection
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/534Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for network load management, e.g. bandwidth optimization, latency reduction
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/57Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player
    • A63F2300/572Communication between players during game play of non game information, e.g. e-mail, chat, file transfer, streaming of audio and streaming of video
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6063Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • H04M1/6058Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Communication Control (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本発明は、端末装置に関し、特に音声パケットを受信して音声出力する端末装置、および音声出力端末装置を備えたシステムに関する。
Bluetooth(登録商標)プロトコルを利用した近距離ワイヤレス通信システムが開発され、実用化されている。このような近距離ワイヤレス通信システムでは、パーソナルコンピュータやプリンタ、デジタルカメラなどの電子機器間をケーブルを使用せずに接続できる。近年では、Bluetoothプロトコルを利用したヘッドセットも開発されている。ワイヤレスヘッドセットは、音源との間をつなぐケーブルを不要とするため、たとえばユーザが音楽を聴くような場合に、ケーブルが絡まるなどの煩わしさから解放される利点がある。
特開2003−309541号公報
携帯型のゲーム装置が普及し、ユーザは、電車内や屋外など、様々な環境下でゲームを楽しむことができるようになっている。ゲーム音声を聴くためにワイヤレスヘッドセットを用いる場合、ヘッドセットを経由して出力されるゲーム音声は、ゲーム装置のディスプレイに表示されるゲーム画像に対して必然的に遅れを生じる。アクション系ゲームやリズム系ゲームなどのゲームは、進行が早く、ゲーム画像に対してゲーム音声が大きく遅れることは好ましくない。一方で、RPG系ゲームなどは、ゲームの進行が比較的緩やかであり、ゲーム画像に対するゲーム音声の遅れに対する要求は、それほどシビアではない。また、音楽再生のアプリケーションのように、音声と画像との同期が求められない場合には、画像に対する音声の遅れは許容されることが多い。
そこで本発明は、無線送信された音声パケットが送信されてから音声出力されるまでの時間を、必要に応じて調整する技術を提供することを目的とする。
上記課題を解決するために、本発明のある態様の端末装置は、音声パケットを受信する受信部と、受信した音声パケットを一時的に蓄積するジッタバッファと、ジッタバッファのバッファサイズを調節するバッファ制御部と、ジッタバッファから出力される音声パケットを復号する音声復号部と、音声出力モードの設定指示を受け付ける指示受付部と、を備える。バッファ制御部は、指示受付部において設定指示された音声出力モードに応じて、ジッタバッファのバッファサイズを調節する。
本発明の別の態様は、音声出力方法である。この音声出力方法は、音声出力モードの設定指示を受け付けるステップと、設定指示された音声出力モードに応じて、音声パケットを一時的に蓄積するジッタバッファのバッファサイズを調節するステップと、音声パケットを受信するステップと、受信した音声パケットを、バッファサイズを調節されたジッタバッファに供給するステップと、ジッタバッファから出力される音声パケットを復号するステップとを備える。
本発明の別の態様は、情報処理システムである。この情報処理システムは、ディスプレイに画像を出力する情報処理装置と、情報処理装置から無線送信される音声パケットを受信して音声を出力する音声出力端末装置とを備える。情報処理装置は、画像信号および音声信号を生成するアプリケーション処理部と、生成された画像信号を処理して、ディスプレイから画像を出力させる画像信号処理部と、生成された音声信号を処理して、音声パケットを生成する音声信号処理部と、音声パケットを送信する送信部とを備える。音声出力端末装置は、音声パケットを受信する受信部と、受信した音声パケットを一時的に蓄積するジッタバッファと、ジッタバッファのバッファサイズを調節するバッファ制御部と、ジッタバッファから出力される音声パケットを復号する音声復号部と、音声出力モードの設定指示を受け付ける指示受付部と、を備える。バッファ制御部は、指示受付部において設定指示された音声出力モードに応じて、ジッタバッファのバッファサイズを調節する。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によると、無線送信された音声パケットが送信されてから音声出力されるまでの時間を、必要に応じて調整する技術を提供できる。
本発明の実施例にかかる情報処理システムを示す図である。 Bluetoothの状態遷移図である。 本実施例に係る情報処理装置の外観構成を示す図である。 情報処理装置の機能ブロックを示す図である。 本実施例に係る音声出力端末装置の外観構成を示す図である。 音声出力端末装置の機能ブロックを示す図である。 バッファ制御部により調節されるジッタバッファのバッファサイズを示す図である。
図1は、本発明の実施例にかかる情報処理システム1を示す。情報処理システム1は、アプリケーションを実行する情報処理装置10と、情報処理装置10から無線送信される音声パケットを受信して音声を出力する音声出力端末装置100とを備える。
情報処理装置10は、アプリケーションを実行して、画像信号および音声信号を生成する。たとえば情報処理装置10は、ゲームアプリケーションを実行し、ゲーム画像信号とゲーム音声信号を生成してもよい。情報処理装置10はディスプレイを有し、画像信号を処理してディスプレイから画像出力させる。一方、情報処理装置10は、音声信号を音声パケットに変換して、音声出力端末装置100に無線送信する。音声出力端末装置100は、たとえばワイヤレスヘッドセットであってよく、受信した音声パケットを復号して、音声出力する。情報処理装置10と音声出力端末装置100とは、たとえばBluetoothプロトコルを用いて無線接続される。
図2は、Bluetoothの状態遷移図を示す。図示のように、Bluetooth端末の状態は、待ち受けフェーズ、同期確立フェーズ、通信接続フェーズに分けることができる。
情報処理装置10および音声出力端末装置100の電源投入直後や通信リンクを切断した場合、情報処理装置10および音声出力端末装置100は「待ち受け」状態に入る。「待ち受け」状態では、データの送受信は行われない。同期確立フェーズにおいては、情報処理装置10が、周辺の音声出力端末装置100を含む端末機器に対して接続照会すなわち「問い合わせ」を行う状態と、情報処理装置10および音声出力端末装置100がそれぞれ互いを認識して「呼び出し」を行う状態とがある。「問い合わせ」状態では、情報処理装置10が、近くにいる端末機器に対してIQ(問い合わせ)パケットをブロードキャストする。IQパケットを受信した音声出力端末装置100は、Bluetoothアドレスとクロック情報を含むFHS(Frequency Hop Synchronization)パケットを情報処理装置10に返信する。
たとえば情報処理装置10が音声出力端末装置100を呼び出す場合、情報処理装置10は音声出力端末装置100からFHSパケットを受け取り、どのような音声出力端末装置100が存在するかを把握した後、特定の音声出力端末装置100に対してIDパケットを送信する。特定の音声出力端末装置100からIDパケットに対する応答が返ると、情報処理装置10はFHSパケットを音声出力端末装置100に送信し、自分のアドレスとクロックを音声出力端末装置100に知らせる。これにより、情報処理装置10と音声出力端末装置100は、同一のホッピングパターンを共有できるようになる。なお、音声出力端末装置100が情報処理装置10を呼び出す場合は、以上の処理における動作主体が入れ替わる。
「呼び出し」を行うと、音声出力端末装置100と情報処理装置10との間にピコネットが形成され、「接続」状態に入る。ピコネットとは、Bluetooth端末同士を近づけたときに、端末の間で一時的に形成されるネットワークを意味し、最大で8台のBluetooth端末が1つのピコネットに参加することができる。1つのピコネットにおいて、呼び出しを行った装置は親機(マスタ)として機能し、最大7台の子機(スレーブ)と接続することが可能である。「接続」状態になると、通信リンク設定のための制御パケットが送受信され、これにより「データ転送」が可能となる。なお情報処理システム1において、音声出力端末装置100が呼び出しを行ってマスタとなる場合、音声出力端末装置100と情報処理装置10との間でマスタとスレーブの役割をスイッチする。このスイッチにより、情報処理装置10がマスタとなり、音声出力端末装置100がスレーブとなる。
図3は、本実施例に係る情報処理装置10の外観構成を示す。情報処理装置10は、スライド可能に連結された上側筐体20および下側筐体30を備える。図3には、下側筐体30を上側筐体20に対してスライドして、下側筐体30の前面に設けられた操作キーが外部に露出する開状態となった情報処理装置10が示される。
上側筐体20の前面にはディスプレイ23が設けられる。下側筐体30の前面には、方向キー31a、31b、31c、31d(以下、総称する場合には「方向キー31」と呼ぶ)、アナログパッド32、マイク33、スタートボタン34、セレクトボタン35、操作ボタン36a、36b、36c、36d(以下、総称する場合には「操作ボタン36」と呼ぶ)が設けられる。
情報処理装置10は携帯型ゲーム機であってよい。ユーザは、情報処理装置10を開状態にして、ゲームアプリケーションを実行する。ユーザは、情報処理装置10を把持しながら方向キー31や操作ボタン36などを操作して、ゲームを楽しむことができる。ディスプレイ23にはゲーム画像が表示され、ゲーム音声は、Bluetoothプロトコルで接続された音声出力端末装置100に送信される。
図4は、情報処理装置10の機能ブロックを示す。情報処理装置10は、操作入力受付部40、アプリケーション処理部42、画像信号処理部44、音声信号処理部46および通信部48を備える。操作入力受付部40は、ユーザによる方向キー31や操作ボタン36の操作入力を受け付ける。アプリケーション処理部42は、ゲームアプリケーションを実行し、ユーザからの操作入力を反映して、ゲームを進行させて、ゲームの画像信号および音声信号を生成する。この画像信号および音声信号は、本来は同期して、それぞれゲーム画像、ゲーム音声として出力されるべきものである。
画像信号は画像信号処理部44に供給され、画像信号処理部44は、画像信号を処理して、ディスプレイ23から画像を出力させる。音声信号は音声信号処理部46に供給され、音声信号処理部46は、音声信号を処理して、音声パケットを生成する。音声信号処理部46は、MTU(Maximum Transmission Unit)にしたがって、音声パケットのサイズを定める。ここでMTUは、通信部48が1回のデータ転送で送信できるパケットデータの最大値を示す値である。情報処理装置10と音声出力端末装置100との間に形成されるピコネットにおいて、音声出力端末装置100のMTUが、情報処理装置10のMTUよりも小さければ、音声信号処理部46は、音声出力端末装置100のMTUに合わせて音声パケットのサイズを決定する。通信部48は、音声信号処理部46により生成された音声パケットを、音声出力端末装置100に送信する。
図5は、本実施例に係る音声出力端末装置100の外観構成を示す。図5(a)は、音声出力端末装置100の正面図であり、図5(b)は、音声出力端末装置100の右側面図であり、図5(c)は、音声出力端末装置100の上面図である。音声出力端末装置100は、操作スイッチ102、電源ボタン104、モード切替スイッチ106、USB(Universal Serial Bus)ジャック108およびヘッドホン端子110を備える。操作スイッチ102は、ユーザにより操作されて、ゲーム音声の音量を調整するために利用される。モード切替スイッチ106は、ユーザにより操作されて、音声出力モードの設定を指示するために利用される。USBジャック108は、音声出力端末装置100を充電するために設けられ、PCに接続するUSBケーブルのコネクタを差し込まれることで、音声出力端末装置100が充電される。ヘッドホン端子110には、ヘッドホンのコネクタが差し込まれる。
本実施例においてユーザは、モード切替スイッチ106を操作して、ノーマルモードと低遅延モードのいずれかを設定する。ノーマルモードは、通常の音声出力モードであり、低遅延モードは、ノーマルモードに比して、音声出力の低遅延を要求する音声出力モードである。低遅延モードには、音声出力の低遅延が実現され、出力画像に対する出力音声の遅延が低減される利点があり、一方、ノーマルモードには、低遅延モードに比して、音切れの可能性が低減される、または省電力効果が高いなどの利点がある。ユーザは、実行するアプリケーションに応じて、音声出力モードを設定する。
図6は、音声出力端末装置100の機能ブロックを示す。音声出力端末装置100は、指示受付部120、バッファ制御部122、通信部124、メディアバッファ126、ジッタバッファ128、音声復号部130およびスピーカ132を備える。音声出力端末装置100の機能は、CPU、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される機能ブロックを描いている。したがってこれらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。
パケット通信システムにおいては、パケット転送にかかる遅延時間が変動するため、リアルタイム通信では、転送遅延の揺らぎ(ジッタ)が、通信品質に大きな影響をおよぼす。ジッタへの対策として、音声パケットの受信端末には、ジッタを吸収するためのバッファ(ジッタバッファ)が設けられる。受信端末では、ジッタバッファに予め定めたバッファサイズ分の音声パケットが蓄積されると、ジッタバッファから、所定時間分の音声パケットが音声復号部に読み出されて、音声再生が行われる。本実施例の音声出力端末装置100も、情報処理装置10から音声パケットをリアルタイム送信されるため、ジッタを吸収するためのジッタバッファ128を備えて構成されている。ジッタバッファ128は、FIFO形式のメモリである。
通信部124は、情報処理装置10から送信される音声パケットを受信する。ジッタバッファ128は、音声パケットを一時的に蓄積する。通信部124とジッタバッファ128の間には、通信部124で受信した音声パケットを一時的に蓄積して、ジッタバッファ128に送出するメディアバッファ126が設けられる。バッファ制御部122は、メディアバッファ126およびジッタバッファ128を管理し、それぞれの動作を制御する。音声復号部130は、ジッタバッファ128から出力される所定時間分の音声パケットを復号し、スピーカ132が音声を出力する。
メディアバッファ126は、通信部124で受信した音声パケットを、定められた周期でジッタバッファ128に送出する。これによりジッタバッファ128におけるバッファリング処理を容易にし、バッファサイズを音声パケットの出力閾値とする制御を可能としている。メディアバッファ126は、ジッタバッファ128に音声パケットを周期的に送出する目的で設けられるため、多くの音声パケットを一時蓄積する必要はない。そのため、メディアバッファ126のサイズは、ジッタバッファ128のサイズよりも小さい。バッファ制御部122は、メディアバッファ126がジッタバッファ128に音声パケットを送出するタイミングを制御し、具体的にはメディアバッファ126がジッタバッファ128に音声パケットを送出する周期を設定する。
本実施例の音声出力端末装置100では、メディアバッファ126から送出された音声パケットの蓄積量が、ジッタバッファ128のバッファサイズに到達すると、ジッタバッファ128から音声復号部130に所定時間分の音声パケットが出力される。このようにジッタバッファ128のバッファサイズは、音声パケットを復号するタイミングに影響を与える。したがって、バッファサイズを小さくすることで、音声再生にかかる遅延を低減できることになる。そこでバッファ制御部122は、ユーザより指示された音声出力モードに応じて、ジッタバッファ128のバッファサイズを調節する。
ユーザがモード切替スイッチ106を動かすと、指示受付部120が、モード切替スイッチ106の動きを、音声出力モードの設定指示として受け付ける。モード切替スイッチ106は、第1位置と第2位置との間で動かされる。モード切替スイッチ106が第1位置から第2位置に動かされると、指示受付部120が、低遅延モードの設定指示を受け付け、第2位置から第1位置に動かされると、ノーマルモードの設定指示を受け付ける。
指示受付部120がノーマルモードの設定指示を受け付けると、バッファ制御部122は、ジッタバッファ128のバッファサイズをM(ワード)とする。一方、指示受付部120が低遅延モードの設定指示を受け付けると、バッファ制御部122は、ジッタバッファ128のバッファサイズをN(ワード)(N<M)とする。低遅延モードにおいて、バッファ制御部122は、ノーマルモードのときと比べて、ジッタバッファ128のバッファサイズを縮小する。
図7は、バッファ制御部122により調節されるジッタバッファ128のバッファサイズを示す。ノーマルモードにおいては、バッファサイズがMワードに設定され、低遅延モードにおいては、バッファサイズがNワードに設定される。本実施例の音声出力端末装置100では、音声パケットの蓄積量がバッファサイズで特定されるデータ量に到達すると、所定時間分の音声パケット(図示の例ではLワード分の音声パケット)が、音声復号部130に出力される(L≦N)。したがって、低遅延モードにおいて、ジッタバッファ128のバッファサイズを縮小することで、ノーマルモードと比較すると、(M−N)ワード分の音声パケットがジッタバッファ128に蓄積するのに要する時間を省略でき、低遅延で音声を出力することが可能となる。N/Mの値を、たとえば1/4以下に設定することで、ノーマルモードに比して、効果的に低遅延の音声出力を実現できる。
バッファ制御部122は、指示受付部120において設定指示された音声出力モードに応じて、メディアバッファ126がジッタバッファ128に音声パケットを送出するタイミングを調節してもよい。指示受付部120がノーマルモードの設定指示を受け付けると、バッファ制御部122は、メディアバッファ126がジッタバッファ128に音声パケットを送出する周期をT1に設定する。一方、指示受付部120が低遅延モードの設定指示を受け付けると、バッファ制御部122は、メディアバッファ126がジッタバッファ128に音声パケットを送出する周期をT2(T2<T1)に設定する。低遅延モードにおいて、バッファ制御部122は、ノーマルモードのときと比べて、メディアバッファ126による音声パケットの送出周期を短く設定する。
低遅延モードにおいてメディアバッファ126による音声パケットの送出周期を短くすると、ジッタバッファ128に音声パケットが蓄積される速度があがる。したがって、ノーマルモードのときと比べて、ジッタバッファ128において、音声パケットの蓄積量がバッファサイズに到達するタイミングが早まり、したがってジッタバッファ128から音声パケットを音声復号部130に出力するタイミングも早めることができ、低遅延で音声を出力することが可能となる。
またバッファ制御部122は、指示受付部120において設定指示された音声出力モードに応じて、MTUを調整してもよい。指示受付部120がノーマルモードの設定指示を受け付けると、バッファ制御部122は、MTUをX(バイト)に設定する。一方、指示受付部120が低遅延モードの設定指示を受け付けると、バッファ制御部122は、MTUをY(バイト)(Y<X)に設定する。低遅延モードにおいて、バッファ制御部122は、ノーマルモードのときと比べて、MTUを小さく設定する。
低遅延モードにおいてMTUを小さく設定すると、情報処理装置10から音声出力端末装置100に送信した音声パケットの到達タイミングが早くなる。したがって、ノーマルモードのときと比べて、ジッタバッファ128に音声パケットを蓄積するタイミングが早まり、したがってジッタバッファ128から音声パケットを音声復号部130に出力するタイミングも早めることができ、低遅延で音声を出力することが可能となる。
なお、MTUを変更すると、情報処理装置10と音声出力端末装置100との間の通信リンクを再設定する必要がある。そこで、MTUを変更した場合には、一旦通信リンクを切断し、新たなMTUを用いて、情報処理装置10と音声出力端末装置100との間の通信リンクを設定しなおす。MTUの情報は、情報処理装置10と音声出力端末装置100との間で、呼び出し時に送受信される。
以上、低遅延モードにおいて、バッファ制御部122が、ジッタバッファ128のバッファサイズの設定、メディアバッファ126の音声パケット送出周期の設定、MTUの設定、を実行することを説明した。低遅延の音声出力を実現するために、これら3つの設定の全てが実行されることが好ましいが、いずれか1つ、またはいずれか2つのみが実行されてもよい。なお、3つの全てが実行されない場合であっても、ジッタバッファ128のバッファサイズの設定は実行されることが好ましい。また、ジッタバッファ128のバッファサイズを小さくしたときには、メディアバッファ126の音声パケット送出周期を短くすることで、低遅延の音声出力を、より効果的に実現できる。ジッタバッファ128のバッファサイズの設定、メディアバッファ126の音声パケット送出周期の設定については、通信リンクの再設定をすることなく、同時に実行できるため、これらは合わせて実行されるようにしてもよい。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
実施例では情報処理装置10が、ゲームアプリケーションを実行した。その他、画像と音声とが連動するアプリケーション、たとえば映画などの映像コンテンツを再生するアプリケーションなど、画像と音声とを同期して出力する要請が高いものについては、本実施例の情報処理装置10を効果的に適用できる。
また実施例では、低遅延モードにおいて、ジッタバッファ128のバッファサイズをNワードに設定したが、バッファ制御部122は、通信環境に応じて、Nワードを基準として、バッファサイズを変動させてもよい。特に、通信環境が悪い場合には、バッファサイズをNワード〜2Nワードの範囲内に設定することで、ジッタを吸収しつつ、ノーマルモードに比して音声出力の低遅延を実現することが可能となる。
1・・・情報処理システム、10・・・情報処理装置、40・・・操作入力受付部、42・・・アプリケーション処理部、44・・・画像信号処理部、46・・・音声信号処理部、48・・・通信部、100・・・音声出力端末装置、102・・・操作スイッチ、104・・・電源ボタン、106・・・モード切替スイッチ、108・・・USBジャック、110・・・ヘッドホン端子、120・・・指示受付部、122・・・バッファ制御部、124・・・通信部、126・・・メディアバッファ、128・・・ジッタバッファ、130・・・音声復号部、132・・・スピーカ。

Claims (7)

  1. 音声パケットを受信する受信部と、
    音声パケットを一時的に蓄積するジッタバッファと、
    前記受信部と前記ジッタバッファの間において、前記受信部で受信した音声パケットを一時的に蓄積して、前記ジッタバッファに送出するメディアバッファと、
    前記ジッタバッファのバッファサイズを調節するバッファ制御部と、
    ジッタバッファから出力される音声パケットを復号する音声復号部と、
    音声出力モードの設定指示を受け付ける指示受付部と、を備え、
    前記バッファ制御部は、前記指示受付部において設定指示された音声出力モードに応じて、前記ジッタバッファのバッファサイズを調節し、且つ前記メディアバッファが前記ジッタバッファに音声パケットを送出するタイミングを制御するものであって、
    前記バッファ制御部は、前記指示受付部が音声出力の低遅延を要求する音声出力モードの設定指示を受け付けると、前記メディアバッファが前記ジッタバッファに音声パケットを送出する周期を短くする、ことを特徴とする端末装置。
  2. 前記指示受付部が、音声出力の低遅延を要求する音声出力モードの設定指示を受け付けると、前記バッファ制御部が、前記ジッタバッファのバッファサイズを縮小することを特徴とする請求項1に記載の端末装置。
  3. 前記指示受付部が、音声出力の低遅延を要求する音声出力モードの設定指示を受け付けると、前記バッファ制御部は、1回のデータ転送で送信できるパケットデータの最大値(MTU)を小さくすることを特徴とする請求項1または2に記載の端末装置。
  4. 音声出力モードの設定指示を受け付けるステップと、
    設定指示された音声出力モードに応じて、音声パケットを一時的に蓄積するジッタバッファのバッファサイズを調節するステップと、
    設定指示された音声出力モードに応じて、音声パケットを一時的に蓄積するメディアバッファがジッタバッファに音声パケットを送出する周期を設定するステップと、
    音声パケットを受信するステップと、
    受信した音声パケットを、メディアバッファに供給するステップと、
    メディアバッファに蓄積された音声パケットを、設定された周期で、バッファサイズを調節されたジッタバッファに供給するステップと、
    ジッタバッファから出力される音声パケットを復号するステップと、備え、
    設定指示を受け付けるステップが、音声出力の低遅延を要求する音声出力モードの設定指示を受け付けた場合に、周期を設定するステップは、メディアバッファがジッタバッファに音声パケットを送出する周期を短くする
    ことを特徴とする音声出力方法。
  5. コンピュータに、
    音声出力モードの設定指示を受け付ける機能と、
    設定指示された音声出力モードに応じて、音声パケットを一時的に蓄積するジッタバッファのバッファサイズを調節する機能と、
    設定指示された音声出力モードに応じて、音声パケットを一時的に蓄積するメディアバッファがジッタバッファに音声パケットを送出する周期を設定する機能と、
    音声パケットを受信する機能と、
    受信した音声パケットを、メディアバッファに供給する機能と、
    メディアバッファに蓄積された音声パケットを、設定された周期で、バッファサイズを調節されたジッタバッファに供給するステップと、
    ジッタバッファから出力される音声パケットを復号する機能と、を実現させるためのプログラムであって、
    設定指示を受け付ける機能が、音声出力の低遅延を要求する音声出力モードの設定指示を受け付けた場合に、周期を設定する機能は、メディアバッファがジッタバッファに音声パケットを送出する周期を短くする機能を含む、
    ことを特徴とするプログラム
  6. 請求項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
  7. ディスプレイに画像を出力する情報処理装置と、情報処理装置から無線送信される音声パケットを受信して音声を出力する音声出力端末装置とを備えた情報処理システムであって、
    前記情報処理装置は、
    画像信号および音声信号を生成するアプリケーション処理部と、
    生成された画像信号を処理して、ディスプレイから画像を出力させる画像信号処理部と、
    生成された音声信号を処理して、音声パケットを生成する音声信号処理部と、
    音声パケットを送信する送信部と、を備え、
    前記音声出力端末装置は、
    音声パケットを受信する受信部と、
    音声パケットを一時的に蓄積するジッタバッファと、
    前記受信部と前記ジッタバッファの間において、前記受信部で受信した音声パケットを一時的に蓄積して、前記ジッタバッファに送出するメディアバッファと、
    前記ジッタバッファのバッファサイズを調節するバッファ制御部と、
    ジッタバッファから出力される音声パケットを復号する音声復号部と、
    音声出力モードの設定指示を受け付ける指示受付部と、を備え、
    前記バッファ制御部は、前記指示受付部において設定指示された音声出力モードに応じて、前記ジッタバッファのバッファサイズを調節し、且つ前記メディアバッファが前記ジッタバッファに音声パケットを送出するタイミングを制御するものであって、
    前記バッファ制御部は、前記指示受付部が音声出力の低遅延を要求する音声出力モードの設定指示を受け付けると、前記メディアバッファが前記ジッタバッファに音声パケットを送出する周期を短くする、
    ことを特徴とする情報処理システム。
JP2009217883A 2009-09-18 2009-09-18 端末装置、音声出力方法および情報処理システム Active JP5443918B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009217883A JP5443918B2 (ja) 2009-09-18 2009-09-18 端末装置、音声出力方法および情報処理システム
PCT/JP2010/005670 WO2011033780A1 (ja) 2009-09-18 2010-09-16 端末装置、音声出力方法および情報処理システム
CN201080043672.0A CN102648606B (zh) 2009-09-18 2010-09-16 终端装置、声音输出方法以及信息处理***
EP10816894.9A EP2472804B1 (en) 2009-09-18 2010-09-16 Terminal device, sound output method, and information processing system
US13/496,504 US8949115B2 (en) 2009-09-18 2010-09-16 Terminal device, audio output method, and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009217883A JP5443918B2 (ja) 2009-09-18 2009-09-18 端末装置、音声出力方法および情報処理システム

Publications (2)

Publication Number Publication Date
JP2011066842A JP2011066842A (ja) 2011-03-31
JP5443918B2 true JP5443918B2 (ja) 2014-03-19

Family

ID=43758394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009217883A Active JP5443918B2 (ja) 2009-09-18 2009-09-18 端末装置、音声出力方法および情報処理システム

Country Status (5)

Country Link
US (1) US8949115B2 (ja)
EP (1) EP2472804B1 (ja)
JP (1) JP5443918B2 (ja)
CN (1) CN102648606B (ja)
WO (1) WO2011033780A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013222407A (ja) * 2012-04-18 2013-10-28 Bank Of Tokyo-Mitsubishi Ufj Ltd 流量制御機能を有するシステム
CN105099949A (zh) * 2014-04-16 2015-11-25 杜比实验室特许公司 基于对延迟抖动和对话动态的监视的抖动缓冲器控制
US20170373982A1 (en) * 2016-06-24 2017-12-28 Huawei Technologies Co., Ltd. System and method for mtu size reduction in a packet network
US10449440B2 (en) 2017-06-30 2019-10-22 Electronic Arts Inc. Interactive voice-controlled companion application for a video game
WO2019017218A1 (ja) 2017-07-21 2019-01-24 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、及び、プログラム
US10621317B1 (en) * 2017-09-14 2020-04-14 Electronic Arts Inc. Audio-based device authentication system
CN109062537B (zh) * 2018-08-30 2021-07-30 倪兴炜 一种音频延迟的降低方法、装置、介质及设备
CN110113270B (zh) * 2019-04-11 2021-04-23 北京达佳互联信息技术有限公司 网络通信的抖动控制方法、装置、终端及存储介质
CN111432304B (zh) * 2020-03-20 2022-06-17 江苏紫米电子技术有限公司 耳机的控制方法、装置、电子设备、***和存储介质
WO2022079776A1 (ja) * 2020-10-12 2022-04-21 株式会社デンソーテン 音声信号処理装置及び音声信号処理方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6452950B1 (en) * 1999-01-14 2002-09-17 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive jitter buffering
US20020101885A1 (en) * 1999-03-15 2002-08-01 Vladimir Pogrebinsky Jitter buffer and methods for control of same
JP3556140B2 (ja) * 1999-11-29 2004-08-18 沖電気工業株式会社 遅延ゆらぎ吸収装置
US6862298B1 (en) * 2000-07-28 2005-03-01 Crystalvoice Communications, Inc. Adaptive jitter buffer for internet telephony
JP2002077233A (ja) 2000-08-25 2002-03-15 Matsushita Electric Ind Co Ltd リアルタイム情報受信装置
JP3874641B2 (ja) * 2001-10-15 2007-01-31 株式会社日立コミュニケーションテクノロジー 中継装置、その制御プログラム、通信方法
JP2003309541A (ja) 2002-04-15 2003-10-31 Sony Corp データ転送システム、データ転送装置及びデータ転送方法、並びにコンピュータ・プログラム
JP2004048343A (ja) * 2002-07-11 2004-02-12 Hitachi Communication Technologies Ltd 音声パケット受信装置、その動作プログラム、及び音声パケットの揺らぎ吸収方法
EP1704684B1 (en) * 2003-12-23 2011-05-25 TELEFONAKTIEBOLAGET LM ERICSSON (publ) Method and device for controlling a queue buffer
CA2564095A1 (en) * 2004-04-16 2005-10-27 Apparent Networks, Inc. Method and apparatus for automating and scaling active probing-based ip network performance monitoring and diagnosis
US8095228B2 (en) 2004-05-27 2012-01-10 Canon Kabushiki Kaisha Data distribution apparatus, its control method, program, and storage medium
JP2006135793A (ja) * 2004-11-08 2006-05-25 Canon Inc データ配信装置及びその制御方法、プログラム
AU2006346224A1 (en) * 2005-07-20 2008-05-02 Vidyo, Inc. System and method for jitter buffer reduction in scalable coding
JP4635880B2 (ja) * 2006-01-20 2011-02-23 パナソニック株式会社 パケット通信装置及びパケット通信方法
US20070263672A1 (en) * 2006-05-09 2007-11-15 Nokia Corporation Adaptive jitter management control in decoder
US7680099B2 (en) * 2006-08-22 2010-03-16 Nokia Corporation Jitter buffer adjustment
CN101175104B (zh) * 2006-10-31 2010-04-21 华为技术有限公司 一种抖动缓存装置和抖动缓存管理方法
CN101119323A (zh) 2007-09-21 2008-02-06 腾讯科技(深圳)有限公司 解决网络抖动的方法及装置
JP5369418B2 (ja) * 2007-10-01 2013-12-18 ヤマハ株式会社 配信システム、配信方法及び通信端末
EP2250768A1 (en) * 2008-03-13 2010-11-17 Telefonaktiebolaget L M Ericsson (PUBL) Method for manually optimizing jitter, delay and synch levels in audio-video transmission

Also Published As

Publication number Publication date
US20120245929A1 (en) 2012-09-27
EP2472804B1 (en) 2018-11-14
US8949115B2 (en) 2015-02-03
WO2011033780A1 (ja) 2011-03-24
CN102648606A (zh) 2012-08-22
JP2011066842A (ja) 2011-03-31
EP2472804A4 (en) 2015-12-30
EP2472804A1 (en) 2012-07-04
CN102648606B (zh) 2015-06-24

Similar Documents

Publication Publication Date Title
JP5443918B2 (ja) 端末装置、音声出力方法および情報処理システム
JP7174776B2 (ja) 2段階のロールスイッチ
CN109089330B (zh) 一种音频数据传输方法及终端
CN103905880A (zh) 音视频数据的播放方法、智能电视和移动设备
JP4459253B2 (ja) 通信端末
CN110650405A (zh) 无线耳机控制***、方法、装置及存储介质
CN109348464B (zh) 用于低功耗蓝牙接收端设备的数据传输方法及接收端设备
WO2024021736A1 (zh) 蓝牙多媒体包的传输方法、装置、设备和***
JP2004329300A (ja) 通信方法およびゲーム機
JP2020120366A (ja) オーディオ装置の制御方法及び制御回路
CN112565876B (zh) 投屏方法、装置、设备、***及存储介质
WO2024119947A1 (zh) 蓝牙通信方法、装置、电子设备及计算机可读介质
WO2024021735A1 (zh) 蓝牙多媒体包的传输方法、装置、设备、***和存储介质
CN113840269A (zh) 一种多媒体数据传输方法、装置、电子设备和存储介质
JP2010004485A (ja) リモコン制御方法、装置及びリモコン制御システム
US20240022783A1 (en) Multimedia playback synchronization
CN114885261A (zh) 耳机组件、无线音频播放***及其通信方法
TWI700953B (zh) 一種無線傳輸系統及其方法
JP3144831U (ja) ステレオ出力可能なワイヤレスオーディオシステム
CN213754842U (zh) 一种基于5g信号传输的音频***
WO2022252928A1 (zh) 投屏方法、装置、无线终端、投屏设备及存储介质
KR100692489B1 (ko) 홈 엔터테인먼트 도킹시스템 및 서비스 제공 방법
TWI569598B (zh) 藍牙發聲裝置的動態調整方法
WO2024092129A1 (en) Systems and methods for wirelessly providing an audio stream
CN111385775A (zh) 一种无线传输***及其方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130917

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131220

R150 Certificate of patent or registration of utility model

Ref document number: 5443918

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250