JP6276503B2 - オーディオ装置 - Google Patents
オーディオ装置 Download PDFInfo
- Publication number
- JP6276503B2 JP6276503B2 JP2012286576A JP2012286576A JP6276503B2 JP 6276503 B2 JP6276503 B2 JP 6276503B2 JP 2012286576 A JP2012286576 A JP 2012286576A JP 2012286576 A JP2012286576 A JP 2012286576A JP 6276503 B2 JP6276503 B2 JP 6276503B2
- Authority
- JP
- Japan
- Prior art keywords
- portable player
- audio
- voice
- control
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 19
- 230000004044 response Effects 0.000 description 25
- 238000000034 method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72442—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/74—Details of telephonic subscriber devices with voice recognition means
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Telephone Function (AREA)
- Circuit For Audible Band Transducer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Description
また、楽曲の再生出力を行うオーディオ装置の再生動作を制御する技術としては、ユーザの発話した音声を音声認識し、音声認識した内容に応じて、オーディオ装置の再生動作を制御する音声制御の技術も知られている(たとえば、特許文献3)。
しかしながら、このようにする場合には、オーディオ装置において、音声制御によって、ポータブルプレイヤのどのような制御が行われたのかを認識できないために、音声制御によるポータブルプレイヤの制御内容に整合した動作をオーディオ装置において行うことができない。
すなわち、たとえば、オーディオ装置において、ポータブルプレイヤ以外の他のオーディオソース(たとえば、ラジオ)の出力音声を出力しているときに、ユーザがポータブルプレイヤに再生動作を開始させる音声制御を行った場合には、出力する音声をポータブルプレイヤが出力する音声に切り替える動作を行うことが適切であるが、オーディオ装置は、音声制御の内容がポータブルプレイヤの再生動作を開始させる制御であるのか、それとも、再生動作とは関わりのない他の動作の制御であるのかを認識できないために、そのような適切な動作を行うことができない。
そこで、本発明は、受け付けたユーザの発話音声をポータブルプレイヤに転送して、ポータブルプレイヤの音声制御を行うオーディオ装置において、ポータブルプレイヤの音声制御による制御内容に整合した動作を行えるようにすることを課題とする。
ここで、このようなオーディオ装置は、より具体的には、前記制御音声処理部は、前記ポータブルプレイヤから、前記音声制御が行われた後の状態として当該ポータブルプレイヤの再生状態を取得して、前記音声制御によってポータブルプレイヤの再生動作が開始されたかどうかを判定し、ポータブルプレイヤの再生動作が開始されている場合に、前記ソース選択部に、前記ポータブルプレイヤを前記現用オーディオソースに設定させるように構成してもよい。
また、この場合、オーディオ装置は、前記制御音声処理部において、ポータブルプレイヤに音声制御を行わせた後、所定期間以内に、ポータブルプレイヤの再生動作が開始された場合に、前記音声制御によってポータブルプレイヤの再生動作が開始されたと判定するように構成してもよい。
また、この場合、オーディオ装置は、前記制御音声処理部において、ポータブルプレイヤに音声制御を行わせた後、所定期間以内に、ポータブルプレイヤの再生状態が非再生中から再生中に変化した場合に、前記音声制御によってポータブルプレイヤの再生動作が開始されたと判定するように構成してもよい。
また、この場合、オーディオ装置は、前記制御音声処理部において、前記制御音声処理部は、前記音声制御によって、ポータブルプレイヤの再生動作が開始されている場合に、前記ポータブルプレイヤの、当該ポータブルプレイヤが再生中のオーディオコンテンツの先頭からの再生開始を制御するように構成してもよい。
または、この場合、オーディオ装置は、前記制御音声処理部において、前記音声制御によって、ポータブルプレイヤの再生動作が開始されている場合に、前記ポータブルプレイヤが、当該ポータブルプレイヤが再生中のオーディオコンテンツの再生を、当該オーディオコンテンツの現在の再生時刻位置を先頭方向へ所定時間移動した再生時刻位置から開始するように制御するように構成してもよい。
以上のようなオーディオ装置によれば、ポータブルプレイヤから前記音声制御が行われた後の前記ポータブルプレイヤの状態を取得して、取得した状態に応じて、前記ポータブルプレイヤを前記現用オーディオソースに設定できるので、オーディオ装置において、ポータブルプレイヤに行わせた音声制御の制御内容に整合した現用オーディオソースのポータブルプレイヤへの切替動作を行うことができるようになる。
より具体的には、たとえば、オーディオ装置において、前記ポータブルプレイヤから、前記音声制御が行われた後の状態として当該ポータブルプレイヤの再生状態を取得して、前記音声制御によってポータブルプレイヤの再生動作が開始されたかどうかを判定し、ポータブルプレイヤの再生動作が開始されている場合に、前記ソース選択部に、前記ポータブルプレイヤを前記現用オーディオソースに設定させるようにすれば、ユーザがオーディオ装置を介して、ポータブルプレイヤに再生動作を開始させる音声制御を行った場合に、オーディオ装置において、出力する音声を自動的にポータブルプレイヤが出力する音声に切り替えることができる。
なお、以上のようなオーディオ装置の構成は、音声に代えてビデオコンテンツなどの任意のコンテンツを出力するコンテンツ出力装置にも同様に適用することができる。
図1に、本実施形態に係るオーディオシステムの構成を示す。
図示するように、オーディオシステムは、オーディオ装置1と、オーディオ装置1と接続可能なポータブルプレイヤ2とより構成される。
そして、オーディオ装置1は、たとえば、自動車に搭載される装置であり、図示するように、入力装置101、表示装置102、マイクロフォン103、スピーカ104、マイクロフォン103を用いた音声の入力や、スピーカ104への音声の出力を行う音声出力装置105、ポータブルプレイヤ2との接続に用いるインタフェースであるデバイスインタフェース106、制御部107、メディアプレイヤ108、複数のオーディオソース機器109、記憶装置110を備えている。
ここで、各オーディオソース機器109はラジオ受信機などの音声を出力するデバイスや、CDやDVDなどの記録ディスクに記録されたオーディオデータを再生して出力するデバイスや、メモリカードなどのオーディオデータを記録したデバイスである。
次に、制御部107は、入力装置101を介したユーザ操作に応じて、ソース切替操作等を受け付けるメニュー画面を表示装置102に表示する。そして、メニュー画面で受け付けたユーザのソース切替操作に応じて、制御部107は、オーディオソース機器109のいずれか、もしくは、接続されたポータブルプレイヤ2を、選択的に現用オーディオソースに設定する。また、記憶装置110にオーディオデータを記憶し、当該記憶装置110も現用オーディオソースに設定できるようにしてもよい。
一方、メディアプレイヤ108は、制御部107によって現用オーディオソースとして音声を出力するオーディオソース機器109が設定されている場合には、当該オーディオソース機器109から出力された音声の音声出力装置105を介したスピーカ104への出力を行い、制御部107によって現用オーディオソースとしてオーディオデータを出力するオーディオソース機器109が設定されている場合には、当該オーディオソース機器109から出力されたオーディオデータの再生と再生した音声の音声出力装置105を介したスピーカ104への出力を行い、制御部107によって現用オーディオソースとしてオーディオデータを記録しているオーディオソース機器109が設定されている場合には、当該オーディオソース機器109に記録されているオーディオデータの読み出しと読み出したオーディオデータの再生を行うと共に、再生した音声の音声出力装置105を介したスピーカ104への出力を行う。また、メディアプレイヤ108は、制御部107によって現用オーディオソースとしてポータブルプレイヤ2が設定されている場合には、メディアプレイヤ108は、デバイスインタフェース106を介してポータブルプレイヤ2から受信したオーディオデータの音声の音声出力装置105を介したスピーカ104への出力を行う。
そして、制御部107は、現用オーディオソースに設定されているオーディオソース機器109またはポータブルプレイヤ2の再生状態の表示や、現用オーディオソースに設定されているデバイスの再生動作の制御操作の受け付けを行うためのGUI画面を表示装置102に表示し、GUI画面で受け付けたユーザ操作に応じて、現用オーディオソースに設定されているオーディオソース機器109またはポータブルプレイヤ2の各種動作と、メディアプレイヤ108のオーディオデータや音声の再生、出力動作を制御する。ここで、制御部107は、ポータブルプレイヤ2の各種動作の制御を、デバイスインタフェース106を介して行う。
なお、このようなオーディオ装置1は、ハードウエア的には、CPUやメモリなどを備えたコンピュータを用いて構成するようにして、よく、この場合、制御部107やメディアプレイヤ108は、当該コンピュータが、所定のコンピュータプログラムを実行することにより実現されるものである。
次に、ポータブルプレイヤ2は、ユーザによって携帯されるモバイル装置であり、図示するように、記憶部201、操作部202、ディスプレイ203、マイクロフォン204、スピーカ205、マイクロフォン204を用いた音声の入力や、スピーカ205への音声の出力を行う音声入出力部206、オーディオ装置1との接続に用いられるインタフェースであるホストインタフェース207、通信装置208、ポータブルプレイヤ2のOSであるところのオペレーティングシステム209を備えている。
また、ポータブルプレイヤ2は、オペレーティングシステム209によって管理されオペレーティングシステム209上で稼働するアプリケーションとして、プレイヤアプリケーション210や、その他のアプリケーション211を備えている。
ここで、ポータブルプレイヤ2の記憶部201には、楽曲のオーディオデータを格納したオーディオファイルが格納されており、プレイヤアプリケーション210は、ポータブルプレイヤ2がオーディオ装置1に接続されていない状態において、ディスプレイ203と操作部202を用いたユーザインタフェース上でユーザの操作による制御をオペケーティングシステムを介して受け付け、記憶装置110に記憶されているオーディオファイルのオーディオデータの再生等を行う。また、オーディオ装置1に接続されていない状態では、記憶装置110に記憶されているオーディオファイルのオーディオデータが表す音声を音声入出力部206を介してスピーカ205から出力する。
一方、ポータブルプレイヤ2は、ポータブルプレイヤ2がオーディオ装置1に接続されているときには、ホストインタフェース207、オペレーティングシステム209を介してオーディオ装置1からの制御を受け付け、記憶装置110に記憶されているオーディオファイルのオーディオデータの再生等を行う。また、オーディオ装置1に接続されている状態では、記憶装置110に記憶されているオーディオファイルから再生したオーディオデータを、ホストインタフェース207を介してオーディオ装置1に送信する。ここで、上述のように、ポータブルプレイヤ2が上述した現用オーディオソースに設定されているときには、オーディオ装置1のメディアプレイヤ108は、このようにしてポータブルプレイヤ2からオーディオ装置1に送信されたオーディオデータの音声を音声出力装置105を介してスピーカ104へ出力される。
次に、また、オペレーティングシステム209は、音声入力の受け付けを行う音声認識クライアント2091を含んでいる。
オペレーティングシステム209は、操作部202を介してユーザから音声制御要求を受け取ると音声認識クライアント2091を起動し、マイクロフォン204から入力されたユーザの発話音声の音声データを入力音声データとして音声認識クライアント2091に引き渡す。そして、音声認識クライアント2091は、通信装置208を介してインターネットなどのWAN3上の音声認識サーバ4に接続し、引き渡された入力音声データを伴う音声認識要求を音声認識サーバ4に送信し、音声認識サーバ4は音声認識要求を受け取ると、音声認識要求に伴う入力音声データの音声認識を行って、音声認識結果を音声認識クライアント2091に応答する。そして、音声認識結果の応答を受けた音声認識クライアント2091は、音声制御完了報告をオペーティングシステムに応答すると共に、音声認識結果に応じた各アプリケーションの動作の制御をオペレーティングシステム209を介して行う。ここで、この音声認識結果に応じた各アプリケーションの動作の制御には、プレイヤアプリケーション210の記憶部201に記憶されたオーディオファイルの再生動作の制御も含まれる。
なお、通信装置208は、無線LANに接続する無線LANインタフェースや、移動通信網に接続する移動通信装置である。なお、ポータブルプレイヤ2が移動電話機能を備えたスマートフォンである場合には、通信装置208は移動通信装置であり、ポータブルプレイヤ2は、上述したその他のアプリケーション211として、移動通信装置や音声入出力部206や操作部202を用いた移動電話機能を提供する移動電話アプリケーションを備えることとなる。
また、オペレーティングシステム209には、音声認識クライアント2091に代えて、単独で音声認識を行って音声入力を受け付ける音声認識エンジンを備えるようにしてもよい。
なお、ポータブルプレイヤ2のホストインタフェース207と、オーディオ装置1のデバイスインタフェース106は、Bluetooth(登録商標)や、WIFIなどの無線通信インタフェースによって無線接続して相互通信を行うものである。
以下、このような構成において、ポータブルプレイヤ2がオーディオ装置1に接続されている期間中、オーディオ装置1の制御部107が行う制御音声受付処理について説明する。
図2に、この制御音声受付処理の手順を示す。
図示するように、この処理において、制御部107は、ユーザの入力装置101に対する音声制御要求操作の発生を監視し(ステップ2002)、音声制御要求操作が発生したならば、デバイスインタフェース106を介してポータブルプレイヤ2に音声制御機能起動要求を送信する(ステップ2004)。
ここで、音声制御機能起動要求をホストインタフェース207を介して受け取ったポータブルプレイヤ2のオペレーティングシステム209は音声認識クライアント2091を起動し、起動が完了したならば音声制御機能有効応答をオーディオ装置1に応答する。
次に、制御部107は、音声制御機能有効応答の受信を監視し(ステップ2006)、音声制御機能有効応答を受信したならば、所定の音声入力受付画面を表示して(ステップ2008)、ユーザに発話を促す。
ここで、音声入力受付画面の表示は、音声入力受付画面として予め用意した画面を表示することによって行ってもよいが、ポータブルプレイヤ2が、音声認識クライアント2091の稼働中、音声入力受付画面をホストインタフェース207を介してオーディオ装置1に出力するものである場合には、音声入力受付画面の表示は、当該ポータブルプレイヤ2が出力する音声入力受付画面を表示することにより行うようにしてもよい。
次に、制御部107はマイクロフォン103、音声入力装置を介してユーザからの発話音声の入力を受け付け、受け付けた発話音声の音声データをデバイスインタフェース106を介してポータブルプレイヤ2に送信する(ステップ2010)。
ここで、オーディオ装置1から音声データの転送を受けたポータブルプレイヤ2のオペレーティングシステム209は、音声認識クライアント2091に上述した入力音声データとして転送された音声データを引き渡し、音声認識クライアント2091は上述のように入力音声データの音声認識と音声認識結果に応じたアプリケーションの動作の制御をオペレーティングシステム209を介して行い、音声制御完了報告をオペーティングシステムに応答し、応答を受け取ったオペレーティングシステム209は、ホストインタフェース207を介して、音声制御完了報告をオーディオ装置1に応答する。
一方、制御部107は、次に、音声制御完了報告の受信を監視し(ステップ2012)、音声制御完了報告を受信したならば、表示装置102の表示を音声入力受付画面表示前の表示に復帰する(ステップ2014)。
そして、所定のタイムアウト時間(たとえば、5秒)を持つタイマをスタートし(ステップ2016)、ポータブルプレイヤ2のプレイヤアプリケーション210の再生動作の開始が検出されるか(ステップ2022)、タイマのタイムアウトが発生するまで(ステップ2024)、ポータブルプレイヤ2のプレイヤアプリケーション210の再生状態を監視する(ステップ2018、2020)。
ここで、ポータブルプレイヤ2のプレイヤアプリケーション210の再生状態の監視は、デバイスインタフェース106を介して、ポータブルプレイヤ2に再生状態問い合わせを送信し(ステップ2018)、その応答として再生状態応答を受信(ステップ2020)する処理を繰り返すことにより行う。
ここで、ポータブルプレイヤ2のオペレーティングシステム209は、オーディオ装置1から再生状態問い合わせを受信すると、プレイヤアプリケーション210の現在の再生状態を取得し、ホストインタフェース207を介してオーディオ装置1に再生状態応答として送信する。再生状態応答として応答する再生状態には、プレイヤアプリケーション210のオーディオファイルのオーディオデータの再生中の有無、再生中である場合の現在のオーディオデータの再生時刻位置(オーディオデータの先頭の再生時刻からの経過時間)、再生中のオーディオファイルの識別などを含める。
また、ステップ2022の、ポータブルプレイヤ2のプレイヤアプリケーション210の再生動作の開始の検出は、ステップ2020で受信した再生状態応答が表す再生状態が、”オーディオデータの非再生中”から”オーディオデータの再生中”に変化したときに、ポータブルプレイヤ2のプレイヤアプリケーション210の再生動作の開始を検出することにより行う。
さて、制御部107は、タイマのタイムアウトが発生した場合には(ステップ2024)、ステップ2002からの処理に戻る。
一方、タイマのタイムアウトが発生する前に(ステップ2024)、ポータブルプレイヤ2のプレイヤアプリケーション210の再生動作の開始が検出された場合には(ステップ2022)、現在の現用オーディオソースがポータブルプレイヤ2であるかどうかを調べ(ステップ2026)、ポータブルプレイヤ2であればステップ2002からの処理に戻る。
一方、タイマのタイムアウトが発生する前に(ステップ2024)、ポータブルプレイヤ2のプレイヤアプリケーション210の再生動作の開始が検出された場合に(ステップ2022)、現在の現用オーディオソースがポータブルプレイヤ2でなければ(ステップ2026)、現用オーディオソースをポータブルプレイヤ2に切り替える(ステップ2028)。
そして、デバイスインタフェース106を介して、ポータブルプレイヤ2に、再生中オーディオデータの頭出しコマンドを送信し(ステップ2030)、ステップ2002からの処理に戻る。
ここで、ホストインタフェース207を介して頭出しコマンドをオーディオ装置1から受け取ったポータブルプレイヤ2のオペレーティングシステム209は、プレイヤアプリケーション210のオーディオデータの再生時刻位置を、再生中のオーディオデータの先頭に移動させる制御を行うことにより、プレイヤアプリケーション210に再生中のオーディオデータの先頭からの再生を開始させる。
以上、制御部107が行う制御音声受付処理について説明した。
なお、以上の制御音声受付処理のステップ2030は、再生時刻位置を所定時間、過去方向に戻す再生時刻位置変更コマンドを、ポータブルプレイヤ2に送信する処理としてもよく、この場合、再生時刻位置変更コマンドをオーディオ装置1から受け取ったポータブルプレイヤ2のオペレーティングシステム209は、プレイヤアプリケーション210のオーディオデータの再生時刻位置を、所定時間過去方向に移動させる制御を行うことにより、プレイヤアプリケーション210に再生中のオーディオデータの現在の再生時刻位置から所定期間前の再生時刻位置からの再生を開始させる。ここで、この所定期間は、最後に受信した再生状態応答が表す再生状態によって示される再生時刻位置に相当する時間としてもよいし、予め、定めておいた、ステップ424で開始が検出されたポータブルプレイヤ2のプレイヤアプリケーション210の再生が実際に開始された時刻から、現時点までの経過時間として見込まれる時間としてもよい。このようにしても、プレイヤアプリケーション210のオーディオデータの再生時刻位置を、再生中のオーディオデータの先頭に移動させることができる。
以下、以上のような制御音声受付処理の動作例を示す。
図3に示すように、いま、ポータブルプレイヤ2のオーディオアプリケーションにおいて再生が行われていない状態において、ユーザが音声制御要求操作(301)を行うと、オーディオ装置1は、ポータブルプレイヤ2に音声制御機能起動要求(302)を送信し、音声制御機能起動要求(302)を受け取ったポータブルプレイヤ2は音声認識クライアント2091を起動し(303)、音声制御機能有効応答(304)をオーディオ装置1に応答する。
声制御機能有効応答(304)を受け取ったオーディオ装置1は、音声入力受付画面を表示して(305)、ユーザに発話を促す。
ユーザが、再生を要求する音声(たとえば、「再生開始」)を発話すると(306)、オーディオ装置1は、発話された音声の音声データ(307)をポータブルプレイヤ2に転送し、音声データの転送を受けたポータブルプレイヤ2は転送された音声データの音声認識(308)を行い、音声認識が完了すると音声制御完了応答(309)をオーディオ装置1に送信する。また、ポータブルプレイヤ2は、音声データを音声認識した内容が、再生の要求であるので、プレイヤアプリケーション210の再生開始の制御(310)を開始する。
一方、音声制御完了応答(309)を受け取ったオーディオ装置1は、表示装置102の表示を、音声入力受付画面表示前の表示に復帰(310)し、タイマをスタート(311)する。
そして、オーディオ装置1は、ポータブルプレイヤ2のプレイヤアプリケーション210の再生状態の監視(312)を開始し、再生状態問い合わせ(41、43、45)の送信と、再生状態応答(42、44、46)の受信を繰り返す。
一方、ポータブルプレイヤ2において制御(310)によって、プレイヤアプリケーション210の楽曲Xのオーディオファイルの再生が開始(313)されると、ポータブルプレイヤ2は、再生状態応答が表す再生状態を”非再生中”(42、44)から”再生中”(46)に変化させる。そして、オーディオ装置1は、”監視(312)において、この再生状態応答が表す再生状態の”非再生中”から”再生中”変化より、ポータブルプレイヤ2のプレイヤアプリケーション210の再生動作の開始を検出(47)する。
そして、再生動作の開始を検出したならば、オーディオ装置1は、現在の現用オーディオソースがポータブルプレイヤ2でない場合には、現用オーディオソースをポータブルプレイヤ2に切り替える(314)。この結果、ポータブルプレイヤ2から出力されるオーディオデータの音声がオーディオ装置1のスピーカ104から出力される状態となる。
そして、次に、オーディオ装置1は、頭出しコマンド(315)をポータブルプレイヤ2に送信する。
頭出しコマンド(315)をオーディオ装置1から受け取ったポータブルプレイヤ2のプレイヤアプリケーション210は、再生中の楽曲Xのオーディオデータの再生位置を先頭に移動し(316)、楽曲Xの先頭からの再生を開始する
結果、先頭から楽曲Xのオーディオデータがポータブルプレイヤ2からオーディオ装置1に出力され(317)。先頭からの楽曲Xのオーディオ装置1のスピーカ104から音声が出力される(318)。
なお、ユーザが発話した音声(306)が再生を要求する音声でなかった場合、監視(312)において、再生状態応答が表す再生状態の”非再生中”から”再生中”への変化は発生せず再生動作の開始は検出されない。そして、監視(312)において、スタートさせたタイマ(311)のタイムアウトが発生し、現用オーディオソースの切替は発生せず、オーディオ装置1の音声出力状態は、音声制御要求操作(301)発生時の状態に維持される。
また、ユーザが音声制御要求操作(301)を行った時点において、既に、ポータブルプレイヤ2の再生状態が”再生中”であった場合にも、監視(312)において、再生状態応答が表す再生状態の”非再生中”から”再生中”への変化は発生せず再生動作の開始は検出されない。そして、監視(312)において、スタートさせたタイマ(311)のタイムアウトが発生し、現用オーディオソースの切替は発生せず、現用オーディオソースの設定は音声制御要求操作(301)発生時の状態に維持される。
以上、本発明の実施形態について説明した。
このように、本実施形態によれば、オーディオ装置1において、受け付けたユーザの発話音声がポータブルプレイヤ2の再生の開始を音声制御するものである場合にのみ、ポータブルプレイヤ2の再生音声のユーザへの出力をオーディオ装置1において適切に開始することができるようになる。
また、当該オーディオ装置1におけるポータブルプレイヤ2の再生音声のユーザへの出力を、再生開始された楽曲の先頭から行えるようになる。
よって、オーディオ装置1において、ポータブルプレイヤ2の音声制御による制御内容に整合した動作を行えるようになる。
なお、以上の実施形態における制御音声受付処理では、ポータブルプレイヤ2が、再生を要求する音声の音声認識の後、再生を開始するまで数秒程度の時間を要することを見込んで、音声制御完了報告を受信した後にポータブルプレイヤ2のプレイヤアプリケーション210の再生状態の所定期間の監視を開始するようにしている。しかし、ポータブルプレイヤ2が、再生を要求する音声の音声認識の後、間をおかずに、再生を開始するものである場合には、次のようにして、ポータブルプレイヤ2のプレイヤアプリケーション210の再生動作の開始を検出するようにしてもよい。すなわち、ステップ2010で、音声データをポータブルプレイヤ2に転送する前に、ポータブルプレイヤ2に再生状態問い合わせを送信し、ポータブルプレイヤ2から応答された再生情報応答から音声制御前の再生状態を検出する。そして、検出した音声制御前の再生状態が”再生中”である場合には、音声制御完了報告の受信(ステップ2012)に応答して表示状態を復帰(ステップ2014)したならば、そのままステップ2002からの処理に戻るようにする。一方、検出した音声制御前の再生状態が”非再生中”である場合には、音声制御完了報告の受信(ステップ2012)に応答して表示状態を復帰(ステップ2014)した後に、ステップ20016以降の処理に進み、ポータブルプレイヤ2のプレイヤアプリケーション210の再生状態の所定期間の監視(ステップ2016-2024)を開始し、ステップ2022では、所定期間内に”再生中”を示す再生状態を表す再生状態応答を受信できた場合に、ポータブルプレイヤ2のプレイヤアプリケーション210の再生動作の開始を検出し、ステップ2026に進むようにする。
また、以上の実施形態では、音声制御でオーディオを再生する場合について説明したが、音声制御でポータブルプレイヤ2がビデオを再生するものである場合についても、本実施形態はオーディオ装置1を、オーディオをビデオに置き換えて以上のオーディオ装置1の動作を行うAV装置とすることにより同様に適用することができる。
Claims (16)
- 入力音声を音声認識し当該入力音声の音声認識の結果に応じた動作を実行する音声制御の機能を備えたポータブルプレイヤを接続可能なオーディオ装置であって、
現用オーディオソースを音源とする音声を出力する音声出力部と、
複数のオーディオソースデバイスのいずれか一つを選択的に前記現用オーディオソースに設定するソース選択部と、
マイクロフォンと、
制御音声処理部とを有し、
前記ソース選択部は、前記ポータブルプレイヤが接続されているときには、当該ポータブルプレイヤを一つの前記オーディオソースデバイスとして、前記複数のオーディオソースデバイスに含めて、当該ポータブルプレイヤを含む複数のオーディオソースデバイスのいずれか一つを選択的に前記現用オーディオソースに設定し、
前記音声出力部は、前記ポータブルプレイヤが現用オーディオソースに設定されているときには、当該ポータブルプレイヤから当該オーディオ装置に転送される音声を出力し、
前記制御音声処理部は、
前記ポータブルプレイヤが接続されているときに、前記マイクロフォンから入力した音声を表す音声データを前記ポータブルプレイヤに転送し、当該ポータブルプレイヤに当該転送した音声データが表す音声を前記入力音声とする前記音声制御を行わせ、
前記ポータブルプレイヤから前記音声制御が行われた後の前記ポータブルプレイヤの状態を取得して、取得した状態に応じて、前記ソース選択部に、前記ポータブルプレイヤを前記現用オーディオソースに設定させることを特徴とするオーディオ装置。 - 請求項1記載のオーディオ装置であって、
前記制御音声処理部は、前記ポータブルプレイヤから、前記音声制御が行われた後の状態として当該ポータブルプレイヤの再生状態を取得して、前記音声制御によってポータブルプレイヤの再生動作が開始されたかどうかを判定し、ポータブルプレイヤの再生動作が開始されている場合に、前記ソース選択部に、前記ポータブルプレイヤを前記現用オーディオソースに設定させることを特徴とするオーディオ装置。 - 請求項2記載のオーディオ装置であって、
前記制御音声処理部は、ポータブルプレイヤに音声制御を行わせた後、所定期間以内に、ポータブルプレイヤの再生動作が開始された場合に、前記音声制御によってポータブルプレイヤの再生動作が開始されたと判定することを特徴とするオーディオ装置。 - 請求項2記載のオーディオ装置であって、
前記制御音声処理部は、ポータブルプレイヤに音声制御を行わせた後、所定期間以内に、ポータブルプレイヤの再生状態が非再生中から再生中に変化した場合に、前記音声制御によってポータブルプレイヤの再生動作が開始されたと判定することを特徴とするオーディオ装置。 - 請求項2、3または4記載のオーディオ装置であって、
前記制御音声処理部は、前記音声制御によって、ポータブルプレイヤの再生動作が開始されている場合に、前記ポータブルプレイヤの、当該ポータブルプレイヤが再生中のオーディオコンテンツの先頭からの再生開始を制御することを特徴とするオーディオ装置。 - 請求項2、3または4記載のオーディオ装置であって、
前記制御音声処理部は、前記音声制御によって、ポータブルプレイヤの再生動作が開始されている場合に、前記ポータブルプレイヤが、当該ポータブルプレイヤが再生中のオーディオコンテンツの再生を、当該オーディオコンテンツの現在の再生時刻位置を先頭方向へ所定時間移動した再生時刻位置から開始するように制御することを特徴とするオーディオ装置。 - マイクロフォンを備えると共に、入力音声を音声認識し音声認識の結果に応じた動作を実行する音声制御の機能を備えたポータブルプレイヤを接続可能なコンピュータによって読み取られ実行されるコンピュータプログラムであって、
当該コンピュータプログラムは、前記コンピュータを、
現用オーディオソースを音源とする音声を出力する音声出力部と、
複数のオーディオソースデバイスのいずれか一つを選択的に前記現用オーディオソースに設定するソース選択部と、
制御音声処理部として機能させ、
前記ソース選択部は、前記ポータブルプレイヤが接続されているときには、当該ポータブルプレイヤを一つの前記オーディオソースデバイスとして、前記複数のオーディオソースデバイスに含めて、当該ポータブルプレイヤを含む複数のオーディオソースデバイスのいずれか一つを選択的に前記現用オーディオソースに設定し、
前記音声出力部は、前記ポータブルプレイヤが現用オーディオソースに設定されているときには、当該ポータブルプレイヤから当該コンピュータに転送される音声を出力し、
前記制御音声処理部は、
前記ポータブルプレイヤが接続されているときに、前記マイクロフォンから入力した音声を表す音声データを前記ポータブルプレイヤに転送し、当該ポータブルプレイヤに当該転送した音声データが表す音声を前記入力音声とする前記音声制御を行わせ、
前記ポータブルプレイヤから前記音声制御が行われた後の前記ポータブルプレイヤの状態を取得して、取得した状態に応じて、前記ソース選択部に、前記ポータブルプレイヤを前記現用オーディオソースに設定させることを特徴とするコンピュータプログラム。 - 請求項7記載のコンピュータプログラムであって、
前記制御音声処理部は、前記ポータブルプレイヤから、前記音声制御が行われた後の状態として当該ポータブルプレイヤの再生状態を取得して、前記音声制御によってポータブルプレイヤの再生動作が開始されたかどうかを判定し、ポータブルプレイヤの再生動作が開始されている場合に、前記ソース選択部に、前記ポータブルプレイヤを前記現用オーディオソースに設定させることを特徴とするコンピュータプログラム。 - 請求項8記載のコンピュータプログラムであって、
前記制御音声処理部は、ポータブルプレイヤに音声制御を行わせた後、所定期間以内に、ポータブルプレイヤの再生動作が開始された場合に、前記音声制御によってポータブルプレイヤの再生動作が開始されたと判定することを特徴とするコンピュータプログラム。 - 請求項8記載のコンピュータプログラムであって、
前記制御音声処理部は、ポータブルプレイヤに音声制御を行わせた後、所定期間以内に、ポータブルプレイヤの再生状態が非再生中から再生中に変化した場合に、前記音声制御によってポータブルプレイヤの再生動作が開始されたと判定することを特徴とするコンピュータプログラム。 - 請求項8、9または10記載のコンピュータプログラムであって、
前記制御音声処理部は、前記音声制御によって、ポータブルプレイヤの再生動作が開始されている場合に、前記ポータブルプレイヤの、当該ポータブルプレイヤが再生中のオーディオコンテンツの先頭からの再生開始を制御することを特徴とするコンピュータプログラム。 - 請求項8、9または10記載のコンピュータプログラムであって、
前記制御音声処理部は、前記音声制御によって、ポータブルプレイヤの再生動作が開始されている場合に、前記ポータブルプレイヤが、当該ポータブルプレイヤが再生中のオーディオコンテンツの再生を、当該オーディオコンテンツの現在の再生時刻位置を先頭方向へ所定時間移動した再生時刻位置から開始するように制御することを特徴とするコンピュータプログラム。 - 入力音声を音声認識し音声認識の結果に応じた動作を実行する音声制御の機能を備えたポータブルプレイヤを接続可能なコンテンツ出力装置であって、
現用コンテンツソースをソースとするコンテンツを出力するコンテンツ出力部と、
複数のコンテンツソースデバイスのいずれか一つを選択的に前記現用コンテンツソースに設定するソース選択部と、
マイクロフォンと、
制御音声処理部とを有し、
前記ソース選択部は、前記ポータブルプレイヤが接続されているときには、当該ポータブルプレイヤを一つの前記コンテンツソースデバイスとして、前記複数のコンテンツソースデバイスに含めて、当該ポータブルプレイヤを含む複数のコンテンツソースデバイスのいずれか一つを選択的に前記現用コンテンツソースに設定し、
前記コンテンツ出力部は、前記ポータブルプレイヤが現用コンテンツソースに設定されているときには、当該ポータブルプレイヤから当該コンテンツ出力装置に転送されるコンテンツを出力し、
前記制御音声処理部は、
前記ポータブルプレイヤが接続されているときに、前記マイクロフォンから入力した音声を表す音声データを前記ポータブルプレイヤに転送し、当該ポータブルプレイヤに当該転送した音声データが表す音声を前記入力音声とする前記音声制御を行わせ、
前記ポータブルプレイヤから、前記音声制御が行われた後の状態として当該ポータブルプレイヤの再生状態を取得して、前記音声制御によってポータブルプレイヤの再生動作が開始されたかどうかを判定し、ポータブルプレイヤの再生動作が開始されている場合に、前記ソース選択部に、前記ポータブルプレイヤを前記現用コンテンツソースに設定させることを特徴とするコンテンツ出力装置。 - 請求項13記載のコンテンツ出力装置であって、
前記コンテンツはビデオコンテンツであることを特徴とするコンテンツ出力装置。 - マイクロフォンを備えると共に、入力音声を音声認識し音声認識の結果に応じた動作を実行する音声制御の機能を備えたポータブルプレイヤを接続可能なコンピュータによって読み取られ実行されるコンピュータプログラムであって、
当該コンピュータプログラムは、前記コンピュータを、
現用コンテンツソースをソースとするコンテンツを出力するコンテンツ出力部と、
複数のコンテンツソースデバイスのいずれか一つを選択的に前記現用コンテンツソースに設定するソース選択部と、
制御音声処理部として機能させ、
前記ソース選択部は、前記ポータブルプレイヤが接続されているときには、当該ポータブルプレイヤを一つの前記コンテンツソースデバイスとして、前記複数のコンテンツソースデバイスに含めて、当該ポータブルプレイヤを含む複数のコンテンツソースデバイスのいずれか一つを選択的に前記現用コンテンツソースに設定し、
前記コンテンツ出力部は、前記ポータブルプレイヤが現用コンテンツソースに設定されているときには、当該ポータブルプレイヤから当該コンピュータに転送されるコンテンツを出力し、
前記制御音声処理部は、
前記ポータブルプレイヤが接続されているときに、前記マイクロフォンから入力した音声を表す音声データを前記ポータブルプレイヤに転送し、当該ポータブルプレイヤに当該転送した音声データが表す音声を前記入力音声とする前記音声制御を行わせ、
前記ポータブルプレイヤから、前記音声制御が行われた後の状態として当該ポータブルプレイヤの再生状態を取得して、前記音声制御によってポータブルプレイヤの再生動作が開始されたかどうかを判定し、ポータブルプレイヤの再生動作が開始されている場合に、前記ソース選択部に、前記ポータブルプレイヤを前記現用コンテンツソースに設定させることを特徴とするコンピュータプログラム。 - 請求項15記載のコンピュータプログラムであって、
前記コンテンツはビデオコンテンツであることを特徴とするコンピュータプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012286576A JP6276503B2 (ja) | 2012-12-28 | 2012-12-28 | オーディオ装置 |
US14/078,786 US9384752B2 (en) | 2012-12-28 | 2013-11-13 | Audio device and storage medium |
EP13196836.4A EP2750026B1 (en) | 2012-12-28 | 2013-12-12 | Audio device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012286576A JP6276503B2 (ja) | 2012-12-28 | 2012-12-28 | オーディオ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014130180A JP2014130180A (ja) | 2014-07-10 |
JP6276503B2 true JP6276503B2 (ja) | 2018-02-07 |
Family
ID=49958163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012286576A Active JP6276503B2 (ja) | 2012-12-28 | 2012-12-28 | オーディオ装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9384752B2 (ja) |
EP (1) | EP2750026B1 (ja) |
JP (1) | JP6276503B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9218805B2 (en) * | 2013-01-18 | 2015-12-22 | Ford Global Technologies, Llc | Method and apparatus for incoming audio processing |
US10236016B1 (en) * | 2014-06-16 | 2019-03-19 | Amazon Technologies, Inc. | Peripheral-based selection of audio sources |
KR20190099586A (ko) * | 2018-02-19 | 2019-08-28 | 삼성전자주식회사 | 전자 장치, 전자 장치의 제어방법 및 서버 |
CN111081237B (zh) * | 2018-10-22 | 2022-06-10 | 深圳市冠旭电子股份有限公司 | 音箱的播放控制方法、***及智能设备 |
US10802791B2 (en) * | 2019-03-01 | 2020-10-13 | Bose Corporation | Methods and systems for streaming audio and voice data |
CN114360546A (zh) * | 2020-09-30 | 2022-04-15 | 华为技术有限公司 | 电子设备及其唤醒方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6192340B1 (en) * | 1999-10-19 | 2001-02-20 | Max Abecassis | Integration of music from a personal library with real-time information |
JP2001287598A (ja) * | 2000-04-07 | 2001-10-16 | Mazda Motor Corp | 車両用音響装置及びそのコンテンツ再生方法及び音声再生装置 |
JP2002041276A (ja) * | 2000-07-24 | 2002-02-08 | Sony Corp | 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体 |
JP2002175685A (ja) | 2000-12-06 | 2002-06-21 | Alpine Electronics Inc | オーディオシステム |
JP2004022139A (ja) * | 2002-06-19 | 2004-01-22 | Pioneer Electronic Corp | 電子機器セット、第1及び第2電子機器、並びにコンピュータプログラム |
KR20040006850A (ko) * | 2002-07-16 | 2004-01-24 | 주식회사 현대오토넷 | 핸즈프리 기능을 갖는 차량용 오디오 시스템의음성처리회로 및 방법 |
US7421390B2 (en) * | 2002-09-13 | 2008-09-02 | Sun Microsystems, Inc. | Method and system for voice control of software applications |
US20070293183A1 (en) * | 2002-12-11 | 2007-12-20 | Ira Marlowe | Multimedia device integration system |
KR20040076910A (ko) * | 2003-02-27 | 2004-09-04 | (주)모보텍 | 음성인식 기능을 갖는 무선 핸즈프리 |
JP2005085433A (ja) | 2003-09-11 | 2005-03-31 | Xanavi Informatics Corp | 音声認識による再生装置および再生方法 |
JP2006048867A (ja) | 2004-08-06 | 2006-02-16 | Chieko Hoshino | 車載オーディオ装置 |
US8762843B2 (en) * | 2006-06-16 | 2014-06-24 | Creative Technology Ltd | System and method for modifying media content playback based on limited input |
US9865240B2 (en) * | 2006-12-29 | 2018-01-09 | Harman International Industries, Incorporated | Command interface for generating personalized audio content |
US8224247B2 (en) * | 2007-05-16 | 2012-07-17 | Texas Instruments Incorporated | Controller integrated audio codec for advanced audio distribution profile audio streaming applications |
US8825468B2 (en) * | 2007-07-31 | 2014-09-02 | Kopin Corporation | Mobile wireless display providing speech to speech translation and avatar simulating human attributes |
US8099289B2 (en) * | 2008-02-13 | 2012-01-17 | Sensory, Inc. | Voice interface and search for electronic devices including bluetooth headsets and remote systems |
US20090234655A1 (en) * | 2008-03-13 | 2009-09-17 | Jason Kwon | Mobile electronic device with active speech recognition |
US9641678B2 (en) * | 2009-01-29 | 2017-05-02 | Ford Global Technologies, Llc | System and method for interrupting an instructional prompt to signal upcoming input over a wireless communication link |
JP5426913B2 (ja) * | 2009-04-02 | 2014-02-26 | アルパイン株式会社 | 音声認識辞書編集装置及び音声認識装置 |
US9307065B2 (en) * | 2009-10-09 | 2016-04-05 | Panasonic Intellectual Property Management Co., Ltd. | Method and apparatus for processing E-mail and outgoing calls |
JP2011095498A (ja) * | 2009-10-29 | 2011-05-12 | Aisin Aw Co Ltd | 車載情報処理装置及び車載情報処理方法 |
CN201557160U (zh) * | 2009-11-10 | 2010-08-18 | 白云飞 | 支持语音命令的车载蓝牙免提控制器 |
-
2012
- 2012-12-28 JP JP2012286576A patent/JP6276503B2/ja active Active
-
2013
- 2013-11-13 US US14/078,786 patent/US9384752B2/en active Active
- 2013-12-12 EP EP13196836.4A patent/EP2750026B1/en not_active Not-in-force
Also Published As
Publication number | Publication date |
---|---|
EP2750026A3 (en) | 2017-06-21 |
US9384752B2 (en) | 2016-07-05 |
JP2014130180A (ja) | 2014-07-10 |
EP2750026B1 (en) | 2019-10-02 |
US20140188483A1 (en) | 2014-07-03 |
EP2750026A2 (en) | 2014-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6811758B2 (ja) | 音声対話方法、装置、デバイス及び記憶媒体 | |
JP6276503B2 (ja) | オーディオ装置 | |
JP5928048B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラムおよび端末装置 | |
KR102114729B1 (ko) | 저장된 정보 표시 방법 및 그 전자 장치 | |
BR102013000553A2 (pt) | Aparelho de exibição de imagem possibilitando o reconhecimento de voz, e método de controlar um aparelho de exibição de imagem incluindo uma unidade de entrada de voz e uma unidade de saída de áudio | |
JP2012526453A (ja) | ホストデバイス及びアクセサリによって学習及び処理を行う遠隔制御信号 | |
JP6634607B2 (ja) | 再生装置および出力装置 | |
WO2015088789A1 (en) | Audio keyword based control of media output | |
KR102172149B1 (ko) | 컨텐츠 재생 방법, 대사 구간 데이터 제공 방법 및 동영상 컨텐츠 재생 단말 | |
JP6477822B2 (ja) | 端末装置、端末装置の制御方法および制御プログラム | |
JP5943050B2 (ja) | 音楽再生装置、及び、音楽再生プログラム | |
US20140223500A1 (en) | Method and system for transmitting wirelessly video in portable terminal | |
JP6226020B2 (ja) | 車載装置、情報処理方法および情報処理システム | |
JP2015002394A (ja) | 情報処理装置及びコンピュータプログラム | |
JP6051075B2 (ja) | 通信障害時にデュエット歌唱を継続可能な通信カラオケシステム | |
WO2018100742A1 (ja) | コンテンツ再生機器、コンテンツ再生システム、及びコンテンツ再生機器の制御方法 | |
JP2006146996A (ja) | コンテンツ再生システム | |
JP2012009106A (ja) | オーディオ装置 | |
JPWO2005104125A1 (ja) | 記録再生装置、同時記録再生制御方法、および同時記録再生制御プログラム | |
JP5418567B2 (ja) | 受信装置 | |
JP6440565B2 (ja) | 音楽再生装置及び音楽再生方法 | |
JP7243764B2 (ja) | 車載装置、携帯端末装置、情報処理システム、車載装置の制御方法およびプログラム | |
JP6558667B2 (ja) | コンテンツ配信システム、再生装置、及び、コンテンツ配信方法 | |
JP2023178742A (ja) | 音声認識装置、音声認識方法およびプログラム | |
JP5712765B2 (ja) | コントローラおよびコントローラプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6276503 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |