JP2018087871A - Voice output device - Google Patents

Voice output device Download PDF

Info

Publication number
JP2018087871A
JP2018087871A JP2016230371A JP2016230371A JP2018087871A JP 2018087871 A JP2018087871 A JP 2018087871A JP 2016230371 A JP2016230371 A JP 2016230371A JP 2016230371 A JP2016230371 A JP 2016230371A JP 2018087871 A JP2018087871 A JP 2018087871A
Authority
JP
Japan
Prior art keywords
voice
output
guidance
guidance voice
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016230371A
Other languages
Japanese (ja)
Other versions
JP6741387B2 (en
Inventor
信範 工藤
Akinori Kudo
信範 工藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2016230371A priority Critical patent/JP6741387B2/en
Publication of JP2018087871A publication Critical patent/JP2018087871A/en
Application granted granted Critical
Publication of JP6741387B2 publication Critical patent/JP6741387B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a voice output device capable of reliably executing a re-output of voice which a user fails to hear by reflecting the intention of the user.SOLUTION: An on-vehicle device 1 includes: a navigation processing section 10 for outputting a guide voice; a voice recognition processing section 30 for performing voice recognition processing on voice uttered by a user; and an audio volume change section 54, a guide volume change section 55, and a guide output instruction section 56 for instructing a re-output of the guide voice to the navigation processing section 10 when the content of the voice uttered by the user is the content indicating a specific word indicating that the user fails to hear the guide voice output just before on the basis of a recognition result by the voice recognition processing section 30.SELECTED DRAWING: Figure 1

Description

本発明は、車両等に搭載されてナビゲーション動作の案内音声等を出力する音声出力装置に関する。   The present invention relates to a sound output device that is mounted on a vehicle or the like and outputs a guidance sound or the like of a navigation operation.

従来から、ナビゲーション装置等から出力される案内音声を利用者が聞き逃した際に、利用者による操作デバイスの操作状況や利用者の発話に対する音声認識装置による認識結果に基づいて、再度案内音声を出力するようにした音声出力装置が知られている(例えば、特許文献1参照。)。この音声出力装置では、音声出力後の所定時間以内に操作デバイスが操作されたり、音声による発話があった場合に、その直前の音声出力を利用者が聞き逃したものと案内判定して音声の再出力を行っている。   Conventionally, when the user misses the guidance voice output from the navigation device or the like, the guidance voice is again reproduced based on the operation status of the operation device by the user or the recognition result by the voice recognition device for the user's utterance. An audio output device that outputs data is known (for example, see Patent Document 1). In this audio output device, if the operation device is operated within a predetermined time after audio output or if there is a voice utterance, it is determined that the user has missed the audio output immediately before that and the audio is output. Re-output is performed.

特開2006−38705号公報JP 2006-38705 A

ところで、上述した特許文献1に開示された音声出力装置では、案内音声の再出力を希望する利用者は、聞き逃した案内音声出力後の所定時間以内に所定の操作や発話を行う必要があり、この所定時間が短すぎると利用者の希望に沿った案内音声の再出力が行われず、反対に、この所定時間が長すぎると利用者が希望しない案内音声が再出力されてしまう場合があり、利用者の意思が反映されないおそれがあるという問題があった。特に、案内音声出力後に、この案内音声を聞き逃した利用者が操作等を行うタイミングは利用者毎に異なっており、すべての利用者を対象に適切な所定時間を設定することは難しい。   By the way, in the voice output device disclosed in Patent Document 1 described above, a user who desires to output the guidance voice again needs to perform a predetermined operation or utterance within a predetermined time after outputting the missed guidance voice. If the predetermined time is too short, the guidance voice is not re-output according to the user's request. On the contrary, if the predetermined time is too long, the guidance voice not desired by the user may be output again. There was a problem that the intention of the user might not be reflected. In particular, the timing at which a user who misses the guidance voice performs an operation after outputting the guidance voice differs for each user, and it is difficult to set an appropriate predetermined time for all users.

本発明は、このような点に鑑みて創作されたものであり、その目的は、聞き逃した案内音声の再出力を利用者の意思を反映して確実に実施することができる音声出力装置を提供することにある。   The present invention has been created in view of the above points, and an object of the present invention is to provide a voice output device that can reliably perform re-output of missed guidance voice reflecting the intention of the user. It is to provide.

上述した課題を解決するために、本発明の音声出力装置は、案内音声を出力する案内音声出力手段と、利用者によって発声された音声に対して音声認識処理を行う音声認識処理手段と、音声認識処理手段による認識結果に基づいて、利用者によって発声された音声の内容が、直前に出力された案内音声を聞き逃したことを示す特定ワードを示すものである場合に、案内音声出力手段に対して、直前に出力された案内音声の再出力を指示する案内出力指示手段とを備えている。特に、上述した特定ワードは、案内音声を聞き逃した利用者が発声するであろう音声を想定して設定された複数の特定ワード候補の中の一つであることが望ましい。   In order to solve the above-described problems, a voice output device according to the present invention includes a guidance voice output unit that outputs a guidance voice, a voice recognition processing unit that performs voice recognition processing on voice uttered by a user, and a voice. When the content of the voice uttered by the user based on the recognition result by the recognition processing means indicates a specific word indicating that the guidance voice output immediately before is missed, the guidance voice output means On the other hand, a guidance output instruction means for instructing the re-output of the guidance voice output immediately before is provided. In particular, it is desirable that the specific word described above is one of a plurality of specific word candidates set on the assumption that the user who missed the guidance voice will utter.

利用者は、出力された案内音声の内容を聞き逃した場合であって、もう一度聞きたい場合には、「なに」、「どこ」、「もう一回」などの特定ワードの音声を発声することが多い。したがって、このような特定ワードを予め想定して音声認識結果との間で一致/不一致を判定することにより、案内音声の再出力を希望する利用者の意思を反映させた上で、聞き逃した案内音声の再出力を確実に実施することが可能となる。   If the user misses the contents of the output guidance voice and wants to hear it again, he / she utters the voice of a specific word such as “what”, “where”, “again”, etc. There are many cases. Therefore, it was missed after reflecting the intention of the user who wished to re-output the guidance voice by judging whether the voice recognition result matches or not by assuming such a specific word in advance. It is possible to reliably output the guidance voice again.

また、上述した案内音声出力手段は、案内音声を出力する際の音量が変更可能であり、案内出力指示手段は、案内音声の再出力とともに音量の増加を案内音声出力手段に対して指示することが望ましい。また、利用者が、案内音声と同時に聴取可能なオーディオ音を出力するオーディオ手段をさらに備え、案内出力指示手段は、案内音声の再出力を案内音声出力手段に対して指示するとともに、オーディオ音の音量低下をオーディオ手段に対して指示することが望ましい。これにより、案内音声の音量増加および/またはオーディオ音の音量低下を行った上で案内音声の再出力を行うことにより、案内音声の内容を利用者に確実に伝えることができ、再度の聞き逃しを防止することが可能となる。   In addition, the guidance voice output means described above can change the volume when the guidance voice is output, and the guidance output instruction means instructs the guidance voice output means to increase the volume together with the re-output of the guidance voice. Is desirable. Further, the audio system further includes an audio unit that outputs an audio sound that can be heard simultaneously with the guidance voice, and the guidance output instruction unit instructs the guidance voice output unit to re-output the guidance voice and It is desirable to instruct the audio means to reduce the volume. As a result, by increasing the volume of the guidance voice and / or reducing the volume of the audio sound and then re-outputting the guidance voice, the contents of the guidance voice can be surely communicated to the user, so that the user can miss it again. Can be prevented.

また、上述した案内音声出力手段によって出力される前記案内音声には、重要度が高い第1の案内音声と、第1の案内音声よりも重要度が低い第2の案内音声が含まれており、第1の案内音声の再出力を行う際に、第1の案内音声の音量増加および/またはオーディオ音の音量低下を行い、第2の案内音声の再出力を行う際に、第2の音声の音量増加およびオーディオ音の音量低下を行わないことが望ましい。これにより、重要な案内音声について、再度の聞き逃しを確実に防止することが可能となる。   Further, the guidance voice output by the guidance voice output means described above includes a first guidance voice having a higher importance level and a second guidance voice having a lower importance level than the first guidance voice level. When re-outputting the first guidance voice, the volume of the first guidance voice is increased and / or the volume of the audio sound is decreased, and the second voice is output when the second guidance voice is re-output. It is desirable not to increase the volume of audio and to decrease the volume of audio sound. As a result, it is possible to reliably prevent an important guidance voice from being missed again.

また、音声出力装置は車両に搭載されており、車室内において前記案内音声出力手段による案内音声の出力が行われ、利用者は、車室内の座席に着座していることが望ましい。車両走行時は、ロードノイズや風切音、雨音などの影響により案内音声の内容を聞き逃す機会が増えると考えられるが、このような環境においても、案内音声の再出力を希望する利用者の意思を判定させた上で、聞き逃した案内音声の再出力を確実に実施することが可能となる。   The voice output device is mounted on a vehicle, and the guidance voice is output by the guidance voice output means in the passenger compartment, and the user is preferably seated on a seat in the passenger compartment. When driving a vehicle, it is thought that there will be more opportunities to miss the contents of the guidance voice due to the effects of road noise, wind noise, rain noise, etc., but even in such an environment, users who want to re-output the guidance voice It is possible to reliably perform the re-output of the missed guidance voice after the determination of the intention.

一実施形態の車載装置の構成を示す図である。It is a figure which shows the structure of the vehicle-mounted apparatus of one Embodiment. 音声認識処理のしきい値とスコアとの関係を示す図である。It is a figure which shows the relationship between the threshold value of a speech recognition process, and a score. ナビゲーション処理部から案内音声が出力された後に、利用者によって案内音声の出力が音声によって指示された場合の動作手順を示す流れ図である。It is a flowchart which shows the operation | movement procedure when the output of a guidance audio | voice is instruct | indicated by the voice after the guidance audio | voice is output from the navigation processing part.

以下、本発明の音声出力装置を適用した一実施形態の車載装置について、図面を参照しながら説明する。   Hereinafter, an in-vehicle device according to an embodiment to which an audio output device of the present invention is applied will be described with reference to the drawings.

図1は、一実施形態の車載装置の構成を示す図である。図1に示すように、車載装置1は、ナビゲーション処理部10、TVチューナ処理部14、ラジオチューナ処理部16、AV処理部18、操作部20、入力制御部22、表示処理部24、表示装置26、音声認識処理部30、マイクロホン32、デジタル−アナログ変換器(D/A)40、スピーカ42、制御部50、ハードディスク装置(HDD)70を備えている。   FIG. 1 is a diagram illustrating a configuration of an in-vehicle device according to an embodiment. As shown in FIG. 1, the in-vehicle device 1 includes a navigation processing unit 10, a TV tuner processing unit 14, a radio tuner processing unit 16, an AV processing unit 18, an operation unit 20, an input control unit 22, a display processing unit 24, and a display device. 26, a speech recognition processing unit 30, a microphone 32, a digital-analog converter (D / A) 40, a speaker 42, a control unit 50, and a hard disk device (HDD) 70.

ナビゲーション処理部10は、ハードディスク装置70に記憶されている地図データを用いて、車載装置1が搭載された車両の走行を案内するナビゲーション動作を行う。自車位置を検出するGPS(Global Positioning System)装置12とともに用いられ、車両の走行を案内するナビゲーション動作には、地図表示、経路探索・誘導のほかに周辺施設を検索して表示する動作などが含まれる。また、経路誘導動作には、交差点通過時などに車両の進行方向や走行車線変更などを案内する案内音声(ルートガイダンス)を作成する動作が含まれる。なお、自車位置検出は、GPS12の他にジャイロセンサや車速センサ等の自律航法センサを組み合わせて用いるようにしてもよい。   The navigation processing unit 10 uses the map data stored in the hard disk device 70 to perform a navigation operation for guiding the traveling of the vehicle on which the in-vehicle device 1 is mounted. The navigation operation used with the GPS (Global Positioning System) device 12 for detecting the position of the vehicle and guiding the traveling of the vehicle includes not only the map display, the route search / guidance but also the operation of searching for and displaying surrounding facilities. included. In addition, the route guidance operation includes an operation of creating a guidance voice (route guidance) that guides the traveling direction of the vehicle, a change in the traveling lane, and the like when passing through an intersection. The vehicle position detection may be performed using a combination of autonomous navigation sensors such as a gyro sensor and a vehicle speed sensor in addition to the GPS 12.

TVチューナ処理部14は、地上デジタル放送等の放送信号を受信し、映像および音声を再生する処理を行う。ラジオチューナ処理部16は、ラジオ放送の信号を受信し、音声を再生する処理を行う。AV処理部18は、圧縮されてハードディスク装置70に記憶されている音楽データや映像データを読み出して再生する処理を行う。なお、音楽データや映像データは、ディスク読取装置(図示せず)を用いてCDやDVDから読み取ったものを用いたり、ネットワーク経由で受信したものを用いるようにしてもよい。また、本実施形態では、TVチューナ処理部14、ラジオチューナ処理部16、AV処理部18のそれぞれから出力される各種の音声や音楽をまとめて「オーディオ音」として説明を行うものとする。   The TV tuner processing unit 14 receives a broadcast signal such as terrestrial digital broadcast and performs processing for reproducing video and audio. The radio tuner processing unit 16 receives radio broadcast signals and performs processing for reproducing sound. The AV processing unit 18 performs a process of reading and reproducing music data and video data that are compressed and stored in the hard disk device 70. Note that music data and video data may be read from a CD or DVD using a disk reader (not shown), or may be received via a network. In the present embodiment, various audio and music output from each of the TV tuner processing unit 14, the radio tuner processing unit 16, and the AV processing unit 18 are collectively described as “audio sounds”.

操作部20は、利用者による各種操作を受け付けるためのものであり、各種のスイッチや操作つまみ等が備わっている。入力制御部22は、操作部20の操作状態を監視し、利用者による入力内容を検出する。   The operation unit 20 is for receiving various operations by the user, and includes various switches and operation knobs. The input control unit 22 monitors the operation state of the operation unit 20 and detects the content input by the user.

表示処理部24は、各種の操作画面や入力画面等を表示する映像信号を出力して表示装置26にこれらの画面を表示するとともに、TVチューナ処理部14によって受信した放送信号に対応する映像画面やAV処理部18によって再生した映像画面等を表示する映像信号を出力して表示装置26にこれらの画面を表示する。表示装置26は、運転席と助手席の中央前方に設置されており、例えば液晶表示装置(LCD)を用いて構成されている。   The display processing unit 24 outputs video signals for displaying various operation screens, input screens, and the like to display these screens on the display device 26, and also displays a video screen corresponding to the broadcast signal received by the TV tuner processing unit 14. In addition, a video signal for displaying a video screen reproduced by the AV processing unit 18 is output and the screen is displayed on the display device 26. The display device 26 is installed in front of the center of the driver seat and the passenger seat, and is configured using, for example, a liquid crystal display device (LCD).

音声認識処理部30は、マイクロホン32によって集音される利用者の発話による音声に対して、音声認識辞書に格納された認識候補となる複数の認識ワードのそれぞれと比較することにより、音声認識処理を行う。本実施形態では、利用者が発声する音声を常時集音し、集音した音声の先頭部分から発話が終了した時点までの音声を対象として音声認識処理を行っている。   The speech recognition processing unit 30 compares the speech uttered by the user collected by the microphone 32 with each of a plurality of recognition words that are recognition candidates stored in the speech recognition dictionary, thereby performing speech recognition processing. I do. In the present embodiment, the speech uttered by the user is always collected, and the speech recognition processing is performed on the speech from the beginning of the collected speech to the time when the utterance is completed.

例えば、利用者が「もう一回」と発声し、この内容を音声認識処理を行って認識する場合を考えると、最初に「も」と発生した時点では「も」と認識ワード「もう一回」との間の相違が大きいため、音声認識処理に失敗することになる。同様に、「もう」、「もうい」、「もういっか」などと発声した時点でもこれらと認識ワード「もう一回」との間の相違が大きいため、音声認識処理に失敗する。そして、「もう一回」と発声すると、比較対象となる認識ワード「もう一回」との間の相違が小さくなるため、音声認識処理に成功する。   For example, when the user utters “one more time” and recognizes this content by performing voice recognition processing, the first word “m” is recognized as “m” and the recognition word “one more time”. Therefore, the speech recognition process fails. Similarly, the voice recognition process fails because the difference between these words and the recognition word “one more time” is large even when “other”, “other”, “other”, etc. are spoken. Then, when saying “another time”, the difference from the recognition word “another time” to be compared is reduced, so that the speech recognition process is successful.

このような処理を行うために、「ディスタンス」と「スコア」の概念が導入されている。ディスタンスは、比較対象としての音声と認識ワードとの類似距離を示す。例えば、図2に示すように、ディスタンスの最大値は最も大きい類似距離として「1000」に設定されている。スコアSは、実際の入力音声と認識ワード「もう一回」との類似距離を示す。上述したように、利用者が「もう一回」と発声する場合を例にとると、発声を開始した時点でのスコアは1000であり、発声が進行するにしたがって、入力音声のスコアが次第に低下する。そして、発声が終了した時点での入力音声のスコアが所定のしきい値Th未満になると、その入力音声の内容が認識ワードと一致したものとする認識結果が得られる。一般には、複数の認識ワードのそれぞれを対象にして同様の処理が並行して行われ、最終的に一つの認識ワードが認識結果として抽出される。なお、発声が終了した時点での入力音声のスコアが所定のしきい値Th未満にならない場合(入力音声に近い認識ワードが存在しない場合)には音声認識処理に失敗したことになり、再度の音声入力を促す等の処理が行われる。   In order to perform such processing, the concepts of “distance” and “score” have been introduced. The distance indicates a similar distance between the speech as a comparison target and the recognition word. For example, as shown in FIG. 2, the maximum distance is set to “1000” as the largest similarity distance. The score S indicates the similarity distance between the actual input voice and the recognition word “one more time”. As described above, taking the case where the user utters “another time” as an example, the score at the time of starting utterance is 1000, and as the utterance progresses, the score of the input speech gradually decreases To do. Then, when the score of the input voice at the time when the utterance ends is less than the predetermined threshold Th, a recognition result is obtained that the content of the input voice matches the recognition word. In general, the same processing is performed in parallel for each of a plurality of recognition words, and finally one recognition word is extracted as a recognition result. When the score of the input voice at the time when the utterance is finished does not become less than the predetermined threshold Th (when there is no recognition word close to the input voice), it means that the voice recognition process has failed. Processing such as prompting voice input is performed.

ところで、音声認識辞書に格納された認識ワードと同じ内容の音声を利用者が発声する場合を考えると、最終的なスコアSは小さな値となるはずであり、しきい値Thをある程度小さく設定しても、利用者が発声した音声の内容を認識することができるはずである。しかし、実際には、利用者が発声した音声とともに、ロードノイズや風切音、雨音あるいはオーディオ音なども同時に集音されるため、利用者が発声した音声の最終的なスコアSは静かな環境下で集音したときほど小さな値にはならない。この点を考慮して、音声認識処理の成功の成否を判定するためのしきい値Thは、あまり小さな値に設定することはできない。裏を返せば、このようにして設定されたしきい値Thを用いて音声認識処理を行うものとすれば、音声認識処理に成功した場合であって、しきい値ThとスコアSとの差が小さい場合には、利用者の周囲がロードノイズ、風切音、雨音、オーディオ音などが大きな環境であり、しきい値ThとスコアSとの差が大きい場合には、利用者の周囲がロードノイズ、風切音、雨音、オーディオ音などが小さく静かな環境であるといえる。   By the way, considering the case where the user utters speech having the same content as the recognition word stored in the speech recognition dictionary, the final score S should be a small value, and the threshold value Th is set to be somewhat small. However, it should be possible to recognize the content of the voice uttered by the user. However, in practice, road noise, wind noise, rain sound, audio sound, and the like are simultaneously collected along with the voice uttered by the user, so that the final score S of the voice uttered by the user is quiet. The value is not as small as when the sound is collected in the environment. Considering this point, the threshold value Th for determining success or failure of the speech recognition process cannot be set to a very small value. In other words, if the voice recognition process is performed using the threshold value Th set in this way, the voice recognition process is successful and the difference between the threshold value Th and the score S is the same. Is small, road noise, wind noise, rain sound, audio sound, etc. are large in the environment, and when the difference between the threshold Th and the score S is large, the user's surroundings However, it can be said that it is a quiet environment where road noise, wind noise, rain sound, audio sound, etc. are small.

なお、トークスイッチ等を利用者自身が操作し、発話の開始と終了を利用者が指示し、その間の入力音声を認識対象として音声認識処理を行うようにしてもよい。   Note that the user may operate the talk switch or the like, and the user may instruct the start and end of the utterance, and the speech recognition process may be performed on the input speech during that time.

デジタル−アナログ変換器40は、ナビゲーション処理部10、TVチューナ処理部14、ラジオチューナ処理部16、AV処理部18のそれぞれの処理によって生成される案内音声やオーディオ音(デジタルデータ)をアナログの音声信号に変換してスピーカ42から出力する。なお、実際には、デジタル−アナログ変換器40とスピーカ42の間には信号を増幅する増幅器が接続されているが、図1ではこの増幅器は省略されている。また、デジタル−アナログ変換器40とスピーカ42との組合せは再生チャンネル数分備わっているが、図1では一組のみが図示されている。   The digital-analog converter 40 converts the guidance voice and audio sound (digital data) generated by the navigation processing unit 10, the TV tuner processing unit 14, the radio tuner processing unit 16, and the AV processing unit 18 into analog audio. It converts into a signal and outputs from the speaker 42. In practice, an amplifier for amplifying a signal is connected between the digital-analog converter 40 and the speaker 42, but this amplifier is omitted in FIG. Further, the combination of the digital-analog converter 40 and the speaker 42 is provided for the number of reproduction channels, but only one set is shown in FIG.

制御部50は、車載装置1の全体を制御するためのものであり、ROMやRAMなどに格納された所定のプログラムをCPUで実行することにより実現される。この制御部50は、聞き逃し想到ワード判定部51、重要ポイント判定部52、周辺状況判定部53、オーディオ音量変更部54、案内音量変更部55、案内出力指示部56を有する。   The control part 50 is for controlling the whole vehicle-mounted apparatus 1, and is implement | achieved by running the predetermined program stored in ROM, RAM, etc. by CPU. The control unit 50 includes a missed and missed word determination unit 51, an important point determination unit 52, a surrounding situation determination unit 53, an audio volume change unit 54, a guidance volume change unit 55, and a guidance output instruction unit 56.

聞き逃し想到ワード判定部51は、音声認識処理部30による音声認識処理によって得られた音声内容が聞き逃し想到ワードに一致するか否かを判定する。例えば、聞き逃し想到ワードとして、予め複数の特定ワードが設定されており、これら複数の特定ワードのいずれか一つと一致するか否かが判定される。具体的には、「なに」、「どこ」、「もう一回」などが特定ワードに設定されている。なお、当然ながら、これら複数の特定ワードは、音声認識処理部30による音声認識処理で用いられる音声認識辞書に格納された認識候補となる複数の認識ワードに含ませておく必要がある。   The missed missed word determination unit 51 determines whether or not the voice content obtained by the voice recognition processing by the voice recognition processing unit 30 matches the missed guessed word. For example, a plurality of specific words are set in advance as missed thinking words, and it is determined whether or not they match any one of the plurality of specific words. Specifically, “what”, “where”, “one more time”, etc. are set as specific words. Needless to say, the plurality of specific words need to be included in a plurality of recognition words that are recognition candidates stored in the speech recognition dictionary used in the speech recognition processing by the speech recognition processing unit 30.

重要ポイント判定部52は、案内音声の出力地点が重要ポイントに該当するか否かを判定する。本実施形態では、ナビゲーション処理部10による経路誘導動作中に出力される案内音声に着目しており、この案内音声が出力される場所として設定されている走行経路上の場所が重要ポイントに該当するか否かが判定される。また、この重要ポイントには、利用者にとって重要度が高い案内音声(第1の案内音声)を聞き逃さずに確実に聞くことを期待している場所であって、例えば、次の分岐点で車両が右左折することを案内音声によって利用者に通知する場所や、走行車線の変更(レーン案内)を利用者に通知する場所などが含まれる。一方、次の分岐点について直進することを利用者に通知する場所や、しばらく道なりに走行することを利用者に知らせる場所などは、これらの利用者にとって重要度の低い案内音声(第2の案内音声)を聞き逃してもそれ程支障はないと考えられるため、これらの場所は重要ポイントには含まれない。   The important point determination unit 52 determines whether or not the output point of the guidance voice corresponds to the important point. In the present embodiment, attention is paid to the guidance voice output during the route guidance operation by the navigation processing unit 10, and the place on the travel route set as the place where the guidance voice is output corresponds to the important point. It is determined whether or not. The important point is a place where the user is expected to listen to the guidance voice (first guidance voice) having high importance for the user without missing it. This includes a location where the user is notified by the guidance voice that the vehicle is turning left or right, a location where the user is notified of a change in lane (lane guidance), and the like. On the other hand, the location where the user is notified that he / she is going straight ahead at the next branch point, the location where the user is informed that he / she will travel for a while, etc., are used as guidance voices that are less important for these users (second These places are not included as important points because it is considered that there is no problem even if you miss the guidance voice).

周辺状況判定部53は、案内音声を聞いた利用者の周辺状況(周辺環境)を判定する。上述したように、案内音声が聞き取りにくい状況にあるか否は、音声認識処理時のしきい値ThとスコアSとの関係に基づいて判定するこができる。具体的には、音声認識処理部30による音声認識処理が成功したが、しきい値ThとスコアSとの差が所定値(例えば30)未満の場合には、車両のロードノイズや風切り音、雨音などが大きい、あるいは、出力されているオーディオ音が大きいなどの理由から、案内音声が聞き取りにくい状況が生じていると判定される。反対に、しきい値ThとスコアSとの差が所定値(例えば30)以上の場合には、車両のロードノイズや風切り音、雨音などが小さく、出力されているオーディオ音も小さい(あるいは出力されていない)などの理由から、案内音声が聞き取りやすい状況になっていると判定される。   The surrounding situation determination unit 53 determines the surrounding situation (surrounding environment) of the user who has heard the guidance voice. As described above, whether or not the guidance voice is difficult to hear can be determined based on the relationship between the threshold value Th and the score S during the voice recognition process. Specifically, when the voice recognition processing by the voice recognition processing unit 30 is successful, but the difference between the threshold value Th and the score S is less than a predetermined value (for example, 30), road noise and wind noise of the vehicle, It is determined that there is a situation in which it is difficult to hear the guidance voice due to a loud rain sound or a large output audio sound. On the other hand, when the difference between the threshold value Th and the score S is a predetermined value (for example, 30) or more, the road noise, wind noise, rain sound, etc. of the vehicle are small, and the output audio sound is also small (or For example, it is determined that the guidance voice is easy to hear.

オーディオ音量変更部54は、オーディオ音を出力しているTVチューナ処理部14、ラジオチューナ処理部16、AV処理部18のいずれかに対して、オーディオ音の音量低下を指示する。案内音量変更部55は、ナビゲーション処理部10に対して、案内音声の音量増加を指示する。案内出力指示部56は、ナビゲーション処理部10に対して、案内音声の出力を指示する。   The audio volume changing unit 54 instructs any one of the TV tuner processing unit 14, the radio tuner processing unit 16, and the AV processing unit 18 that output the audio sound to lower the volume of the audio sound. The guidance volume changing unit 55 instructs the navigation processing unit 10 to increase the volume of the guidance voice. The guidance output instruction unit 56 instructs the navigation processing unit 10 to output guidance voice.

上述したナビゲーション処理部10が案内音声出力手段に、音声認識処理部30が音声認識処理手段に、オーディオ音量変更部54、案内音量変更部55、案内出力指示部56が案内出力指示手段に、TVチューナ処理部14、ラジオチューナ処理部16、AV処理部18がオーディオ手段にそれぞれ対応する。   The navigation processing unit 10 described above serves as a guidance voice output unit, the voice recognition processing unit 30 serves as a voice recognition processing unit, an audio volume change unit 54, a guidance volume change unit 55, and a guidance output instruction unit 56 serve as a guidance output instruction unit. The tuner processing unit 14, the radio tuner processing unit 16, and the AV processing unit 18 correspond to audio means, respectively.

本実施形態の車載装置1はこのような構成を有しており、次に、その動作を説明する。図3は、ナビゲーション処理部10から案内音声が出力された後に、利用者によって案内音声の出力が音声によって指示された場合の動作手順を示す流れ図である。   The in-vehicle device 1 of the present embodiment has such a configuration, and the operation thereof will be described next. FIG. 3 is a flowchart showing an operation procedure when the user instructs the output of the guidance voice by the voice after the guidance voice is outputted from the navigation processing unit 10.

まず、音声認識処理部30は、利用者が発声した音声に対して音声認識処理が成功したか否かを判定する(ステップ100)。成功に至らない場合(音声の内容が認識できなかった場合)には否定判断が行われ、この判定が繰り返される。   First, the voice recognition processing unit 30 determines whether or not the voice recognition process is successful for the voice uttered by the user (step 100). If it does not succeed (when the content of the voice cannot be recognized), a negative determination is made, and this determination is repeated.

また、音声認識が成功した場合(音声の内容が認識できた場合)にはステップ100の判定において肯定判断が行われる。次に、聞き逃し想到ワード判定部51は、音声認識結果としての音声の内容が聞き逃し想到ワードに一致するか否かを判定する(ステップ102)。例えば、利用者が発声した音声が「なに」、「どこ」、「もう一回」などの特定ワードに一致する場合には肯定判断が行われる。   Further, when the voice recognition is successful (when the contents of the voice can be recognized), an affirmative determination is made in the determination of step 100. Next, the missed thinking word determination unit 51 determines whether or not the content of the speech as a speech recognition result matches the missed thinking word (step 102). For example, if the voice uttered by the user matches a specific word such as “what”, “where”, “again”, an affirmative determination is made.

次に、重要ポイント判定部52は、直前にナビゲーション処理部10によって出力された案内音声が重要ポイントに関するものであるか否かを判定する(ステップ104)。重要ポイントに関するものである場合には肯定判断が行われる。   Next, the important point determination unit 52 determines whether or not the guidance voice output immediately before by the navigation processing unit 10 relates to the important point (step 104). An affirmative judgment is made when it is about an important point.

次に、オーディオ音量変更部54は、TVチューナ処理部14等に指示を送ってオーディオ音の音量を低下させ、案内音量変更部55は、ナビゲーション処理部10に指示を送って案内音声の音量を増加させた後、案内出力指示部56は、ナビゲーション処理部10に指示を送って案内音声を再出力させる(ステップ106)。   Next, the audio volume changing unit 54 sends an instruction to the TV tuner processing unit 14 or the like to lower the volume of the audio sound, and the guidance volume changing unit 55 sends an instruction to the navigation processing unit 10 to increase the volume of the guidance sound. After the increase, the guidance output instruction unit 56 sends an instruction to the navigation processing unit 10 to re-output the guidance voice (step 106).

案内音声の再出力が終了すると、オーディオ音量変更部54は、TVチューナ処理部14等に指示を送ってオーディオ音の音量を元に戻し、案内音量変更部55は、ナビゲーション処理部10に指示を送って案内音声の音量を元に戻す(ステップ108)。なお、TVチューナ処理部14等からオーディオ音が出力されていない場合にはステップ106、108におけるオーディオ音の音量低下等の指示は省略される。このようにして、一連の案内音声の再出力動作が終了する。   When the re-output of the guidance voice is finished, the audio volume changing unit 54 sends an instruction to the TV tuner processing unit 14 and the like to restore the volume of the audio sound, and the guidance volume changing unit 55 gives an instruction to the navigation processing unit 10. The volume of the guidance voice is sent back to the original level (step 108). Note that if no audio sound is output from the TV tuner processing unit 14 or the like, an instruction to decrease the volume of the audio sound in steps 106 and 108 is omitted. In this way, a series of guidance voice re-output operations are completed.

また、利用者が発声した音声が「なに」、「どこ」、「もう一回」などの特定ワードに一致しない場合、例えば利用者が「ルート案内」、「ガイダンス」などの音声案内の出力を指示する音声を発声した場合にはステップ102の判定において否定判断が行われる。   In addition, when the voice uttered by the user does not match a specific word such as “what”, “where”, “again”, for example, the user outputs voice guidance such as “route guidance”, “guidance”, etc. When a voice instructing is uttered, a negative determination is made in the determination in step 102.

次に、周辺状況判定部53は、案内音声が聞き取りにくい状況が生じているか否か、具体的には、音声認識処理が成功した際の認識ワードに対応する音声認識処理時のしきい値ThとスコアSとの差が30未満(Th−S<30)か否かを判定する(ステップ110)。30未満の場合には肯定判断が行われ、ステップ104に移行して重要ポイントに関する判定動作以降が繰り返される。   Next, the surrounding state determination unit 53 determines whether or not a situation in which the guidance voice is difficult to hear has occurred, specifically, the threshold value Th during the voice recognition process corresponding to the recognition word when the voice recognition process is successful. It is determined whether or not the difference between the score S and the score S is less than 30 (Th-S <30) (step 110). If it is less than 30, an affirmative determination is made, the process proceeds to step 104, and the determination operation relating to the important point is repeated.

また、出力された案内音声が重要ポイントに関するものではなくステップ104の判定において否定判断が行われたとき、あるいは、音声認識処理時のしきい値ThとスコアSとの差が30以上であってステップ110の判定において否定判断が行われると、次に、案内出力指示部56は、ナビゲーション処理部10に指示を送って、前回と同じ条件で(オーディオ音の音量低下や案内音声の音量増加を行うことなく)案内音声を再出力させる(ステップ112)。このようにして、一連の案内音声の再出力動作が終了する。なお、ステップ112では直前に出力された案内音声を再出力するようにしたが、直前の案内音声の出力時点から時間が経過している場合などにおいては、同じ案内音声を再出力するのではなく、別の内容を有する案内音声を出力するようにしてもよい。   In addition, when the guidance voice that is output is not related to an important point and a negative determination is made in the determination of step 104, or the difference between the threshold Th and the score S during the voice recognition process is 30 or more If a negative determination is made in the determination of step 110, next, the guidance output instruction unit 56 sends an instruction to the navigation processing unit 10 to reduce the volume of the audio sound or increase the volume of the guidance voice under the same conditions as the previous time. The guidance voice is output again (without performing it) (step 112). In this way, a series of guidance voice re-output operations are completed. In step 112, the guidance voice output immediately before is re-outputted. However, when the time has passed since the output time of the previous guidance voice, the same guidance voice is not output again. A guidance voice having other contents may be output.

利用者は、出力された音声案内の内容を聞き逃した場合であって、もう一度聞きたい場合には、「なに」、「どこ」、「もう一回」などの聞き逃しを示す特定ワードの音声を発声することが多い。したがって、本実施形態の車載装置1では、このような特定ワードを予め想定して音声認識結果との間で一致/不一致を判定することにより、案内音声の再出力を希望する利用者の意思を反映させた上で、聞き逃した案内音声の再出力を確実に実施することが可能となる。   If the user misses the content of the voice guidance that has been output, and wants to hear it again, a specific word indicating missed listening such as “what”, “where”, “one more time”, etc. I often speak. Therefore, in the in-vehicle device 1 of the present embodiment, the intention of the user who desires to re-output the guidance voice is determined by determining whether the specific word is preliminarily determined to match / mismatch with the voice recognition result. It is possible to reliably output the missed guidance voice after reflecting the information.

また、案内音声の音量増加および/またはオーディオ音の音量低下を行った上で案内音声の再出力を行うことにより、案内音声の内容を利用者に確実に伝えることができ、再度の聞き逃しを防止することが可能となる。   In addition, by increasing the volume of the guidance voice and / or reducing the volume of the audio sound and then re-outputting the guidance voice, the contents of the guidance voice can be reliably communicated to the user, so that the user cannot miss it again. It becomes possible to prevent.

また、重要度の高い案内音声が再生対象となった場合について、案内音声の音量増加および/またはオーディオ音の音量低下を行うことにより、重要な案内音声についての再度の聞き逃しを確実に防止することが可能となる。   In addition, when guidance voices with high importance are targeted for playback, the volume of guidance voices is increased and / or the volume of audio sounds is reduced to ensure that important guidance voices are not missed again. It becomes possible.

また、車両走行時は、ロードノイズや風切音、雨音などの影響により案内音声の内容を聞き逃す機会が増えると考えられるが、このような環境においても、案内音声の再出力を希望する利用者の意思を反映させた上で、聞き逃した音声の再出力を確実に実施することが可能となる。   In addition, when driving a vehicle, it is thought that there will be more opportunities to miss the contents of the guidance voice due to the effects of road noise, wind noise, rain noise, etc. In such an environment, we would like to output the guidance voice again. It is possible to reliably re-output the missed voice after reflecting the intention of the user.

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、図3のステップ104において重要ポイントに関する判定を行ったが、この判定を省略し、重要ポイントに関するものであるか否かにかかわらず、次のステップ106の動作に移行するようにしてもよい。   In addition, this invention is not limited to the said embodiment, A various deformation | transformation implementation is possible within the range of the summary of this invention. For example, in the above-described embodiment, the determination regarding the important point is performed in step 104 in FIG. 3, but this determination is omitted, and the operation proceeds to the next step 106 regardless of whether the determination is regarding the important point. You may make it do.

また、上述した実施形態では、ナビゲーション動作中に出力された案内音声を利用者が聞き逃した場合について説明したが、ナビゲーション動作以外において出力される音声(例えば、AV処理部18等の操作内容を示す案内音声や、メール等を受信する動作において受信メールの内容を読み上げる音声など)を再出力する場合に本発明を適用することができる。また、車両に搭載された場合に限定されず、車両の外部において室内あるいは室外で使用される装置から出力される音声について再出力を行う場合についても本発明を適用することができる。   In the above-described embodiment, the case where the user misses the guidance voice output during the navigation operation has been described. However, the voice output other than the navigation operation (for example, the content of the operation of the AV processing unit 18 or the like). The present invention can be applied to a case where a guidance voice to be displayed or a voice for reading out the contents of a received mail in an operation of receiving a mail or the like is output again. Further, the present invention is not limited to the case of being mounted on a vehicle, and the present invention can also be applied to the case of re-outputting sound output from a device used indoors or outdoors outside the vehicle.

上述したように、本発明によれば、聞き逃したことを示す特定ワードを予め想定して音声認識結果との間で一致/不一致を判定することにより、案内音声の再出力を希望する利用者の意思を反映させた上で、聞き逃した案内音声の再出力を確実に実施することが可能となる。   As described above, according to the present invention, a user who wishes to re-output the guidance voice by presuming a specific word indicating that he / she has missed and determining whether the voice recognition result matches or does not match. It is possible to reliably output the guidance voice that has been missed after reflecting the intention of

1 車載装置
10 ナビゲーション処理部
14 TVチューナ処理部
16 ラジオチューナ処理部
18 AV処理部
30 音声認識処理部
32 マイクロホン
51 聞き逃し想到ワード判定部
52 重要ポイント判定部
53 周辺状況判定部
54 オーディオ音量変更部
55 案内音量変更部
56 案内出力指示部
DESCRIPTION OF SYMBOLS 1 In-vehicle apparatus 10 Navigation processing part 14 TV tuner processing part 16 Radio tuner processing part 18 AV processing part 30 Speech recognition processing part 32 Microphone 51 Missed listening word determination part 52 Critical point determination part 53 Peripheral condition determination part 54 Audio volume change part 55 Guide volume change unit 56 Guide output instruction unit

Claims (6)

案内音声を出力する案内音声出力手段と、
利用者によって発声された音声に対して音声認識処理を行う音声認識処理手段と、
前記音声認識処理手段による認識結果に基づいて、利用者によって発声された音声の内容が、直前に出力された前記案内音声を聞き逃したことを示す特定ワードを示すものである場合に、前記案内音声出力手段に対して、直前に出力された前記案内音声の再出力を指示する案内出力指示手段と、
を備えることを特徴とする音声出力装置。
Guidance voice output means for outputting guidance voice;
Speech recognition processing means for performing speech recognition processing on speech uttered by a user;
When the content of the voice uttered by the user based on the recognition result by the voice recognition processing means indicates a specific word indicating that the guidance voice output immediately before is missed, the guidance Guidance output instruction means for instructing the voice output means to re-output the guidance voice output immediately before;
An audio output device comprising:
前記特定ワードは、前記案内音声を聞き逃した利用者が発声するであろう音声を想定して設定された複数の特定ワード候補の中の一つであることを特徴とする請求項1に記載の音声出力装置。   2. The specific word is one of a plurality of specific word candidates set on the assumption of a voice that a user who missed the guidance voice will utter. Voice output device. 前記案内音声出力手段は、前記案内音声を出力する際の音量が変更可能であり、
前記案内出力指示手段は、前記案内音声の再出力とともに音量の増加を前記案内音声出力手段に対して指示することを特徴とする請求項1または2に記載の音声出力装置。
The guidance voice output means can change a volume when outputting the guidance voice,
The voice output apparatus according to claim 1 or 2, wherein the guidance output instruction means instructs the guidance voice output means to increase the volume together with the re-output of the guidance voice.
利用者が、前記案内音声と同時に聴取可能なオーディオ音を出力するオーディオ手段をさらに備え、
前記案内出力指示手段は、前記案内音声の再出力を前記案内音声出力手段に対して指示するとともに、オーディオ音の音量低下を前記オーディオ手段に対して指示することを特徴とする請求項1〜3のいずれか一項に記載の音声出力装置。
The user further comprises audio means for outputting audio sound that can be heard simultaneously with the guidance voice,
4. The guidance output instruction means instructs the guidance voice output means to re-output the guidance voice and also instructs the audio means to lower the volume of audio sound. The audio output device according to any one of the above.
前記案内音声出力手段によって出力される前記案内音声には、重要度が高い第1の案内音声と、前記第1の案内音声よりも重要度が低い第2の案内音声が含まれており、
前記第1の案内音声の再出力を行う際に、前記第1の案内音声の音量増加および/または前記オーディオ音の音量低下を行い、前記第2の案内音声の再出力を行う際に、前記第2の音声の音量増加および前記オーディオ音の音量低下を行わないことを特徴とする請求項3または4に記載の音声出力装置。
The guidance voice output by the guidance voice output means includes a first guidance voice having a high importance level and a second guidance voice having a lower importance level than the first guidance voice level.
When re-outputting the first guidance voice, increasing the volume of the first guidance voice and / or decreasing the volume of the audio sound, and re-outputting the second guidance voice, 5. The audio output device according to claim 3, wherein the second audio volume is not increased and the audio sound volume is not decreased. 6.
車両に搭載されており、
車室内において前記案内音声出力手段による前記案内音声の出力が行われ、
利用者は、車室内の座席に着座していることを特徴とする請求項1〜5のいずれか一項に記載の音声出力装置。
Mounted on the vehicle,
The guidance voice is output by the guidance voice output means in the passenger compartment,
The audio output device according to any one of claims 1 to 5, wherein the user is seated in a seat in the vehicle interior.
JP2016230371A 2016-11-28 2016-11-28 Audio output device Active JP6741387B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016230371A JP6741387B2 (en) 2016-11-28 2016-11-28 Audio output device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016230371A JP6741387B2 (en) 2016-11-28 2016-11-28 Audio output device

Publications (2)

Publication Number Publication Date
JP2018087871A true JP2018087871A (en) 2018-06-07
JP6741387B2 JP6741387B2 (en) 2020-08-19

Family

ID=62493631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016230371A Active JP6741387B2 (en) 2016-11-28 2016-11-28 Audio output device

Country Status (1)

Country Link
JP (1) JP6741387B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020121638A1 (en) * 2018-12-13 2020-06-18 ソニー株式会社 Information processing device, information processing system, information processing method, and program
JPWO2021192522A1 (en) * 2020-03-27 2021-09-30
CN116034426A (en) * 2020-08-12 2023-04-28 谷歌有限责任公司 Interactive voice navigation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10105192A (en) * 1996-10-03 1998-04-24 Toyota Motor Corp Speech recognition device for vehicle
JP2002116045A (en) * 2000-10-11 2002-04-19 Clarion Co Ltd Sound volume controller
JP2002213985A (en) * 2001-01-15 2002-07-31 Matsushita Electric Ind Co Ltd Audio device and navigation device
JP2004271249A (en) * 2003-03-06 2004-09-30 Toyota Motor Corp Voice guide device
JP2006038705A (en) * 2004-07-28 2006-02-09 Denso Corp Voice output device
JP2007285976A (en) * 2006-04-19 2007-11-01 Fujitsu Ltd Voice guidance apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10105192A (en) * 1996-10-03 1998-04-24 Toyota Motor Corp Speech recognition device for vehicle
JP2002116045A (en) * 2000-10-11 2002-04-19 Clarion Co Ltd Sound volume controller
JP2002213985A (en) * 2001-01-15 2002-07-31 Matsushita Electric Ind Co Ltd Audio device and navigation device
JP2004271249A (en) * 2003-03-06 2004-09-30 Toyota Motor Corp Voice guide device
JP2006038705A (en) * 2004-07-28 2006-02-09 Denso Corp Voice output device
JP2007285976A (en) * 2006-04-19 2007-11-01 Fujitsu Ltd Voice guidance apparatus

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020121638A1 (en) * 2018-12-13 2020-06-18 ソニー株式会社 Information processing device, information processing system, information processing method, and program
US12002460B2 (en) 2018-12-13 2024-06-04 Sony Group Corporation Information processing device, information processing system, and information processing method, and program
JPWO2021192522A1 (en) * 2020-03-27 2021-09-30
WO2021192522A1 (en) 2020-03-27 2021-09-30 パイオニア株式会社 Information provision device, information provision method and information provision program
EP4130673A4 (en) * 2020-03-27 2024-04-10 Pioneer Corporation Information provision device, information provision method and information provision program
CN116034426A (en) * 2020-08-12 2023-04-28 谷歌有限责任公司 Interactive voice navigation

Also Published As

Publication number Publication date
JP6741387B2 (en) 2020-08-19

Similar Documents

Publication Publication Date Title
JP5972372B2 (en) Car information system
JP5014662B2 (en) On-vehicle speech recognition apparatus and speech recognition method
US20110144901A1 (en) Method for Playing Voice Guidance and Navigation Device Using the Same
US20090306891A1 (en) Navigation device and method of controlling the same
JP6604151B2 (en) Speech recognition control system
JP4513610B2 (en) In-vehicle device and method for controlling in-vehicle device
JP3322140B2 (en) Voice guidance device for vehicles
US10747497B2 (en) Audio stream mixing system and method
JP2001116581A (en) Navigation system
JP6741387B2 (en) Audio output device
JP2009251388A (en) Native language utterance device
JP4285371B2 (en) Sound field control system
JP5181533B2 (en) Spoken dialogue device
KR101755308B1 (en) Sound recognition module, Navigation apparatus having the same and vehicle having the same
JP2010261886A (en) Voice guiding device
JP5037041B2 (en) On-vehicle voice recognition device and voice command registration method
JP4604360B2 (en) Information providing apparatus, information providing method, and information providing apparatus program
JP2018087870A (en) Voice output device
JP6349052B2 (en) In-vehicle device
JP4867624B2 (en) Audio output control device and vehicle navigation device
JPH1021049A (en) Voice synthesizer
JPH1028068A (en) Radio device
JP2011149852A (en) Navigation apparatus
US20230318727A1 (en) Vehicle and method of controlling the same
JPH07219582A (en) On-vehicle voice recognition device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200725

R150 Certificate of patent or registration of utility model

Ref document number: 6741387

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150