WO2011129335A1 - オペレーティングシステム及びオペレーティング方法 - Google Patents
オペレーティングシステム及びオペレーティング方法 Download PDFInfo
- Publication number
- WO2011129335A1 WO2011129335A1 PCT/JP2011/059096 JP2011059096W WO2011129335A1 WO 2011129335 A1 WO2011129335 A1 WO 2011129335A1 JP 2011059096 W JP2011059096 W JP 2011059096W WO 2011129335 A1 WO2011129335 A1 WO 2011129335A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- task
- domain
- word
- attribute
- read
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 8
- 230000009471 action Effects 0.000 claims description 21
- 238000011017 operating method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 abstract description 72
- 239000000284 extract Substances 0.000 abstract description 15
- 238000004458 analytical method Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3605—Destination input or retrieval
- G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Definitions
- the present invention relates to an operating system and an operating method, and more particularly to an operating system and an operating method for estimating a required task from information included in an utterance of a speaker.
- Patent Document 1 discloses a system in which a driver of a vehicle and an operator at an external center interact with each other, the external center recognizes the utterance of the driver, and displays display information desired by the driver on a display device of the vehicle. Has been.
- the present invention has been made in consideration of such circumstances, and an object of the present invention is to improve the convenience for the user and improve the accuracy of estimating the task required from the utterance. Is to provide.
- the present invention includes a request task estimation unit that estimates a candidate of a requested task from information included in the utterance of the first speaker, and the request task estimation unit includes a plurality of requests included in the utterance of the first speaker.
- a word is extracted, and the attribute associated with the word is read from a database in which one or more attributes are associated and stored for each word, and candidate tasks associated with the read attribute or attributes are read.
- the candidate domain of the task associated with the attribute is read out from the database storing one or more domains, and the read out domain for each word is counted for a plurality of words included in the utterance of the first speaker.
- This is an operating system that estimates a candidate for a task related to a domain with the largest number of totals as a candidate for a requested task.
- the requested task estimation unit extracts a plurality of words included in the utterance of the first speaker, and associates the word with the word from a database in which one or more attributes are associated with each word and stored.
- the first utterance is read out from the database storing the task candidate domain or domains associated with the retrieved attribute or attributes, and the task candidate domain associated with the attribute is read out from the database.
- the domain read for each word is aggregated, and the task candidate related to the domain with the largest number of aggregations is estimated as the required task candidate. Can be estimated.
- the “task candidates” in the present invention include, for example, services to users such as search, route guidance, navigation system operation, and device setting change as described later.
- the “task candidate” in the present invention includes, for example, each of search processes having different search conditions such as a search keyword as described later.
- the requested task estimation unit aggregates the scores according to the importance of the domain with respect to the domain read out for each word, and is requested a candidate for a task related to the domain with the highest total score. Can be estimated as a candidate for a task.
- the requested task estimation unit aggregates the scores according to the importance of the domain with respect to the words read out for each word, and determines the task candidates related to the domain with the highest total score. Since it is estimated as a required task candidate, the task candidate can be estimated with high accuracy according to the importance of the domain with respect to the word.
- an action task selection unit that selects a task to be performed from the requested task candidates estimated by the request task estimation unit based on information included in the utterance of the second speaker can be further provided.
- the requested task estimation unit estimates a candidate for a requested task from information included in the utterance of the first speaker, and the action task selection unit includes information included in the utterance of the second speaker. Based on the above, a task to be performed is selected according to the requested task candidate estimated by the requested task estimation unit. Therefore, the task is estimated from information included in the two utterances of the first speaker and the second speaker. Therefore, the time required for task estimation and the number of utterances can be reduced, the convenience for the user can be improved, and the accuracy of estimating the task required from the utterance can be improved.
- the action task selection unit extracts a plurality of words included in the utterance of the second speaker, and determines an attribute associated with the word from a database in which one or more attributes are associated with each word and stored.
- the domain of the task associated with the attribute is read from the database storing the domain or domains of the task associated with the read or read attribute or attributes, and is included in the utterance of the first speaker
- the domains read for each word can be aggregated, and the task related to the domain with the largest aggregation count can be selected as a task corresponding to the requested task.
- the action task selection unit extracts a plurality of words included in the utterance of the second speaker, and associates the word with the word from the database in which one or more attributes are associated with each word and stored.
- Read out the attribute read out the domain of the task associated with the attribute from the database storing the domain or domains of the task associated with the read out attribute or attributes, and utter the first speaker
- the domain read for each word is aggregated, and the task related to the domain with the largest number of aggregations is selected as the task corresponding to the requested task, so the task can be selected with higher accuracy. It can be carried out.
- the action task selection unit totals the scores according to the importance of the domains with respect to the words read out for each word, and the task related to the domain with the highest total score is the requested task. You can choose.
- the action task selection unit aggregates the scores according to the importance of the domains with respect to the words read for each word, and is requested to perform a task related to the domain with the highest total score. Therefore, the task can be selected with high accuracy according to the importance of the domain with respect to the word.
- the present invention includes a request task estimation step for estimating a required task from information included in the utterance of the first speaker, and the request task estimation step includes a plurality of requests included in the utterance of the first speaker. Extract a word, read an attribute associated with a word from a database in which one or more attributes are associated and stored for each word, and a single candidate task associated with the read one or more attributes Or, from a database in which a plurality of domains are stored, the domain of candidate tasks associated with the attribute is read, and for a plurality of words included in the utterance of the first speaker, the domains read for each word are aggregated, This is an operating method for estimating a candidate for a task related to a domain having the largest number of totals as a candidate for a requested task.
- the scores corresponding to the importance of the domain with respect to the word are totaled, and the candidate of the task related to the domain with the highest total score is requested. Can be estimated as a candidate for a task.
- it may further include an action task selection step of selecting a task to be performed from the requested task candidates estimated in the required task estimation step based on information included in the utterance of the second speaker.
- the requested task estimation step extracts a plurality of words included in the utterance of the first speaker, and extracts an attribute associated with the word from a database in which one or more attributes are associated with each word and stored.
- the domains read for each word can be aggregated, and the candidate for the task related to the domain with the largest aggregation can be estimated as the required task candidate.
- the action task selection step for the domain read out for each word, the score corresponding to the importance of the domain with respect to the word is totaled, and the task related to the domain with the highest total score is requested. Can be selected.
- the operating system and operating method of the present invention it is possible to improve the convenience for the user and improve the accuracy of estimating the task required from the utterance.
- FIG. 1 shows the structure of the operating system which concerns on 1st Embodiment. It is a flowchart which shows the process which extracts the domain of a request
- the operating system according to the first embodiment of the present invention includes an in-vehicle device 100, a center 200, and an operator terminal 300 connected by a communication line.
- the operating system according to the present embodiment allows a user who uses the vehicle-mounted device 100 mounted on a vehicle and an operator who operates the operator terminal 300 to interact with each other via the center 200, thereby performing tasks to be performed by the operator in response to a user request. It is for estimating.
- the in-vehicle device 100 includes a microphone 101, a voice analysis processing unit (DSR-C: Distributed Speech Recognition Client) 102, a GPS sensor 103, a position information processing unit 104, a screen output processing unit 105, and a display device 106.
- the microphone 101 detects an utterance of a user (first speaker) who is a driver in the vehicle, for example, and outputs the detection result to the acoustic analysis processing unit 102 as an audio signal.
- the acoustic analysis processing unit 102 compresses the size of the utterance data and transmits it to the center 200 in order to perform voice recognition processing at the center 200.
- the GPS sensor 103 receives a signal from a GPS (Global Positioning System) satellite by a GPS receiver, and measures the position of the vehicle from the difference of each signal.
- the in-vehicle device 100 includes navigation (not shown) that provides route guidance to the user based on the position information measured by the GPS sensor 103 and map data.
- the position information processing unit 104 collects position information detected by the GPS sensor 103 and transmits it to the center 200.
- the screen output processing unit 105 receives information transmitted from the center 200 and displays the information on the display device 106 for a user who is a driver.
- the center 200 includes a vocabulary DB 201, a speech recognition processing unit (DSR-S) 202, a keyword extraction processing unit 203, an action history DB 204, an operation history DB 205, a situation determination processing unit 206, an operation determination processing unit 207, and a synonym / related term DB 208.
- DSR-S speech recognition processing unit
- the vocabulary DB 201 is a recognition dictionary database that accumulates vocabularies to be subjected to speech recognition.
- the vocabulary DB 201 also includes paraphrasing vocabularies such as aliases and nicknames of the same word.
- the speech recognition processing unit (DSR-S: Distributed Speech Recognition Server) 202 dictates the user's utterance data transmitted from the acoustic analysis processing unit 102 of the in-vehicle device 100 and converts it into text.
- the voice recognition processing unit 202 recognizes the utterance data of the operator transmitted from the acoustic analysis processing unit 303 of the operator terminal 300 and converts it into text.
- the keyword extraction processing unit 203 extracts words as keywords necessary for task estimation from the utterance text converted into text by the speech recognition processing unit 202.
- the action history DB 204 stores information on action history such as past setting destinations, travel routes, and time zones of the driver who is a user of the vehicle on which the vehicle-mounted device 100 is mounted.
- information related to the past behavior history of the driver is stored in the behavior history DB 204 of the center 200, but information related to the past behavior history of the driver may be stored in a device outside the center 200.
- the operation history DB 205 stores information related to operation history such as past utterance contents and search conditions of a driver who is a user of the vehicle on which the in-vehicle device 100 is mounted.
- the situation determination processing unit 206 acquires the position information of the vehicle on which the in-vehicle device 100 is mounted, which is transmitted from the position information processing unit 104 of the in-vehicle device 100, and information related to the action history stored in the action history DB 204 and the operation history DB 205. The information related to the operation history stored in is acquired. The situation determination processing unit 206 also acquires the current time.
- the operation determination processing unit 207 combines the keyword extraction result of the keyword extraction processing unit 203 with the information about the user acquired by the situation determination processing unit 206, and uses the synonym / related word DB to store information about the synonym / related word.
- the candidate of the task requested by the user is estimated while referring to it. Further, the operation determination processing unit 207 selects and executes a task to be performed by the operator based on the estimation result of the task candidates.
- the estimation result of the operation determination processing unit 207 is output to the screen output processing unit 105 of the in-vehicle device 100 and the display device 301 of the operator terminal 300.
- the synonym / related word DB 208 stores information related to synonyms and related words that are semantically related to the vocabulary stored in the vocabulary DB 201. Note that the utterance data, the position information, and the estimation result from the center 200 from the in-vehicle device 100 are transmitted and received between the in-vehicle device 100 and the roadside infrastructure connected to the center 200 by short-range communication or the like.
- the facility information DB 210 stores information related to various facilities where vehicles equipped with the in-vehicle device 100 can stop.
- the operator terminal 300 includes a display device 301, a microphone 302, and an acoustic analysis processing unit (DSR-C: Distributed Speech Recognition Client) 303.
- the display device 301 is for receiving information transmitted from the operation determination processing unit 207 of the center 200 and displaying the information to the operator.
- the microphone 302 detects the utterance of the operator (second speaker) and outputs the detection result to the acoustic analysis processing unit 303 as an audio signal.
- the acoustic analysis processing unit 303 compresses the size of the utterance data and transmits it to the center 200 in order to perform voice recognition processing at the center 200.
- a method for estimating a task such as POI (Position Information) search from a driver's utterance will be mainly described.
- a driver of a vehicle equipped with the vehicle-mounted device 100 speaks to the microphone 101 as “Ikebukuro's XXX (convenience store name)?”.
- the acoustic analysis processing unit 102 extracts only the minimum information necessary for the voice recognition processing unit 202 of the center 200 to perform voice recognition, and transmits it to the voice recognition processing unit 202 of the center 200 as utterance data.
- the voice recognition processing unit 202 converts utterance data into text using dictation recognition, and uses it as utterance text. At this time, the speech recognition processing unit 202 refers to the vocabulary DB 201 and outputs a replacement of the paraphrase expression with the basic expression if the keyword includes a paraphrase expression such as a nickname or another name. In the above example, since the paraphrase expression is not included in the utterance, the basic expression is not replaced.
- the definitions of the paraphrase expression and the basic expression are not universal, and are appropriately determined according to the maintenance specifications of the vocabulary DB 201.
- the keyword extraction processing unit 203 parses the utterance text output from the speech recognition processing unit 202. In the syntax analysis, the keyword extraction processing unit 203 performs part-of-speech decomposition by morphological analysis and determination of the dependency relationship. The keyword extraction processing unit 203 transmits, to the operation determination processing unit 207, a part of speech decomposition result obtained by extracting only a part of speech word necessary for meaning determination.
- the part of speech necessary for discrimination of meaning means a part of speech that is highly likely to have a meaning for purpose estimation alone, such as a noun, a verb, an adjective, and an adjective verb. For example, in this example, “Ikebukuro” and “XXX (convenience store name)” are extracted.
- FIG. 2 S101
- the operation determination processing unit 207 compares the extracted keyword received from the keyword extraction processing unit 203 with a predetermined determination rule, and estimates a requested task requested by the driver.
- a plurality of word attributes are stored in the synonym / related word DB 208.
- a predetermined keyword is associated with the phrase attribute and stored in the synonym / related word DB 208.
- the operation determination processing unit 207 determines whether each extracted keyword is associated with the phrase attribute 1 table of the phrase attribute 1 (S102).
- Such phrase attributes can also be generated from the attribute information of each facility in the facility information DB 210.
- the operation determination processing unit 207 determines whether each extracted keyword is associated with the phrase attribute 2 table of the phrase attribute 2 (S103).
- the extracted keywords “Ikebukuro” and “XXX (convenience store name)” are associated with either the phrase attribute 1 table or the phrase attribute 2 table.
- the keyword is stored as a domain determination necessary phrase (S104).
- the operation determination processing unit 207 displays the keyword as a domain determination necessary phrase. If not, it is discarded (S105).
- the operation determination processing unit 207 determines which domain is the corresponding domain in the domain correspondence table for each extracted keyword, and applies from the domain list. Domains are extracted (S107, S108).
- the synonym / related word DB 208 stores a domain correspondence table as shown in FIG.
- the domain correspondence table task domains 1 to 13 corresponding to each of the phrase attribute 1 and the phrase attribute 2 are defined.
- the tasks of domains 1 to 13 are defined as shown in FIG.
- the operation determination processing unit 207 when the determination of the corresponding domain by the domain correspondence table is completed for all keywords (S107), estimates the requested task by counting the corresponding domains (S109). For example, in this example, the domain corresponding to both of the keywords “Ikebukuro” and “XXX (convenience store name)” is “POI search—POI undecided—convenience store” of domain 8. Therefore, the operation determination processing unit 207 estimates “POI (Position Information) search—POI undecided—convenience store” in the domain 8 as a task.
- the operation determination processing unit 207 transmits the task estimation result to the display device 301 of the operator terminal 300 and the screen output processing unit 105 of the in-vehicle device 100.
- the operator terminal 300 the operator utters to the microphone 302 based on the estimation result of the task, the same processing as the driver's utterance is performed, and processing for confirming the task as a task to be actually performed is performed.
- the driver speaks to the microphone 101, and the same processing as described above is performed. By repeating such processing, the task can be estimated accurately in a short time.
- the operation determination processing unit 207 of the center 200 extracts a plurality of words included in the utterances of the driver and the operator, and a synonym / association stored with one or more attributes associated with each word.
- a synonym / related word in which an attribute associated with a word is read from the word DB 208 and a candidate for a task associated with the read attribute or attributes or a domain or domains of a task to be actually performed is stored From the DB 208, the candidate of the task associated with the attribute or the domain of the task to be actually performed is read, and the domain read for each word is totaled for a plurality of words included in the utterances of the driver and the operator, and the most total Task candidates related to a large number of domains or tasks to be actually performed To estimate as a candidate and the task to be actually performed, it is possible to estimate the task more accurately.
- the operation determination processing unit 207 of the center 200 estimates a candidate for a task requested from information included in the utterance of the driver (user), and is based on information included in the utterance of the operator. Then, a task to be performed is selected according to the estimated task candidate. Therefore, the task is estimated from information included in the utterances of the driver and the operator. Therefore, the time required for task estimation and the number of utterances can be reduced, the convenience for the user can be improved, and the accuracy of estimating the task required from the utterance can be improved.
- the scores corresponding to the importance of the domain with respect to the word are totaled, and the candidate of the task and the task for which the task related to the domain with the highest total score is requested. Estimate as a candidate or a task to be actually performed.
- a driver of a vehicle equipped with the vehicle-mounted device 100 speaks to the microphone 101, “I want you to look for an A chain (convenience store name) in Ikebukuro?”.
- each word included in the utterance is recognized, and the attribute of each word is extracted from the database based on the recognition result (S201). Similar to the first embodiment, such phrase attributes can also be generated from the attribute information of each facility in the facility information DB 210.
- an element such as reliability may be set, and a word having a reliability less than a predetermined threshold may be excluded from the process, or the process may be weighted according to the reliability.
- the score of each domain is calculated using the attribute score calculation table of FIG. For example, as shown in FIG. 13, for domain 1 “POI search-POI specific-name”, score 3 for the word “Ikebukuro”, score 1 for the word “A chain”, and word “look for” On the other hand, the score is 0. As a result, the total value of the scores of domain 1 becomes 4. On the other hand, the domain 8 “POI search-POI undecided-convenience store” has a score of 3 for the word “Ikebukuro”, a score of 3 for the word “A chain”, and a score of 0 for the word “search”. As a result, the total value of the scores of domain 1 becomes 6.
- the operation determination processing unit 207 repeats the same processing for all domains until the end of the dialogue (S206), and sorts the domains in the order of the score (S207). For example, if the domain with the highest score is the domain 8 “POI search-POI undecided-convenience store”, the operation determination processing unit 207 is a task that requires the domain 8 “POI search-POI undecided-convenience store”. Estimate that the task is likely to be actually performed.
- the operation determination processing unit 207 of the center 200 extracts a plurality of words included in the utterances of the driver and the operator, and a synonym / related word DB 208 that stores one or more attributes associated with each word. From the synonym / related word DB 208 in which the attribute associated with the word is read out, the candidate for the task associated with the read attribute or attributes or the domain or domains of the task to be actually performed is stored , Read the candidate of the task associated with the attribute or the domain of the task to be actually performed, and for the plurality of words included in the utterances of the driver and the operator, for the domain read for each word, the importance of the domain to the word. The most score-accumulated domain To estimate the candidate or task to be actually performed the task as candidate and task to be actually performed the task of, it is possible to estimate the task more accurately.
- the present invention is not limited to the above-described embodiment, and it is needless to say that various modifications can be made without departing from the gist of the present invention.
- the description is centered on the mode of interaction between the driver using the vehicle-mounted device and the operator using the operator terminal.
- a part or all of the speakers are The present invention is applicable even when a fine manual operation is difficult due to some circumstances, and the effect is exhibited.
- the number of speakers is not limited to two, and tasks can be estimated based on utterances from three or more speakers.
- the operating system and operating method of the present invention it is possible to improve the convenience for the user and improve the accuracy of estimating the task required from the utterance.
- vehicle-mounted device 101 microphone 102 acoustic analysis processing unit (DSR-C) 103 GPS sensor 104 Position information processing unit 105 Screen output processing unit 106 Display device 200 Center 201 Vocabulary DB 202 Speech recognition processing unit (DSR-S) 203 keyword extraction processing unit 204 action history DB 205 Operation history DB 206 Situation Determination Processing Unit 207 Operation Determination Processing Unit 208 Synonym / Related Word DB 210 Facility information DB 300 Operator terminal 301 Display 302 Microphone 303 Acoustic analysis processing unit
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Navigation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
センター200の操作判断処理部207は、ドライバー及びオペレータの発話に含まれる単語を抽出し、単語ごとに属性が関連付けられて記憶された類語・関連語DB208から単語に関連付けられた属性を読み出し、読み出された属性に関連付けられたタスクの候補あるいは実際に行なわれるべきタスクのドメインが記憶された類語・関連語DB208から属性に関連付けられたタスクの候補等のドメインを読み出し、ドライバー等の発話に含まれる単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るものをタスクの候補及び実際に行なわれるべきタスクとして推定する。これにより高精度にタスクの推定を行うことができる。
Description
本発明はオペレーティングシステム及びオペレーティング方法に関し、発話者の発話に含まれる情報から要求されるタスクの推定を行うオペレーティングシステム及びオペレーティング方法に関するものである。
車両を運転中のドライバーは、運転操作に忙しいため、ナビゲーションシステムの目的地の設定等の運転操作以外の操作を行うことが困難である。そこで、ドライバーの発話を解析することにより、ドライバーが要求するタスクを推定し、ドライバーの操作を要さずに、当該タスクを実行する装置が提案されている。例えば、特許文献1には、車両のドライバーと外部センターのオペレータとが対話をし、外部センターがドライバーの発話を認識して、ドライバーが希望する表示情報を車両の表示装置に表示させるシステムが開示されている。
しかしながら、上記のような技術では、例えば、オペレータに目的地設定をさせる場合には、ドライバーが現在地、目的地及び要求するタスクを具体的にコマンドとしてオペレータに告げる必要があり、ドライバーはコマンドの水準でしか発話をすることができないため、ドライバーにとって利便性が低い。また、ドライバーの発話から要求されるタスクを推定する精度が低く、システムの動作の信頼性が低い。そのため、上記のような技術では、誤認識を極力防ぐために、限られた操作に関するコマンドとしての発話しか受け付けられず、限られた操作の補助のみを行なうシステムとなっている。
本発明は、このような事情を考慮してなされたものであり、その目的は、ユーザにとっての利便性を向上させ、発話から要求されるタスクを推定する精度を向上させたオペレーティングシステム及びオペレーティング方法を提供することにある。
本発明は、第1発話者の発話に含まれる情報から、要求されるタスクの候補の推定を行う要求タスク推定ユニットを備え、要求タスク推定ユニットは、第1発話者の発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、単語に関連付けられた前記属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの候補の単数又は複数のドメインが記憶されたデータベースから、属性に関連付けられたタスクの候補のドメインを読み出し、第1発話者の発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクの候補を要求されるタスクの候補として推定するオペレーティングシステムである。
この構成によれば、要求タスク推定ユニットは、第1発話者の発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの候補の単数又は複数のドメインが記憶されたデータベースから、属性に関連付けられたタスクの候補のドメインを読み出し、第1発話者の発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクの候補を要求されるタスクの候補として推定するため、高精度にタスクの候補の推定を行うことができる。
なお、本発明における「タスクの候補」とは、例えば、後述するように、検索、経路案内、ナビゲーションシステムの操作及び機器の設定の変更等のユーザに対するサービスそれぞれが挙げられる。あるいは、本発明のおける「タスクの候補」とは、後述するように、例えば、検索キーワード等の検索条件が異なる検索処理それぞれが含まれる。
この場合、要求タスク推定ユニットは、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクの候補を要求されるタスクの候補として推定することができる。
この構成によれば、要求タスク推定ユニットは、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクの候補を要求されるタスクの候補として推定するため、さらに単語に対するドメインの重要度に応じて、高精度にタスクの候補の推定を行うことができる。
また、第2発話者の発話に含まれる情報に基づいて、要求タスク推定ユニットが推定した要求されるタスクの候補から行われるべきタスクを選択するアクションタスク選択ユニットをさらに備えることができる。
この構成によれば、要求タスク推定ユニットが、第1発話者の発話に含まれる情報から要求されるタスクの候補の推定を行ない、アクションタスク選択ユニットが、第2発話者の発話に含まれる情報に基づいて、要求タスク推定ユニットが推定した要求されるタスクの候補に応じて行われるべきタスクを選択する。そのため、第1発話者と第2発話者との二人の発話に含まれる情報からタスクの推定が行われる。よって、タスクの推定に要する時間や発話数を低減でき、ユーザにとっての利便性を向上させ、発話から要求されるタスクを推定する精度を向上させることができる。
この場合、アクションタスク選択ユニットは、第2発話者の発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの単数又は複数のドメインが記憶されたデータベースから、属性に関連付けられたタスクのドメインを読み出し、第1発話者の発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクを要求されるタスクに応じたタスクとして選択することができる。
この構成によれば、アクションタスク選択ユニットは、第2発話者の発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの単数又は複数のドメインが記憶されたデータベースから、属性に関連付けられたタスクのドメインを読み出し、第1発話者の発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクを要求されるタスクに応じたタスクとして選択するため、さらに高精度にタスクの選択を行うことができる。
この場合、アクションタスク選択ユニットは、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクを要求されるタスクとして選択することができる。
この構成によれば、アクションタスク選択ユニットは、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクを要求されるタスクとして選択するため、単語に対するドメインの重要度に応じて、高精度にタスクの選択を行うことができる。
一方、本発明は、第1発話者の発話に含まれる情報から、要求されるタスクの推定を行う要求タスク推定工程を含み、要求タスク推定工程は、第1発話者の発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの候補の単数又は複数のドメインが記憶されたデータベースから、属性に関連付けられたタスクの候補のドメインを読み出し、第1発話者の発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクの候補を要求されるタスクの候補として推定するオペレーティング方法である。
この場合、要求タスク推定工程は、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクの候補を要求されるタスクの候補として推定することができる。
また、第2発話者の発話に含まれる情報に基づいて、要求タスク推定工程で推定した要求されるタスクの候補から行われるべきタスクを選択するアクションタスク選択工程をさらに含むことができる。
この場合、要求タスク推定工程は、第1発話者の発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの候補の単数又は複数のドメインが記憶されたデータベースから、属性に関連付けられたタスクの候補のドメインを読み出し、第1発話者の発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクの候補を要求されるタスクの候補として推定することができる。
この場合、アクションタスク選択工程は、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクを要求される前記タスクとして選択することができる。
本発明のオペレーティングシステム及びオペレーティング方法によれば、ユーザにとっての利便性を向上させ、発話から要求されるタスクを推定する精度を向上させることができる。
以下、図面を参照して本発明の実施形態に係るオペレーティングシステムを説明する。
図1に示すように、本発明の第1実施形態に係るオペレーティングシステムは、通信回線で接続された車載機100、センター200及びオペレータ端末300からなる。本実施形態のオペレーティングシステムは、車両に搭載された車載機100を用いるユーザとオペレータ端末300を操作するオペレータとがセンター200を介して対話することにより、ユーザの要求に応じてオペレータが行なうべきタスクを推定するためのものである。
図1に示すように、車載機100は、マイク101、音声分析処理部(DSR-C:Distributed Speech Recognition Client)102、GPSセンサ103、位置情報処理部104、画面出力処理部105及びディスプレイ装置106を有している。マイク101は、車両内の例えばドライバーであるユーザ(第1発話者)の発話を検出し、検出結果を音声信号として音響分析処理部102に出力する。音響分析処理部102は、音声認識処理をセンター200で行うため、発話データのサイズを圧縮してセンター200に送信する。
GPSセンサ103は、GPS(Global Positioning System)衛星からの信号をGPS受信機で受信し、各々の信号の相違から車両の位置を測位する。車載機100は、GPSセンサ103が測位した位置情報と地図データとに基づいてユーザに対して経路案内を行う不図示のナビゲーションを備えている。位置情報処理部104は、GPSセンサ103が検出した位置情報を収集してセンター200に送信する。
画面出力処理部105は、センター200から送信された情報を受信し、ドライバーであるユーザに対してディスプレイ装置106により情報を表示するためのものである。
センター200は、語彙DB201、音声認識処理部(DSR-S)202、キーワード抽出処理部203、行動履歴DB204、操作履歴DB205、状況判断処理部206、操作判断処理部207及び類語・関連語DB208を有している。
語彙DB201は、音声認識の対象となる語彙を蓄積した認識辞書のデータベースである。語彙DB201には、同じ単語の別名や愛称等の言換え語彙も含まれる。
音声認識処理部(DSR-S:Distributed Speech Recognition Server)202は、車載機100の音響分析処理部102から送信されたユーザの発話データをディクテーション認識してテキスト化する。また、音声認識処理部202は、オペレータ端末300の音響分析処理部303から送信されたオペレータの発話データをディクテーション認識してテキスト化する。
キーワード抽出処理部203は、音声認識処理部202がテキスト化した発話テキストからタスクの推定に必要なキーワードとなる単語を抽出する。
行動履歴DB204は、車載機100が搭載された車両のユーザであるドライバーの過去の設定目的地、走行ルート、時間帯等の行動履歴に関する情報を格納する。なお、本実施形態では、センター200の行動履歴DB204にドライバーの過去の行動履歴に関する情報を格納するが、センター200の外部の機器にドライバーの過去の行動履歴に関する情報が格納されても良い。
操作履歴DB205は、車載機100が搭載された車両のユーザであるドライバーの過去の発話内容、検索条件等の操作履歴に関する情報を格納する。
状況判断処理部206は、車載機100の位置情報処理部104から送信された車載機100が搭載された車両の位置情報の取得と、行動履歴DB204に格納された行動履歴に関する情報及び操作履歴DB205に格納された操作履歴に関する情報の取得とを行なう。また、状況判断処理部206は、現在の時刻も取得する。
操作判断処理部207は、キーワード抽出処理部203のキーワードの抽出結果と、状況判断処理部206が取得したユーザに関する情報とを合わせ、類語・関連語DBに格納された類語・関連語に関する情報を参照しつつ、ユーザの要求するタスクの候補を推定する。また、操作判断処理部207は、タスクの候補の推定結果に基づいて、オペレータが行うべきタスクを選択し、実行させる。操作判断処理部207の推定結果は、車載機100の画面出力処理部105及びオペレータ端末300のディスプレイ装置301に出力される。
類語・関連語DB208は、語彙DB201に格納された語彙と意味的な関連のある類語及び関連語に関する情報を格納する。なお、車載機100からの発話データ、位置情報及びセンター200からの推定結果は、車載機100とセンター200に接続された路側インフラストラクチャーとの間で、短距離通信等により送受信される。施設情報DB210には、車載機100を搭載した車両が立寄ることが可能な種々の施設に関する情報が記憶されている。
オペレータ端末300は、ディスプレイ装置301、マイク302及び音響分析処理部(DSR-C:Distributed Speech Recognition Client)303を有している。ディスプレイ装置301は、センター200の操作判断処理部207から送信された情報を受信し、オペレータに対して情報を表示するためのものである。
マイク302は、オペレータ(第2発話者)の発話を検出し、検出結果を音声信号として音響分析処理部303に出力する。音響分析処理部303は、音声認識処理をセンター200で行うため、発話データのサイズを圧縮してセンター200に送信する。
以下、本実施形態のオペレーティングシステムの動作について説明する。以下の例では、まず、発話からタスクを推定する原理を示すため、ドライバーの発話から、POI(Position Information)検索といったタスクを推定する手法を中心に説明する。例えば、車載機100が搭載された車両のドライバーがマイク101に、「池袋のXXX(コンビニエンスストア名)は?」と発話する。音響分析処理部102は、センター200の音声認識処理部202が音声認識を行うのに最低限必要な情報のみを抽出し、発話データとしてセンター200の音声認識処理部202に送信する。
音声認識処理部202は、ディクテーション認識を用いて発話データをテキスト化し、発話テキストとする。このとき、音声認識処理部202は語彙DB201を参照しつつ、キーワード中に愛称、別称等の言換え表現が含まれる場合は、言換え表現を基本表現に置換したものを出力する。上記の例では、発話内に言換え表現は含まれないので、基本表現の置換は行なわれない。なお、言換え表現と基本表現の定義は普遍的なものではなく、語彙DB201の整備仕様により適宜決定される。
キーワード抽出処理部203は、音声認識処理部202が出力した発話テキストを構文解析する。構文解析では、キーワード抽出処理部203は、形態素解析による品詞分解と係り受け関係の判別を行なう。キーワード抽出処理部203は、品詞分解結果から、意味の判別に必要な品詞の単語のみを抜き出したものを操作判断処理部207に送信する。ここで、意味の判別に必要な品詞とは、名詞、動詞、形容詞、形容動詞等の単独で目的推定のための意味を持つ可能性が高い品詞をいう。例えば、本例では、「池袋」、「XXX(コンビニエンスストア名)」が抽出される。以上より、図2に示すように、音声認識結果からの単語抽出が完了する(S101)。
操作判断処理部207は、キーワード抽出処理部203から受け取った抽出されたキーワードを、予め定義された判断のルールと照合し、ドライバーから要求される要求タスクを推定する。本実施形態では、類語・関連語DB208に複数の語句属性が記憶されている。語句属性には、所定のキーワードが関連付けられて類語・関連語DB208に記憶されている。例えば、語句属性1について図3に示すような属性1テーブルが定義されているものとする。操作判断処理部207は、抽出されたキーワードそれぞれが、語句属性1の語句属性1テーブルに関連付けられているか否か判定する(S102)。キーワード「池袋」に関連付けられている語句属性1は、id1=2:「エリア」である。キーワード「XXX(コンビニエンスストア名)」に関連付けられている語句属性1は、id1=4:「チェーン」である。このような語句属性は、施設情報DB210の各施設の属性情報からも生成することができる。
例えば、語句属性2について図4に示すような属性2テーブルが定義されているものとする。操作判断処理部207は、抽出されたキーワードそれぞれが、語句属性2の語句属性2テーブルに関連付けられているか否か判定する(S103)。キーワード「池袋」に関連付けられている語句属性2は、id2=a:「属性なし」である。キーワード「XXX(コンビニエンスストア名)」に関連付けられている語句属性2は、id2=e:「コンビニ」である。
本例では、抽出されたキーワード「池袋」、「XXX(コンビニエンスストア名)」は、語句属性1テーブル及び語句属性2テーブルのいずれかに関連付けられているため、操作判断処理部207は、これらのキーワードをドメイン判定必要語句として記憶する(S104)。一方、もし、抽出されたキーワードが、語句属性1テーブル、語句属性2テーブル及びその他の語句属性テーブルのいずれにも関連付けられていないときは、操作判断処理部207は、当該キーワードをドメイン判定必要語句ではないとして破棄する(S105)。
全てのキーワードを操作判断処理部207が処理したときは(S106)、操作判断処理部207は、抽出されたキーワードそれぞれについてドメイン対応表による該当ドメインがいずれであるかを判定し、ドメイン一覧より該当ドメインを抽出する(S107,S108)。
類語・関連語DB208には、図5に示すようなドメイン対応表が記憶されている。ドメイン対応表では、語句属性1及び語句属性2ごとに対応するタスクのドメイン1~13が定義されている。ドメイン1~13のタスクは、それぞれ図6に示すように定義されている。
例えば、キーワード「池袋」については、語句属性1はid1=2:「エリア」であり、語句属性2はid2=a:「属性なし」であるから、図5の表の丸印で示すドメイン1,4,5,6,7,8,9,10,11,12及び13が該当する。また、キーワード「XXX(コンビニエンスストア名)」については、語句属性1はid1=4:「チェーン」であり、語句属性2はid2=e:「コンビニ」であるから、図5の表の丸印で示すドメイン8が該当する。
操作判断処理部207は、ドメイン対応表による該当ドメインの判定が全てのキーワードについて完了したときは(S107)、該当するドメインを集計することにより要求タスクを推定する(S109)。例えば、本例では、キーワード「池袋」、「XXX(コンビニエンスストア名)」のいずれにも該当するドメインは、ドメイン8の「POI検索-POI未定-コンビニ」である。そこで、操作判断処理部207は、ドメイン8の「POI(Position Information)検索-POI未定-コンビニ」をタスクとして推定する。
操作判断処理部207は、タスクの推定結果をオペレータ端末300のディスプレイ装置301と車載機100の画面出力処理部105に送信する。オペレータ端末300では、当該タスクの推定結果に基づき、オペレータがマイク302に発話をし、ドライバーの発話と同様の処理が行われ、当該タスクを実際に行なわれるべきタスクとして確認する処理がなされる。これに対して、車載機100でも、ドライバーがマイク101に発話をし、上記と同様の処理が行われる。このような処理を繰り返すことにより、短時間で精度良くタスクの推定を行うことができる。
本実施形態によれば、センター200の操作判断処理部207は、ドライバー及びオペレータの発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶された類語・関連語DB208から、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの候補あるいは実際に行なわれるべきタスクの単数又は複数のドメインが記憶された類語・関連語DB208から、属性に関連付けられたタスクの候補あるいは実際に行なわれるべきタスクのドメインを読み出し、ドライバー及びオペレータの発話に含まれる複数の単語について、単語ごとに読み出されたドメインを集計し、最も集計数の多いドメインに係るタスクの候補あるいは実際に行なわれるべきタスクをタスクの候補及び実際に行なわれるべきタスクとして推定するため、さらに高精度にタスクの推定を行うことができる。
また、本実施形態によれば、センター200の操作判断処理部207が、ドライバー(ユーザ)の発話に含まれる情報から要求されるタスクの候補の推定を行ない、オペレータの発話に含まれる情報に基づいて、推定したタスクの候補に応じて行われるべきタスクを選択する。そのため、ドライバーとオペレータとの二人の発話に含まれる情報からタスクの推定が行われる。よって、タスクの推定に要する時間や発話数を低減でき、ユーザにとっての利便性を向上させ、発話から要求されるタスクを推定する精度を向上させることができる。
以下、本発明の第2実施形態について説明する。本実施形態では、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクの候補やタスクを要求されるタスクの候補や実際に行われるべきタスクとして推定する。
例えば、車載機100が搭載された車両のドライバーがマイク101に、「池袋でAチェーン(コンビニエンスストア名)を探して欲しいんだけど?」と発話する。図7及び図8に示すように、発話に含まれる各単語が認識され、認識結果よりデータベースから各単語の属性が抽出される(S201)。なお、第1実施形態と同様に、このような語句属性は、施設情報DB210の各施設の属性情報からも生成することができる。また、図8に示すように、信頼度といった要素を設定し、信頼度が所定の閾値未満の単語を処理から除いたり、信頼度に応じて処理の重み付けをしても良い。
図7に示すように、操作判別処理部207は、単語の属性aからIDを抽出する(S202)。図8及び9に示すように、また、音声認識結果による単語「池袋」に対して、属性aのIDは、IDa=2の「エリア」となる。また、音声認識結果による単語「Aチェーン」に対して、属性aのIDは、IDa=8の「チェーン」となる。さらに、図7に示すように、操作判別処理部207は、単語の属性bからIDを抽出する(S203)。図8及び10に示すように、また、音声認識結果による単語「池袋」に対して、属性bのIDは、存在しない。また、音声認識結果による単語「Aチェーン」に対して、属性bのIDは、IDb=8の「コンビニ」となる。
操作判別処理部207は、図11に示すようなドメインごとの重要度に応じたスコアを定義した属性スコア算出テーブルから、該当IDに対応する全ドメインのスコアを算出する(S204)。例えば、単語「Aチェーン」に対しては、属性aのIDa=8、属性bのIDb=8であるから、ドメイン1のスコアは1である。一方、ドメイン8のスコアは3となる。
このようにして、操作判別処理部207は、発話中で認識された各単語について各ドメインのスコアを加算する(S205)。例えば、図12に示すように、単語「池袋」に対して、属性aのIDa=2であり、属性bのIDb=0である。また、単語「Aチェーン」に対して、属性aのIDa=8であり、属性bのIDb=8である。さらに、単語「探して」に対して、属性aのIDa=0であり、属性bのIDb=16である。
これらの各単語について、図11の属性スコア算出テーブルを用いて、各ドメインのスコアが算出される。例えば、図13に示すように、ドメイン1「POI検索-POI特定-名称」については、単語「池袋」に対してスコア3、単語「Aチェーン」に対してスコア1、単語「探して」に対してスコア0である。これにより、ドメイン1のスコアの集計値は4となる。一方、ドメイン8「POI検索-POI未定-コンビニ」については、単語「池袋」に対してスコア3、単語「Aチェーン」に対してスコア3、単語「探して」に対してスコア0である。これにより、ドメイン1のスコアの集計値は6となる。
操作判別処理部207は、対話の終端まで全てのドメインについて同様の処理を繰り返し(S206)、集計したスコア順にドメインをソートする(S207)。例えば、最もスコアの高いドメインがドメイン8「POI検索-POI未定-コンビニ」であるとすると、操作判別処理部207は、ドメイン8の「POI検索-POI未定-コンビニ」が要求されるタスクであり、実際に行われるべきタスクである可能性が高いと推定する。
本実施形態では、センター200の操作判断処理部207は、ドライバー及びオペレータの発話に含まれる複数の単語を抽出し、単語ごとに単数又は複数の属性が関連付けられて記憶された類語・関連語DB208から、単語に関連付けられた属性を読み出し、読み出された単数又は複数の属性に関連付けられたタスクの候補あるいは実際に行なわれるべきタスクの単数又は複数のドメインが記憶された類語・関連語DB208から、属性に関連付けられたタスクの候補あるいは実際に行なわれるべきタスクのドメインを読み出し、ドライバー及びオペレータの発話に含まれる複数の単語について、単語ごとに読み出されたドメインについて、単語に対するドメインの重要度に応じたスコアを集計し、最も集計されたスコアの多いドメインに係るタスクの候補あるいは実際に行なわれるべきタスクをタスクの候補及び実際に行なわれるべきタスクとして推定するため、さらに高精度にタスクの推定を行うことができる。
尚、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、上記実施形態では、車載機を用いるドライバーとオペレータ端末を用いるオペレータとの間で対話をする態様について中心に説明したが、例えば、車載機以外にも、発話者の一部又は全部が、何らかの事情により細かい手動による操作が困難な場合においても、本発明は適用可能であり、効果を発揮する。さらに、発話者も2名に限られず、3名以上の発話者からの発話に基づいてタスクを推定することが可能である。
本発明のオペレーティングシステム及びオペレーティング方法によれば、ユーザにとっての利便性を向上させ、発話から要求されるタスクを推定する精度を向上させることができる。
100 車載機
101 マイク
102 音響分析処理部(DSR-C)
103 GPSセンサ
104 位置情報処理部
105 画面出力処理部
106 ディスプレイ装置
200 センター
201 語彙DB
202 音声認識処理部(DSR-S)
203 キーワード抽出処理部
204 行動履歴DB
205 操作履歴DB
206 状況判断処理部
207 操作判断処理部
208 類語・関連語DB
210 施設情報DB
300 オペレータ端末
301 ディスプレイ
302 マイク
303 音響分析処理部
101 マイク
102 音響分析処理部(DSR-C)
103 GPSセンサ
104 位置情報処理部
105 画面出力処理部
106 ディスプレイ装置
200 センター
201 語彙DB
202 音声認識処理部(DSR-S)
203 キーワード抽出処理部
204 行動履歴DB
205 操作履歴DB
206 状況判断処理部
207 操作判断処理部
208 類語・関連語DB
210 施設情報DB
300 オペレータ端末
301 ディスプレイ
302 マイク
303 音響分析処理部
Claims (10)
- 第1発話者の発話に含まれる情報から、要求されるタスクの候補の推定を行う要求タスク推定ユニットを備え、
前記要求タスク推定ユニットは、
前記第1発話者の発話に含まれる複数の単語を抽出し、
前記単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、前記単語に関連付けられた前記属性を読み出し、
読み出された単数又は複数の前記属性に関連付けられた前記タスクの候補の単数又は複数のドメインが記憶されたデータベースから、前記属性に関連付けられた前記タスクの候補の前記ドメインを読み出し、
前記第1発話者の発話に含まれる複数の単語について、前記単語ごとに読み出された前記ドメインを集計し、最も集計数の多いドメインに係る前記タスクの候補を要求される前記タスクの候補として推定する、オペレーティングシステム。 - 前記要求タスク推定ユニットは、前記単語ごとに読み出された前記ドメインについて、前記単語に対する前記ドメインの重要度に応じたスコアを集計し、最も集計された前記スコアの多いドメインに係る前記タスクの候補を要求される前記タスクの候補として推定する、請求項1に記載のオペレーティングシステム。
- 第2発話者の発話に含まれる情報に基づいて、前記要求タスク推定ユニットが推定した要求されるタスクの候補から行われるべきタスクを選択するアクションタスク選択ユニットをさらに備えた、請求項1又は2に記載のオペレーティングシステム。
- 前記アクションタスク選択ユニットは、
前記第2発話者の発話に含まれる複数の単語を抽出し、
前記単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、前記単語に関連付けられた前記属性を読み出し、
読み出された単数又は複数の前記属性に関連付けられた前記アクションタスクの単数又は複数のドメインが記憶されたデータベースから、前記属性に関連付けられた前記タスクの前記ドメインを読み出し、
前記第2発話者の発話に含まれる複数の単語について、前記単語ごとに読み出された前記ドメインを集計し、最も集計数の多いドメインに係る前記タスクを要求される前記タスクとして選択する、請求項3に記載のオペレーティングシステム。 - 前記アクションタスク選択ユニットは、前記単語ごとに読み出された前記ドメインについて、前記単語に対する前記ドメインの重要度に応じたスコアを集計し、最も集計された前記スコアの多いドメインに係る前記タスクを要求される前記タスクとして選択する、請求項4に記載のオペレーティングシステム。
- 第1発話者の発話に含まれる情報から、要求されるタスクの推定を行う要求タスク推定工程を含み、
前記要求タスク推定工程は、
前記第1発話者の発話に含まれる複数の単語を抽出し、
前記単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、前記単語に関連付けられた前記属性を読み出し、
読み出された単数又は複数の前記属性に関連付けられた前記タスクの候補の単数又は複数のドメインが記憶されたデータベースから、前記属性に関連付けられた前記タスクの候補の前記ドメインを読み出し、
前記第1発話者の発話に含まれる複数の単語について、前記単語ごとに読み出された前記ドメインを集計し、最も集計数の多いドメインに係る前記タスクの候補を要求される前記タスクの候補として推定する、オペレーティング方法。 - 前記要求タスク推定工程は、前記単語ごとに読み出された前記ドメインについて、前記単語に対する前記ドメインの重要度に応じたスコアを集計し、最も集計された前記スコアの多いドメインに係る前記タスクの候補を要求される前記タスクの候補として推定する、請求項6に記載のオペレーティング方法。
- 第2発話者の発話に含まれる情報に基づいて、前記要求タスク推定工程で推定した要求されるタスクの候補から行われるべきタスクを選択するアクションタスク選択工程をさらに含む、請求項6又は7に記載のオペレーティング方法。
- 前記アクションタスク選択工程は、
前記第2発話者の発話に含まれる複数の単語を抽出し、
前記単語ごとに単数又は複数の属性が関連付けられて記憶されたデータベースから、前記単語に関連付けられた前記属性を読み出し、
読み出された単数又は複数の前記属性に関連付けられた前記タスクの単数又は複数のドメインが記憶されたデータベースから、前記属性に関連付けられた前記タスクの前記ドメインを読み出し、
前記第1発話者の発話に含まれる複数の単語について、前記単語ごとに読み出された前記ドメインを集計し、最も集計数の多いドメインに係る前記タスクを要求タスクに応じた前記タスクとして選択する、請求項8に記載のオペレーティング方法。 - 前記アクションタスク選択工程は、前記単語ごとに読み出された前記ドメインについて、前記単語に対する前記ドメインの重要度に応じたスコアを集計し、最も集計された前記スコアの多いドメインに係る前記タスクを要求される前記タスクとして選択する、請求項9に記載のオペレーティング方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/640,907 US9076451B2 (en) | 2010-04-12 | 2011-04-12 | Operating system and method of operating |
EP11768856.4A EP2560158B1 (en) | 2010-04-12 | 2011-04-12 | Operating system and method of operating |
CN201180018550.0A CN102844807B (zh) | 2010-04-12 | 2011-04-12 | 操作***及操作方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-091374 | 2010-04-12 | ||
JP2010091374A JP5315289B2 (ja) | 2010-04-12 | 2010-04-12 | オペレーティングシステム及びオペレーティング方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011129335A1 true WO2011129335A1 (ja) | 2011-10-20 |
Family
ID=44798706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/059096 WO2011129335A1 (ja) | 2010-04-12 | 2011-04-12 | オペレーティングシステム及びオペレーティング方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9076451B2 (ja) |
EP (1) | EP2560158B1 (ja) |
JP (1) | JP5315289B2 (ja) |
CN (1) | CN102844807B (ja) |
WO (1) | WO2011129335A1 (ja) |
Families Citing this family (130)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US20120309363A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Triggering notifications associated with tasks items that represent tasks to perform |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
CN104969289B (zh) | 2013-02-07 | 2021-05-28 | 苹果公司 | 数字助理的语音触发器 |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
EP3937002A1 (en) | 2013-06-09 | 2022-01-12 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
WO2015020942A1 (en) | 2013-08-06 | 2015-02-12 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
WO2015184186A1 (en) | 2014-05-30 | 2015-12-03 | Apple Inc. | Multi-command single utterance input method |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
JP6288060B2 (ja) * | 2015-12-10 | 2018-03-07 | カシオ計算機株式会社 | 自律移動装置、自律移動方法及びプログラム |
JP6311695B2 (ja) | 2015-12-16 | 2018-04-18 | カシオ計算機株式会社 | 自律移動装置、自律移動方法及びプログラム |
JP6323439B2 (ja) | 2015-12-17 | 2018-05-16 | カシオ計算機株式会社 | 自律移動装置、自律移動方法及びプログラム |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
JP6481643B2 (ja) * | 2016-03-08 | 2019-03-13 | トヨタ自動車株式会社 | 音声処理システムおよび音声処理方法 |
JP6187623B1 (ja) | 2016-03-14 | 2017-08-30 | カシオ計算機株式会社 | 自律移動装置、自律移動方法及びプログラム |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
JP6697341B2 (ja) * | 2016-07-05 | 2020-05-20 | シャープ株式会社 | 加熱調理器および調理メニュー提案装置 |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
JP6827629B2 (ja) * | 2017-08-10 | 2021-02-10 | トヨタ自動車株式会社 | 情報提供装置、情報提供システム |
US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
US10659477B2 (en) * | 2017-12-19 | 2020-05-19 | The Boeing Company | Method and system for vehicle cyber-attack event detection |
JP6904435B2 (ja) * | 2017-12-25 | 2021-07-14 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置及び発話解析方法 |
US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
US10944859B2 (en) | 2018-06-03 | 2021-03-09 | Apple Inc. | Accelerated task performance |
EP3605527A3 (en) * | 2018-08-02 | 2020-04-15 | SoundHound, Inc. | Visually presenting information relevant to a natural language conversation |
US20200043479A1 (en) * | 2018-08-02 | 2020-02-06 | Soundhound, Inc. | Visually presenting information relevant to a natural language conversation |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
WO2020171545A1 (en) * | 2019-02-19 | 2020-08-27 | Samsung Electronics Co., Ltd. | Electronic device and system for processing user input and method thereof |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
DK201970510A1 (en) | 2019-05-31 | 2021-02-11 | Apple Inc | Voice identification in digital assistant systems |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
DE102019216078B3 (de) * | 2019-10-18 | 2021-01-14 | Continental Automotive Gmbh | Verfahren und Vorrichtung zum Identifizieren von Anweisungen in in einem Fahrzeug aufgezeichneter Sprache |
US11183193B1 (en) | 2020-05-11 | 2021-11-23 | Apple Inc. | Digital assistant hardware abstraction |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
US11984124B2 (en) | 2020-11-13 | 2024-05-14 | Apple Inc. | Speculative task flow execution |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004333319A (ja) | 2003-05-08 | 2004-11-25 | Denso Corp | 情報表示装置の遠隔操作システム |
JP2008083100A (ja) * | 2006-09-25 | 2008-04-10 | Toshiba Corp | 音声対話装置及びその方法 |
JP2008097082A (ja) * | 2006-10-06 | 2008-04-24 | Mitsubishi Electric Corp | 音声対話装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4581290B2 (ja) | 2001-05-16 | 2010-11-17 | パナソニック株式会社 | 音声認識装置および音声認識方法 |
JP3799280B2 (ja) * | 2002-03-06 | 2006-07-19 | キヤノン株式会社 | 対話システムおよびその制御方法 |
JP3948441B2 (ja) | 2003-07-09 | 2007-07-25 | 松下電器産業株式会社 | 音声認識方法及び、車載装置 |
JP2007519047A (ja) * | 2004-01-20 | 2007-07-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 会話の話題を決定して関連するコンテンツを取得して提示する方法及びシステム |
JP4661381B2 (ja) | 2005-06-14 | 2011-03-30 | トヨタ自動車株式会社 | 故障診断装置、故障診断システム、故障診断方法、及び車載装置 |
WO2008152765A1 (ja) * | 2007-06-11 | 2008-12-18 | Mitsubishi Electric Corporation | ナビゲーション装置 |
JP5178109B2 (ja) * | 2007-09-25 | 2013-04-10 | 株式会社東芝 | 検索装置、方法及びプログラム |
JP4609527B2 (ja) | 2008-06-03 | 2011-01-12 | 株式会社デンソー | 自動車用情報提供システム |
-
2010
- 2010-04-12 JP JP2010091374A patent/JP5315289B2/ja active Active
-
2011
- 2011-04-12 CN CN201180018550.0A patent/CN102844807B/zh active Active
- 2011-04-12 US US13/640,907 patent/US9076451B2/en active Active
- 2011-04-12 EP EP11768856.4A patent/EP2560158B1/en active Active
- 2011-04-12 WO PCT/JP2011/059096 patent/WO2011129335A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004333319A (ja) | 2003-05-08 | 2004-11-25 | Denso Corp | 情報表示装置の遠隔操作システム |
JP2008083100A (ja) * | 2006-09-25 | 2008-04-10 | Toshiba Corp | 音声対話装置及びその方法 |
JP2008097082A (ja) * | 2006-10-06 | 2008-04-24 | Mitsubishi Electric Corp | 音声対話装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP2560158A4 |
Also Published As
Publication number | Publication date |
---|---|
US20130103405A1 (en) | 2013-04-25 |
EP2560158A1 (en) | 2013-02-20 |
CN102844807A (zh) | 2012-12-26 |
EP2560158A4 (en) | 2015-05-13 |
JP5315289B2 (ja) | 2013-10-16 |
JP2011221344A (ja) | 2011-11-04 |
EP2560158B1 (en) | 2018-03-07 |
US9076451B2 (en) | 2015-07-07 |
CN102844807B (zh) | 2014-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5315289B2 (ja) | オペレーティングシステム及びオペレーティング方法 | |
US9020819B2 (en) | Recognition dictionary system and recognition dictionary system updating method | |
US8560317B2 (en) | Voice recognition apparatus and recording medium storing voice recognition program | |
JP4260788B2 (ja) | 音声認識機器制御装置 | |
JP4802522B2 (ja) | 音声入力装置および音声入力方法 | |
US20170011744A1 (en) | Multiple Parallel Dialogs in Smart Phone Applications | |
US20080177541A1 (en) | Voice recognition device, voice recognition method, and voice recognition program | |
KR20190041569A (ko) | 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법 | |
CN101162153A (zh) | 一种语音控制的车载gps导航***及其实现方法 | |
US9715877B2 (en) | Systems and methods for a navigation system utilizing dictation and partial match search | |
US10515634B2 (en) | Method and apparatus for searching for geographic information using interactive voice recognition | |
EP2660562A1 (en) | Route Guidance Apparatus and Method with Voice Recognition | |
US20200219487A1 (en) | Information processing apparatus and information processing method | |
JP2011179917A (ja) | 情報記録装置、情報記録方法、情報記録プログラムおよび記録媒体 | |
JP2010217318A (ja) | 同乗者検索装置および同乗者検索プログラム | |
US20200193984A1 (en) | Conversation guidance method of speech recognition system | |
CN114758653A (zh) | 对话***、具有对话***的车辆以及控制对话***的方法 | |
CN107885720B (zh) | 关键词生成装置以及关键词生成方法 | |
CN107170447B (zh) | 声音处理***以及声音处理方法 | |
JP2011065526A (ja) | オペレーティングシステム及びオペレーティング方法 | |
WO2014199428A1 (ja) | 候補告知装置、候補告知方法及び候補告知用プログラム | |
US10832675B2 (en) | Speech recognition system with interactive spelling function | |
WO2011030404A1 (ja) | オペレーティングシステム及びオペレーティング方法 | |
JP4611823B2 (ja) | 音声認識候補文字列選択装置 | |
JP2009282835A (ja) | 音声検索装置及びその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 201180018550.0 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11768856 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2011768856 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 13640907 Country of ref document: US |