BR112021002265A2 - dispositivo de diálogo por voz, sistema de diálogo por voz e método de controle do sistema de diálogo por voz - Google Patents

Abstract

A presente divulgação inclui determinar um estado de uma carga sobre o ocupante em um veículo com base em pelo menos um de um estado de viagem do veículo (100), um estado de ambiente externo do veículo e um estado do ocupante no veículo, e executar um diálogo com o ocupante, executar um programa de diálogo correspondente ao estado da carga sobre o ocupante.

Description

“DISPOSITIVO DE DIÁLOGO POR VOZ, SISTEMA DE DIÁLOGO POR VOZ E MÉTODO DE CONTROLE DO SISTEMA DE DIÁLOGO POR VOZ” CAMPO TÉCNICO

[001] A presente invenção refere-se a um dispositivo de diálogo por voz, um sistema de diálogo por voz e um método para controlar um dispositivo de diálogo por voz.

TÉCNICA ANTERIOR

[002] É conhecido um dispositivo de diálogo montado em um veículo junto com um dispositivo de saída de voz para emitir voz no interior de um veículo e capaz de interagir com um condutor do veículo (Documento de Patente 1). O dispositivo de diálogo compreende uma unidade de execução de diálogo, uma unidade de determinação de carga e uma unidade de controle de fala. A unidade de execução de diálogo gera uma frase de conversação dirigida ao condutor e faz com que a frase de conversação seja falada pelo dispositivo de saída de voz. A unidade de determinação de carga determina se a carga de condução do condutor é alta ou não para a estrada na qual o veículo está viajando. A unidade de controle de fala define um estado de proibição em que o início da fala pela unidade de execução de diálogo é proibido quando a unidade de determinação de carga determina que a carga de condução é alta e define um estado de permissão em que o início da fala pela unidade de execução de diálogo é permitido quando a unidade de determinação de carga determina que a carga de condução é baixa. Documento da técnica anterior Documento de Patente Documento de patente 1 JP 2017-67849 A

SUMÁRIO DA INVENÇÃO Problemas a serem resolvidos pela invenção

[003] Na técnica anterior, há um problema de que o diálogo com o ocupante não pode ser continuado quando é determinado que a carga sobre o ocupante é alta, tal como a operação de condução.

[004] O problema a ser resolvido pela presente invenção é prover um dispositivo de diálogo por voz, um sistema de diálogo por voz e um método para controlar o dispositivo de diálogo por voz, que são capazes de continuar um diálogo com o ocupante, independentemente do estado de uma carga sobre o ocupante. Meios para resolver problemas

[005] A presente invenção resolve o problema acima mencionado, determinando o estado de uma carga sobre o ocupante com base em um estado de pelo menos um de um estado de viagem de um veículo, um estado de um ambiente externo do veículo e um estado do ocupante no veículo, e executando um diálogo com o ocupante, executando um programa de diálogo correspondente ao estado da carga. Efeito da invenção

[006] De acordo com a presente invenção, o diálogo com o ocupante pode ser continuado independentemente do estado da carga sobre o ocupante.

BREVE DESCRIÇÃO DOS DESENHOS

[007] A figura 1 é um diagrama de blocos de um sistema de diálogo por voz de acordo com a presente modalidade.

[008] A figura 2 é um exemplo de itens e padrões de determinação para determinar o tamanho de uma carga de condução.

[009] A figura 3 é um diagrama para explicar um primeiro modo de diálogo e um segundo modo de diálogo na primeira modalidade.

[010] A figura 4 é um fluxograma que mostra o processo executado pelo controlador de acordo com a presente modalidade.

[011] A figura 5 é um exemplo de um diálogo realizado quando um primeiro programa de diálogo é executado.

[012] A figura 6 é um exemplo de um diálogo realizado quando um segundo programa de diálogo é executado.

[013] A figura 7 é um diagrama para explicar um primeiro modo de diálogo e um segundo modo de diálogo na segunda modalidade.

[014] A figura 8 é um diagrama para explicar um primeiro modo de diálogo e um segundo modo de diálogo na terceira modalidade. Modo (s) para realizar a invenção

[015] Daqui em diante, as modalidades da presente invenção serão descritas com referência aos desenhos. << Primeira Modalidade >>

[016] A figura 1 é um diagrama que mostra uma configuração de um sistema de diálogo por voz de acordo com a presente modalidade. Como mostrado na figura 1, na presente modalidade, uma configuração na qual o sistema de diálogo por voz está equipado em um veículo 100 será descrita como um exemplo.

[017] O veículo 100 compreende um grupo de sensores 110, um dispositivo de detecção circundante 120, um dispositivo de navegação 130, um dispositivo externo de aquisição de informação 140, um dispositivo de acionamento 150, uma câmera interna 160, um microfone interno 170, um alto-falante 180 e um controlador

190. Esses dispositivos são conectados uns aos outros por meio de uma rede de área do controlador (CAN) ou outra LAN no veículo para trocar mutuamente informações. O dispositivo de diálogo por voz de acordo com a presente modalidade inclui o controlador 190.

[018] Como o veículo 100 da presente modalidade, um veículo elétrico que compreende um motor elétrico como uma fonte de condução, um veículo com motor que compreende um motor de combustão interna como uma fonte de condução, um veículo híbrido que compreende um motor elétrico e um motor de combustão interna como uma fonte de condução pode ser exemplificada. Os carros elétricos e carros híbridos equipados com motores elétricos como fontes de condução incluem aqueles em que baterias secundárias são usadas como fontes de energia para os motores elétricos e aqueles em que células de combustível são usadas como fontes de energia para os motores elétricos.

[019] O grupo de sensores 110 é composto por um dispositivo que detecta os estados de viagem do veículo. Especificamente, o grupo de sensores 110 da presente modalidade é composto por um sensor de velocidade do veículo 111, um sensor de velocidade de rotação do motor 112, um sensor de grau de abertura do acelerador 113, um sensor de grau de abertura do freio 114, um sensor de ângulo de direção 115 e um sensor da alavanca de mudança 116.

[020] O sensor de velocidade do veículo 111 mede a velocidade de rotação do sistema de acionamento, tal como o eixo de acionamento, e detecta a velocidade de viagem do veículo (a seguir, também referida como velocidade do veículo) com base nisso. O sensor de velocidade do veículo 111 emite os dados de velocidade do veículo para o controlador 190. Na presente modalidade, o veículo 100 pode ser configurado para incluir um sensor de aceleração em vez de ou em adição ao sensor de velocidade do veículo 111.

[021] O sensor de velocidade de rotação do motor 112 detecta a RPM do motor e envia os dados de RPM do motor para o controlador 190. O sensor de grau de abertura do acelerador 113 detecta uma variável manipulada do pedal do acelerador e emite a informação na variável manipulada do pedal do acelerador para o controlador 190. O sensor de grau de abertura do freio 114 detecta uma variável manipulada do pedal de freio e emite as informações na variável manipulada do pedal de freio para o controlador 190. O sensor de ângulo de direção 115 detecta um ângulo de direção da direção e emite as informações sobre o ângulo de direção da direção para o controlador 190. O sensor da alavanca de mudança 116 detecta uma posição do sensor da alavanca de mudança (posição da alavanca de mudança) e emite a informação de posição do sensor da alavanca de mudança para o controlador 190.

[022] O dispositivo de detecção circundante 120 detecta um objeto existente na área circundante do veículo 100. Exemplos do dispositivo de detecção circundante 120 incluem uma câmera no veículo 121 e um radar 122. A câmera no veículo 121 espelha a área circundante do veículo 100. A câmera no veículo 121 é composta por, por exemplo, uma câmera frontal para espelhar a frente do veículo 100, uma câmera traseira para espelhar a parte traseira do veículo 100, uma câmera lateral para espelhar o lado do veículo 100. O radar 122 detecta um obstáculo existente na área circundante do veículo 100. O radar 122 é composto por, por exemplo, um radar frontal que detecta um obstáculo existente na frente do veículo 100, um radar traseiro que detecta um obstáculo existente na parte traseira do veículo 100, e um radar lateral que detecta um obstáculo existente na lateral do veículo 100. O radar 122 detecta a distância do veículo 100 ao obstáculo e a direção em que o obstáculo está localizado.

[023] Os objetos detectados pelo dispositivo de detecção circundante 120 incluem pedestres, bicicletas, motocicletas, veículos, obstáculos de estrada, semáforos, marcações de estrada e travessias de pedestres. Incidentalmente, o dispositivo de detecção circundante 120 pode ser configurado para usar qualquer uma das câmeras no veículo 121 e radar 122 mencionados acima ou uma combinação de dois ou mais tipos. O dispositivo de detecção circundante 120 emite as informações espelhadas e os resultados de detecção para o controlador 190 como informações circundantes.

[024] O dispositivo de navegação 130 orienta um condutor ao indicar a rota da localização atual do veículo 100 para o destino com base nas informações de localização do veículo 100 detectadas pelo GPS131. O dispositivo de navegação 130 tem informações de mapa e calcula a rota de viagem do veículo 100 com base nas informações de localização do veículo 100 e as informações de localização do destino. O dispositivo de navegação 130 emite as informações de localização do veículo 100 e as informações da rota de viagem do veículo 100 para o controlador 190. A rota de viagem do veículo 100 inclui uma rota na qual o veículo 100 realmente viajou e uma rota na qual o veículo 100 irá viajar no futuro.

[025] O dispositivo externo de aquisição de informação 140 está conectado a redes existentes fora do veículo 100 e adquire informações sobre os ambientes externos do veículo 100. O dispositivo externo de aquisição de informação 140 inclui um dispositivo que adquire vários tipos de informação de redes fora do veículo em intervalos predeterminados através de uma linha de comunicação. Por exemplo, o dispositivo externo de aquisição de informação 140 adquire informações de congestionamento de estradas, informações de construção de estradas e informações de acidentes a partir de sistemas VICS (marca registrada). Por exemplo, o dispositivo externo de aquisição de informação 140 adquire informações meteorológicas de um servidor externo. O dispositivo externo de aquisição de informação 140 emite as informações adquiridas do lado de fora do veículo 100 para o controlador 190. O dispositivo externo de aquisição de informação 140 não se limita a adquirir informações de um servidor externo, mas pode pesquisar as informações necessárias nas redes e acessar um servidor que gerencia as informações de acordo com os resultados da pesquisa.

[026] Além disso, o dispositivo externo de aquisição de informação 140 não está limitado a um dispositivo para adquirir informação no ambiente externo através da linha de comunicação. Por exemplo, o dispositivo externo de aquisição de informação 140 pode ser um sensor de temperatura externo para detectar a temperatura externa, um sensor de umidade para detectar a umidade ou um sensor de gota de chuva para detectar gotas de chuva. O sensor de temperatura externa emite informações sobre a temperatura externa como um resultado de detecção para o controlador 190. O sensor de umidade emite informações de umidade como um resultado de detecção para o controlador 190. O sensor de gota de chuva emite informações sobre gotas de chuva como um resultado de detecção para o controlador

190.

[027] O dispositivo de acionamento 150 inclui um mecanismo de acionamento para o veículo 100. O mecanismo de acionamento inclui um motor elétrico e/ou um motor de combustão interna é uma fonte de acionamento de viagem do veículo 100 descrito acima, uma transmissão de energia incluindo um eixo de acionamento e uma transmissão automática para transmitir a saída desta fonte de acionamento de viagem para as rodas motrizes e um dispositivo de frenagem para frear as rodas (não mostrado) e semelhantes. O dispositivo de acionamento 150 gera respectivos sinais de controle desses mecanismos de acionamento com base em um sinal de entrada pela operação do acelerador do condutor e a operação do freio, um sinal de controle adquirido de um controlador de veículo (não mostrado) ou o dispositivo de controle de viagem (não mostrado), e executa o controle de condução, incluindo aceleração e desaceleração do veículo. As informações de comando podem ser enviadas para o dispositivo de acionamento 150, que pode, assim, executar automaticamente o controle de viagem, incluindo aceleração e desaceleração do veículo. No caso de um carro híbrido, uma razão entre a saída de torque para o motor elétrico e a saída de torque para o motor de combustão interna de acordo com o estado de viagem do veículo também é transmitida para o dispositivo de acionamento 150.

[028] Um indivíduo que opera o veículo 100 nesta modalidade é um indivíduo que controla o dispositivo de acionamento 150, que é o condutor do veículo 100 ou o controlador do veículo. O veículo 100 viaja pela operação de condução do condutor ou por uma operação de condução automatizada pelo controlador do veículo. Por exemplo, embora não ilustrado na Figura 1, o veículo 100 é provido com um dispositivo (por exemplo, um interruptor em forma de botão) para mudar o indivíduo da operação de condução. O condutor pode alternar entre uma operação de condução manual ou a operação de condução pelo controlador do veículo, alternando este interruptor. A operação de condução pelo controlador do veículo é chamada de operação de condução automatizada, que é uma operação de condução que permite que o veículo viaje automaticamente. Como a técnica da condução automatizada, uma técnica conhecida no momento do depósito do presente pedido pode ser usada apropriadamente. O dispositivo de acionamento 150 emite as informações sobre o indivíduo de condução que está operando o veículo 100 para o controlador 190 como informação do indivíduo de condução.

[029] A câmera interna 160 é provida em uma posição capaz de espelhar o ocupante no veículo 100 para espelhar o ocupante. Na presente modalidade, a câmera interna 160 espelha uma imagem do condutor entre os ocupantes no veículo

100. A câmera interna 160 é de preferência provida em uma posição capaz de espelhar as expressões faciais do condutor, incluindo o olhar do condutor e a operação de condução pelo condutor. A câmera interna 160 emite as informações sobre a imagem capturada do condutor para o controlador 190.

[030] O microfone interno 170 adquire informações de voz do ocupante do veículo 100 e as armazena pelo menos temporariamente. Na presente modalidade, o microfone interno 170 adquire informação de voz do condutor entre os ocupantes no veículo 100. A posição do microfone interno 170 não é particularmente limitada, mas é preferível fornecê-la perto do assento do ocupante.

[031] O alto-falante 180 emite informações de voz para o ocupante no veículo

100. Na presente modalidade, o alto-falante 180 emite informações de voz para o condutor entre os ocupantes no veículo 100. A posição do alto-falante 180 não é particularmente limitada, mas é preferível colocá-lo próximo ao assento do ocupante.

[032] Em seguida, o controlador 190 da presente modalidade será descrito. O controlador 190 é composto por uma ROM (Memória somente para leitura) que armazena um programa para executar um processo de diálogo com o ocupante, utilizando um programa de diálogo correspondente à carga do ocupante no veículo 100, uma CPU (Unidade de Processamento Central) que executa o programa armazenado na ROM e uma RAM (Memória de Acesso Aleatório) que funciona como um dispositivo de armazenamento acessível. Uma unidade de microprocessamento (MPU), um processador de sinal digital (DSP), um circuito integrado específico de aplicação (ASIC), uma matriz de portas programáveis em campo (FPGA) ou semelhantes podem ser usados como um circuito de operação como substituto ou adicional para a CPU.

[033] O controlador 190 executa o programa armazenado na ROM, realizando assim: uma função de aquisição de informação do estado de viagem para adquirir informação sobre o estado de viagem do veículo 100; uma função de aquisição de informação externa para adquirir informação sobre o ambiente externo do veículo 100; uma função de aquisição de informações de operação de condução para adquirir informações sobre a operação de condução do veículo 100; uma função de determinação da carga de condução para determinar o tamanho da carga de condução no ocupante no veículo 100 com base nas informações adquiridas; e uma função de diálogo para selecionar um programa de diálogo correspondente ao tamanho da carga de condução e executar um diálogo com o condutor. Cada função do controlador 190 será descrita abaixo.

[034] O controlador 190 adquire informações sobre o estado de viagem do veículo 100 pela função de aquisição de informações de estado de viagem. As informações sobre o estado de viagem incluem a velocidade do veículo 100, a velocidade de rotação do motor, a variável manipulada do acelerador, a variável manipulada do freio e o ângulo de direção da direção. Quando o veículo 100 inclui um dispositivo tal como o dispositivo de navegação 130 que opera por um aplicativo, o controlador 190 insere informações sobre o tipo de aplicação em execução. Neste caso, as informações sobre o estado de viagem incluem informações sobre o tipo de aplicação, além das informações acima mencionadas.

[035] O controlador 190 adquire informações sobre o ambiente externo do veículo 100 pela função de aquisição de informação externa. As informações sobre o ambiente externo incluem a distância dos obstáculos ao redor do veículo 100 e a direção em que os obstáculos estão localizados, informações sobre a estrada na qual o veículo 100 está viajando (incluindo informações de tipo, informações de congestionamento, informações de construção e informações de acidentes) e a localização atual do veículo 100.

[036] O controlador 190 adquire informações sobre a operação de condução pela função de aquisição de informações de operação de condução. As informações sobre a operação de condução incluem a posição da alavanca de mudança, informações sobre o indivíduo de condução do veículo 100, informações sobre a postura de condução do condutor. As informações sobre a postura de condução são informações baseadas nas imagens capturadas do condutor espelhada pela câmera interna 160. O controlador 190 apreende a postura de condução do condutor realizando o processamento de imagem na imagem capturada do condutor.

[037] O controlador 190 determina o tamanho da carga de condução no condutor pela função de determinação da carga de condução. O controlador 190 de acordo com a presente modalidade determina se o tamanho da carga de condução é maior ou menor do que um padrão predeterminado com base em pelo menos uma das informações sobre o estado de viagem adquirido pela função de aquisição de informação do estado de viagem, a informação sobre o ambiente externo adquirida pela função de aquisição de informação do ambiente externo, e a informação sobre a operação de condução adquirida pela função de aquisição de informação da operação de condução. Na presente modalidade, a explicação é baseada em um exemplo de uma configuração em que o tamanho da carga de condução é dividido em duas categorias: maior ou menor do que o padrão predeterminado, mas o método de determinar o tamanho da carga de condução não é limitado a isso. Por exemplo, o tamanho da carga de condução pode ser dividido em três ou mais categorias. A determinação do tamanho da carga de condução aqui é que o controlador 190 determina se o estado da carga de condução é classificado em duas ou mais classificações com base em pelo menos qualquer uma das informações entre as informações sobre o estado de viagem adquirido pela função de aquisição de informação do estado de viagem, a informação sobre o ambiente externo adquirida pela função de aquisição de informação de ambiente externo e a informação sobre a operação de condução adquirida pela função de aquisição de informação da operação de condução. Na presente modalidade, duas ou mais classificações significam determinar se o estado corresponde a um estado com uma grande carga de condução ou um estado com uma pequena carga de operação de condução.

[038] Aqui, a carga de condução significa a carga suportada pelo condutor quando o condutor opera o veículo 100. Quando a carga de condução for grande, o condutor deve ter uma alta força de concentração para a operação de condução. Por esse motivo, o condutor, consciente ou inconscientemente, reduz a prioridade para outras operações além da operação de condução. As operações diferentes da operação de condução incluem, por exemplo, uma operação para ajustar a temperatura ou o volume do ar do ar condicionado, uma operação para ajustar o volume da música ou rádio, ou semelhantes.

[039] A seguir, com referência à Figura 2, será descrito um método específico para determinar o tamanho da carga de condução. A Figura 2 é um exemplo de itens e padrões de determinação para determinar o tamanho da carga de condução.

[040] Como mostrado na Figura 2, o controlador 190 determina o tamanho da carga de condução de acordo com o estado de viagem do veículo 100. O controlador 190 determina que a carga de condução é grande quando o estado de viagem do veículo 100 corresponde à "Viagem". Por outro lado, o controlador 190 determina que a carga de condução é pequena quando o estado de viagem do veículo 100 corresponde a "Parado". Por exemplo, o controlador 190 detecta que o estado de viagem do veículo está no estado "Viagem" quando a posição da alavanca de mudança está em "D (Acionamento)". Além disso, por exemplo, o controlador 190 detecta que o estado de viagem do veículo está no estado "Parado" quando a posição da alavanca de mudança está em "P (Estacionamento)" ou "N (Neutro)". O método de determinação usando o estado de viagem não está limitado ao método de determinação mencionado acima. Por exemplo, o estado de viagem do veículo pode ser determinado a partir da velocidade do veículo, da velocidade de rotação do motor, da variável manipulada do pedal do acelerador, da variável manipulada do pedal de freio.

[041] Além disso, na Figura 2, "Viagem" ou "Parado" é considerado um exemplo como um item do estado de viagem, mas os itens do estado de viagem não estão limitados a eles. Por exemplo, o controlador 190 pode determinar que a carga de condução é pequena quando a velocidade do veículo é menor ou igual a uma velocidade predeterminada, mesmo se o veículo estiver em viagem. Além disso, por exemplo, o controlador 190 pode determinar que o veículo está parando antes de começar e que a carga de condução é grande, quando a posição da alavanca de mudança está em "D (Acionamento)" e a variável manipulada do pedal de freio maior ou igual a um valor predeterminado, mesmo se o veículo estiver parado.

[042] Além disso, como mostrado na Figura 2, o controlador 190 determina o tamanho da carga de condução de acordo com o indivíduo de condução do veículo

100. O controlador 190 determina que a carga de condução é grande quando o indivíduo de condução do veículo 100 corresponde ao " Condutor". Por outro lado, o controlador 190 determina que a carga de condução é pequena quando o indivíduo de condução do veículo 100 corresponde a "Controlador do veículo". Por exemplo, o controlador 190 detecta se o indivíduo de condução atual é o condutor ou o controlador do veículo usando as informações do indivíduo de condução adquiridas do dispositivo de acionamento 150. O método de determinação usando as informações do indivíduo de condução não está limitado ao método de determinação acima mencionado. Por exemplo, suponha que o controlador 190 detecte que o condutor não está operando o volante de direção a partir da imagem capturada do condutor pela câmera interna 160, mesmo que o veículo esteja em viagem. Neste caso, o controlador 190 pode determinar que o indivíduo de condução corresponde ao "Controlador de veículo" e que a carga de condução é pequena.

[043] Além disso, como mostrado na Figura 2, o controlador 190 determina o tamanho da carga de condução de acordo com a operação de condução. O controlador 190 determina que a carga de condução é grande quando a operação de condução corresponde a qualquer uma das operações de "Estacionamento em uma garagem", "Estacionamento paralelo" e "Estacionamento reverso". Por exemplo, o controlador 190 determina que a operação de condução pode corresponder a "Estacionamento" como uma determinação primária ao detectar que a posição da alavanca de mudança em "R (Marcha a Ré)".

[044] Então, ao detectar que o veículo 100 está na área circundante de uma garagem a partir da informação circundante do veículo 100, o controlador 190 determina que a operação de condução corresponde a "Estacionamento em uma garagem". Além disso, o controlador 190 determina que a operação de condução corresponde a "estacionamento paralelo" quando outro veículo ou um espaço de estacionamento para estacionamento paralelo é detectado a partir da informação circundante do veículo 100. O controlador 190 determina que a operação de condução corresponde a "Estacionamento reverso" ao detectar que o veículo 100 está estacionado de forma reversa a partir do ângulo de direção e da variável manipulada do pedal de freio. Os métodos de determinação usando a operação de condução são apenas exemplos e não são particularmente limitados. Por exemplo, o controlador 190 pode estimar a trajetória de viagem do veículo 100 com base no ângulo de direção, velocidade do veículo, variável manipulada do pedal do freio e variável manipulada do pedal do acelerador e determina se a operação de condução corresponde a qualquer uma das operações de "Estacionamento em uma garagem", "Estacionamento paralelo" e "Estacionamento reverso".

[045] Além disso, como mostrado na Figura 2, o controlador 190 determina que o tamanho da carga de condução de acordo com o ambiente externo do veículo

100. O ambiente externo inclui um local de viagem, uma condição de tráfego, clima, um fuso horário, um grande número de obstáculos existentes na área circundante e uma distância para os obstáculos, ou semelhantes. O controlador 190 determina que a carga de condução é grande quando o local de viagem do veículo 100 corresponde à "Rodovia". Por outro lado, o controlador 190 determina que a carga de operação de viagem é pequena quando o local de viagem do veículo 100 corresponde à "Estrada congestionada". Por exemplo, o controlador 190 detecta que o local de viagem do veículo 100 corresponde à "Rodovia" quando a localização atual do veículo 100 for uma rodovia e que não há informações sobre congestionamento de tráfego na área circundante do local atual. Além disso, o controlador 190 detecta que o local de viagem do veículo 100 corresponde a "Estrada congestionada" quando há informações sobre congestionamento de tráfego na área circundante do local atual.

[046] Além disso, o controlador 190 determina que a carga de condução é grande quando o local de viagem do veículo 100 corresponde ao "Cruzamento". Por outro lado, o controlador 190 determina que a carga de condução é pequena quando o local de viagem do veículo 100 corresponde à "Estrada reta". Além disso, o controlador 190 determina que a carga de condução é grande quando o número de obstáculos (outro veículo, veículo de duas rodas, pedestre, etc.) na área circundante do veículo 100 é menor do que um número predeterminado. Por outro lado, o controlador 190 determina que a carga de condução é pequena quando o número de obstáculos é igual ou maior do que o número predeterminado.

[047] Os padrões de determinação acima mencionados são apenas exemplos e não são particularmente limitados. O controlador 190 pode incluir o tipo de aplicação em execução no interior do veículo 100 como um item do estado de viagem do veículo

100. Neste caso, o controlador 190 determina o tamanho da carga de condução de acordo com o tipo de aplicação em execução. O tipo de aplicação não é particularmente limitado. A determinação do tamanho da carga de condução com base no tipo de aplicação deve ser realizada preferencialmente de acordo com o padrão determinado experimentalmente.

[048] Um exemplo de um método para determinar o tamanho da carga de condução para cada um dos itens mostrados na Figura 2 foi descrito até agora, mas o tamanho da carga de condução não precisa ser determinado a partir de um item, e o tamanho da carga de condução pode ser determinado para pelo menos qualquer um de uma pluralidade de itens.

[049] Por exemplo, se o controlador 190 determina o tamanho da carga de condução para uma pluralidade de itens, o controlador 190 usa um método predeterminado para determinar o tamanho da carga de condução. Por exemplo, o controlador 190 pode determinar o tamanho da carga de condução ponderando os resultados da determinação para cada item com uma ponderação que é definida para cada item com antecedência. Além disso, o controlador 190 pode determinar o tamanho da carga de condução, tendo uma votação majoritária sobre os resultados de determinação para cada item.

[050] Os itens de determinação podem ser diferentes dependendo do nível de habilidade de condução do condutor. Por exemplo, o controlador 190 estima o nível de habilidade de condução a partir de informações sobre o condutor registrado com antecedência. Então, o controlador 190 não faz qualquer determinação sobre o item "Estado de viagem" mostrado na Figura 2 quando o nível de habilidade de condução do condutor é superior a um valor predeterminado. Isso se baseia no ponto de vista de que, uma vez que o condutor com alto nível de habilidade de condução é um condutor que está acostumado a dirigir ou um condutor que gosta de dirigir, ao determinar a carga de condução desse condutor, é difícil determinar o tamanho da carga de condução apenas determinando se o veículo está em viagem ou parado. Por outro lado, no caso de um condutor com baixo nível de habilidade de condução (por exemplo, condutor inexperiente, etc.), uma vez que apenas fazer a condução resulta em uma grande carga de condução, o controlador 190 determina a carga de condução para o item "Estado de viagem" quando um condutor com um nível de habilidade de condução inferior ao valor predeterminado está dirigindo. O valor predeterminado não é particularmente limitado, e um valor obtido experimentalmente é preferível.

[051] A seguir, a função de diálogo será descrita. O controlador 190 executa um diálogo com o ocupante no veículo 100, executando um programa de diálogo correspondente ao tamanho da carga de condução pela função de diálogo. Na presente modalidade, o controlador 190 executa um primeiro programa de diálogo quando o tamanho da carga de condução é maior do que o padrão predeterminado e executa um segundo programa de diálogo diferente do primeiro programa de diálogo quando o tamanho da carga de condução é menor que o padrão predeterminado. Nesta modalidade, cada programa de diálogo é armazenado na ROM ou em um banco de dados (não mostrado) com antecedência, e o controlador 190 seleciona e executa o programa de diálogo correspondente ao tamanho da carga de condução da ROM ou banco de dados pela função de diálogo. Um primeiro modo de diálogo é realizado executando o primeiro programa de diálogo, e um segundo modo de diálogo é realizado executando o segundo programa de diálogo. No primeiro programa de diálogo e no segundo programa de diálogo, uma técnica conhecida no momento do depósito do presente pedido pode ser usada para gerar voz.

[052] Cada programa de diálogo é composto por um programa para reconhecer uma voz do ocupante e um programa para emitir uma voz para o ocupante. O controlador 190 emite uma voz através do alto-falante 180 e fala com o ocupante, executando o programa para emitir uma voz. Além disso, o controlador 190 reconhece uma voz da entrada do ocupante por meio do microfone interno 170 executando o programa para reconhecer a voz. O controlador 190 executa um diálogo com o ocupante, repetindo a saída de uma voz e o reconhecimento da voz do ocupante.

[053] Cada modo de diálogo será descrito a seguir, usando a Figura 3 conforme apropriado. A Figura 3 é um diagrama para explicar o primeiro modo de diálogo e o segundo modo de diálogo na presente modalidade.

[054] O primeiro programa de diálogo está programado para incluir menos palavras na resposta do ocupante do que o segundo programa de diálogo. Uma "resposta" significa uma resposta a uma pergunta ou chamada (doravante referida como uma pergunta, etc.) do controlador 190. As respostas do ocupante incluem não apenas as respostas a uma pergunta, etc., mas também todas as respostas providas entre o início e o fim do diálogo. Métodos para reduzir o número de palavras que o ocupante fala incluem, por exemplo, um método para reduzir o número de vezes que o ocupante responde, um método para reduzir o número de palavras que o ocupante fala por resposta e um método para encurtar as palavras que o ocupante fala sozinho.

[055] Além disso, o primeiro programa de diálogo é programado para emitir poucas palavras através do alto-falante 180 do que o segundo programa de diálogo. Os métodos para reduzir o número de palavras sendo emitidas incluem, por exemplo, um método para fazer perguntas ou chamar sem adicionar informações desnecessárias ou usar expressões simples.

[056] O primeiro programa de diálogo será descrito a seguir, usando o exemplo específico de um caso em que o controlador 190 faz uma pergunta ao ocupante. O primeiro programa de diálogo pode ser aplicado não apenas para fazer perguntas, mas também para todas as ações incluídas em "falar". Por exemplo, o primeiro programa de diálogo também pode ser aplicado a um caso de chamar,

notificar ou explicar, etc.

[057] Por exemplo, o controlador 190 faz uma pergunta à qual o ocupante responde seletivamente "Sim" ou "Não". Por exemplo, em uma situação em que o destino do veículo 100 precisa ser definido, o controlador 190 faz uma pergunta "Seu destino é XX, certo?" para o ocupante. Então, por exemplo, quando o controlador 190 reconhece uma voz "Sim" como a resposta do ocupante, então o controlador 190 acessa o dispositivo de navegação 130 e define o destino do veículo 100 para XX. Por exemplo, quando o controlador 190 reconhece uma voz "Não" como a resposta do ocupante, então o controlador faz uma pergunta "Seu destino é YY?" para o ocupante novamente. O processamento após o reconhecimento da resposta do ocupante não é limitado na presente modalidade.

[058] Além disso, por exemplo, o controlador 190 faz uma pergunta à qual o ocupante responde seletivamente ao número anexado à possível resposta. Usando a situação acima mencionada em que o destino é estabelecido, por exemplo, o controlador 190 faz uma pergunta "Qual é o seu destino, 1. XX, 2. YY ou 3. ZZ?" ao qual o ocupante responde com um número de 1 a 3. Por exemplo, quando o controlador 190 reconhece uma voz "1" como a resposta do ocupante, então o controlador 190 acessa o dispositivo de navegação 130 e define o destino do veículo 100 para XX. Embora a explicação seja baseada no caso em que o número de respostas possíveis seja três, o número de respostas possíveis não é particularmente limitado.

[059] Dessa forma, o número de palavras que o ocupante fala por resposta em um diálogo pode ser reduzido ao fazer uma pergunta que permita ao ocupante responder seletivamente. Além disso, o número de caracteres incluídos em uma palavra falada pelo ocupante pode ser reduzido. Isso permite ao ocupante dialogar com o sistema enquanto mantém sua concentração na condução, mesmo em uma situação em que a carga de condução do ocupante seja grande.

[060] Além disso, por exemplo, o controlador 190 só faz uma pergunta usando expressões simples e não adicionando informações desnecessárias, como "Seu destino é XX, certo?". Isso permite que o ocupante ouça mais facilmente a pergunta do controlador 190 e entenda facilmente o que está sendo perguntado. Como resultado, é possível evitar que a pergunta seja feita novamente ao ocupante que não entendeu o que estava sendo perguntado. Em uma situação em que a carga de condução é grande, é possível reduzir ao máximo o número de trocas entre o ocupante e o sistema, reduzindo assim o número de vezes que o ocupante tem de responder.

[061] Por outro lado, como mostrado na Figura 3, não há limite para o número de palavras incluídas na resposta do ocupante com respeito à saída de voz no segundo programa de diálogo de acordo com a presente modalidade. Além disso, não há limite para o número de palavras emitidas pelo alto-falante 180 no segundo programa de diálogo. Por essas razões, o controlador 190 provê informações detalhadas e auxiliares para o ocupante ao executar um diálogo com o ocupante, utilizando o segundo programa de diálogo.

[062] O segundo programa de diálogo será descrito usando a situação acima de fixação de um destino como exemplo. Por exemplo, o controlador 190 não só faz uma pergunta ao ocupante, mas também fornece informações auxiliares. "Como o tempo está bom hoje, os destinos recomendados são XX, YY e ZZ, onde você gostaria de ir? Além disso, parece que um evento AA está começando esta tarde nesta área circundante hoje." No exemplo acima, as informações auxiliares incluem informações meteorológicas, informações sobre destinos recomendados e informações sobre o evento. Uma técnica para programas de diálogo conhecida no momento do preenchimento deste formulário pode ser usada conforme apropriado para o segundo programa de diálogo.

[063] Além disso, como mostrado na Figura 3, a chamada técnica de reconhecimento de frase é usada para o reconhecimento de voz no primeiro programa de diálogo e o reconhecimento de voz no segundo programa de diálogo. As técnicas de reconhecimento de frases incluem, por exemplo, "reconhecimento de frases" e "Fala para texto". O reconhecimento da frase significa reconhecer a voz do ocupante em uma unidade de uma frase.

[064] Com referência à Figura 3, as características do reconhecimento de frases serão descritas. No reconhecimento de frases, o número de palavras necessárias para reconhecer o que o ocupante falou é relativamente grande. Além disso, no reconhecimento da frase, o que o ocupante falou é entendido pelo reconhecimento da voz do ocupante em uma unidade de uma frase, para que a gramática seja verificada. Portanto, na presente modalidade, o tempo de processamento para o controlador 190 entender o que o ocupante falou é relativamente longo para o primeiro programa de diálogo e o segundo programa de diálogo.

[065] A seguir, usando a Figura 4, o processo executado pelo controlador 190 será descrito. A Figura 4 é um fluxograma que mostra o processo executado pelo controlador 190 de acordo com a presente modalidade.

[066] Na etapa S101, o controlador 190 adquire informações sobre o estado de viagem do veículo 100, o estado do ambiente externo do veículo 100 e o estado da operação de condução do veículo 100. Por exemplo, o controlador 190 adquire informações sobre a posição da alavanca de mudança do sensor da alavanca de mudança 116 como informação sobre o estado de viagem. Além disso, por exemplo, o controlador 190 adquire informações circundantes do veículo 100 do dispositivo de detecção circundante 120 como as informações sobre o ambiente externo. Além disso, por exemplo, o controlador 190 executa o processamento de imagem para a imagem capturada do condutor no veículo 100 espelhada pela câmera interna 160. O controlador 190 apreende a postura de condução do condutor por meio do processamento de imagem e adquire informações sobre a operação de condução.

[067] Na etapa S102, o controlador 190 determina o tamanho da carga de condução sobre o ocupante no veículo 100 com base nas informações adquiridas na etapa S101. Por exemplo, o controlador 190 determina que a carga de condução é grande quando o veículo 100 está viajando e determina que a carga de condução é pequena quando o veículo 100 está parando. Além disso, por exemplo, o controlador 190 determina que a carga de condução é grande quando o veículo 100 está viajando na rodovia e determina que a carga de condução é pequena quando o veículo 100 está viajando na estrada congestionada. Por exemplo, o controlador 190 determina que a carga de condução é grande quando o condutor está realizando uma operação de condução para estacionar em uma garagem. Quando for determinado que a carga de condução é grande, prossiga para a etapa S103. Por outro lado, quando for determinado que a carga de condução é pequena, prossiga para a etapa S105. O método de determinação acima mencionado é um exemplo e não é particularmente limitado.

[068] Na etapa S103, o controlador 190 executa um diálogo com o ocupante, executando o primeiro programa de diálogo. O controlador 190 executa o primeiro programa de diálogo, por exemplo, para fazer uma pergunta que pode ser respondida pelo ocupante com "Sim" ou "Não". O controlador 190 também faz uma pergunta, por exemplo, usando expressões simples.

[069] A Figura 5 é um exemplo de um diálogo executado quando o primeiro programa de diálogo é executado. A Figura 5 (A) mostra um exemplo de um diálogo em uma situação em que no veículo 100 parado para um semáforo, o ocupante está operando o dispositivo de navegação 130 para definir o destino, mas o semáforo mudou e o veículo 100 começa. A Figura 5 (B) é um exemplo de um diálogo em uma situação em que a temperatura interna do veículo 100 aumenta enquanto o ocupante está dirigindo na rodovia. Conforme mostrado nas Figuras 5 (A) e 5 (B), ao executar o primeiro programa de diálogo, o ocupante pode responder a uma pergunta do controlador 190 usando palavras simples e curtas, como "Sim" ou "Não, obrigado".

[070] Na etapa S104, o controlador 190 determina se o diálogo com o ocupante na etapa S103 foi ou não concluído. Por exemplo, quando as condições para completar um diálogo são predeterminadas, o controlador 190 determina se o diálogo foi ou não concluído, determinando se essas condições são ou não atendidas. Usando o exemplo da Figura 5 (A), a condição para completar o diálogo envolve o caso em que o destino é determinado pela resposta do ocupante. Quando o diálogo é concluído, o processo pelo controlador 190 termina. Por outro lado, quando o diálogo não for concluído, volte para a etapa S103.

[071] Quando for determinado que a carga de condução é pequena na etapa S102, prossiga para a etapa S105. Na etapa S105, o controlador 190 executa um diálogo executando o segundo programa de diálogo.

[072] A figura 6 é um exemplo de um diálogo realizado quando um segundo programa de diálogo é executado. A Figura 6 mostra um exemplo de um diálogo em uma situação em que o veículo 100 está estacionado em um estacionamento ou semelhante. Conforme mostrado na Figura 6, ao executar o segundo programa de diálogo, o ocupante pode designar a comida e o local com a informação fornecida pelo controlador 190 (o número de restaurantes). Além disso, o ocupante pode decidir o restaurante com as informações fornecidas pelo controlador 190 (tempo de viagem até o restaurante, disponibilidade atual de lugares).

[073] Na etapa S106, o controlador 190 determina se o diálogo com o ocupante na etapa S105 está ou não concluído. Usando o exemplo da Figura 6, a condição para completar o diálogo envolve o caso em que o destino é determinado pela resposta do ocupante. Quando o diálogo é concluído, o processo pelo controlador 190 termina. Por outro lado, se o diálogo não for concluído, volte para a etapa S105.

[074] Conforme descrito acima, o dispositivo de diálogo por voz de acordo com a presente modalidade compreende um controlador 190 que executa um diálogo com o ocupante no veículo 100 usando o grupo de sensores 110, o dispositivo de detecção circundante 120, o dispositivo de navegação 130, o dispositivo externo de aquisição de informação 140, o dispositivo de acionamento 150 e a câmera interna 160, que estão equipados com o veículo 100. O grupo de sensores 110 detecta o estado de viagem do veículo 100. O dispositivo de detecção circundante 120, o dispositivo de navegação 130 e o dispositivo externo de aquisição de informação 140 detecta o estado ambiental externo do veículo 100. O dispositivo de acionamento 150 e a câmera interna 160 detectam o estado da operação de condução pelo ocupante no veículo 100. O controlador 190 determina o tamanho da carga de condução no ocupante com base em pelo menos um dentre o estado de viagem do veículo 100, o estado do ambiente externo e o estado da operação de condução pelo ocupante, e executa um diálogo com o ocupante, executando o programa de diálogo correspondente ao tamanho da carga de condução. Isso permite que o sistema dialogue com o ocupante de acordo com o programa de diálogo correspondente ao tamanho da carga de condução, de forma que o diálogo com o ocupante possa continuar independentemente do tamanho da carga de condução.

[075] Na presente modalidade, o controlador 190 executa um diálogo com o ocupante, executando o primeiro programa de diálogo quando o tamanho da carga de condução é maior do que o padrão predeterminado e executando o segundo programa de diálogo diferente do primeiro programa de diálogo quando o tamanho da carga de condução é menor do que o padrão predeterminado. Desta forma, o diálogo com o ocupante pode ser continuado por dois modos de diálogo diferentes, correspondentes ao tamanho da carga de condução.

[076] Além disso, na presente modalidade, o controlador 190 adquire uma resposta a uma pergunta do ocupante ao executar o primeiro programa de diálogo e uma resposta a uma pergunta do ocupante ao executar o segundo programa de diálogo. O primeiro programa de diálogo está programado para incluir menos palavras na resposta do ocupante do que o segundo programa de diálogo. Desta forma, mesmo quando a carga de condução é grande, o ocupante pode dialogar enquanto mantém a concentração na condução.

[077] Além disso, na presente modalidade, o controlador 190 faz uma pergunta à qual o ocupante responde seletivamente executando o primeiro programa de diálogo. Isso permite ao ocupante dialogar falando palavras simples, por exemplo, "Sim" ou "Não", para uma pergunta do controlador 190, mesmo quando a carga de condução é grande. Além disso, o ocupante pode dialogar falando apenas o resultado selecionado de uma pluralidade de respostas possíveis.

[078] Na presente modalidade, o controlador 190 determina que o tamanho da carga de condução é maior do que o padrão predeterminado quando o veículo 100 está em viagem com um acionamento do ocupante. Por exemplo, uma vez que o ato de dirigir é uma grande carga para condutores com um nível de habilidade de condução relativamente pequeno, como tal condutores inexperientes, o tamanho da carga de condução pode ser determinado apropriadamente.

[079] Além disso, na presente modalidade, o controlador 190 determina que o tamanho da carga de condução é maior do que o padrão predeterminado quando o ocupante está realizando uma operação de condução para estacionar. Em geral, uma vez que o condutor se concentra nas operações de condução ao estacionar o veículo, o tamanho da carga de condução pode ser determinado apropriadamente.

[080] Além disso, na presente modalidade, o controlador 190 determina que o tamanho da carga de condução é maior do que o padrão predeterminado quando o veículo 100 está em viagem em uma rodovia ou um cruzamento. Em geral, como o ato de dirigir em uma rodovia é uma grande carga para o condutor, o tamanho da carga de condução pode ser determinado de forma adequada. Além disso, uma vez que o ato de dirigir em um cruzamento onde há a possibilidade de o veículo oposto virar à direita é uma grande carga para o condutor, o tamanho da carga de condução pode ser determinado apropriadamente.

[081] Além disso, na presente modalidade, o controlador 190 determina que o tamanho da carga de condução é menor do que o padrão predeterminado quando o veículo 100 está parando. Em geral, uma vez que a carga do condutor é relativamente pequena quando o veículo está parado, o tamanho da carga de condução pode ser determinado apropriadamente.

[082] Além disso, na presente modalidade, o controlador 190 determina que o tamanho da carga de condução é menor do que o padrão predeterminado quando o veículo 100 está em viagem com um acionamento automatizado. Uma vez que a carga sobre o condutor é relativamente pequena quando o indivíduo de condução do veículo não é o condutor, o tamanho da carga de condução pode ser determinado apropriadamente.

[083] Além disso, na presente modalidade, o controlador 190 determina que o tamanho da carga de condução é menor do que o padrão predeterminado quando o veículo 100 está em viagem em uma estrada congestionada ou em uma estrada reta. Em geral, uma vez que a carga do condutor é relativamente pequena em situações de congestionamento, onde o veículo está em viagem a uma velocidade lenta ou parando e dando partida repetidamente, o tamanho da carga de condução pode ser determinado apropriadamente.

[084] Além disso, na presente modalidade, o controlador 190 seleciona um programa de diálogo correspondente ao tamanho da carga de condução entre os programas de diálogo armazenados na ROM ou banco de dados e executa um diálogo com o ocupante através do microfone interno 170 e do alto-falante 180 executando o programa de diálogo. O microfone interno 170 reconhece uma voz do ocupante e o alto-falante 180 emite uma voz para o ocupante. Isso permite que o controlador 190 reconheça a voz do ocupante e faça perguntas, etc. ao ocupante com voz.

<< Segunda Modalidade >>

[085] Em seguida, o dispositivo de diálogo por voz de acordo com a segunda modalidade será descrito. Uma vez que o dispositivo de diálogo por voz da presente modalidade tem a mesma configuração que a da modalidade acima mencionada, exceto que o primeiro programa de diálogo e o segundo programa de diálogo executado pelo controlador 190 são diferentes, a descrição repetida será omitida e a descrição da modalidade acima mencionada será referida.

[086] O programa de diálogo de acordo com a presente modalidade será descrito com referência à Figura 7. A Figura 7 é um diagrama para explicar um primeiro modo de diálogo e um segundo modo de diálogo na presente modalidade.

[087] Primeiro, será descrito um primeiro programa de diálogo de acordo com a segunda modalidade. O primeiro programa de diálogo de acordo com a presente modalidade difere do primeiro programa de diálogo de acordo com a primeira modalidade em termos de saída de voz e reconhecimento de voz. Na presente modalidade, o denominado reconhecimento de palavra discreto é usado para o reconhecimento de voz no primeiro programa de diálogo. As técnicas discretas de reconhecimento de palavras incluem, por exemplo, "Identificação de palavras-chave". O reconhecimento discreto de palavras significa reconhecer uma palavra predeterminada (doravante referida como "palavra-chave") incluída na informação de voz do ocupante, não reconhecer a informação de voz do ocupante como uma frase.

[088] As características do reconhecimento de palavras discretas serão descritas com referência à Figura 7. No reconhecimento de palavras discretas, o número de palavras necessárias para reconhecer o que o ocupante falou é relativamente pequeno. Além disso, no reconhecimento discreto de palavras, o que o ocupante falou é compreendido ao determinar se a palavra corresponde ou não à palavra-chave, de modo que nenhuma gramática é verificada. Portanto, a precisão do reconhecimento das palavras faladas pelo ocupante é maior do que o reconhecimento da frase descrito acima. Por exemplo, quando o veículo está em viagem em uma estrada com más condições de estrada, o chamado ruído da estrada aumenta. Nesse caso, as palavras faladas pelo ocupante podem ser reconhecidas com alta precisão usando o reconhecimento de palavras discreto. Além disso, uma vez que não há verificação gramatical, o tempo de processamento para o controlador 190 entender o que o ocupante falou é mais curto em comparação com o reconhecimento de frase descrito acima.

[089] A seguir, a palavra-chave será descrita. Uma palavra-chave é uma palavra registrada previamente em um dispositivo de armazenamento, como ROM ou banco de dados. O tipo das palavras-chave e o número de caracteres não são particularmente limitados. O número de palavras-chave também não é particularmente limitado, mas para alta velocidade de processamento, o número de palavras-chave é preferível na faixa de 10 a 20.

[090] Exemplos de palavras-chave incluem "Sim", "Não", "Frente", "Trás", "Esquerda", "Direita", "Para cima", "Para baixo", "Forte", "Fraco", "Alto", "Baixo ", ou semelhantes. Ao selecionar palavras-chave, é preferível considerar a relação com as perguntas e ligações para o ocupante. Por exemplo, uma possível resposta à pergunta "Gostaria de baixar a temperatura do ar condicionado?" pode ser "Sim", "Não", "Inferior" ou "Não, superior", por isso é preferível registrar previamente as palavras correspondentes ao conteúdo do diálogo como palavras-chave.

[091] Na presente modalidade, a saída de voz do primeiro programa de diálogo é usada da mesma forma que a do segundo programa de diálogo para a primeira modalidade descrita acima. Como mostrado na Figura 7, não há limite para o número de palavras incluídas na resposta do ocupante ou o número de palavras emitidas através do alto-falante 180 em relação ao reconhecimento de voz.

[092] Por outro lado, como mostrado na Figura 7, o segundo programa de diálogo de acordo com a presente modalidade é o mesmo que o segundo programa de diálogo de acordo com a primeira modalidade. Por esta razão, as descrições repetidas serão omitidas e a descrição da primeira modalidade será referida.

[093] Conforme descrito acima, no primeiro programa de diálogo de acordo com a presente modalidade, a técnica de reconhecimento de palavra discreta é usada para reconhecimento de voz. Isso permite que o sistema reconheça as palavras faladas pelo ocupante com alta precisão, mesmo quando há um grande ruído da estrada, por exemplo, ao viajar em uma estrada não pavimentada ou uma estrada com uma superfície molhada, e também para reduzir o tempo de processamento necessário do reconhecimento da voz do ocupante para a saída da voz. << Terceira Modalidade >>

[094] A seguir, o dispositivo de diálogo por voz de acordo com a terceira modalidade será descrito. Uma vez que o dispositivo de diálogo por voz da presente modalidade tem a mesma configuração das modalidades mencionadas acima, exceto que o primeiro programa de diálogo e o segundo programa de diálogo executado pelo controlador 190 são diferentes, a descrição repetida será omitida e a descrição da modalidade acima mencionada será referida.

[095] O programa de diálogo de acordo com a presente modalidade será descrito com referência à Figura 8. A Figura 8 é um diagrama para explicar um primeiro modo de diálogo e um segundo modo de diálogo na presente modalidade. Na presente modalidade, uma vez que o segundo programa de diálogo é o mesmo que o segundo programa de diálogo de acordo com a segunda modalidade, as descrições repetidas serão omitidas e a descrição da modalidade mencionada acima será referida.

[096] O primeiro programa de diálogo de acordo com a terceira modalidade será descrito. O primeiro programa de diálogo de acordo com esta modalidade é composto do primeiro programa de diálogo de acordo com a primeira modalidade em relação à saída de voz e o segundo programa de diálogo de acordo com a segunda modalidade em relação ao reconhecimento de voz. Na presente modalidade, o controlador 190 faz uma pergunta, etc., à qual o ocupante responde com uma palavra- chave específica. Uma palavra-chave específica é uma palavra-chave usada no reconhecimento de palavras discretas.

[097] Por exemplo, suponha que "Sim" e "Não" sejam registrados no dispositivo de armazenamento antecipadamente como palavras-chave usadas no reconhecimento de palavras discretas. Neste caso, o controlador 190 faz uma pergunta, etc., à qual o ocupante deve responder com "Sim" ou "Não". Por exemplo, suponha que "Quente" e "Frio" sejam registrados no dispositivo de armazenamento antecipadamente como palavras-chave usadas no reconhecimento de palavras discretas. Neste caso, o controlador 190 faz uma pergunta, por exemplo, sobre a temperatura interior à qual o ocupante deve responder com "Quente" ou "Frio". Por exemplo, suponha que "Bom", "Normal" e "Ruim" sejam registrados no dispositivo de armazenamento antecipadamente como palavras-chave usadas no reconhecimento de palavras discretas. Neste caso, o controlador 190 faz uma pergunta, etc., para a qual o ocupante deve selecionar uma das opções "Bom", "Normal" e "Ruim".

[098] Além disso, na presente modalidade, um tópico tratado pelo primeiro programa de diálogo é diferente de um tópico tratado pelo segundo programa de diálogo. Especificamente, o primeiro programa de diálogo está programado para executar um diálogo com o ocupante sobre assuntos relacionados à viagem. Assuntos relacionados à viagem incluem, por exemplo, controle de direção, controle de condução e configuração de destino. Por outro lado, não há limite para o tema do diálogo com o ocupante no segundo programa de diálogo. Os tópicos tratados pelo segundo programa de diálogo incluem, por exemplo, clima, entretenimento e outros tópicos não relacionados à viagem.

[099] Conforme descrito acima, na presente modalidade, o controlador 190 faz uma pergunta à qual o ocupante responde com uma palavra-chave registrada previamente, executando o primeiro programa de diálogo. Isso permite ao ocupante dialogar com o sistema enquanto mantém sua concentração na condução, mesmo em uma situação em que a carga de condução do ocupante seja grande. Além disso, o tempo de processamento necessário para reconhecer a voz do ocupante pode ser reduzido usando o reconhecimento de palavras discreto, reduzindo assim o tempo necessário para completar o diálogo.

[0100] Além disso, na presente modalidade, o primeiro programa de diálogo é programado para executar um diálogo com o ocupante sobre um tópico relacionado a uma viagem do veículo. Isso permite que o sistema faça uma pergunta, por exemplo, sobre direção ou notifica sobre a velocidade do veículo, usando frases simples com expressões que são facilmente compreendidas pelo ocupante, mesmo em uma situação onde a carga de condução do ocupante é grande.

[0101] Deve ser apreciado que as modalidades explicadas até agora são descritas para facilitar a compreensão da presente invenção e não são descritas para limitar a presente invenção. Pretende-se, portanto, que os elementos divulgados nas modalidades acima incluam todas as alterações de design e equivalentes para cair dentro do escopo técnico da presente invenção.

[0102] Por exemplo, nas modalidades mencionadas acima, uma configuração na qual o sistema de diálogo por voz está equipado no veículo 100 foi descrita como um exemplo. No entanto, o sistema de diálogo por voz não precisa ser configurado apenas com o veículo 100, mas também pode ser configurado com o veículo 100 e um servidor que pode se comunicar com o veículo 100. Por exemplo, o sistema de diálogo por voz pode incluir um servidor que tem as mesmas funções como o controlador 190 e se comunica com o veículo para executar um diálogo com o ocupante no veículo.

[0103] Neste caso, o servidor troca informações sobre o estado de viagem, informações sobre o estado do ambiente externo, informações sobre o estado da operação de condução e informações de voz por meio de um dispositivo de comunicação (não mostrado). Por exemplo, quando um veículo tem a configuração mostrada na Figura 1, exceto para o controlador 190, o servidor sequencialmente adquire as informações necessárias para determinar o tamanho da carga de condução do veículo através do dispositivo de comunicação e também transmite para o veículo informações de voz gerado usando o programa de diálogo correspondente ao tamanho da carga de condução. No lado do veículo, um dispositivo de comunicação dentro do veículo (não mostrado) transmite informações de voz do ocupante adquiridas pelo microfone interno 170 para o servidor e também recebe as informações de voz transmitidas do servidor e as envia do alto-falante 180.

[0104] Desta forma, a configuração do sistema de diálogo por voz incluindo o servidor permite, por exemplo, que o centro de dados com o servidor gerencie coletivamente o histórico de diálogo realizado com uma pluralidade de veículos. Então, por exemplo, é possível gerar padrões para determinar o tamanho da carga de condução de acordo com as características de condução do ocupante, analisando o histórico do diálogo para cada ocupante.

[0105]Além disso, por exemplo, nas modalidades mencionadas acima, na determinação do tamanho da carga de condução, foi descrito um exemplo de determinação de que a carga de condução é grande quando o indivíduo de condução do veículo corresponde a "Condutor", mas no caso de um veículo com funções de suporte à condução, este exemplo não se limita. Por exemplo, mesmo se o assunto de condução corresponde a "Condutor", pode ser determinado que a carga de condução é pequena quando o condutor está recebendo assistência de condução do controlador do veículo ou controle de viagem.

[0106] Nas modalidades mencionadas acima, um exemplo de determinação do estado da carga de condução sobre o condutor foi descrito, mas a presente invenção também pode ser aplicada a um sistema de diálogo para ocupante no veículo que não seja o condutor.

Especificamente, pode determinar o estado de uma carga sobre o ocupante do veículo que não seja o condutor e executar o primeiro programa de diálogo descrito acima quando o estado da carga sobre o ocupante for grande, e executar o segundo programa de diálogo descrito acima quando o estado da carga sobre o ocupante for pequeno.

O estado da carga sobre o ocupante no veículo que não é o condutor é determinado com base em pelo menos uma das seguintes informações: informações sobre o estado de viagem adquiridas pela função de aquisição de informação do estado de viagem, informação sobre o ambiente externo adquirida pela função de aquisição de informação do ambiente externo, informação sobre o estado de uso de um sistema de infoentretenimento (não mostrado) no veículo 100 e informação sobre o estado de uso de um dispositivo móvel (não mostrado) usado pelo ocupante.

Por exemplo, quando a informação sobre o estado de uso do sistema de infoentretenimento (não mostrado) no veículo 100 indica que o vídeo está sendo reproduzido no sistema de infoentretenimento, o estado da carga sobre o ocupante é determinado como grande.

Quando as informações sobre o estado de uso do dispositivo móvel usado pelo ocupante indicam que o dispositivo móvel usado pelo ocupante é operado pelo ocupante, o estado da carga sobre o ocupante é determinado como grande e o primeiro programa de diálogo é executado para diálogo com o ocupante.

Por outro lado, quando as informações sobre o estado de uso do sistema de infoentretenimento ou semelhante no veículo 100 indicam que o sistema de infoentretenimento não está sendo usado, ou quando as informações sobre o estado de uso do dispositivo móvel usado pelo ocupante indicam que o dispositivo móvel não é operado pelo ocupante, o estado da carga sobre o ocupante é determinado como pequeno e o segundo programa de diálogo é executado para dialogar com o ocupante.

Portanto, dependendo se o dispositivo no veículo ou dispositivo móvel está sendo usado, o primeiro programa de diálogo ou o segundo programa de diálogo será selecionado para dialogar com o ocupante.

Em outras palavras, na presente modalidade, o primeiro programa de diálogo é executado quando é determinado que o condutor ou o ocupante diferente do condutor está realizando alguma tarefa que requer concentração, e o segundo programa de diálogo é executado quando é determinado que o condutor ou o ocupante que não seja o condutor não está realizando nenhuma tarefa que exija concentração.

[0107] Além disso, por exemplo, nesta descrição, o controlador 190 foi descrito como um exemplo de um controlador de acordo com a presente invenção, mas a presente invenção não está limitada a ele. Além disso, por exemplo, o grupo de sensores 110, o dispositivo de detecção circundante 120, o dispositivo de navegação 130, o dispositivo externo de aquisição de informação 140 e o dispositivo de acionamento 150 foram descritos como um exemplo de um sensor de acordo com a presente invenção, mas a presente invenção não está limitada a isso. Além disso, por exemplo, a ROM ou banco de dados foi descrito como um exemplo de um dispositivo de armazenamento de acordo com a presente invenção, mas a presente invenção não está limitada a eles. Além disso, por exemplo, o microfone interno 170 e o alto- falante 180 foram descritos como um exemplo de um dispositivo de voz de acordo com a presente invenção, mas a presente invenção não está limitada a eles. Descrição dos números de referência 100 ... Veículo 110 ... Grupo de sensores 111 ... Sensor de velocidade do veículo 112 ... Sensor de velocidade de rotação do motor 113 ... Sensor de grau de abertura do acelerador 114 ... Sensor de grau de abertura do freio 115 ... Sensor do ângulo de direção 116 ... Sensor da alavanca de mudança 120 ... Dispositivo de detecção circundante

121 ... Câmera no veículo 122 ... Radar 130 ... Dispositivo de navegação 131 ... GPS 140 ... Dispositivo externo de aquisição de informação 150 ... Dispositivo de acionamento 160 ... Câmera interna 170 ... Microfone interno

Claims (13)

REIVINDICAÇÕES

1. Dispositivo de diálogo por voz, CARACTERIZADO pelo fato de compreender: um controlador configurado para executar um diálogo com um ocupante em um veículo usando um sensor equipado no veículo, em que o sensor detecta pelo menos um de um estado de viagem do veículo, um estado ambiental externo do veículo e um estado do ocupante, e o controlador está configurado para: determinar um tamanho de uma carga sobre o ocupante sendo maior que um padrão predeterminado ao detectar que o veículo está viajando com um acionamento do ocupante com base no resultado da detecção; e executar um diálogo com o ocupante executando um primeiro programa de diálogo quando o tamanho da carga for maior que o padrão predeterminado, executando um segundo programa de diálogo diferente do primeiro programa de diálogo quando o tamanho da carga for menor que o padrão predeterminado.

2. Dispositivo de diálogo por voz, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de o controlador ser configurado para: adquirir uma primeira resposta a uma pergunta do ocupante, executando o primeiro programa de diálogo; e adquirir uma segunda resposta a uma pergunta do ocupante, executando o segundo programa de diálogo, e o número de palavras na primeira resposta ser menor do que o número de palavras na segunda resposta.

3. Dispositivo de diálogo por voz, de acordo com a reivindicação 1 ou 2, CARACTERIZADO pelo fato de o controlador ser configurado para fazer uma pergunta à qual o ocupante responde com uma palavra predeterminada executando o primeiro programa de diálogo.

4. Dispositivo de diálogo por voz, de acordo com qualquer uma das reivindicações 1 a 3, CARACTERIZADO pelo fato de o controlador ser configurado para fazer uma pergunta à qual o ocupante responde seletivamente executando o primeiro programa de diálogo.

5. Dispositivo de diálogo por voz, de acordo com qualquer uma das reivindicações 1 a 4, CARACTERIZADO pelo fato de o controlador ser configurado para determinar que o tamanho da carga é maior do que o padrão predeterminado ao detectar que o ocupante está realizando operações de condução para estacionar o veículo ou que o veículo está em viagem em uma rodovia ou em um cruzamento com base no resultado da detecção.

6. Dispositivo de diálogo por voz, de acordo com qualquer uma das reivindicações 1 a 5, CARACTERIZADO pelo fato de o controlador ser configurado para determinar o tamanho da carga sendo maior que o padrão predeterminado ao detectar que o ocupante está usando um dispositivo no veículo do veículo ou um dispositivo móvel com base no resultado da detecção.

7. Dispositivo de diálogo por voz, de acordo com qualquer uma das reivindicações 1 a 6, CARACTERIZADO pelo fato de o controlador ser configurado para determinar o tamanho da carga sendo menor do que o padrão predeterminado ao detectar que o veículo está parando com base no resultado da detecção.

8. Dispositivo de diálogo por voz, de acordo com qualquer uma das reivindicações 1 a 7, CARACTERIZADO pelo fato de o controlador ser configurado para determinar o tamanho da carga sendo menor que o padrão predeterminado ao detectar que o veículo está em viagem com um acionamento automatizado com base no resultado da detecção.

9. Dispositivo de diálogo por voz, de acordo com qualquer uma das reivindicações 1 a 8, CARACTERIZADO pelo fato de o controlador ser configurado para determinar o tamanho da carga sendo menor que o padrão predeterminado ao detectar que o veículo está em viagem em uma estrada congestionada ou em uma estrada reta com base no resultado da detecção.

10. Dispositivo de diálogo por voz, de acordo com qualquer uma das reivindicações 1 a 9, CARACTERIZADO pelo fato de o primeiro programa de diálogo ser um programa para realizar uma função para dialogar com o ocupante sobre um tópico relacionado a uma viagem do veículo.

11. Dispositivo de diálogo por voz, de acordo com qualquer uma das reivindicações 1 a 10, CARACTERIZADO pelo fato de o controlador ser configurado para: selecionar um programa de diálogo correspondente ao tamanho da carga entre programas de diálogo armazenados em um dispositivo de armazenamento; e executar um diálogo com o ocupante por meio de um ou mais dispositivos de voz, executando o programa de diálogo, e o um ou mais dispositivos de voz são configurados para reconhecer uma voz do ocupante e emitir uma voz para o ocupante.

12. Sistema de diálogo por voz, CARACTERIZADO pelo fato de compreender: um servidor configurado para executar um diálogo com um ocupante em um veículo, por meio de comunicação do veículo, em que o veículo está equipado com um sensor e um ou mais dispositivos de voz, o sensor detecta pelo menos um de um estado de viagem do veículo, um estado ambiental externo do veículo e um estado do ocupante,

o um ou mais dispositivos de voz reconhecem uma voz do ocupante e emitem uma voz para o ocupante, e o servidor está configurado adicionalmente para: adquirir um resultado de detecção do sensor, determinar um tamanho de uma carga sobre o ocupante sendo maior que um padrão predeterminado ao detectar que o veículo está viajando com um acionamento do ocupante com base no resultado da detecção; e executar um diálogo com o ocupante executando um primeiro programa de diálogo quando o tamanho da carga for maior que o padrão predeterminado, executando um segundo programa de diálogo diferente do primeiro programa de diálogo quando o tamanho da carga for menor que o padrão predeterminado.

13. Método para controlar um dispositivo de diálogo por voz, compreendendo um controlador configurado para executar um diálogo com um ocupante em um veículo usando um sensor equipado no veículo, o método CARACTERIZADO por compreender: pelo sensor, detectar pelo menos um de um estado de viagem do veículo, um estado ambiental externo do veículo e um estado do ocupante, pelo controlador, determinar um tamanho de uma carga sobre o ocupante sendo maior que um padrão predeterminado ao detectar que o veículo está viajando com um acionamento do ocupante com base no resultado da detecção; e executar um diálogo com o ocupante executando um primeiro programa de diálogo quando o tamanho da carga for maior que o padrão predeterminado, executando um segundo programa de diálogo diferente do primeiro programa de diálogo quando o tamanho da carga for menor que o padrão predeterminado.