BRPI0712837A2

BRPI0712837A2 - mÉtodo e aparelho para determinaÇço e anÁlise de uma localizaÇço de interesse visual.

Info

Publication number: BRPI0712837A2
Application number: BRPI0712837-1A
Authority: BR
Inventors: Trent Victor; Peter Kronberg
Original assignee: Volvo Technology Corp
Priority date: 2006-06-11
Filing date: 2007-06-11
Publication date: 2012-07-31
Also published as: CN101466305B; BRPI0712837B1; WO2007145566A1; US20100033333A1; BRPI0712837B8; BRPI0712837A8; EP2032034A4; CN101466305A; EP2032034B1; JP5036814B2; JP2009540459A; EP2032034A1; US8487775B2

Abstract

MÉTODO E APARELHO PARA DETERMINAÇçO E ANÁLISE DE UMA LOCALIZAÇçO DE INTERESSE VISUAL. A presente invenção se refere a um método em análise de dados fundamentados sobre a orientação fisiológica de um motorista. Dado é descritivo de uma direção de olhar fixo de motorista em que cada exemplo de direção de olhar fixo de motorista e é processado e critério definindo uma localização de interesse de motorista é determinado. Fundamentado sobre o critério determinado, ocorrências de direção de olhar fixo de motorista são classificadas tanto como em localização ou quanto como fora de localização. As ocorrências classificadas podem então ser utilizadas para análises adicionais, geralmente se referindo para tempos de carga de trabalho de motorista elevada e não sonolência de motorista. As ocorrências classificadas são transformadas em um de dois valores binários (por exemplo, 1 e 0) representativas de se a respectiva ocorrência classificada é em localização ou fora de localização. A utilização de um valor binário torna o processamento e análise dos dados mais rápidos e mais eficientes. Adicionalmente, classificação de pelo menos algumas das ocorrências de direção de olhar fixo de motorista fora de localização podem ser inferidas a partir da falha para satisfazer o critério determinado para ser classificado como uma ocorrência de direção de olhar fixo de motorista em localização.

Description

"MÉTODO E APARELHO PARA DETERMINAÇÃO E ANÁLISE DE UMA LOCALIZAÇÃO DE INTERESSE VISUALn

CAMPO TÉCNICO DA PRESENTE INVENÇÃO

A presente invenção genericamente se refere à pilotagem de veiculo; e mais particularmente, se refere às características visuais e comportamento de um motorista que é então analisado para facilitar a experiência de direção e desempenho de motorista.

PANORAMA DO ESTADO DA TÉCNICA DA PRESENTE INVENÇÃO

Existe pesquisa em progresso significativa relacionada à fadiga, distração, carga de trabalho de motorista e outros fatores relacionados ao estado de motorista criando situações de direção potencialmente perigosas. Isto não é surpreendente, considerando que aproximadamente noventa e cinco porcento de todos os incidentes de tráfego (trânsito) são devidos a erro de motorista, dos quais, desatenção de motorista é o fator de causa o mais comum. Numerosos estudos têm estabelecido o relacionamento entre movimentos de olho e processos cognitivos mais elevados. Estes estudos geralmente argumentam que movimentos de olho refletem, em algum grau, o estado cognitivo do motorista. Em vários estudos, movimentos de olho são utilizados como uma mensuração direta de um nível de atenção cognitivo do motorista, e alternativamente carga de trabalho mental.

Conhecimento de onde um motorista está olhando é geralmente consentido como um fator de entrada importante para sistemas projetados para evitar incidentes veiculares, e particularmente, em colisões (batidas). Por verificação de onde um motorista está olhando, sistemas de Interação Homem Máquina (Human Machine Interaction) (HMI) podem ser otimizados, e funções de segurança ativa, tal como alertas de colisão dianteira (forward collision warnings) (FCW)1 podem ser adaptados sobre o fundamento de orientação e movimentos de olho de motorista. Isto pode ser feito como uma análise off-Iine de muitos assuntos, ou utilizando um algoritmo on-line, ou em tempo real, para possivelmente adaptar tais coisas como limiares de FCW para o estado de motorista normal.

Motoristas de todos os tipos de veículos são freqüentemente desconhecedores do efeito que sonolência e distração possuem sobre suas próprias habilidades para controle de veículo. Humanos em geral, e particularmente como motoristas, são pobres juizes de suas próprias capacidades de desempenho. Tipicamente, uma impressão própria do motorista de suas capacidades é melhor do que ela realmente é. Até mesmo pessoas que têm fundamentalmente boas experiências (habilidades) de direção, não irão ter desempenho uniformemente o tempo todo quando atrás do volante de um veículo. Adicionalmente, existem muitas vezes durante viagens de direção em que demanda muito pequena é colocada sobre o motorista levando-se em consideração a execução de tarefas de direção. Como um resultado, motoristas são embalados em estados de mente onde pequena atenção está sendo dedicada para a tarefa de direção. Não surpreendentemente, desatenção de motorista é uma causa principal de colisões veiculares, e especialmente colisões automotivas. Em concordância com um estudo da Nation Highway and Transportation Safety Administration (NHTSA) de mais de dois e meio milhões de acidentes fora de cidade em um período de um ano, a desatenção de motorista é uma causa primária de colisões que computam para uma estimativa de vinte e cinco porcento até cinqüenta e seis porcento de acidentes. Neste estudo, desatenção foi definida como possuindo três componentes: distração visual, distração mental (olhando sem ver) e sonolência. Tipos de acidentes (batidas) comuns provocadas por desatenção são: colisões traseiras, colisões em cruzamento, colisões enquanto mudando ou convergindo de faixa (pista), saídas de estrada, acidentes (batidas) de veículo único (sozinho) e acidentes que ocorrem em auto-estradas de baixo limite de velocidade.

Motoristas sonolentos são um fenômeno bem conhecido. Pelo menos um levantamento indicou que cinqüenta e sete porcento de motoristas entrevistados dirigiu enquanto sonolento no ano precedente, e vinte e três porcento caíram efetivamente no sono ao volante. É conhecido que fadiga prejudica desempenho, prontidão e julgamento de motorista. Colisões provocadas por sonolência são um sério problema de segurança de estrada, e fadiga foi estimada estar envolvida em tanto quanto vinte e três porcento de todos os acidentes (batidas).

A partir de uma perspectiva tecnológica, existe um aumento em progresso e rápido de novos sistemas e funcionalizadas de informação que podem ser utilizados dentro de veículos incluindo telefones móveis, auxiliares de navegação, a internet, e outros tipos de serviços eletrônicos. O efeito de utilização de telefone móvel sobre motoristas foi pioneiro no olhar público devido ao fato de sua ampla utilização, mas vendas de auxiliares de navegação e serviços IF estão também crescendo rapidamente. Telefones móveis sozinhos foram estimados terem provocado de 300 - 1.000 fatalidades em períodos de um ano nos Estados Unidos, e isto é projetado para atingir 4.000 fatalidades por ano em 2.004. Distrações tais como utilização de empunhadura de telefone, leitura de sinalização, ingestão de alimentos, interação com outros passageiros, observação de objetos e manipulação de dispositivos embarcados no veículo têm o potencial para captura de uma atenção de motorista de uma maneira excessiva e, por conseqüência, também comprometendo a segurança. É especialmente importante que segurança de direção não seja comprometida na medida em que estes novos tipos de serviços e atividades se tornam de colocação mais comum no ambiente de direção.

Carga de trabalho de motorista aumenta fundamentada sobre utilização destas novas funcionalidades e tecnologias. Neste contesto, "carga de trabalho" deveria ser entendida para se referir a quanto ocupada uma pessoa está e a quantidade de esforço que ela necessita para desempenhar tarefas requeridas. Quando um motorista tem muitas coisas a fazer e está experimentando alta carga de trabalho, uma alta demanda de atenção está sendo feita sobre o motorista na qual existe muito a ser feito ao mesmo tempo. Motoristas freqüentemente atentam para coisas que não são relacionadas ao controle de motorista do veículo e são, conseqüentemente, tecnicamente irrelevantes para a situação de direção. Estas coisas são freqüentemente chamadas de tarefas secundárias e são distrações potenciais a partir da atenção de motorista para tarefas de direção primárias. Uma tarefa secundária se torna uma distração (incluindo distrações visuais, audíveis, cognitivas e biomecânicas) quando a atenção do motorista é capturada por intermédio disso para um grau em que atenção insuficiente é deixada para as tarefas de controle primárias de direção.

Como um resultado, desempenho de direção, tal como manutenção de faixa e controle de velocidade são comprometidas, do mesmo modo como ultimamente é comprometida a segurança.

Tarefas de direção e tarefas secundárias se sobrepõem no sentido de que algumas tarefas secundárias são direção relacionada como diagramaticamente mostrado na Figura 1. Duas dificuldades aparecem a partir deste relacionamento entre a direção e tarefas secundárias. Primeiro, pode ser difícil delinear qual informação de tarefa secundária é "irrelevante para a situação de direção" e qual não é; e segundo, determinadas tarefas secundárias relacionadas à direção, por exemplo, olhando para um sinal de rua ou planejando uma rota de direção, podem também comprometer segurança como graficamente representado na Figura 1.

Deveria também ser apreciado que o motorista é freqüentemente desconhecedor dos efeitos de distração sobre a tarefa de direção. Também, motoristas não podem confiavelmente determinar quando eles estão debilitados (prejudicados) por fadiga a ponto de possuírem um sério lapso de vigilância ou ataques de sono incontroláveis. Os sistemas de gerenciamento de atenção aqui esboçados são intencionados para aumentar segurança por determinação ao motorista em sonolência, distração, e/ou situações de alta carga de trabalho.

Como anteriormente mencionado, uma utilização interessante para movimentos de olho está nos campos da ergonomia e da HMI. Por exemplo, tal utilização pode ser feita em determinação de melhores colocações para mostradores de informação de estrada e tráfego (Road and Traffic Information) (RTI), e bem como análise de se um determinado HMI exibe menos demanda visual do que um outro. Estes tipos de análise podem, e são feitos, por assuntos (tópicos) de estudo de movimentos de olho enquanto utilizando o dispositivo HMI. Uma desvantagem primária associada com métodos correntes (convencionais), entretanto, é a de que existem poucas, se algumas, ferramentas automatizadas adequadas para desempenho da análise; em sua ausência, se lança mão comumente de análise de trabalho intensivo, manual.

Um problema significativo em pesquisa de movimento de olho atual é o de que cada time (grupo) de pesquisa parece utilizar suas próprias definições e software para decodificar os sinais de movimento de olho. Isto torna resultados de pesquisa muito difíceis de se comparar entre um e outro. É desejável possuir um padrão (standard) que defina mensurações e concepções visuais. As normas ISO 15007 e SAEJ-2396 constituem exemplos de tais padrões em que eles prescrevem métodos de mensuração de demanda visual no veículo (embarcada) e proporcionam regras de quantificação para tais características oculares como freqüência de golpe de vista, tempo de golpe de vista, tempo de cenário de estrada à frente e duração de golpe de vista, e os procedimentos para obtê-las. Entretanto, os dois padrões são fundamentados em uma técnica de vídeo gravado, e confiam em análise de avaliação humana quadro a quadro que é tanto consumidora de tempo e quanto significativamente não confiável. Na medida em que o número de diversos sistemas e dispositivos de informação no veiculo e determinação ao motorista aumenta, assim irá ser o provável interesse por indicadores de movimentos de olho de motorista e outros indicadores cognitivos. Por conseqüência, a necessidade para um método de análise padronizado, automatizado e robusto para movimentos de olho existe, e irá se tornar ainda mais importante no futuro.

Determinados métodos de rastreamento de olho e procedimentos de análise foram estatisticamente verificados para as prescrições das normas ISO 15007 e SAEJ-2396. Estas porções físicas dos sistemas podem ser configuradas para serem nem intrusivas e nem muito dependentes ambientalmente. Pelo menos um exemplo é fundamentado sobre duas câmaras (uma cabeça estéreo) sendo posicionadas em frente ao motorista. Software é utilizado para computar vetores de olhar fixo e outras mensurações de interesse em um fundamento em tempo real, indicando coisas tais como posição e rotação (orientação) de cabeça, piscada de olhos, freqüência de piscada de olhos, e grau de olho fechado (sem abrir). Entre outras características importantes neste software estão a computação simultânea em tempo real de posição/rotação (orientação) de cabeça e a rotação de olhar fixo; uma característica que nunca esteve disponível anteriormente. Também, ele não é sensível para ambientes barulhentos tais como ocorrem no interior de um veículo. Entre outras coisas, "ruído" nos dados foi descoberto ser um fator significativo tendo impacto em degradação de qualidade de dados devido a coisas tais como condições de iluminação variáveis e movimentação de cabeça/olhar fixo.

Pode ser observado que o trabalho previamente feito na área de pesquisa relacionada ao rastreamento de olho é razoavelmente exaustivo. Ainda, na medida em que progresso é feito possibilitando rastreamento de olho para ser mais robusto e portátil, esta área de tecnologia contínua a se expandir. Existem, entretanto, na muitos estudos em estrada de características de motorista relacionadas à tarefa de direção, e até os dias de hoje, não existe nenhuma utilização de dados de rastreamento de olho em um fundamento em tempo real para mensurações calculadas tais como distração visual ou cognitiva (ver Figuras 2 - 4). Isto é pelo menos parcialmente o resultado da natureza consumidora de tempo de segmentação manual e/ou dificuldades técnicas relacionadas para a não portabilidade de sistemas de rastreamento de olho comumente utilizados. Entretanto, em estudos conduzidos em ambientes laboratoriais, uma variedade de algoritmos foi desenvolvida. Muitas diferentes abordagens foram tomadas utilizando, por exemplo, Redes Neurais (Neural Networks), filtros digitais adaptativos, Modelos de Hidden Markov, métodos Least Mean Sguare, métodos fundamentados em dispersão ou velocidadee outros métodos derivados mais elevados. Muitos destes métodos, entretanto, são fundamentados sobre as características típicas do rastreador de olho, tal como freqüência de amostragem, e não funcionam bem com outros de tais sistemas.

Precedentemente, não existia nenhum padrão para definição de quais característica/s de motorista é/são para ser/em mensurada/s. Não existe nenhum padrão que se refere para segmentações oculares fundamentais incluindo sacadas (olhadelas), fixações, e fechamentos de olho. O padrão somente diz respeito a golpes de vistas; o que significa, a incidência de movimento rápido de olho através do campo de visão.

Surpreendentemente, nenhum método atual leva em consideração movimentos de olho suaves ou perseguições; o que significa, olhares propositais para fora a partir do caminho de direção tal como olhando (lendo) um sinal de estrada na medida em que ele tenha passado. De fato, muitos estudos são projetados de maneira que perseguições suaves nunca irão ocorrer, tal como por assegurar que não existem objetos para perseguir. Esta evitação por pesquisa atual é compreensível; pode ser difícil diferenciar uma perseguição suave a partir de uma sacada ou uma fixação. Estas características são raramente mencionadas na literatura. Independentemente da/s razão/ões pelas quais estas características não foram consideradas, perseguições suaves são levadas em consideração com respeito à/s invenção/ões presentemente descrita/s porque tal movimento de olho suave não ocorre tão freqüentemente sob condições de direção reais.

Fundamental para direção de um veículo é a necessidade para objetivar o veículo, para detectar seu caminho ou condução (direcionamento) , e para detectar ameaças de colisão potenciais se elas vêm a partir de objetos ou eventos. Esta consciência de cenário de estrada é um pré- requisito para controle longitudinal e lateral do veículo. Deveria ser apreciado que centro de estrada não é sempre em linha reta (diretamente) à frente do eixo geométrico longitudinal do veículo, mas é freqüentemente fora de linha central devido às curvas que quase sempre existem em auto- estradas em maiores e menores graus. Ainda assim, pesquisa mostra que motoristas tendem a olhar substancialmente em linha reta à frente (considerando desvios razoáveis para curvatura de estrada), com seus olhos sobre a estrada na maior parte do tempo; o que significa, noventa e cinco porcento do tempo. Ainda adicionalmente, prudência ensina ao motorista médio que golpe de vista para fora a partir do centro de estrada ou caminho de viagem são mais bem marcados para não interferir com objetivo do veículo, e para coincidir com -uma baixa probabilidade de uma ocorrência de evento inesperado ou encontro de objeto. Mesmo assim, as estatísticas anteriormente mencionadas demonstram que mesmo motoristas prudentes não estão sempre atentos para demandas de direção, nem são eles consistentemente bons gerenciadores de suas próprias cargas de trabalho e distrações quando dirigindo.

0 fundamento teórico para o conceito de centro de estrada considera que guia visual de controle de veículo é fundamentado sobre informação de fluxo óptico na região da auto-estrada à frente. De maneira a receber a informação visual a mais relevante, motoristas tendem a se fixar sobre localizações específicas, ou "pontos de ancoragem". Foi proposto que informação é primordialmente obtida a partir de dois de tais pontos de ancoragem: um ponto distante e um ponto próximo (por exemplo, Salvucci and Grayr 2.004). Para a região distante, foi sugerido que o ponto de ancoragem o mais eficiente é o alvo para o qual direção é direcionada (Wilkie and Wann, 2.005), embora outros pontos de ancoragem são possíveis como tais (ver Victor, 2.005, para uma revisão da literatura) . 0 ponto próximo está localizado na região exatamente à frente do veículo (Salvucci and Gray, 2.004). O ponto distante foi proposto para contar para a componente rotacional do fluxo óptico, enquanto o ponto próximo é mais bem adequado para tomada da componente de translacional (Victor, 2.005).

A região definida pelos pontos de ancoragem é aqui conceituada como o centro de estrada (RC). Durante direção normal, o motorista usualmente divide a atenção visual entre o centro de estrada e outras fontes de informação, por exemplo, os espelhos, sinais de estrada, ou outros objetos no interior e no exterior do veículo. Entretanto, durante divisão de tempo visual estendida, por exemplo, quando desempenhando uma tarefa em um sistema de informação no veículo (embarcado) (IVIS), os golpes de vista na estrada necessitam ser focalizados sobre as regiões as mais relevantes para controle de caminho, isto é, os pontos de ancoragem. Isto resulta em uma forte concentração dos golpes de vista de estrada à frente (Vietor e outros, 2.005). Como mencionado anteriormente, esta é uma das motivações chave para utilização de golpes de vista de centro de estrada como o fundamento para mensuração de demanda visual.

A segunda motivação chave, também confirmada por resultados empíricos (Vietor e outros, 2.005), é a de que a grande maioria de golpes de vista fora de centro de estrada (off-RC) durante desempenho de tarefa IVIS estão em direção de alvo IVIS.

Identificação de Centro de Estrada (Road Center Identification) : É importante notar que a localização do centro de estrada, a partir do ponto de vista do motorista, é determinada pela posição/orientação do corpo e do veículo relativamente para o ambiente. Por conseqüência, uma quantidade substancial de variação do centro de estrada é induzida por dimensões físicas diferenciadas de um motorista, posturas de assento, e bem como curvatura de estrada. Por esta razão, o RC é estimado a partir dos dados de uma forma de copo virado.

Direção não é uma tarefa particularmente demandante na maior parte das ocorrências. Por exemplo, é estimado que durante a maior parte de direção interestadual, menos do que cinqüenta porcento de uma capacidade perceptiva do motorista é utilizada. Por causa disto, motoristas freqüentemente desempenham tarefas secundárias tais como discagem de telefone celular e mudança de canais (estações) de rádio. Quando tarefas secundárias são desempenhadas, um comportamento de golpe de vista de divisão de tempo é exibido no qual os olhos são deslocados para trás e para frente entre a estrada e a tarefa. Esta divisão de visão temporal é uma implicação de possuir uma fonte visual única. Alguém poderia dizer que a estrada é amostrada enquanto desempenhando tarefas secundárias ao invés do oposto. O problema, que induz colisões, é o de que coisas inesperadas poderiam acontecer durante o intervalo quando os olhos estão fora da estrada e reações para estes eventos ou objetos inesperados podem ser seriamente lentas.

As novas técnicas de mensurações e análises aqui apresentadas exploram este fundamental e necessário comportamento de movimento de olho de direção de olhar em linha reta à frente ou sobre a trajetória de caminho de veículo. As mensurações determinam uma determinação off- line precisa do impacto visual de desempenho de tarefas no veículo demandando visualmente, cognitivamente, ou manualmente que foram descobertas serem altamente correlacionadas com mensurações convencionais. Elas também possibilitam uma comparação com direção normal. As mensurações aqui apresentadas são importantemente também adequadas para calculo on-line e determinação deste impacto visual e, por conseqüência, representam mensurações em tempo real que podem ser utilizadas para detecção de distração e carga de trabalho.

O pedido de patente norte americano número US 2005/0073136 A1 apresenta um método para análise de características oculares e/ou orientação de cabeça de um sujeito. Uma detecção e quantificação da posição de uma cabeça do motorista e/ou movimentos de olho são feitas relativamente para o ambiente. Testes dos dados são feitos, e a partir dos dados localizações de áreas/objetos de interesse do sujeito experimentadas são deduzidas. Por utilização de dados de direção de olhar fixo, independentemente de se eles são fundamentados sobre orientação de cabeça ou orientação (ocular) de olho, a localização relativa do centro de estrada e do grupo de instrumento pode ser deduzida para um motorista particular. Um conceito de identificação do centro de estrada é apresentado.

O pedido de patente internacional número WO 03/070093 A1 apresenta um sistema e um método para monitoramento do comportamento fisiológico de um motorista que inclui mensuração de uma variável fisiológica do motorista, acessando um parâmetro de comportamento do motorista sobre o fundamento de pelo menos referida variável fisiológica mensurada e informação ao motorista do parâmetro comportamental do motorista acessado. A mensuração da variável fisiológica pode incluir mensuração de um movimento de olho do motorista, mensurando uma direção de olhar fixo de olho do motorista, mensurando uma quantidade de fechamento de olho do motorista, mensurando um movimento de piscada de olho do motorista, mensurando um movimento de cabeça do motorista, mensurando uma posição de cabeça do motorista, mensurando uma orientação de cabeça do motorista, mensurando uma característica facial móvel do motorista, e mensurando uma imagem de temperatura facial do motorista.

RESUMO DA PRESENTE INVENÇÃO

Pelo menos uma característica da/s presente/s invenção/ões é a provisão de métodos e algoritmos de análise validados que facilitam: análises automatizadas de dados de movimento comportamental produzidos por sistemas de rastreamento de cabeça/olho/corpo, eliminação substancial de avaliação humana, e dados característicos validados e filtrados de saída que são robustos contra erros e ruído. Preferivelmente, estas facilitações são conduzidas em concordância com as normas ISO/SAE e padrões similarmente aceitos presentes e futuros. Determinados algoritmos, padrões, e facilitações são discutidos no depósito de pedido de patente norte americano número US 10/605.637, depositado em 15 de outubro de 2.003, os conteúdos do qual são aqui incorporados por referência em sua totalidade.

A presente invenção proporciona para um método sobre análise de dado que é sensoriado fundamentado sobre a orientação fisiológica de um motorista em um veículo. 0 dado é descritivo da direção de olhar fixo do motorista e pode ser definido por um conjunto de dados. 0 dado é processado utilizando um computador, e a partir de pelo menos uma porção deste dado, critério definindo uma localização de interesse de motorista é determinado. Fundamentado sobre o critério determinado, ocorrências de direção de olhar fixo são classificadas tanto como em localização ou quanto como fora de localização. As ocorrências classificadas podem então ser utilizadas para análise adicional relacionada à localização de interesse visual. Análise adicional geralmente se refere aos períodos de carga de trabalho de motorista elevada e não sonolência de motorista.

Uma localização pode ser qualquer localização de interesse, por exemplo, uma localização pode incluir: o centro de estrada, uma localização atrás do motorista, uma localização à esquerda ou à direita do motorista, um espelho retrovisor traseiro, um espelho retrovisor lateral, um console central, um acessório de automóvel (por exemplo, rádio, interruptor de janela, sistema de navegação), um acessório pessoal (por exemplo, telefone celular, PDA, laptop), ou um passageiro (por exemplo, criança em assentos de automóvel ou assento traseiro). A lista anteriormente não é inclusiva totalmente e é proporcionada para mostrar exatamente uns poucos exemplos de localização. Como observado a partir dos exemplos anteriormente, a localização não necessita ser fixada, mas pode mudar com o tempo, por exemplo, quando a localização é um telefone celular ou PDA a localização muda com o tempo quando o usuário digita no telefone, responde o telefone, verifica identificador de chamada (ID)1 verifica mensagens de entrada, ou envia mensagens de saída.

As ocorrências classificadas são transformadas em um de dois valores binários (por exemplo, 1 e 0) representativos de se a respectiva ocorrência classificada está em localização ou fora de localização. As utilizações de um valor binário tornam processamento e análise mais eficientes.

Adicionalmente, a presente invenção possibilita para a classificação de pelo menos algumas das ocorrências de direção de olhar fixo fora de localização para serem inferidas a partir da falha para satisfazer o critério determinado para ser classificado como uma ocorrência de direção de olhar fixo de motorista em localização.

A presente invenção proporciona para ocorrências de direção de olhar fixo podendo ser sensoriadas e derivadas a partir dos movimentos comportamentais. Por exemplo, as ocorrências de direção de olhar fixo podem ser derivadas a partir de uma orientação sensoriada de: uma porção acima da cintura do corpo do motorista; uma porção do torso superior do corpo do motorista; a cabeça do motorista; e/ou pelo menos um olho do motorista. Sensores para mensuração de movimentos comportamentais incluem uma variedade de sensores, incluindo, inter alia, câmeras, dispositivos de sensoriamento ultra-sônicos, e sensores capacitivos. Como visto anteriormente, um objetivo da presente invenção é o de proporcionar regras de caracterização simplificadas que caracterizem dados tanto como em uma localização ou quanto como fora de uma localização especificada. Em uma concretização exemplificativa da presente invenção, a caracterização é tanto uma fixação visual de centro de estrada, ou quanto uma fixação visual fora de centro de estrada. Uma fixação de centro de estrada é geralmente caracterizada quando o motorista está olhando para frente de uma forma de direção típica, isto é, o motorista está visualmente fixado sobre o centro de estrada. Fixações visuais fora de centro de estrada, onde o motorista está olhando para fora a partir do centro de estrada, podem ser inferidas a partir de fixações visuais que não são caracterizadas como fixações visuais de centro de estrada.

Em uma outra concretização exemplificativa da presente invenção, a caracterização é tanto uma fixação visual de espelho retrovisor traseiro, ou quanto uma fixação visual fora de espelho retrovisor traseiro. Uma fixação visual de espelho retrovisor traseiro é geralmente caracterizada quando o motorista está olhando para o espelho retrovisor traseiro para olhar atrás do veículo. Fixações visuais fora de espelho retrovisor traseiro, onde o motorista não está olhando para o espelho retrovisor traseiro, podem ser inferidas a partir de fixações visuais que não são caracterizadas como fixações visuais de espelho retrovisor traseiro.

Um outro objetivo da presente invenção é o de adaptar determinados algoritmos para um ambiente em tempo real. Um outro objetivo da presente invenção é o de identificar e proporcionar suportes de motorista que são fundamentados sobre comportamento visual e que podem auxiliar o motorista a evitar situações potencialmente prejudiciais por causa de sistemas implementados que refocalizam o motorista.

Em um aspecto, a presente invenção endereça a necessidade para se possuir uma referência padrão em um veículo a partir da qual vários objetos e áreas que poderiam ser de interesse para um motorista podem ser localizadas relativamente localizadas. Uma estrutura de referência padrão [definida por posição/ localização/ orientação relativa {no contesto da presente apresentação, utilização da marca inclinada para frente, /, é utilizada para indicar um relacionamento "e/ou"} dentro do interior do veículo] para a qual dado de rastreamento de cabeça/face/olho tomado a partir de operadores de tamanho, estatura e comportamento variados, pode ser traduzido é desejável em que ela (a estrutura) "padroniza" tal dado para processamento elegante (superior) para os diversos propósitos aqui descritos.

Em pelo menos uma concretização, a invenção presentemente descrita pode ser definida como um método para análise de características oculares e/ou orientação de cabeça de um motorista de um veículo. Deveria ser apreciado que as técnicas ou processos de análise descritos são contemplados como tendo capacidade de serem aplicados para dados de rastreamento armazenados que foram tipicamente marcados com respeito ao tempo, ou dados em tempo real, que por sua natureza, consideram tempo como um fator de definição em uma corrente de dados; portanto o nome descritivo, dados em "tempo real". Em qualquer evento, esta concretização da presente invenção contempla uma detecção e quantificação da posição de uma cabeça do motorista relacionada para o espaço dentro de um compartimento de passageiros de um veículo. Uma posição de base de referência de uma "marca de assento" de cabeça do motorista (ou porção da mesma) é proporcionada que possibilita uma referência cruzada de localizações de áreas/objetos de interesse de motorista relacionadas ao mesmo. Deveria ser apreciado que estas áreas/objetos de interesse de motorista podem ser interiores ou exteriores ao veículo, e podem ser constituídas por (1): "coisas" tais como controles de áudio, velocímetros e outros mensuradores, e (2): áreas ou posições tais como "estrada a frente" e espaço de folga de mudança de faixa em faixas adjacentes. De maneira a "padronizar" os dados de rastreamento com respeito para o veículo de interesse, a quantificação da posição da cabeça do motorista é normalizada para a posição de base de referência por intermédio disto possibilitando dedução de localização/ões onde o motorista mostrou um interesse fundamentado sobre informação sensoriada considerando um ou outro, ou ambos de (1) : orientação ocular de motorista ou (2): orientação de cabeça de motorista.

Em uma outra concretização, a invenção descrita presentemente descrita apresenta o conceito geral de mensurações fundamentadas em centro de estrada (RC), onde demanda visual é quantificada em termos de golpes de vista para fora a partir do centro de estrada, para ambas as aplicações off-line e on-line (em tempo real). A vantagem principal desta padrão é a de que alguém pode possibilitar para menor qualidade de dados durante golpes de vista para fora a partir da estrada (na medida em que olhar fixo para fora da área de RC, é ignorado).

No evento de que informação de rastreamento está disponível tanto em características de cabeça de motorista e quanto de olho de motorista, informação sensoriada considerando orientação ocular de motorista é preferencialmente utilizada como fundamento para a dedução de localização/ões de interesse de motorista. Um interruptor é feito para informação sensoriada considerando orientação de cabeça de motorista como fundamento para dedução de onde interesse de motorista foi mostrado quando a qualidade da informação sensoriada considerando orientação ocular de motorista se degrada além de um nível de confidência de olhar fixo de limiar prescrito. Como um exemplo, este interruptor pode ser necessitado quando os olhos do motorista estão tapados; o que significa, obscurecidos ou encobertos de alguma maneira que previne que venham a ser rastreados. A condição de ser tapado é também contemplada para incluir situações nas quais o/s sensor/s de rastreamento não tem/têm capacidade de rastrear os olhos por causa de, por exemplo, uma inabilidade para identificar/localizar características faciais relativas. Por exemplo, orientação e referência de olhos-para-nariz- para-boca não podem ser deduzidas (alguns sistemas de rastreamento requerem que uma estrutura de referência para a face seja estabelecida de maneira a localizar os olhos que estão para ser rastreados e caracterizados por valores de dados). Quando a face não é apropriadamente referenciada, é possível para alguns sistemas de sensor rastrear, por exemplo, as narinas do sujeito, que foram misturadas com os olhos, ou óculos que estão gastos distorcidos (refrativamente) ou obscurecidos (óculos de sol) a imagem do olho. Um outro exemplo dos olhos sendo tapados é quando a posição da cabeça de motorista se afasta para fora a partir de uma orientação de olhos à frente (direção predominante) além de um grau permitido de desvio. Nestes eventos, o/s olho/s do motorista é/são efetivamente visualmente bloqueado/s a partir do equipamento de rastreamento (sensores) que está gerando os dados de orientação de olho.

Preferivelmente, uma transformação matemática é utilizada para completar a normalização da qualificação da posição da cabeça do motorista para a posição de base de referência. Em uma instalação embarcada, é preferido que a transformação matemática venha a ser desempenhada utilizando um computador fundamentado em veículo em uma base substancialmente em tempo real.

Posições de áreas/objetos de interesse de motorista prováveis relativamente para a posição de base de referência são prescritas. Com respeito a isto, tais prescrições atuam como modelos contra, ou em cima dos quais os dados sensoriados podem ser lidos ou sobrepostos.

Alternativamente, posições de áreas/objetos de interesse de motorista prováveis são definidas relativamente para a posição de base de referência fundamentadas sobre características oculares de motorista sensoriadas. Em um desenvolvimento exemplificativo da presente invenção, tais definições de posições de áreas/objetos de interesse de motorista prováveis relativamente para a posição de base de referência podem ser estabelecidas fundamentadas sobre a característica ocular de motorista sensoriada de freqüência de olhar fixo.

Aqui, estabelecimento da freqüência de olhar fixo é fundamentado sobre quantificação de características de densidade de olhar fixo coletadas.

Em uma concretização da presente invenção, uma área/objeto de interesse de motorista (que é intencionada para ser interpretada como também englobando uma pluralidade de áreas/objetos de interesse de motorista) é identificada fundamentada sobre características oculares de motorista (exemplarmente representada como dado de rastreamento) por mapeamento das características oculares de motorista sensoriadas para as localizações prováveis prescritas ou definidas de áreas/objetos de interesse de motorista relativamente para a posição de base de referência. O que significa, identificação de um objeto ou área que foi deduzida como provavelmente sendo de interesse para um motorista pode ser feita por comparação do dado observado (dado de rastreamento de cabeça e/ou olho) para um modelo prescrito como definido aqui anteriormente, ou por comparação com um conjunto de dados conhecidos que foi correlacionado para objetos e/ou áreas particulares nos/as quais um motorista deveria estar potencialmente interessado.

Um exemplo deveria ser o de que um modelo fundamentado em área imaginado para um veículo particular, e freqüências relativas nas quais um motorista olha em várias localizações/objeto é identificado. Por exemplo, pode ser descoberto que um motorista típico olha em uma direção substancialmente em linha reta à frente em torno de quarenta porcento do tempo de direção e do grupo de mensuradores, incluindo o velocímetro em torno de vinte porcento do tempo de direção. É também conhecido que espacialmente, o centro destas duas áreas está um abaixo do outro. Conseqüentemente, utilizando dados de direção de olhar fixo [levando-se em consideração se eles são fundamentados sobre orientação de cabeça ou orientação de olho (ocular)], a localização relativa do centro de estrada e do grupo de instrumentos pode ser deduzida para um motorista particular. Uma vez que estrutura de referência básica é estabelecida, correspondência para realidade para um veículo particular pode ser deduzida, e uma tradução para uma estrutura de referência pode ser determinada. Ainda adicionalmente, golpes de vista para os controles de áudio do veículo podem também ser deduzidos, por exemplo, se estatisticamente, é conhecido que um motorista típico olha para os controles de áudio aproximadamente por dez porcento de tempo de direção normal. Uma vez que um período de "tempo de aprendizado" tenha sido registrado, as localizações relativas de muitas áreas/objetos de interesse de motorista podem ser apuradas em uma base estatística; mesmo independentemente de qualquer mapa conhecido de objetos/áreas, ou estrutura de referência no veículo.

Em um outro aspecto da presente invenção, a apresentação descreve delineamento de funcionalidades prescritas desempenhadas pelo veículo fundamentadas sobre as características oculares de motorista mapeadas. Isto pode ser tão simples quanto adaptação de um alerta (alarme) de distração para soar quando é detectado que o motorista olhou para fora da estrada por tempo excessivamente longo, provocando um aumento da zona de pára-choque mantida atrás de um veículo de condução por um sistema de controle de cruzeiro adaptativo.

Foi descoberto que estas áreas/objetos de interesse de motorista podem ser identificadas fundamentadas tanto em parte, ou quanto exclusivamente, sobre informação sensoriada levando-se em consideração orientação ocular de motorista exclusivamente constituída por uma mensuração de angularidade de olhar fixo. Com respeito para pelo menos uma estrutura de referência dentro de um veículo particular (exemplarmente identificado como um modelo particular feito de um automóvel), localização angular de uma área/objeto é particularmente distintivo porque as necessidades de considerar distâncias são removidas. 0 que significa dizer, se uma localização de área foi para ser identificada como estatisticamente (probabilisticamente) representando uma área/objeto de provável interesse de motorista, a distância na qual esta área é localizada para fora a partir da estrutura de referência tem que ser conhecida. Isto retorna o fato de que uma área definida se expande a partir de um ponto focai muito semelhante ao que um cone faz a partir de seu ápice. Um ângulo a partir do ápice, entretanto, é uma mensuração discreta (ver Figura 5).

A mensuração de angularidade de olhar fixo pode ser derivada a partir de um vetor de direção de olhar fixo fundamentada em orientação de globo ocular sensoriada. Esta poderia ser tomada a partir da observação de um globo ocular, mas preferivelmente, ela é tomada como uma conglomeração de observações tomadas a partir de ambos os globos oculares. Conseqüentemente, o vetor representativo é mais precisamente descrito como um vetor emanando a partir da região da ponte (canal) de nariz dos sujeitos, e orientado paralelo para uma média de angularidade observada. Adicionalmente, uma mensuração de angularidade de olhar fixo poderia ser estimada a partir da observação de cabeça, face, ou outros movimentos e/ou posições de corpo.

Enquanto a presente invenção tenha sido descrita com respeito para particulares em termos de angularidade de globo ocular aqui anteriormente, é também contemplado que resultados relacionados, se não similares, podem ser obtidos a partir de feitura de observações similares fundamentadas sobre orientação de cabeça. Em geral, a comparação pode ser descrita como utilizando a direção na qual os pontos de nariz (fundamentados em cabeça), como opostos para a direção na qual os olhos são orientados a partir da estrutura de referência definida pela orientação da estrutura de referência, definindo posições prováveis de áreas/objetos de interesse de motorista relativamente para a posição de base de referência fundamentada sobre orientação de cabeça sensoriada.

Em pelo menos uma concretização da presente invenção, as definições de posições prováveis de áreas/objetos de interesse de motorista são determinadas relativamente para a posição de base de referência fundamentada sobre orientação de cabeça sensoriada a partir da qual uma direção de face à frente é deduzida. Neste caso, como com dados de mensuração de trajetória de globo ocular, orientações de cabeça particulares, e portanto uma direção de face à frente pode ser estabelecida utilizando mapeamentos de densidade indicativos de freqüência na qual um motorista olha em uma determinada direção.

Objetos/áreas de interesse de motorista podem ser identificados por correlação do mapeamento representativo (conseqüentemente, isto pode também se concretizado a partir de dados diretos de angularidade) contra localizações prováveis prescritas / definidas de áreas / objetos de interesse de motorista relativamente para a posição de base de referência.

Quando endereçando análise fundamentada em orientação de cabeça, a mensuração de angularidade de olhar fixo pode ser derivada a partir de um vetor de direção de olhar fixo fundamentada em orientação de cabeça sensoriada.

Em uma outra concretização, a presente invenção toma a forma de um método para desenvolvimento uma marca inclinada para frente (estrutura de referência) para comparação em acesso de atividade de motorista e/ou condição de motorista. Este método compreende (inclui, mas não é limitado a) coletagem (que pode também incluir utilização de uma corrente de dados registrados) de uma corrente de dados de direção de olhar fixo fundamentados sobre uma característica sensoriada de um motorista, e fundamentados sobre modelos (padrões) de densidade desenvolvidos a partir dos mesmos, definindo parâmetros fundamentados em direção de olhar fixo correspondendo para pelo menos uma região de provável interesse de motorista.

Como anteriormente apresentado, este método introduz utilização de mensurações de pelo menos um de (1) : orientação ocular de motorista e (2): orientação de cabeça de motorista para constituir os dados de direção de olhar fixo.

Uma região representativa de direção de olhos à frente típica é estabelecida fundamentada sobre um modelo de alta densidade acessado a partir dos dados de direção de olhar fixo coletados. Exemplarmente, a região pode ser definida como uma área definida em duas dimensões, tal como parábola, ou um volume definido em três dimensões, tal como um cone, se irradiando a partir da estrutura de referência com um ápice do mesmo essencialmente localizado em posição de um motorista tipificado relativamente para uma estrutura de referência estabelecida.

O dado de direção de olhar fixo coletado é comparado com a região representativa estabelecida, e por intermédio disso identificando afastamentos (desvios) de olhar fixo fundamentados sobre a comparação. Fundamentadas sobre comparação similar, outras qualidades do ambiente ou do motorista podem ser deduzidas. Por exemplo, o dado de direção de olhar fixo pode ser utilizado para identificar e/ou mensurar coisas tais como distração cognitiva de motorista, distração visual de motorista, e/ou condições de alta carga de trabalho de motorista.

Ainda adicionalmente, o método contempla e proporciona recursos para quantificação da severidade (grau) de um prejuízo do motorista com respeito ao desempenho de tarefas de direção fundamentadas sob uma freqüência ou duração apurada (dependendo de se ocorrências são incidentes discretos ou contínuos) na qual uma tal condição indicativa como (1) : desvio de olhar fixo, (2) : distração cognitiva, (3) : distração visual e (4) : alta carga de trabalho de motorista é detectada em um periodo de tempo prescrito.

Os incidentes de interesse podem ser logados (alimentados), armazenados e/ou transmitidos para análise adicional por um processador. Reciprocamente, os dados representativos dos incidentes de interesse podem ser analisados em uma base em tempo real tanto localmente, ou quanto remotamente se também transmitidos em tempo real.

Sistemas e métodos de gerenciamento de atenção possuem como um objetivo aumentar segurança por assistência aos motoristas em sonolência, distração, e/ou situações de alta carga de trabalho. Especificações funcionais são proporcionadas para um número de sistemas de gerenciamento de atenção que podem ser caracterizados para incluir gerenciadores de sonolência, gerenciadores de distração, gerenciadores para adaptação de distração de colisão dianteira e sistemas de alerta de mudança de faixa, e gerenciadores de carga de trabalho que são pelo menos em parte controlados fundamentados sobre estimativas de demanda de direção observadas ou deduzidas a partir de comportamento visual do motorista. Um sistema de hardware que pode ser adequadamente empregado para desempenhar estas tarefas de gerenciamento de atenção de motorista é também descrito. Uma "plataforma" para desenvolvimento do gerenciamento de sonolência e de distração instantâneo fundamentada sobre Interação Homem Máquina (Human Machine Interaction) (HMI) é também descrito, como o é descrição de sistemas de resposta realimentação (feedback) continua de pós-viagem. A abordagem HMI tem como um objetivo conseqüente contra-atacar desatenção de motorista por provisão tanto de alarmes de colisão eminente, e quanto bem como resposta de atenção para provocar mudança comportamental positiva.

Pelo menos uma utilização de tal análise é a de proporcionar resposta de motorista quando a quantificação de severidade excede um nível de limiar de severidade prescrito. Por exemplo, um motorista pode ser alertado quando níveis excessivos de distração visual (olhando excessivamente para fora) ou distração cognitiva (não olhando para fora pasmado à frente o suficiente quando preocupado) ocorrerem.

Uma outra utilização da saída a partir da análise é para delinear funcionalidades prescritas desempenhadas pelo veículo quando a quantificação de severidade excede um nível de limiar de severidade prescrito. Um exemplo deveria ser provocando um sistema de controle de cruzeiro adaptativo para instituir espaço adicional entre um veículo de condução quando o motorista é acessado a estar distraído ou desatento.

Um modo particularmente vantajoso para análise da corrente de dados de direção de olhar fixo coletados é a utilização de uma janela de tempo de movimentação primária de período prescrito transverso através da série de dados (umas ferramentas de análise bem conhecidas para aqueles especialistas do estados da técnica na análise estatística), e detectando características dentro da janela de tempo de movimentação primária indicativas de uma ocorrência de atividade de divisão de tempo de motorista.

Um exemplo é tomando uma média de determinados dados dentro de uma segunda janela noventa de movimentação. Na medida em que a janela prossegue ao longo da série de dados, novo dado é adicionado para a consideração e o dado o mais antigo é descarregado (nova entrada e antiga saída em iguais quantidades, fundamentadas sobre tempo).

Utilização deste processo pode ser utilizada para identificar períodos de alta carga de trabalho de motorista fundamentada sobre uma freqüência de ocorrências que excedem limiar de atividade de divisão de tempo de motorista. De maneira a desembaraçar (livrar) a janela do efeito da ocorrência detectada, refresco (fluência ou restauração para normal) da janela de tempo de movimentação primária sob a detecção de cessação de uma ocorrência de atividade de divisão de tempo de motorista é provocado. Desta maneira o efeito da ocorrência é minimizado depois de detecção e análise, por intermédio disso prontificando o sistema para um próximo desvio a partir do normal.

Como irá ser descrito em maiores detalhes aqui posteriormente, diversas características de atividade ocular podem ser identificadas fundamentadas sobre atividade ocular observada. Algumas características comuns facilmente reconhecidas pela pessoa leiga são piscadas de olho e golpes de vista. 0 que não pode ser tão prontamente apreciado pela pessoa leiga é que coisas tais como um golpe de vista pode ser caracterizado ou identificado fundamentado sobre atividades de olho constituintes menos conhecidas tais como sacadas, fixações e transições, cada uma das quais possui características mensuráveis de definição.

Em uma outra concretização, a presente invenção toma a forma de um método para análise automatizada de dado de movimento de olho que inclui processamento de dado descritivo de movimentos de olho observados em um sujeito utilizando um processador fundamentado em computador por aplicação de regras de classificação para os dados e por intermédio disso identificando pelo menos fixações visuais experimentadas pelo sujeito. Estas regras ou características são discutidas em maiores detalhes aqui posteriormente. Análise é também feita de informação de direção de olhar fixo associado com as fixações identificadas por intermédio disso desenvolvendo dados representativos de direções nas quais o sujeito visualmente se fixou durante o período de coleta de dados que estão presentemente sendo analisados.

Regras de classificação aplicadas compreendem pelo menos um critério definindo fixações e transmissões. As regras de classificação podem também proporcionar critério para definir sacadas que são adicionalmente utilizadas.

Os dados podem ser segregados, fundamentados pelo menos parcialmente sobre direção de olhar fixo de fixações, em conjuntos de dados delimitados, cada conjunto de dados delimitado representando uma/um área/objeto de interesso de sujeito saindo durante o período de coleta de dados.

Em um outro aspecto da presente invenção, golpes de vista são identificados por aplicação de pelo menos uma regra de definição de golpe de vista para o dado, cada um dos golpes de vista identificados englobando pelo menos uma fixação identificada. Neste aspecto da presente invenção, a regra de definição de golpe de vista é geralmente definida por pelo menos uma das seguintes características incluindo: duração de golpe de vista, freqüência de golpe de vista, tempo de golpe de vista total, e tempo de tarefa total.

Em um outro aspecto da presente invenção, uma densidade relativa é acessada de um conjunto de golpe de vista em comparação com pelo menos um outro conjunto de golpe de vista, e fundamentado sobre isto, o método identifica a/o área/objeto de interesse de sujeito representada/o do conjunto de golpe de vista comparado.

Em um aspecto similar da presente invenção, o método inventivo contempla acesso de uma densidade relativa de pelo menos um conjunto de golpe de vista entre uma pluralidade de conjuntos de golpe de vista, e fundamentado sobre um mapeamento da densidade relativa acessada para densidades relativas conhecidas associadas com conjuntos do tipo em que o movimento de olho foi coletado, identifica a/o área/objeto de interesse de sujeito representada/o do conjunto de golpe de vista comparado. Por exemplo, utilizando as porcentagens para períodos de interrupção (parada) conhecidos sobre determinados objetos ou áreas de interesse de motorista durante condições de direção normal, estes objetos ou áreas podem ser identificados a partir dos dados coletados.

Em um outro aspecto da presente invenção, densidades relativas de pelo menos dois conjuntos de golpes de vista desenvolvidos a partir de dado descritivo de movimentos de olho observado em um conjunto espacialmente conhecido são acessadas e a/o área/objeto de interesse de sujeito representada/o de cada um dos dois conjuntos de golpe de vista comparados é apurada/o a partir destas. Localizações da/os áreas/objetos de interesse de sujeito representada/os são então apuradas no conjunto conhecido por intermédio disso estabelecendo uma estrutura de referência para o conjunto conhecido porque as localizações deduzidas podem ser mapeadas ou sobrepostas sobre localizações conhecidas do/as objetos/áreas.

Em uma concretização particularmente preferida da presente invenção, o sujeito é um motorista de um veículo, e fundamentado sobre uma densidade de pelo menos um dos conjuntos de dados de golpe de vista, uma orientação de olho de motorista normal, de olhos à frente, é deduzida.

Um aspecto adicional da presente invenção em que um motorista de veículo é o sujeito, contempla utilização de uma pluralidade de protocolos de análise, a seleção dos quais é dependente das características de ruído prevalecentes com conjunto de dados sendo processado.

Em um desenvolvimento da presente invenção, uma primeira filtragem de dados de rigor (severidade) pré- determinado é aplicado para uma corrente de entrada de dados compreendendo o dado descritivo de movimentos de olhos observados em um motorista de um veículo. 0 processador fundamentado em computador é utilizado, e a partir do mesmo, a uma primeira corrente de dados filtrada se dá saída que corresponde para uma corrente de entrada de dados. Este conceito de correspondência pode ser um em que cada valor de saída corresponde para o valor de entrada a partir do qual o valor de saída é derivado. Qualidade da primeira corrente de dados filtrada de saída é acessada por aplicação de uma primeira regra de aprovação do mesmo, e dados da primeira corrente de dados filtrada de saída passando a primeira regra de aprovação se dá saída e constituindo uma primeira corrente aprovada de dados.

Em um desenvolvimento adicional da presente invenção, uma segunda filtragem de dados é aplicada para a corrente de entrada de dados que é de maior rigor (mais suavizada para os dados) do que a primeira filtragem de dados utilizando o processador fundamentado em computador; e a partir do mesmo, a uma segunda corrente de dados filtrada se dá saída que corresponde para a primeira corrente de dados filtrada por intermédio de sua derivação comum a partir da corrente de entrada de dados (novamente, correspondência/comparação fundamentada em ter sido computada a partir do mesmo valor de dados de entrada). Qualidade da segunda corrente de dados filtrada de saída é acessada por aplicação de uma segunda regra de aprovação do mesmo, e dados da segunda corrente de dados filtrada de saída que passa a segunda regra de aprovação se dá saída e constitui uma segunda corrente aprovada de dados.

A partir das duas correntes de dados aprovadas, uma corrente de dados aprovada coletiva é composta que é constituída por uma totalidade da primeira corrente de dados aprovada, e a corrente de dados aprovada coletiva sendo adicionalmente constituída por porções da segunda corrente de dados aprovada correspondendo parta porções não aprovadas da primeira corrente de dados filtrada de saída.

Em pelo menos uma concretização da presente invenção, a primeira e a segunda regras de aprovação são as mesmas; em uma outra concretização da presente invenção, a primeira e a segunda regras de aprovação são fundamentadas sobre o mesmo critério, mas não podem ser as mesmas regras.

Em um desenvolvimento adicional da presente invenção, o método compreende seleção de pelo menos dois protocolos de análise para constituir a pluralidade a partir de um grupo consistindo de: (1) um protocolo de limiar duplo, fundamentado em velocidade, que é o mais bem adequado, relativamente para os outros membros do grupo, para olho de baixo conteúdo de ruído e dados de comportamento de pálpebra; (2) um protocolo de espaçamento de dispersão, fundamentado em distância, que é o mais bem adequado, relativamente para os membros externos do grupo, para olho de moderado conteúdo de ruído e dados de comportamento de pálpebra; (3) um protocolo orientado em regra, fundamentado em característica ocular, que é o mais bem adequado, relativamente para os outros membros do grupo, para olho de alto conteúdo de ruído e dados de comportamento de pálpebra.

Em um aspecto associado da presente invenção, a seleção de protocolos para qualquer determinado conjunto de dados é inclinada em direção de um dos três protocolos em dependência de um nível de ruído detectado no conjunto de dados. Em um outro aspecto da presente invenção, o protocolo orientado em regra considera um ou mais dos seguintes padrões (standards) em uma discriminação entre fixações e sacadas: (1) duração de fixação tem que exceder 150 ms; (2) duração de sacada não tem que exceder 200 ms; e sacadas começam e terminam em duas diferentes localizações.

Em um aspecto adicional da presente invenção, qualidade dos dados descritivos de movimento de comportamento é acessada fundamentada sobre utilização relativa de protocolos de análise respectivos entre a pluralidade de protocolos de análise. Alternativamente, ou em associação com os mesmos, o acesso de qualidade pode ser feito considerando-se fundamentado em tempo, utilização relativa de respectivos protocolos de análise entre a pluralidade de protocolos de análise sobre (ao longo de) um período de tempo prescrito.

BREVE DESCRIÇÃO DOS DESENHOS DA PRESENTE INVENÇÃO

A presente invenção irá agora ser adicionalmente explanada em maiores detalhes com referência para as Figuras dos Desenhos acompanhantes, nos quais:

A Figura 1 é uma representação diagramática do inter relacionamento de tarefas de controle de direção e tarefas secundárias;

A Figura 2 é uma demonstração gráfica mostrando a utilização de porcentagem de centro de estrada para mensurar o impacto relativo de várias tarefas no veículo;

A Fxgura 3 e uma demonstração gráfica de porcentagem absoluta de centro de estrada mostrada em relação para outras mensurações de distração;

A Figura 4 é uma demonstração gráfica de porcentagem de longos golpes de vista para fora a partir do centro de estrada para diferentes limiares de tempo;

A Figura 5 é uma vista esquemática demonstrando uma mensuração de direção de olhar fixo;

A Figura 6 é uma vista gráfica de detalhes de dois movimentos de olho demonstrando uma micro sacada, flutuação e tremor;

A Figura 7 é uma demonstração gráfica de diferentes características de componente de uma amostra de movimento de olho;

A Figura 8 é uma representação gráfica de uma pluralidade de fixações e sacadas;

A Figura 9 é um fluxograma representando uma concretização de um sistema de gerenciamento de atenção que inclui hardware e módulos funcionais para sensoriamento, computação, HMI, e suprimento elétrico;

A Figura 10 é uma representação diagramática de uma plataforma sobre a qual diversas contra-mensurações de gerenciamento de sonolência podem ser exemplificativamente implementadas;

A Figura 11 representa exemplificativamente representações de possíveis alertas (alarmes) de mostrador para um motorista;

A Figura 12 representa um painel de resposta de motorista, exemplificativo, interativo;

A Figura 13 representa uma concretização exemplificativa para re-direcionamento de olhar fixo de motorista;

A Figura 14 diagramaticamente ilustra interação de componentes constituintes de desatenção de motorista;

As Figuras 15 (a) - (c) ilustram vários mostradores gráficos "ativos" para exibição de informação de motorista em tempo real em concordância com os ensinamentos da presente invenção;

A Figura 16 proporciona uma ilustração de resposta (feedback) de motorista em tempo real em um formato comparativo contra uma indicação de um nível de atenção otimizado; A Figura 17 proporciona uma ilustração de uma explanação formatada exemplificativa do fundamento para o nivel de carga de trabalho/desatenção aumentado detectado;

A Figura 18 proporciona uma ilustração exemplificativa de resposta de pós-viagem em tela (on-screen);

A Figura 19 proporciona uma ilustração exemplificativa de um alarme acima da cabeça ou em tela para situações de colisão dianteira;

A Figura 20 proporciona uma ilustração exemplificativa de um alarme acima da cabeça ou mostrador em tela considerando situações de colisão em mudança de faixa;

A Figura 21 proporciona um fluxograma exemplificativo para um sistema e método conduzidos em concordância com a presente invenção em que uma mensuração é feita de uma característica fisiológica de motorista. Em uma outra etapa, um parâmetro comportamental é acessado tal como nível de distração ou carga de atenção de motorista. Em ainda uma outra etapa, resposta considerando o acesso é feita para o motorista.

A Figura 22 ilustra componentes de movimento de olho que constituem golpes de vista;

A Figura 23 é uma ilustração diagramática de um algoritmo híbrido off-line;

A Figura 24 é uma vista gráfica demonstrando regras de limiar que definem fixações e sacadas;

A Figrura 25 é uma ilustração diagramática demonstrando escolha de ferramenta analítica fundamentada sobre quantidade de ruído de sinal;

A Figura 26 é uma ilustração diagramática de um algoritmo híbrido on-line; A Figura 27 é -uma vista diagramática de uma disposição para classificação e agrupamento de dados em localização e fora de localização;

A Figura 28 é uma vista em perspectiva tomada no interior de um veículo em direção do painel de instrumentos onde uma câmara ou monitor de rastreamento único reside; e

A Figura 29 ilustra esquematicamente o ambiente do conceito de área de centro de estrada da presente apresentação;

A Figura 30 é uma vista gráfica mostrando duas/dois áreas/objetos de interesse de sujeito fundamentada sobre grupo ou densidade de fato;

A Figura 31 é um gráfico plotando movimento de olho contra tempo;

A Figura 32a é uma ilustração demonstrando dados não filtrados;

A Figura 32b é uma ilustração demonstrando filtragem de dados;

A Figura 33a proporciona um gráfico em duas dimensões demonstrando identificação da área à frente de centro de estrada fundamentada sobre comportamento de golpe de vista;

e

A Figura 33b proporciona um gráfico em três dimensões demonstrando identificação da área à frente de centro de estrada fundamentada sobre comportamento de golpe de vista como uma função de tempo; e

A Figura 34 ilustra uma determinação alternativa de área de centro de estrada.

A Figura 35 é uma vista diagramática de uma disposição alternativa para afetar análise em tempo real de dados de orientação;

A Figura 36 é uma vista esquemática demonstrando a tradução (interpretação) de uma posição de cabeça efetiva para uma estrutura de referência;

As Figuras 37 - 40 demonstram de forma variada, representações gráficas de coletânea de grupo ou de densidade de dia exemplificativamente identificando porcentagem ou pico de centro de estrada;

A Figura 41 é uma vista em perspectiva tomada no interior de um veiculo em direção do painel de instrumentos onde duas câmaras ou monitores de rastreamento "estéreo" residem;

A Figura 42 é uma demonstração gráfica de um sinal horizontal de olhar fixo com piscadas interpoladas;

A Figura 43 é uma demonstração gráfica de olhares fixos horizontais e mostrando três depressões devido a piscadas de olhos;

A Figura 44 é uma demonstração gráfica sobre velocidade de movimentação de olho levando-se em consideração limiares;

A Figura 45 é uma demonstração gráfica de um sinal de olhar fixo segmentado;

A Figura 46 é uma demonstração gráfica de uma fixação restaurada;

A Figura 47 é uma demonstração gráfica de múltiplos golpes de vista para fora a partir do cenário de estrada à frente;

A Figura 48 é um histograma de interrupção mostrando duas/dois áreas/objetos de interesse;

A Figura 49 graficamente demonstra o estabelecimento de limites (fronteiras) de cenário de estrada à frente;

As Figuras 50 - 53 são demonstrações gráficas de vários componentes sendo aspectos de golpes de vista típicos feitos por um motorista; e

As Figuras 54 - 56 são demonstrações gráficas de determinadas análises estatísticas de dados de golpe de vista.

As Figuras são somente representações esquemáticas e a presente invenção não está limitada para as concretizações nelas representadas.

DESCRIÇÃO DETALHADA DA PRESENTE INVENÇÃO

Antes que as técnicas de tratamento de dados efetivas que são o foco da/s invenção/ões presentemente explanada/s venham a ser descritas, alguma informação básica irá ser proporcionada considerando características rudimentares de movimentos de olho, e bem como alguma informação geral sobre sistemas de sensoriar, quantificar, e opcionalmente registrar dados descritivos de orientação de cabeça e/ou de olho (características de localização e de movimento) em um esforço para facilitar estes leitores possuindo menos do que conhecimento comum nestes estados da técnica.

Considerando pelo menos sistemas fundamentados em movimento de olho, sistemas de sensoriamento presentemente disponíveis utilizados para coleta de dados de movimento de olho de entregam sinais de movimento de olho "em bruto" que são de preferência ruidosos e que incluem artefatos. Como irá se tornar evidente a partir da leitura do balanço da presente descrição, tipicamente, dados de rastreamento de orientação de cabeça podem ser utilizados como uma aproximação, e conseqüentemente, freqüentemente um substituto válido para dados de rastreamento de olho.

Algoritmos da presente invenção(s) processam esta informação e produzem saída representando coisas tais como mensurações de freqüência de golpe de vista (o número de golpes de vista em direção de uma área de alvo durante um período de tempo pré-definido), duração de golpe de vista único, tempo de golpe de vista total e tempo de tarefa total. Os algoritmos incorporam regras que são definidas para disparar diferentes alertas; por exemplo, se o motorista olha no celular dele/dela por mais do que dois segundos sem olhar de volta para a estrada. A definição das regras de disparo exatas é o produto de ornamento (que interessa) nos sistemas em tempo real que estão continuamente sob desenvolvimento.

Aspectos das invenções presentemente explanadas incluem dois algoritmos diferentemente fundamentados; um para pós-processamento de coleta de dados off-line, e um para processamento em tempo real que acontece essencialmente simultaneamente com a coleta de dados (quando a característica quantificada está sendo desempenhada). Estes algoritmos são similarmente fundamentados, mas o algoritmo em tempo real possui um procedimento de iniciação e necessita alguns dos aspectos off-line. Um propósito e benefício primordiais de análise off-line é o tratamento de dados de características registradas ou armazenadas. Um propósito primordial de análise em tempo real é o de imediatamente tratar dados coletados, e torná-los disponíveis para utilização essencialmente simultânea para coisas tais como resposta para o assunto observado, ou adaptação de sistemas relevantes tais como para sistemas veiculares quando o sujeito (assunto) da observação é um motorista de veículo.

Levando-se em consideração motoristas, um dos propósitos para o algoritmo off-Iine é o de analisar dados de movimento de olho a partir de tarefas, tais como mudança de estação de rádio ou utilização do sistema RTI (enquanto dirigindo), para determinar quanta demanda visual a unidade conta na tarefa de direção. Um propósito do algoritmo em tempo real é o de determinar quanto o motorista olha na estrada. Um objetivo da presente invenção é o de adaptar ou possibilitar o algoritmo em tempo real de maneira que resultados similares para aquele a partir do algoritmo off- line são obteníveis.

Movimentos de olho podem geralmente ser divididos em duas categorias: sacadas e fixações. Uma fixação ocorre quando os olhos são fixados sobre alguma coisa; por exemplo, as letras sobre esta página. Isto também quando o cérebro pode assimilar informação que é interpretada como as imagens visuais da/s coisa/s sobre as quais fixação é focalizada. Uma sacada, por outro lado, é o movimento dentre fixações; o que significa, mudança do ponto de observação. Sacadas são muito rápidas (com velocidades de pico em 700°/s para grandes amplitudes) e o cérebro do observador suprime reconhecimento destes incidentes porque luz está se movendo através da retina nestes tempos excessivamente rápida para ser interpretada pelo cérebro.

Um golpe de vista em direção de alguma coisa, por exemplo, um telefone móvel, é uma combinação de uma sacada para fora a partir de uma área alvo pré-definida (por exemplo, a estrada), iniciação do golpe de vista, e fixações em uma nova área alvo (por exemplo, o telefone móvel). 0 golpe de vista é terminado quando uma nova sacada para fora a partir da segunda área alvo é iniciada. Sacadas e fixações sucessivas dentro da mesma área alvo são definidas como parte do mesmo golpe de vista.

Determinadas dos gols e aspectos vantajosos da/s presente invenção/ões podem ser resumidos como: (1) 0 algoritmo híbrido, mesmo no nível de exatamente combinação de algoritmos fundamentados em velocidade e dispersão, é novo especialmente quando combinado com regras oculares. Antigamente, as capacidades físicas dos olhos não foram levadas em consideração quando segmentando movimentos de olho; (2) A idéia e procedimento para localizar a área de centro de estrada utilizando o pico de função de densidade como seu centro que é mais detalhado do que meramente designando o valor médio da "montanha"; (3) Os algoritmos, como um todo, e a maneira que cada diferente parte de algoritmo coopera com as outras. Os conceitos de centro de estrada de porcentagem (PRC) e centro de estrada de porcentagem absoluta (A - PRC) como mensurações de atenção (cuidado) de motorista.

Os algoritmos são não somente intencionados para produzir as mensurações descritas, mas podem também ser utilizados para determinar todas as mensurações definidas na norma ISO 15007-2, e bem como as mensurações na norma SAEJ—2396.

Conceitos óculo motores são bem estudados; geralmente, movimentação ocular é dividida em diversas diferentes categorias que podem ser exemplificadas como sacadas, micro sacadas, perseguição suave, campo visual, tremor, flutuação, e os assemelhados. Para propósitos da presente invenção, entretanto, movimentação ocular é dividida em duas categorias fundamentais: sacadas e fixações. 0 racional da presente invenção é o de que todos os pontos de dados que não são sacadas, são fixações. Isto inclui perseguições suaves, que ocorrem freqüentemente durante direção, na concepção de fixação descrita aqui posteriormente.

Fixações são definidas como pausas sobre regiões informativas onde os olhos podem assimilar informação. Para ser uma fixação válida, a pausa deve perdurar por pelo menos alguns 150 ms, a mesma sendo em torno do tempo que o cérebro humano necessita para utilizar a informação. Embora isto seja referido como uma "fixação", os olhos ainda se movem, fazendo micro movimentos como flutuação, tremor e micro sacadas enquanto "fixado" sobre a área. Estes pequenos movimentos são de amplitude muito baixa e são parte do que define uma fixação. A Figura 6 representa uma fixação típica com flutuação, tremor e uma micro sacada. Nesse sentido, atividade dos dois olhos de um sujeito são grafadas, uma acima da outra; tempo é marcado sobre o eixo horizontal, enquanto distância é representada sobre o eixo vertical. Estes movimentos são afortunadamente tanto muito lentos (tipicamente sobre a ordem de 4 s.sup.-l e 200 s.sup.-l) ou quanto muito pequenos (tipicamente sobre a ordem de 20 polegadas e 40 polegadas), o que previne sua detecção por equipamento típico utilizado nestes tipos de aplicações. Este é um benefício, porque estes desvios deveriam de outro modo ser vistos como ruído. Outros movimentos maiores, mas ainda com velocidades de sub-sacadas, são denominados perseguições suaves. Eles são uma sub-categoria de uma fixação; o que significa, uma fixação sobre um alvo se movendo ou uma fixação sobre um objeto estacionário (ou se movendo) enquanto o observador está em movimento. Quando nós rastreamos um alvo, os olhos utilizam pequenas sacadas para trazer fóvea em cima do alvo, então movimentos mais lentos, contínuos são desempenhados que rastreiam o alvo, e são dependentes de sua velocidade. Os movimentos lentos, com velocidades estando na faixa grosseiramente entre 80 e 160 graus por segundo, constituem perseguições suaves. Este comportamento é mostrado graficamente na Figura 7 onde um sujeito está rastreando um ponto se movendo sobre um caminho sinuoso representado pela curva (a) . A curva (e) representa a integridade de movimento de olho, incluindo sacadas e perseguições suaves. A curva (esa) representa a remoção de perseguições suaves, e (esm) mostra a curva com sacadas removidas. Em geral, a integridade de comportamento de rastreamento é referida como uma perseguição suave e pode ser considerado para ser uma fixação de impulsão. Por esta razão, este tipo de comportamento é aqui referido relativamente à/s presente/s invenção/ões como uma fixação devido ao fato de que informação está sendo processada durante este movimento e as sacadas são excessivamente pequenas para serem detectadas com sistemas de rastreamento de movimento de olho disponíveis.

Sacadas são movimentos de olho rápidos que ocorrem na medida em que uma vista da pessoa muda entre dois pontos. Movimento de sacada varia em amplitude, duração, velocidade e direção. A duração de sacadas maiores do que cerca de cinco graus em amplitude irá ser em torno de 20 ms - 30 ms; depois do que, em torno de dois milisegundos podem ser adicionados para cada grau adicional. Velocidades de pico tipicamente são na faixa a partir de alguns 10 graus por segundo para amplitudes menores do que 0,1 grau, para mais do que 700 graus por segundo para amplitudes maiores.

Sacadas típicas a partir de um ponto de observação para um outro são mostradas na Figura 8, que representa um exemplo de uma boa mensuração de rastreamento com virtualmente nenhum ruído. Uma sacada exemplificativa é mostrada começando no ponto (A) e terminando no ponto (B) . Também, o movimento de olho ilustrado somente consiste de movimento em torno de um eixo geométrico; o que significa, nenhumas sacadas foram mensuradas no plano horizontal.

Durante movimento de sacada, o cérebro humano geralmente não percebe informação na medida em que luz está se movendo excessivamente rápida sobre a retina. Deveria ser apreciado, entretanto, que de fato foi mostrado que alguma informação está sendo efetivamente processada durante sacadas. Percepção reconhecida somente ocorre se um objeto observado está se movendo na mesma velocidade e na mesma direção como os olhos. A ausência geral de informação força o cérebro a fazer um cálculo de amplitude e duração em avanço. Inexatidão e ruído neste processo quase sempre gera um sobre-acerto ou sub-acerto da ordem de alguns graus. Isto é corrigido por impulsão ou uma nova sacada que é muito mais curta do que a precedente, e conseqüentemente, mais precisa. Aqui, um sub-acerto de sacada representado pela longa porção vertical do traço (A) é corrigido pela porção vertical mais curta representando uma mini sacada corretiva (B). Uma tal sacada corretiva é freqüentemente de tal baixa amplitude que não é detectável utilizando máquinas de rastreamento de olho conhecidas, e é considerada ao invés disso como ruído adicionado.

Separado a partir destas três espécies de movimento, existe uma espécie diferente de comportamento visual comumente referida como piscadas de olho. Humanos normalmente piscam em torno de uma vez a cada dois segundos; uma característica que possui um impacto devastador sobre estimativa de olhar fixo. Durante o fechamento efetivo dos olhos durante uma piscada, olhar fixo não pode ser mensurado e na medida em que piscadas ocorrem tanto durante sacadas e quanto fixações, é difícil de antecipar aonde os olhos irão estar olhando quando novamente visíveis para a máquina de rastreamento. Afortunadamente, piscadas são muito rápidas; sobre a ordem de 200 ms para uma integridade de piscada. Isto significa que os olhos estão totalmente fechados (oclusos) por somente cerca de 100 ms - 150 ms. Devido ao fato de que sujeitos (motoristas) são geralmente totalmente inconscientes da ocorrência de piscadas, a presente invenção consegue uma percepção de realidade mais coerente e estável por supressão do reconhecimento tanto de sacadas e quanto de piscadas.

Propriedades dos olhos funcionam a favor de segmentação, significando que existem fronteiras físicas para movimentos oculares que proporcionam regras para classificação. Por exemplo, uma sacada não pode ser seguida por uma outra com um intervalo de menos do que alguns 180 ms; isto significa que é improvável para uma sacada perdurar por mais do que 200 ms. Uma sacada de 200 ms deveria possuir uma amplitude de cerca de 90 graus o que é muito incomum. Ainda adicionalmente, qualquer sacada mensurada que é mais longa do que cerca de 220 ms é mais provável ser duas sacadas, com uma fixação dentre elas. Um outro fato interessante é uma supressão do sujeito de reconhecimento de piscada anteriormente mencionada. Sujeitos são geralmente inconscientes da ocorrência de piscadas, e conseqüentemente, podem geralmente ser removidas a partir da análise na medida em que comportamento de olho não é afetado por suas ocorrências. O mencionado a seguir constitui fronteiras físicas dos olhos que são relevantes para a/s presente/s invenção/ões: fixações que perduram por pelo menos, cerca de 150 ms; uma sacada não pode ser seguida por uma outra com um intervalo de menos do que 180 ms; o campo visual humano é limitado; uma fixação pode ser espacialmente grande (perseguição suave); sacadas são suprimidas pelo centro visual; piscadas são suprimidas pelo centro visual.

Para o motorista de um veículo poderiam existir ainda mais restrições tais como: não é provável descobrir fixações sobre a capota interna ou sobre o assoalho durante direção, especialmente não durante uma tarefa; -uma proporção significativa de uma atenção do sujeito (e fixações) são provavelmente para serem descobertas sobre o centro da estrada e velocidades de perseguição suave são de baixas para moderadas. Como um exemplo, tráfego de chegada (contrário) e sinais de estrada disparam perseguições as mais mensuradas. Na presente invenção, estas fronteiras são utilizadas para definir uma estrutura que pode ser utilizada como uma parte da segmentação de movimentos de olho de motorista.

Em concordância com as presentes invenções, 5mensurações oculares são divididas em dois grupos, mensurações fundamentadas em golpes de vista e mensurações não fundamentadas em golpe de vista. Estes dois grupos são formados pelo efeito (resultado) de uma segmentação ocular básica onde fixações, sacadas e fechamentos de olho são identificada/os.

Como sugerido acima, diferentes pesquisas possuem diferentes métodos de análise de dados e definição de fixações/sacadas. A posse de regras uniformes e marcas de nível é importante de maneira que todos de tais métodos de análise podem ser fundamentados sobre um padrão internacional geralmente aceito. Isto é o porque as mensurações neste trabalho são fundamentadas sobre as definições nos padrões (standards) ISO 15007-2 e SAEJ-2396. Ambas estas normas padronizam definições e métricas relacionadas para a mensuração de comportamento visual de motorista, e bem como procedimentos para garantir condução apropriada de uma avaliação prática. 0 documento SAE depende de muitos termos do padrão ISO1 e cada um funciona como vim complemento para o outro.

Interação Homem Máquina (Human Machine Interaction) (HMI) é também considerada; exemplos de tais conceitos HMI foram mais completamente descritos na patente norte americana número US 6.974.414 depositada em 19 de fevereiro de 2.003 e intitulada SYSTEM AND METHOD FOR MONITORING AND MANAGING DRIVER ATTENTION LOADS (SISTEMA E MÉTODO PARA MONITORARAMENTO E GERENCIAMENTO DE CARGAS DE ATENÇÃO DE MOTORISTA), a descrição da qual, em sua totalidade, é em razão disso aqui expressamente incorporada. Na mesma, conceitos para como apresentar estes alertas são apresentados.

Em pelo menos uma concretização, a presente invenção proporciona um sistema e método que possibilita a implementação de conceitos de gerenciamento de atenção em um veículo, incluindo hardware exemplificativo sobre o qual as funcionalidades inventivas podem ser concretizadas. Diversas questões e gols fundamentais são aqui endereçados, incluindo: qual suporte visualmente derivado é de necessidade de motoristas e como este deveria ser conceituado para conseguir aceitação; como pode reconhecimento em tempo real de comportamento visual de motorista ser aplicado para reduzir erros de direção e prevenir acidentes; qual é a conceptibilidade comercial de implementação. Descrições funcionais são proporcionadas para gerenciadores de sonolência, adaptação de distração de colisão dianteira e sistemas de alerta de mudança de faixa; e gerenciadores de carga de trabalho. Sistemas e métodos para implementação de estimativa de demanda de direção a partir de comportamento visual são também incluídos.

Um ou mais destes sistemas e métodos são individualmente, e bem como coletivamente, descritos como fazendo parte de um assim chamado sistema de gerenciamento de atenção. Um componente possível destes sistemas, e bem como um componente das diversas invenções aqui descritas, é o demonstrador de suporte de atenção que pode ser utilizado para implementar estes sistemas e métodos para demonstração e testagem. Exemplos de estimativa de demanda de direção a partir de comportamento visual são também aqui descritos.

Em uma concretização da presente invenção, o sistema de gerenciamento de atenção inclui hardware para: (1) sensoriamento, (2) computação, (3) HMI, e (4) suprimento elétrico. As unidades ou módulos funcionais podem ser exemplificativamente configurada/os (inter-relacionada/os) como ilustrado na Figura 9, e são adequada/os para implementação em veículos tais como automóveis e caminhões.

Um sensor de comportamento visual é empregado tal como aquele que é disponível a partir da companhia, SeeingMachines, e que pode ser adaptado para ser instalado em um veículo. Este tipo de sistema pode incluir: (1) uma cabeça de câmara estéreo, (2) um computador pessoal (PC), e (3) software de direção apropriado. Um sensor de comportamento visual tal como aquele produzido e vendido sob a marca registrada SMARTEYE pode também ser opcionalmente empregado. Outros dispositivos de mensuração de comportamento visual também podem incluir, por exemplo, câmeras, dispositivos utrasônicos, e sensores capacitivos. Câmeras podem ser utilizadas para desempenho de processamento de imagem para obtenção de movimento de olho, fechamento de olho, e/ou dados de movimento de cabeça. Dispositivos utrasônicos e sensores capacitivos podem ser utilizados para provisão de informação de posição, por exemplo, postura de corpo e posição de cabeça.

Em um exemplo, sinais de desempenho de veículo podem ser adquiridos a partir de um bus (de dados) CAN. Um sensor de ângulo de convergência de roda (de roda de direção) pode ser utilizado, e bem como hardware e software de rastreamento de faixa. Um hardware de caixa de anotação e gravação de vídeo é utilizado. Um computador pessoal embarcado, ou similarmente dispositivo com capacidade de computação é utilizado. Alternativamente, e especialmente para facilitar testagem e implementação, um computador de laptop pode ser empregado que exemplificativamente roda tal software como wDirector" e nSimulink". Um xPC pode também ser instalado e utilizado. A partir de uma perspectiva de hardware, hardware de controlador de LED é empregado. Áudios HMI (sons de alarme, mensagens gravadas) são proporcionados por intermédio do dispositivo de computação. Uma tela de toque para entrada de usuário pode também ser utilizada. Deveria ser apreciado que algumas destas concretizações são adequadas para desenvolvimento de produto e facilitação de testagem de sistema, mas quando comercializados, os diversos componentes são integrados diretamente para o veículo.

Uma disposição de vibração de assento ou alerta de motorista similar pode ser incluída. Em uma concretização preferida da presente invenção, um LED HUD (heads up display - mostrador de acima da cabeça) é empregado. Uma fileira de LED (mostrador), controlada por um controlador de LED pode também ser utilizada. Um suprimento elétrico para a integridade de sistema pode ser extraído a partir do veículo de suporte.

Um gerenciador de sonolência pode ser implementado em duas configurações. Em um primeiro exemplo, este é integralmente fundamentado em PC; o que significa, nenhum hardware externo ou capacidades de comunicação externas é/são requerido/as. Esta concretização da presente invenção é fundamentada em cenário; o que significa, rastreamento de um episódio de sonolência fundamentado em dados de PERCLOS (análise que considera modelos de scan, número e comprimento de fixações, latência de sacada e os assemelhados) de preferência do que em tempo real. A funcionalidade de hardware estimula o motorista por intermédio de tal estímulo como um mostrador visual tal como fundamentado em LED ou HUD, ou estimulação física tal como vibração de assento. Em uma outra concretização da presente invenção, hardware HMI e comunicação Simulink é implementada.

Uma "plataforma" sobre a qual diversas contra- mensurações de gerenciador de sonolência podem ser implementadas é desejável, e sobre a qual testes podem ser conduzidos. Uma plataforma exemplificativa para tal implementação é esquematicamente ilustrada na Figura 10.

A ilustração da Figura 10 pode ser considerada para representar um programa diretor. Uma tal disposição é fácil de mudar com respeito para diferentes componentes HMI; por exemplo, para proporcionar (1) corrente de informação contínua para o motorista, para proporcionar (2) alarmes de prevenção (de cautela) , (3) alarmes de alerta de perigo iminente, (4) testes de resposta de motorista, (5) informação de resumo de pós-viagem, e (6) menu(s) de set-up (de ajuste) de entrada de operador.

Em uma concretização da presente invenção, um alerta de cautela (de perigo) para o motorista é proporcionado. O motorista tem capacidade de escolher entre versões de alerta, mas não tem capacidade de desabilitar completamente o alerta. Exemplificativamente, um som (beep) seguido por Lim alerta de mensagem de voz opcional pode ser reproduzido para o motorista tal como "<inserção automatizada de causa de sonolência>, 'faça uma parada'". Um ícone pode ser alternativamente exibido para o motorista tanto individualmente, em conjunção com um alerta audível, ou quanto juntamente com uma versão impressa do alerta.

Alertas de ícone exemplificativos são mostrados nas Figuras 11(a) - (d) para (a) detecção de grande fechamento de olho, (b) detecção de direção (virada de volante) inconsistente, (c) detecção de manutenção de faixa inconsistente, e (d) detecção de sonolência de motorista. Um ou mais destes ícones podem ser simultaneamente exibidos dependendo de condições de motorista detectadas.

Em uma outra concretização da presente invenção, um microfone é incluído de maneira que o motorista pode registrar ou suprir o seu/sua próprio alarme muito assemelhado a uma máquina respondendo a telefone e outros dispositivos de play-back de áudio customizados.

Em ainda uma outra concretização da presente invenção, alertas de estímulo físico de motorista são aplicados. Preferivelmente, o motorista pode escolher entre tipos de alertas no menu de set-up, mas em pelo menos uma concretização da presente invenção, o operador é prevenido de vir a desabilitar completamente o alarme físico. Um exemplo de um tal estímulo físico poderia ser vibração de assento.

Em uma outra versão, uns LEDs de lampejo (flashing) de "HUD" podem ser utilizados para agudamente estimular o motorista; novamente, sozinhos ou em conjunção com outros tipos de alertas aqui descritos. Em uma concretização preferida da presente invenção, capacidades são proporcionadas para o motorista para possibilitar acima de três dos tipos de alarmes descritos para serem simultaneamente apresentados quando ativos.

Uma funcionalidade de resposta de motorista; o que significa, tempo de reação para um sinal, é também proporcionada. Levando-se em consideração esta funcionalidade, o motorista tem capacidade de tanto habilitar e quanto desabilitar, e bem como escolher entre versões de alerta no menu de set-up.

Em uma quantidade de tempo pré-determinada, por exemplo, de cinco a oito segundos depois do alerta, uma função de resposta do motorista opera.

Exemplificativamente, irá existir um som (beep) , com texto "pressione" sobre um botão apresentado sobre uma tela de toque como ilustrado na Figura 12. Se o motorista não reagir dentro de uma quantidade de tempo prescrita, ou em concordância com algum outro tempo de reação fundamentado em algoritmo, então um alarme de alerta irá ser emitido. Isto contínua até que o motorista venha a parar o veículo, se tornando alerta e este fato é detectado pelo sistema, ou o motorista desativa a função.

De maneira a proporcionar capacidades de customização para o operador, opções exemplificativas que podem ser selecionadas por intermédio dos componentes HMI que são ilustrados abaixo:

Opção/ões de componente HMI: (1) Resposta on/off de resposta contínua de sonolência, Escolha de uma de diversas versões; (2) mensagem de Voz de Cautela, Alerta on/off, Mensagem de default on/off, Mensagem suprida de usuário on/off, Utilização de ícones múltiplos ou ícone de default de usuário; (3) alarma/escolha do seguinte Estímulo (pelo menos um Alarme tem que ser verificado) , Vibração de assento on/off, Som on/off, Alerta visual HUD on/off, Ventilador (não implementado em interação 1), Perfume (não implementado na interação 1) , Corte de combustível (não implementado na interação 1), Direção para estrada lateral (não implementado na interação 1) , Utilização de ícones múltiplos ou Utilização de ícone de default; (4) Resposta de motorista, Resposta de motorista on/off.

Um gerenciador de distração pode ser implementado em duas concretizações da presente invenção. Em uma primeira concretização, o gerenciamento de distração é integralmente fundamentado em PC sem nenhum hardware externo ou capacidades de comunicação. É fundamentado em cenário; o que significa, uma linha de tempo de um episodio de distração é determinada de preferência do que em tempo real. A funcionalidade de hardware é simulada. Uma segunda concretização é fundamentada sobre uma implementação de hardware que inclui a capacidade de comunicação em tempo real.

Um outro aspecto da presente invenção é o de limiar de segurança fundamentado em alertas de distração. Alertas são proporcionados que informam o motorista de comportamento de distração de comprometimento de segurança. Como apreciado aqui anteriormente, motoristas são freqüentemente inconscientes dos efeitos de suas distrações sobre suas capacidades de direção. Por conseqüência, um gol dos alertas de distração fundamentados em segurança é o de determinar a resposta de motorista em torno de decréscimos de desempenho de tarefa de controle de direção. O que significa, se distração é detectada (isto é, comportamento de golpe de vista está além de um limiar de segurança apropriado e/ou desempenho de veículo se deteriora durante comportamento de golpe de vista), o sistema proporciona um ou mais dos seguintes alertas. Um som tal como um beep simples ou uma mensagem de voz de desempenho específico referindo-se para quais decréscimos de desempenho foram detectados pode ser proporcionado/a. Por exemplo, se comportamento de golpe de vista está acima de padrões de limiar de segurança de golpe de vista (por exemplo, a EU recomenda 4 golpes de vista ou 2 segundos de duração de golpe de vista único, a US AAA recomenda 10 segundos de duração de golpe de vista total), então a mensagem "Distração Visual Detectada" ou "Olhos extensivamente fora da estrada" podem ser emitidas. Se a direção (de volante de roda) está se desviando durante comportamento de golpe de vista de tarefa secundária, então a mensagem "Direção inconsistente durante distração visual" pode ser emitida. Se manutenção de faixa está se desviando durante comportamento de golpe de vista de tarefa secundária, então uma mensagem tal como "Manutenção de faixa inconsistente durante distração visual" pode ser proporcionada. Se grande redução de velocidade é detectada durante comportamento de golpe de vista de tarefa secundária, então uma mensagem tal como "Grande redução de velocidade durante distração visual" pode ser emitida. Se causas múltiplas são detectadas, então uma mensagem genérica tal como "Distração visual detectada" pode ser emitida. Se intrusão de tarefa de controle é detectada durante comportamento de golpe de vista de tarefa secundária, durante diferentes tipos de estrada ou diferentes níveis de demanda, então um correspondente alerta é emitido. A/s forma/s dos alertas pode/m incluir uma mensagem gravada ou proporcionada de motorista, uma vibração de assento em uma parte dianteira de assento ou redireção de olhar fixo como aqui descrito posteriormente.

A presente apresentação também inclui um novo conceito de "redireção de olhar fixo" que é ilustrado na Figura 13. Neste, uma interface direciona os olhos do motorista para o cenário de direção à frente (isto é; através do pára-brisa dianteiro) se distração de motorista é detectada.

Exemplificativamente, uma onda de luz seguindo uma ou mais das três "linhas" de LED (esquerda, centro, ou direita) irá ser iniciada dependendo de onde o olhar fixo do motorista foi detectado. Depois de uma onda de luz, um grande círculo pode opcionalmente se iluminar e então a linha central de LEDs irá se iluminar; cada um proposto para focalizar mais claramente a atenção do motorista onde necessário. A exata colocação e temporização das várias luzes de LED não são criticas, e nem o é a cor. De fato, a temporização pode ser sub-liminar (latente); o que significa, tão rápida que elas não são conscientemente percebidas. Alternativamente, as luzes apropriadas podem ser primeiro lentamente piscadas e o motorista avaliado pelo sistema para determinar se comportamento corretivo tiver acontecido. Se não, a temporização piscante, e bem como intensidade de luz podem ser aumentadas.

O menu de set-up para resposta de distração pode possuir lógica exemplificativa como mostrado abaixo: Opção/ões de componente HMI: (1) Resposta on/off de distração contínua; (2) Limiar on/off de mensagem de Voz de Segurança; Mensagem específica de desempenho fundamentada em on/off; Distração on/off de default/mensagem de causa múltipla; Alerta on/off de mensagem suprida de usuário; vibração de assento on/off; Redireção de olhar fixo on/off.

Em um outro aspecto, a presente invenção incorpora o conceito de gerenciamento de carga trabalho com estimativa de demanda de direção derivada a partir de comportamento visual do motorista. Em geral, o conceito de um "gerenciador de carga de trabalho" é um sistema de priorização que categoriza informação e potencialmente atrasa (retarda) apresentação da informação para o motorista até que seu/sua carga de trabalho venha a ser suficientemente baixa para evitar risco associado com a recepção da informação. As interfaces de sistemas de informação, integrados no veículo podem ser adaptadas para assegurar que atenção apropriada está sendo determinada para a tarefa de direção. A saída a partir dos algoritmos de gerenciamento de distração aqui referenciada pode ser utilizada como entrada para gerenciadores de carga de trabalho.

Gerenciadores de carga de trabalho do tipo aqui descrito precisamente mensuram carga de trabalho de motorista utilizando mensuração de atividade visual de demanda de direção de demanda de direção. Exemplificativamente, isto é um contato não corporal, mensuração embarcada de quanto "ativo visualmente" um motorista está; o que significa, variabilidade (rotação) de movimento de cabeça e de olho. Um aspecto do gerenciador de carga de trabalho é o de dar pausa a diálogo de conversação ou informação audível. Como exemplos, isto inclui informação iniciada por sistema ou iniciada automaticamente (por exemplo, informação de e- mail de texto falado e sistema de navegação não crítica) e diálogo falado iniciado aleatoriamente (randomicamente) (por exemplo, conversações telefônicas de entrada e de saída) aos quais se pode dar pausa durante períodos de alta atividade visual.

Como um exemplo, uma série de e-mails pode estar sendo entregue para o motorista, por exemplo, dez novos e-mails a partir da memória que estão sendo "lidos" em voz alta por um sistema de texto falado. Durante o transcurso de tal transmissão de áudio, um período de alta atividade visual de motorista é detectado pelo sistema de gerenciamento. Em resposta, o sistema dá pausa à transmissão de áudio para evitar aumento da carta de atenção do motorista além de níveis pré-selecionados; tais níveis exemplificativamente correspondem para cargas de atenção além das quais capacidades de direção são comprometidas. Opcionalmente, o sistema de gerenciamento pode incluir uma indicação audível para o motorista de tal interrupção por intermédio de um tom ou os assemelhados que podem também servir como aviso para o motorista da condição de alta carga de atenção. A transmissão audível pode ser resumida fundamentada sobre iniciação de motorista ou iniciação de sistema que é dependente da detecção do sistema de uma redução suficiente em carga de atenção para um nível pré-selecionado exemplificativamente correspondendo para condições de segurança para recepção de motorista de tal informação audível.

Em um outro aspecto da presente invenção, resposta de carga de atenção contínua e/ou de pós-viagem é garantida por intermédio do sistema de gerenciamento apresentado.

Este aspecto foi garantido de acordo com a fundamental característica de comportamento humano comumente referida como o princípio de resposta; tal princípio geralmente assegura que resposta reforça desempenho. Isto é verdade tanto para aprendizagem de tarefa/perícia (por exemplo, aprendizagem para dirigir seguramente) e quanto para motivação para o trabalho. Como apreciado aqui anteriormente, motoristas são tipicamente pobres juizes de seu próprio desempenho. O grau para o qual informação direta, precisa, imediata e contínua sobre desempenho de tarefa/perícia está disponível é um elemento chave em desempenho e motivação de motorista reforçado/a. Resposta de atenção constitui uma forma de resposta de direção intrínseca que estava antigamente de outro modo indisponível para o motorista. A abordagem é uma das adaptações comportamentais positivas e mudança de estilo de vida mais preferivelmente do que alerta de colisão iminente. Por exemplo, alguns pesquisadores acreditam que o mecanismo primordial para estado de alerta aumentado é "influência de decisão". O conceito de influência de decisão estipula que informação desta natureza (carga de atenção e estado de alerta de motorista) irá influenciar uma decisão do motorista acerca de se deve parar para descanso, beber café, reduzir consumo de álcool ou mudar outros de tais comportamentos.

Um objetivo de resposta de atenção é, por conseqüência, o de encorajar mudança de comportamento positiva sobre um ou mais de uma pluralidade (múltipla) de estruturas de tempo, por exemplo: (1) imediato (por exemplo, comportamentos compensatórios de termo curto como mudança de postura ou aborto de uma tarefa complicada); (2) viagem (por exemplo, parada para um cochilo, desligando o telefone móvel) ; (3) dia a dia (dormindo mais depois de um dia de baixa atenção, removendo tela de vídeo a partir do assento dianteiro) ; (4) e termo longo (adoção de um diferente estilo de vida de sono ou atitude de distração) . Esta resposta aumenta a própria consciência do motorista de comportamento desatento e possibilita um melhor próprio gerenciamento.

Dois tipos de resposta principais são considerados. O primeiro é resposta contínua em veículo que proporciona o motorista com informação de desempenho de atenção em tempo real, por exemplo, informação apresentada enquanto dirigindo. Esta informação é comunicada de uma maneira que, em si mesma, não prejudica a segurança. O conceito é o de proporcionar uma série de medidas de atenção, medidas de estado de alerta (medidas - em - alerta) , ou medidas de desempenho de direção segura/insegura. O segundo tipo de resposta é resposta de pós-viagem que proporciona o motorista como informação de desempenho de atenção mais detalhada de uma vez que direção venha a ser interrompida.

Resposta de pós-viagem salva "em arquivo" adicionalmente possibilita resposta de segurança fundamentada em frota focalizada sobre comportamentos de fonte como oposição para mensurações de saída tais como incidentes acidentais. Uma opção, possivelmente contribuindo para aceitação de motorista, é a provisão de um sistema ancorado. Em um tal sistema ancorado, motoristas têm acesso continuo a dados, gerenciadores de frota têm acesso para dados resumidos, e agências reguladoras podem conceder acesso a dados de resumo. Conseqüentemente, na situação de motoristas de frota, a presente invenção pode ser mais bem aproveitada como uma ferramenta de ajuda, sem necessariamente ter que induzir apreensão de motorista em torno de características reportadas ao empregador.

Para ter capacidade de determinar (dar) resposta de atenção, o sistema de gerenciamento deve ser operacionalizado. Desatenção pode ser vista como sendo compreendida de fatores de sonolência/prejuízo, de distração, e de alta carga de trabalho. Conseqüentemente, e como ilustrado na Figura 14, um modelo integrado considerando cada tipo de desatenção é preferido. Neste caso, um modelo de sistema configurado em concordância com a presente invenção é mostrado que pode seletivamente considerar desatenção, carga de trabalho, e características pessoais de motorista, tais como sonolência e distração.

Em um outro aspecto da presente invenção, maneiras únicas são proporcionadas para exibir várias informações ou respostas para o motorista. Na situação de resposta de atenção contínua, as Figuras 8 (a) - (c) demonstram vários mostradores gráficos "ativos" para exibição de informação de motorista em tempo real que foram sensoriadas ou geradas pelo sistema de gerenciamento. Como um exemplo, o mostrador pode ser de uma quantidade de resposta de atenção "genérica" ou sintetizada, tal como o nível de atenção/desatenção como uma mensuração combinada de sonolência, distração, e carga de trabalho. Na situação da Figura 15(a), um simples empilhamento de luzes sem nenhuma informação de tendência é exemplificado. Na situação da Figura 15(a), um mostrador "do tipo de radar de aeronave" é utilizado no qual uma caixa é posicionada em torno do nível de corrente, e informação de tendência na forma de "fading out" é possibilitada. A Figura 15(c) demonstra um histograma no qual informação instantânea em "tempo real" é mostrada como uma barra de alongamento/de retração (relativamente larga) sobre a direita, com valores estatísticos agregados (média, mediano, e os assemelhados) para períodos de duração pré-selecionados representados pelas barras as mais estreitas sobre a esquerda. Desta maneira, informação de tendência é demonstrada. No exemplo ilustrativo da Figura 15(c), cinco períodos prévios são representados. Deveria ser apreciado que quaisquer períodos prévios podem ser exibidos em concordância com o controle lógico para o mostrador e capacidade de memória.

Em um outro aspecto, a presente invenção também proporciona resposta de motorista em tempo real em um formato comparativo contra uma indicação de um nível otimizado de atenção. Uma concretização exemplificativa de um tal mostrador é ilustrada na Figura 16 onde um motorista pode observar o seu/sua grau de distração ou sobrecarga relativamente para estado de atenção otimizado.

Em ainda um outro aspecto, a presente invenção pode ser utilizada para mensurar períodos detectados de desatenção de motorista, com notificação do estado proporcionado. 0 motorista pode depois "perguntar" (por exemplo, por toque em uma tela, no caso) qual foi o problema e receber uma explanação do fundamento para o nível de carga de trabalho/desatenção aumentado detectado. Tal resposta pode exemplificativamente ser proporcionada na forma de mensagens verbais e/ou graficamente como mostrado na Figura 17. Neste caso, três representações gráficas de de sonolência, distração e carga de trabalho são representados sobre a direita, e uma combinação dos efeitos é demonstrada sobre a esquerda onde relativa atenção de motorista é indicada.

Como explicado anteriormente, o aspecto de reportagem em viagem pode ser altamente vantajoso para a aprendizagem e modificação de comportamento do motorista. Conseqüentemente, maneiras inventivas para proporcionar resposta de pós-viagem em tela (on-screen) são apresentadas e exemplificativamente ilustradas na Figura 18. Neste exemplo ilustrativo, um menu de escolha a partir de uma tela de mostrador foi selecionado para resposta de pós- viagem e o mostrador associado de tais características mensuradas como fechamento de olho em percentagem, consistência de direção e os assemelhados as exibiu em um formato de histórico. Evidentemente, esta mesma informação pode vantajosamente ser logada (alimentada) para análise e utilização posteriores.

As capacidades de motorista que foram discutidas anteriormente podem também ser utilizadas para adaptação de distração de outros sistemas de veículo tais como sistemas de alerta de colisão dianteira, de colisão traseira e de colisão de mudança de faixa (sistemas FCW, RCW e LCW). Colisões traseiras respondem por aproximadamente vinte e oito porcento de acidentes automotivos (batidas automotivas). Por causa de desatenção de motorista ser um fator contribuinte em mais do que sessenta porcento destas colisões, alerta de colisão e sistemas de evitação são importantes ferramentas para redução de acidentes e salvamento de vidas. Um objetivo dos presentes sistemas de gerenciamento de atenção é o de detectar a co-ocorrência de desatenção e eventos críticos de segurança no ambiente de tráfego (trânsito); por exemplo, frenagens súbitas de um veículo de condução e condições de olhos fora da estrada de motorista. Dois exemplos disto podem ser utilizados como informação de comportamento visual para adaptação de alertas de colisão dianteira e de mudança de faixa.

Integração de detecção de tarefas secundárias quantificadas (por exemplo, por detecção de pressionamentos de botão ou movimentos de olho) grandemente reforça o sistema de alerta de colisão por ajustamento dinamicamente do limiar de alerta de colisão em concordância com se o motorista está engajado com um dispositivo potencialmente distrativo ou outro tipo de tarefa. Por exemplo, o sistema de alerta de colisão poderia gerar um alarme mais cedo se é detectado que o motorista está envolvido em uma conversação de telefone celular. Um alarme de colisão mais cedo auxilia o motorista a reagir mais rapidamente e evitar mais colisões comparado com alerta tardio, ou nenhum alerta de qualquer modo. Se o motorista está desatento com respeito para um determinado aspecto da tarefa de direção, por exemplo, olhando para fora a partir da frente quando uma semelhança de colisão dianteira é detectada, ou não olhou para vias laterais quando uma possível colisão de mudança de faixa é detectada, então alarmes de tais condições são iniciados mais cedo. Estudos tem mostrado que até mesmo um segundo alerta ainda mais cedo quando motoristas estão olhando para fora é altamente efetivo para evitação de colisões.

Se for detectado que o motorista está atento, então os alertas podem ser atrasados ou até mesmo cancelados. Um atraso em apresentação de alerta possibilita mais tempo para os algoritmos de alerta de colisão dianteira e de mudança de faixa de forma mais determinada apurarem que um alerta é necessário, por intermédio disso reduzindo alarmes falsos. Ainda adicionalmente, cancelamento de motorista em que o motorista escolhe não ter alertas de colisão ativos quando olhando na estrada ou espelhos retrovisores laterais poderiam também eliminar inoportunos falsos alarmes.

Como uma estratégia de implementação, em um primeiro estágio, tais alertas podem ser "suaves", mas aumentando em intensidade na medida em que condições pioram e um acidente se torna mais iminente. Na situação de alerta de colisão dianteira, um alerta acima da cabeça ou mostrador de tela pode primeiramente ser chamada, mas posteriormente sendo unido por um alerta audível de soando como intensificação de condições de acidente. Um exemplo de um tal alerta e seus parâmetros de controle (que podem ou não podem ser exibidos para o motorista) são representados na Figura 19 considerando situações de colisão dianteira e na Figura 20 considerando situações de colisão de mudança de faixa.

As características de detecção aqui anteriormente descritas levando-se em consideração características de motorista podem ser utilizadas em outros ambientes e para outros propósitos do que os aqui expressamente descritos. As características de detecção podem também ser integradas para emprego em outros sistemas em veículo. Por exemplo, como uma característica de segurança passiva, um airbag "inteligente" pode ser habilitado que detecta quando a cabeça do 'motorista'/'passageiro' não está em uma posição apropriada para recepção de um airbag desdobrado. Responsivamente, desdobramento do airbag pode ser modificado para acomodar a posição de cabeça sensoriada.

Em uma outra capacidade, comportamento sensoriado poderia ser utilizado para identificar o motorista, ou pelo menos normalizar que um motorista autorizado está atrás do volante por intermédio disso facilitando proteção contra roubo. Os sensores de cabeça e olho poderiam também ser utilizados para automaticamente configurar espelhos, posições de assento e os assemelhados. Rastreamento de boca pode ser utilizado para reforçar acessórios de reconhecimento de fala. Filtros para faróis em sentido contrário podem ser adaptados, como o podem mostradores para o motorista fundamentados sobre posição e movimento de olho.

No transcurso de descrição da/s presente/s invenção/ões, equipamento e procedimentos são identificados que são adequados tanto para ambientes simulados, e quanto bem como para ensaios na estrada. Ambos os padrões (standards) (SAE e ISO) são, entretanto, fundamentados sobre uma utilização de técnica de vídeo, por exemplo, câmera e gravador, com classificação manual (off-line) de fixações e sacadas desempenhadas por avaliadores humanos. A transcrição em vídeo manual é uma consumidora de tempo e tarefa potencialmente não confiável. Conseqüentemente, um método automatizado tal como aquele sobre o qual as presentes invenções são fundamentadas, é preferível. A incorporação e confidência exemplificativas sobre as mensurações de tipo ISO/SAE podem ser vantajosamente confiadas sobre utilização de qualquer sistema que classifica movimento de olho, tanto manualmente ou quanto automaticamente.

A seguir, três subseções de segmentação ocular fundamental são descritas, e bem como quanto dois grupos de mensurações. Segmentação ocular fundamental divide movimentos de olho nas quantidades mensuráveis as menores com sistemas de rastreamento de olho disponíveis. Este movimento de olho "petrificado" ("bricks") representa um fundamento a partir do qual todas as mensurações fundamentadas em golpe de vista e estatísticas são derivadas. Em resumo, elas incluem: (1) sacadas que definem o movimento rápido ocorrendo quando olhando a partir de uma área de interesse para uma outra; (2) fixação que endereça alinhamento ou constância de posição de olhos de maneira que a imagem do alvo sobre o qual fixação está sendo feita cai sobre a fóvea por um período de tempo determinado; (3) fechamentos de olho onde fechamentos de olho de curta duração são referidos para como piscadas e longos fechamentos de olho podem ser caracterizados como sonolência.

De maneira a compreender as mensurações utilizadas nos documentos ISO/SAE, é importante estar familiarizado com a definição de um golpe de vista, que por padrões SAE, é considerado como uma série de fixações em uma área alvo até o olho ser direcionado em uma nova área. Por exemplo: se um motorista inicialmente olha em linha reta à frente (sobre a estrada) e após isso para o rádio, fixando-se primeiro sobre o mostrador e após isso sobre o controle de volume, ele ou ela desempenha duas fixações (não contando aquela primeira em linha reta à frente) e duas sacadas, todas das quais compõem um golpe de vista. O golpe de vista é iniciado na medida em que a primeira sacada para fora da estrada começa (esta sacada é chamada uma transição) e termina na medida em que a última fixação no rádio termina. A Figura 22 proporciona uma ilustração gráfica dos componentes de uma série de três golpes de vista de motorista típicos. Neste caso, fixações, sacadas e transições são quantificadas como componentes dos diversos golpes de vista.

Todas as mensurações fundamentadas em golpe de vista são derivadas a partir destas definições e são para serem consideradas uma descrição de "nível mais alto" de movimentos de olho que constituem os "petrificados" descritos na seção precedente. Estas mensurações refletem diferentes propriedades tais como divisão de tempo, carga de trabalho e demanda de atenção visual. As mensurações definidas e utilizadas nos protocolos ISO e SAE são: (1) duração de golpe de vista definida como o tempo a partir do qual a direção de olhar fixo se movimenta em direção de um alvo para o momento em que ele (olho) se movimenta para fora a partir dele (alvo). Durações mais preferivelmente longas são indicativas de uma alta demanda de carga de trabalho naquela área; (2) freqüência de golpe de vista definida como o número de golpes de vista para um alvo dentro de um período de tempo de amostragem pré-definido, ou durante uma tarefa pré-definida, onde cada golpe de vista é separado por pelo menos um golpe e vista para um diferente alvo. Esta mensuração deveria ser considerada juntamente com duração de golpe de vista na medida em que baixa freqüência de golpe de vista pode ser associada com longa duração de golpe de vista; (3) tempo de golpe de vista total definido como o tempo de golpe de vista total associado com um alvo. Isto proporciona uma mensuração da demanda visual colocada por aquela localização; (4) probabilidade de golpe de vista definida como a probabilidade para um golpe de vista para uma determinada localização. Esta mensuração reflete a demanda de atenção relativa associada com um alvo. Se calculado sobre um conjunto de alvos mutuamente exclusivos e exaustivos, uma tal distribuição pode ser utilizada para fazer comparações estatísticas; (5) tempo de interrupção definido como tempo de golpe de vista total menos a sacada iniciando o golpe de vista; (6) probabilidade de valor ligação (link) definida como a probabilidade de uma transição de golpe de vista entre duas localizações diferentes. Esta mensuração reflete a necessidade para atenção de divisão em tempo entre diferentes áreas alvo; (7) tempo fora de cenário de estrada à frente ("cenário de estrada à frente" exclui os espelhos retrovisores traseiros e laterais) definido como o tempo total entre dois golpes de vista sucessivos para o cenário de estrada à frente, e que são separados por golpes de vista para alvos não na estrada; (8) transmissão definida como uma mudança na localização de fixação de olho a partir de uma localização de alvo definida para uma diferente, isto é, a sacada iniciando um golpe de vista; (9) tempo de transição definido como a duração entre o final de uma fixação sobre uma localização de alvo e o inicio de uma nova fixação sobre uma outra localização de alvo. Na medida em que existe muito pouca ou nenhuma nova informação durante transições, tempo de transição aumentado reflete disponibilidade reduzida para nova informação de motorista; (10) tempo de tarefa total definido como tempo total de uma tarefa que é por sua vez definido como o tempo a partir do ponto de iniciação de primeiro golpe de vista para a terminação de último golpe de vista durante a tarefa.

Mensurações não fundamentadas em golpe de vista são todas as outras mensurações que podem ser calculadas outras do que aquelas que são definidas nos padrões ISO/SAE. Dois exemplos incluem: (1) valor médio e desvio padrão de posição de fixação dentro de diferentes grupos, por exemplo, o cenário de estrada à frente e um telefone celular; e (2) valor médio e desvio padrão de fixação de interrupção de tempo dentro de diferentes grupos e/ou diferentes tarefas. Estes tipos de mensurações são interessantes quando analisando, por exemplo, direção normal comparada com direção durante altos períodos de carga cognitiva tal como deveria ocorrer se um motorista estivesse envolvido em uma tarefa matemática.

Um objetivo geral da presente invenção é o de proporcionar automação da análise de dados de movimentos de olho com foco nas mensurações prescritas nas normas ISO 15007-2 e SAEJ-2396 de métodos para mensuração de comportamento visual de motorista com respeito para informação de transporte e sistemas de controle. Ferramentas exemplificativas utilizadas na presente automação incluem sistemas de rastreamento de olho que são de outro modo aqui discutidos em maiores detalhes. Vantajosamente, os algoritmos e sistemas de implementação deveriam somente requerer um mínimo de interação humana, tal como dados de carregamento/salvamento e inspeção visual de grupos e classificados à parte detectados.

Um ponto de partida para a presente apresentação foi uma demonstração de que uma análise automatizada é possível utilizando sistema de sensoriamento disponível; o estudo particular revelou altas correlações sobre todas as mensurações. Neste exemplo, o sinal foi filtrado utilizando um filtro médio de janela deslizante de treze amostras para reduzir ruído, eliminar alguns classificados à parte e piscadas. Um algoritmo de limiar de velocidade foi desenvolvido para diferenciar sacadas a partir de fixações (perseguições suaves foram consideradas para serem fixações) e uma delimitação manual de grupos proporcionando um fundamento para classificação de golpe de vista. O procedimento requereu entrada e atenção de operador significativas: por exemplo, os sinais deviam ser filtrados, e classificados à parte, fixações curtas, e outros artefatos foram manualmente identificados. Na medida em que as invenções têm se envolvido para o ponto da presente apresentação, estes procedimentos intensivos de tempo de operador foram eliminados.

Originalmente, a largura de filtro média não foi otimizada para todos os sujeitos; o comprimento necessitou permanecer em proporção para o nível de ruído. Responsivamente, diferentes tipos de filtro e de parâmetros foram utilizados. Também, foi aprendido que o algoritmo de velocidade foi sensoriado para ruído. Portanto, o limiar foi ajustado para 340 graus por segundo que é substancialmente acima de velocidades de partida e de terminação de sacadas. Para compensação disto, as duas amostras precedentes e seguintes de uma sacada foram também marcadas para possuírem velocidades de sacadas. Na medida em que sacadas variam em amplitude e velocidade de pico, assim fazem suas acelerações. Por conseqüência, este método percussor proporciona uma boa aproximação de começos e finais de sacadas, somente. Conseqüentemente, um objetivo da invenção presentemente envolvida é o de proporcionar uma técnica robusta para identificação de sacada/fixação que é mais precisa.

Adicionalmente, uma necessidade para uma técnica de agrupamento que automaticamente identifica áreas alvo de golpe de vista e golpes de vista foi identificada. Um objetivo foi o de eliminar classificados à parte e outros artefatos de uma maneira automatizada, outra do que pelo recurso tradicional de avaliação humana.

Um entendimento da origem e propriedades dos dados aqui apresentados é importante quando projetando algoritmos de detecção. Conseqüentemente, os dados disponíveis e as plataformas técnicas utilizadas para obtenção daqueles dados são descrito/as.

Levando-se em consideração a/s presente/s invenção/ões em mãos, a Figura 23 dos Desenhos acompanhantes proporciona uma visão global geral de um algoritmo de análise off-line exemplificativo. A dado de movimento de olho em bruto se dá entrada na caixa de mão esquerda superior onde pré- processamento é desempenhado. Exemplificativamente, tal pré-processamento inclui um filtro médio que subjuga ruído, artefatos e piscadas. Também, todos os dados de rastreamento são removidos nesta estação funcional.

A caixa grande, intermediária, representa um algoritmo exemplificativo que como ilustrado, é um tratamento híbrido entre dois algoritmos de tratamento de dados comumente utilizados (Detecção de Velocidade de Limiar Dupla e Detecção Fundamentado em Regra e Dispersão). Como indicado na porção direita da caixa intermediária, as regras oculares aplicadas são fundamentadas sobre limites ou parâmetros conhecidos de determinados aspectos de comportamento ocular tal como comprimento mínimo (com respeito ao tempo) de uma fixação geralmente definida por capacidades oculares humanas. A caixa de fundo no interior do algoritmo híbrido representa um algoritmo de agrupamento adaptativo que agrupa fixações, fundamentadas em uma ou mais características das mesmas, e na prática faz os grupos tenderem a "flutuar" no lugar na medida em que o número de golpes de vista amostrados aumenta.

O algoritmo de Detecção de Velocidade de Limiar Dupla representado pela caixa superior no interior do algoritmo híbrido é fundamentado sobre velocidade de movimento de olho (graus/segundo) . Referindo-se para a Figxira 24, um alto limiar (de topo, plano, de linha tracejada) diferencia fixações entre aquelas que possuem baixas velocidades, a partir de sacadas. A curva tracejada e pontilhada inferior representa um movimento de olho efetivo, ilustrado em uma dimensão, e a curva de pico sólida representa a derivada da mesma, ou velocidade de movimento de olho. Uma vez que a sacada venha a ser detectada, um baixo limiar (linha tracejada curta e longa) é aplicado para determinar os pontos inicial e final. A razão para utilizar dois limiares é evitar disparos de ruído provocados por detecção de sacada. Deveria ser apreciado, entretanto, que na medida em que ruído aumenta, assim o faz o erro neste protocolo.

Em adição para detecção de sacada, um protocolo de dispersão é utilizado em conjunção com regras oculares aplicadas. As regras determinam quando sacadas e fixações detectadas não são naturais; o que significa, seu dado de definição é de alguma maneira exterior de parâmetros de característica aceita para a classificação assinalada (sacadas e fixações).

Exemplos de tais regras poderiam ser que uma fixação deve perdurar por mais do que 150 ms e uma sacada é mensurada por algum período pré-determinado mais curto. Também, uma sacada não pode retornar para a mesma área a partir da qual ela se iniciou. Sempre que estas regras são aplicadas para mudar uma fixação em parte de uma sacada ou uma sacada em parte de uma fixação, o algoritmo de dispersão determina como a situação irá ser manejada. Por exemplo, se duas fixações sucessivas no mesmo alvo são detectadas com uma sacada de 60 ms dentre as mesmas, pode ser deduzido que poderia existir ruído que disparou a detecção de sacada. Se é ruído ou não é determinado pelo protocolo de dispersão. Se as duas fixações estão dentro de uma determinada distância uma a partir da outra (o limiar de dispersão) , elas são uma parte da mesma fixação, e a sacada é mudada em parte daquela fixação, de outro modo ela é o mais provavelmente uma detecção correta.

Um preceito principal do algoritmo híbrido é o de que ele automaticamente inclina a "decisão" de maneira a qual algoritmo de tratamento (ou partes do mesmo) irá ser aplicado para o dado fundamentado sobre o nível de ruído corrente. Como descrito na Figura 25, dado de rastreamento de relativamente menos ruído que é de qualidade mais alta irá ser tratado predominantemente utilizando Detecção de Velocidade de Limiar Dupla. A presença de uma quantidade média ou intermediária de dados de ruído/qualidade aumenta a influência do tratamento de Detecção de Dispersão dos dados. Finalmente, e como representado no lado direito da Figura 25, restauração de fixação pode ser afetada quando o dado é muito ruidoso e de baixa qualidade. Usualmente tal de dado baixa qualidade ou ruidoso irá somente ser um efeito transitório e não aplicado para a corrente de dados global (integral) . No evento de que porções dos dados são de tal baixo grau de qualidade, restauração daquelas porções acontece por aplicação de um filtro rigoroso para o correspondente dado para ver se este pode ser "acalmado" (suavizado) o suficiente para discernir o comportamento fundamentando o ruído extremo. A restauração é concretizada por uma "substituição" da porção severamente tratada quando a saída filtrada mais rigorosamente passa as regras de "validade" em que os dados filtrados mais suavemente tenham falhado.

Quando a detecção de todas as fixações e sacadas tiver sido finalizada, ao dado se dá entrada para o algoritmo de agrupamento que identifica golpes de vista fundamentados na saída de uma análise de grupo desempenhada, detalhes exemplif icativos da qual são mais completamente desenvolvidos aqui posteriormente. A Figura 26 representa um algoritmo híbrido que é utilizado para desempenhar tratamento de dado de rastreamento em tempo real. Dado de rastreamento bruto, tipicamente em qualquer forma de corrente de dados, é obtido a partir de um sistema de sensor considerando orientações e movimentos de cabeça e/ou olho. Porque o processamento está acontecendo em uma base em tempo real, o luxo de ter capacidade de reciclar o dado para qualquer filtragem adicional passa se este falha para satisfazer critério de regra não aproveitado. Dado possível o melhor tem que ser tornado disponível em todos os tempos. Conseqüentemente, o algoritmo híbrido em tempo real essencialmente roda dois tratamentos de tandem do mesmo dado. Como representado na Figura 26, o dado de fonte é tratado acima utilizando um filtro padrão e simultaneamente, em paralelo abaixo, utilizando um filtro mais rigoroso. Ao mesmo tempo, o dado de fonte filtrado diferentemente é tratado com um conjunto de regras. Usualmente, as regras que são aplicadas para cada corrente de dados filtrada são idênticas, mas cada uma poderia ser delineada dependendo das respectivas características de filtragem.

A partir de cada uma das duas regras de tratamentos, uma corrente de dados é produzida. Como pode ser apreciado a partir da Figura 26, o caráter das duas correntes de saída, filtradas é diferente. Preferivelmente, o filtro padrão foi absolutamente suave com respeito à suavização do dado, e o conjunto de regras aplicadas para a corrente de dados se esforçando para determinar se uma fixação ou sacada válida está ou não está ocorrendo. Se as regras não podem ser satisfeitas, então a nenhuma corrente de dados se dá saída. Esta lacuna (blank) nos dados pode ser apreciada no canto de topo, direito da Figura 26. É possível que simplesmente excessivamente muito ruído está presente na porção da corrente de dados que falha para satisfazer a/s regra/s/ aplicada/s.

Durante esta integridade de tempo, o dado está também sendo processado com o filtro rigoroso como descrito anteriormente. Tipicamente, o filtro rigoroso faz significativamente "suave" o dado em um esforço para remover ruído. O dado a que se dá saída pode ser menos afiado, mas quando as mesmas regras são aplicadas para o dado mais altamente filtrado que corresponde para a zona de lacuna (blank), nenhumas porções de dados sem regras concordantes em padronização filtrados, características de sacadas ou fixação são distinguíveis. Quando este for o caso, as regras são passadas, e caracterização válida dos dados é obtida. Esta porção de passagem de regra da regra de dado altamente filtrado correspondendo para saída em lacuna (blank), quebrando menos zonas de dados filtrados é emersa para a corrente a que se dá saída que tenha passado depois de filtragem padrão. Isto é ilustrado como a corrente de dados tratada compilada na Figura 26.

A corrente de dados compilada, enquanto possivelmente possuindo curtas porções de lacuna (blank) onde nenhuma das correntes de dados diferentemente filtrados passou a/s regra/s aplicada/s, é substancialmente adjacente se o dado de fonte é de qualidade aceitável (falta de ruído) em um senso geral. 0 que significa dizer, dado de qualidade muito baixa nunca irá ser aceitável, e não pode tipicamente ser filtrado ou tratado para ser feito aceitável. Mas onde o dado de fonte é geralmente aceitável exceto para determinadas sub-porções simples, o algoritmo híbrido exemplificativo para tratamento de dados de rastreamento em tempo real produz uma corrente a que se dá saída de dados compilados compostos de fixações e sacadas classificáveis adequadas para processamento adicional, tais análises de grupo e densidade como é aqui descrito em maiores detalhes.

A Figura 27 proporciona um esquema representativo de um algoritmo relacionado para a coletânea de dados descritivos, classificação de fixação visual em localização ou fora de localização, e agrupamento dos dados classificados.

Uma localização pode ser qualquer localização de interesse, por exemplo, uma localização pode incluir: o centro de estrada, uma localização atrás do motorista, uma localização para a esquerda ou para a direita do motorista, um espelho retrovisor traseiro, um espelho retrovisor lateral, um console central, um acessório de automóvel (por exemplo, rádio, interruptor de janela, sistema de navegação), um acessório pessoal (por exemplo, telefone celular, PDA, laptop), ou um passageiro (por exemplo, criança em assentos de carro ou assento traseiro). A lista anteriormente não é inclusiva como um todo e é proporcionada para mostrar exatamente uns poucos exemplos de localização. Como observado a partir dos exemplos anteriormente, a localização não necessita ser fixada, mas pode mudar com o tempo, por exemplo, quando a localização é um telefone celular ou PDA, a localização muda com o tempo quando o usuário digita o telefone, responde o telefone, verifica o identificador de chamada, verifica mensagens entrando, ou envia mensagens saindo.

Em uma configuração, o processo de tratamento de dados começa com uma determinação de se uma fixação visual pode ser classificada como uma fixação visual em localização ou fora de localização. Adicionalmente, se desejado, fixações visuais fora de localização podem também ser determinadas fundamentadas sobre uma determinação de fixações visuais em localização. Por exemplo, se o dado é classificado como uma fixação visual em localização, o dado é classificado como tal. Se o dado não é classificado como uma fixação visual em localização, o dado pode ser classificado como um dado fora de localização. A vantagem principal desta simplificação é a de que alguém pode possibilitar qualidade de dados mais baixa durante golpes de vista para fora a partir da estrada na medida em que olhar fixo fora de localização pode ser ignorado.

Adicionalmente, esta configuração proporciona para uma estimativa mais robusta de movimentos comportamentais do que soluções prévias que requerem processamento das porções do sinal onde o motorista olha em posições excêntricas, isto é, fora de localização. Por exemplo, movimentos comportamentais que não são classificados como fixações visuais em localização podem ser ignorados e estimados como fixações visuais fora de localização.

Como um resultado, a presente configuração diminui a demanda sobre a tecnologia e possibilita para dispositivos de mensuração mais simples e mais baratos. Por exemplo, dispositivos de mensuração menos tecnologicamente avançados poderiam ser utilizados para reduzir custos de implementação do sistema. Da mesma forma, processadores menos poderosos podem ser utilizados para processar a informação obtida a partir dos dispositivos de mensuração.

Somente a área onde dispositivos de mensuração proporcionam o desempenho otimizado é considerada, por conseqüência, mensurações de alta qualidade são asseguradas. Por exemplo, mensuração de fixações visuais de centro de estrada pode incluir um dispositivo de mensuração colocado substancialmente diretamente em frente do motorista como observado na Figura 28. Golpes de vista para fora a partir da estrada são inferidos a partir de situações quando o motorista não olha sobre a estrada. Em um outro exemplo, mensuração de fixações visuais de espelho retrovisor traseiro pode incluir um dispositivo de mensuração colocado no ou em torno do espelho retrovisor traseiro.

A Figura 29 proporciona uma ilustração instrutiva do conceito de área de centro de estrada. Deveria ser apreciado que o conceito de centro de estrada é aplicável tanto para análise de pós-coleta off-line de consciência de motorista, e quanto para funções de consciência de motorista em tempo real.

A localização exata da área RC é importante, na medida em que o grupo de centro de estrada efetivo como mensurado pelos dispositivos de mensuração deveria ser constrangido pela área RC pré-definida. Conseqüentemente, a localização da área RC poderia beneficamente ser ajustada continuamente em tempo real. Uma informação a priori acerca da posição geométrica relativa do grupo RC e outros grupos no cenário à frente (a partir do ponto de vista do motorista) podem também ser utilizados para reforçar adicionalmente a estimativa da localização da área RC.

A dimensão e configuração da área de centro de estrada podem beneficamente ser ajustadas para sua aplicação intencionada. Além do mais, múltiplas áreas RC podem ser definidas de uma maneira de sobreposição quando diferente comportamento visual correlacionando para diferentes características de estrada é desejado para ser mensurado com alta sensibilidade, e quando funções específicas estão para ser realizadas. Por exemplo, uma grande área RC é definida e utilizada por uma aplicação em tempo real critica em segurança que necessita se conhecer para assegurar quando o motorista está positivamente olhando para fora a partir da estrada. Uma outra aplicação é simultaneamente interessada em golpes de vista fora de estrada, mas utiliza uma área menor de maneira a capturar mais dos golpes de vista fora de estrada.

A seguinte Tabela apresenta um resumo de mensurações ISO e as correspondentes aproximações RC:

<table>table see original document page 85</column></row><table> <table>table see original document page 86</column></row><table>

Dispositivos de mensuração de cabeça/olho os mais correntemente disponíveis mensuram movimentos de cabeça mais robustamente do que movimentos de olho (os movimentos de cabeça são mais fáceis de rastrear quando o sujeito olha para fora a partir dos sensores) . Em uma concretização da presente invenção, aqueles movimentos de cabeça podem ser utilizados para proporcionar uma melhor estimativa da direção dos movimentos de olho mensurados por simultaneamente considerar a direção dos movimentos de cabeça (e, por conseqüência, estimativa semelhantemente que os olhos se movem em uma determinada direção). Em uma outra concretização da presente invenção, os movimentos de cabeça proporcionam a estimativa da direção de movimentos de olho (isto é, movimentos de cabeça são utilizados como uma aproximação de movimentos de olho quando os olhos são deficientemente rastreados, ou não de qualquer modo). Movimentos de cabeça podem ser mensurados com respeito para movimentos rotacionais, tal como inclinação, ziguezague, e rolagem; e podem também ser mensurados, sozinhos ou juntamente com movimentos posicionais tais como levantamento, oscilação, e pêndulo. Juntamente, os três movimentos rotacionais e os três movimentos posicionais são referidos como os seis graus de liberdade (6DOF).

Quando analisando os 6DOF, o movimento de cabeça é geralmente descrito por três componentes de rotação de cabeça (Inclinação, Ziguezague e Rolagem), e três componentes de translação de cabeça em concordância com um sistema de coordenadas Cartesianas com os eixos geométricos x, y e z (Posxi Posyi Posz). Estes seis componentes podem ser combinados para um sinal de movimento de cabeça HMOVE que completamente descreve o movimento de cabeça.

Preferivelmente, cada um dos seis componentes de sinal é pré-processado para remover ruído de mensuração e mudanças de posturas de longo termo do motorista. Uma maneira de conseguir isto é utilizar um filtro de passa alta para remover as mudanças de posturas de longo termo, que por natureza são de baixa freqüência, e um filtro de passa baixa para suprimir ou pelo menos atenuar o ruído de sinal. Ambos podem com certeza ser conseguidos por um filtro de passa banda apropriado como tal.

Depois deste pré-processamento, a mensuração global do movimento de cabeça total pode, por exemplo, ser expresso e calculado como uma função dos seis graus de liberdade e suas derivadas dependente de tempo de primeiro grau e de segundo de grau em concordância com a Equação (1.1):

Equação (1.1)

<formula>formula see original document page 88</formula>

Onde na Equação (1.1):

HMOVE = movimento de cabeça;

Posx, PoSy, Posz = Coordenadas Cartesianas com os eixos geométricos x, y e z;

Pitch = Inclinação;

Yaw = Ziguezague; e

Roll = Rolagem.

Esta função ou modelo geral pode ser escolhida/o e sintonizada/o diferentemente para diferentes aplicações. Por exemplo, uma mensuração de movimento de cabeça global pode ser definida em concordância com a Equação (1.2) :

Equação (1.2)

<formula>formula see original document page 88</formula>

Onde na Equação (1.2):

HMOVE = movimento de cabeça; Posx, PoBy, Posz = Coordenadas Cartesianas com os eixos geométricos x, y e z;

Pitch = Inclinação;

Yaw = Ziguezague; e

Roll = Rolagem.

E ainda em que A até F são fatores de relevância que determinam a sensibilidade para diferentes tipos de movimentos de cabeça e, por conseqüência, a sensibilidade da mensuração.

Em uma outra concretização da presente invenção, posição de corpo poderia ser utilizada para proporcionar uma estimativa da direção dos movimentos de olho mensurados. A orientação de um corpo do motorista pode ser utilizada para proporcionar uma melhor estimativa da direção dos movimentos de olho e de cabeça mensurados por simultaneamente consideração da direção do corpo (e, por conseqüência, estimativa semelhantemente de que os olhos se movem em uma determinada direção). Em uma outra concretização da presente invenção, o movimento de corpo proporciona a estimativa da direção de movimentos de olho (isto é, movimentos de corpo são utilizados como uma aproximação de movimentos de olho quando os olhos e ou a cabeça são deficientemente rastreados, ou não de qualquer modo).

Dependendo das características do dispositivo de mensuração, processamento de sinal adicional pode ser requerido (ou benéfico) para manipular situações onde classificação em localização/fora de localização se torna incorreta, Por exemplo, piscadas podem ocasionalmente ser mal interpretadas pelo dispositivo de mensuração como olhando para baixo. Isto pode ser manipulado de várias maneiras, por exemplo, por aplicação de um filtro que ignora golpes de vista mais curtos do que um comprimento especificado como sendo excessivamente curtos e conseqüentemente improváveis para serem golpes de vista naturais reais. Este filtro pode operar sobre o sinal mensurado ou sobre o sinal binario classificado em localização e fora de localização. A operação de filtro é aplicável tanto para análise off-line e quanto on-line (em tempo real).

Saída a partir de um dispositivo de mensuração remoto é um sinal de mensuração representando o ângulo, amplitude e/ou direção de movimentos comportamentais. Aqui, estes sinais são utilizados para fazer uma classificação em localização/fora de localização de cada amostra do sinal por aplicação da metodologia proposta anteriormente; ver Figura 31.

O resultado (saída) da etapa de classificação é um sinal de classificação que determina em cada amostra (ou unidade de tempo) se olhos/cabeça/face são direcionados na ou fora da estrada (isto é, a região RC) . Operacionalmente, isto é feito por considerar a distância Euclidiana do ponto de olhar fixo mensurado (ou coordenada de direção cabeça/face) em cada amostra (ou unidade de tempo) para a origem da área RC. Se o resultado cai dentro do perímetro/fronteira definido pela área RC ele pertence à região RC em localização e é classificado como tal, de outro modo ele é classificado como pertencendo à região RC fora de localização.

Ocasionalmente o sensor pode perder o rastreamento do motorista (isto é, nenhuma mensuração de movimentos de olho/cabeça/face/corpo). Na maior parte dos casos isto irá ser devido ao fato de que o motorista está olhando para fora a partir da estrada e o rastreamento perdido irá ser interpretado/classificado como golpes de vista fora de estrada. Dependendo da natureza (por exemplo, duração, magnitude e similares) do episódio de rastreamento perdido pode ser necessário tratar a perda de rastreamento com filtros especiais.

As Figuras 32a e 32b demonstram um exemplo de como a classificação resultante pode ser filtrada para remover golpes de vista não naturais (isto é, o mais provavelmente mal interpretados) para fora a partir da/ou em direção da localização. Na Figura 32a, a classificação original é demonstrada. Na Figura 32b, golpes de vista muito curtos (mais curtos do que 20 amostras) foram filtrados ou ignorados, isto é, ré-classifiçado como pertencendo ao golpe de vista "principal".

Quando a localização estimada e o grupo efetivo formado pelo golpe de vista do motorista para a localização não alinha, erros podem ser introduzidos na etapa de classificação quando golpe de vista é direcionado sobre a borda da localização (por conseqüência, alternando entre em localização/fora de localização embora olhar fixo é mais ou menos direcionado na mesma localização em espaço). Isto é grandemente manejado pela mesma abordagem como apresentado nas Figuras 32a e 32b.

Um conhecimento a priori sobre a fisiologia de movimentos de cabeça e olho pode também ser utilizado para reforçar adicionalmente o desempenho dos algoritmos. A velocidade de transições de sacadas e tempos de interrupção mínimos podem suprir um fundamento fisiológico (ou motivação) para determinação que golpes de vista estão corretos, por conseqüência, aplicando um teste de plausibilidade sobre a classificação em tempo real feita pelo algoritmo.

A classificação binária em localização/fora de localização apresentada pode ser estendida para possibilitar diversas áreas de interesse.

Depois da classificação ter sido feita, computando as mensurações de freqüência de golpe de vista e duração de golpe de vista apresentadas anteriormente meramente envolve contagem do número de intervalos ON (em localização) e OFF (fora de localização), respectivamente, no sinal de classificação. A duração de golpe de vista é computada por também levar-se em consideração o inicio e fim de cada segmento contínuo classificado da mesma maneira.

As Figuras 33a e 33b proporcionam um exemplo ilustrativo de comportamento de golpe de vista. Na Figrura 33a o círculo demonstra onde a área de centro de estrada está localizada e graficamente ilustra uma vista do motorista da estrada no cenário à frente. A Figura 33b significa a mesma vista, mas com um eixo geométrico de tempo adicionado.

De uma maneira associada, a mensuração de área pode ser estendida por consideração de uma área maior ao redor da (circundando a) área de centro de estrada efetiva para situações onde o dispositivo de mensuração proporciona um olhar fixo decididamente bom ou habilidade de rastreamento de cabeça em uma área maior. Em tais ocorrências a mensuração extra pode proporcionar robusteza extra como ilustrado na Figura 34.

A Figura 35 proporciona uma alternativa representativa esquemática do algoritmo em tempo real se referindo ao pré- processamento de dados, identificação de estrada à frente, agrupamento e aplicação de um algoritmo híbrido em que todos juntamente ultimamente fornecem mensurações de saída de significância.

Nesta configuração da presente invenção, os processos de tratamento de dados começam com uma iniciação automática que descobre o que é definido como o cenário de estrada à frente. Isto é feito por formação de uma superfície de densidade, onde o tempo em que o motorista olha em uma determinada direção é descrito pela densidade de olhar fixo nesta área. Por exemplo, quanto mais o motorista olha em uma área, mais a densidade de olhar fixo irá aumentar naquela área. A maior parte de uma atenção do motorista é provavelmente para ser encontrada no que é designado o centro do cenário de estrada à frente; irá existir um "pico de atenção" no centro desta área como ilustrado na Figura 30. Nesta ilustração, o plano a partir de onde os dois picos se elevam deveria ser tomado para ser perpendicular para a face do motorista quando encarando o pára-brisa. O alto pico representa o cenário de estada à frente e o pico mais baixo representa um ponto de concentração. No exemplo mapeado, o sujeito perguntou por mudar a linguagem em um sistema de Navegação, que é o que o pico inferior (mais baixo) representa.

Durante direção, o alto pico (esquerdo) gradualmente se constrói, e depois de aproximadamente dois minutos, a posição de centro de estrada de pico (PRC) é estável. A área de centro de estrada é definida como a base desta montanha e o pico como seu centro. A base é considerada para ser os 95% de valores de confidência calculados fundamentados sobre a aproximação que a montanha possui uma configuração Gaussiana e o valor médio é a posição de pico. Uma vez que isto tenha sido feito, golpes de vista para fora a partir da posição de estrada à frente podem ser detectados, e, por conseqüência, atenção e carga de trabalho de motorista podem ser calculadas utilizando a definição de centro de estrada de pico como descrito aqui posteriormente.

Em um desenvolvimento adicional do conceito de identificação do centro de estrada, pré-processamento do dado é desempenhado utilizando translações e rotações matemáticas puras, e bem como filtros de sinal. Na medida em que olhar fixo de olho é um vetor que se origina a partir de um ponto entre os olhos, ele se torna dependente da posição da cabeça. Todo objeto no campo de visão do motorista pode ser posicionado por um ângulo visual a partir do olho do motorista. O ângulo não obstante é altamente dependente da posição de cabeça do motorista, que por sua vez é dependente da altura e posição de direção preferida do motorista. Diferentes posições/rotações de cabeça afetam as propriedades do sinal de olhar fixo e bem como movimentos de cabeça. De maneira a minimizar estes efeitos, a posição de cabeça é normalizada para uma posição de referência, vantajosamente tomada como posição média aproximada da maior parte dos motoristas. Isto é concretizado por intermédio de um plano de espelho teórico localizado em frente do motorista como representado na Figura 36.

Neste caso, olhar fixo e ângulo de cabeça mensurado é projetado por intermédio deste plano em cima de uma cabeça estática ou de referência. Nesta concretização da presente invenção, é o olhar fixo da cabeça estática e ângulo de cabeça que é utilizado nos algoritmos.

Quando confidencia de olhar fixo é baixa, por exemplo, quando os olhos são oclusos, o algoritmo automaticamente permuta acima da orientação de cabeça e utiliza a direção de apontamento de face à frente como se ela fosse o vetor de olhar fixo. O sinal resultante é então alimentado para o algoritmo híbrido nisto descrito, e centro de estrada é localizado por intermédio da função de densidade de olhar fixo. O procedimento de iniciação toma aproximadamente vinte segundos de direção normal com uma velocidade maior do que 70 Km/h. Nesta aplicação particular, centro de estrada foi definido como uma oval, de 20 graus por 40 graus, centrada pela estimativa de função de densidade da visão em linha reta à frente. A geometria de centro de estrada pode, entretanto, ser dependente da velocidade e/ou do ambiente.

A oval anteriormente descrita é ideal para velocidades acima de 70 Km/h e abaixo aproximadamente de 120 Km/h em uma auto-estrada de duas faixas com tráfego médio. Outras geometrias podem funcionar melhor para alguns ambientes, viagem sendo empreendida em velocidades diferentes, e para outras aplicações. Mensurações de longa duração de golpe de vista; o que significa, um golpe de vista estendido em tempo, parece funcionar melhor com uma banda horizontal de 20 graus, centrada verticalmente pela. função de densidade de olhar fixo.

O centro de estrada define o único objeto universal na visão de motorista. 0 motorista tanto olha no centro de estrada, ou quanto não. Um atraso de transição é utilizado de maneira a evitar um sinal oscilante quando olhar fixo é direto (correto) sobre a borda de centro de estrada. Olhar fixo deve permanecer constante sobre um dos dois objetos (na ou fora da estrada) por mais do que 100 ms para uma transição ser registrada.

Uma vez que centro de estrada é validado (isto é, a função de densidade de olhar fixo é estável), PRC (tomado aqui para significar tanto centro de estrada de pico, ou quanto centro de estrada de porcentagem) irá começar a calcular. Sem necessidade, o algoritmo pausa sempre que não existe nenhum dado de rastreamento de fonte. Ainda adicionalmente, e concretização preferida da presente invenção, o algoritmo é desativado sempre que a velocidade de veículo cai abaixo de 65 Km/h. Isto também reajusta (zera) o valor do PRC para 80 porcento.

Em uma versão do algoritmo PRC, um parâmetro de PRC máximo previne que PRC venha a se elevar acima de 80 porcento. Esta é uma maneira simples de estabilizar PRC durante direção normal (para alguns sujeitos, direção normal varia entre aproximadamente valores PRC de 75 porcento e 85 porcento). Utilizando esta restrição, PRC irá sempre cair para um determinado nível (a partir de PRC 80 porcento) para um determinado número de golpes de vista. 0 mesmo raciocínio é válido para PRC mínimo e distração cognitiva. Uma janela PRC mais curta (3 - 10 segundos) é utilizada para indicar comportamento de divisão de tempo; isto é, múltiplos golpes de vista entre duas áreas alvo. A indicação de comportamento de divisão de tempo é utilizada para reajustar (zerar) PRC para 80 porcento quando o comportamento é finalizado; por exemplo, no final de uma tarefa secundária.

Três diferentes alertas/respostas para o motorista podem ser exemplificativamente proporcionados. Mesmo se PRC cai abaixo de um limiar, o alerta não é determinado (dado) até que o motorista venha a olhar para fora a partir da estrada (o alerta cognitivo é uma exceção disto). No caso de distração visual, um nível titilação é alcançado quando o sujeito está ligeiramente distraído; isto é, quando PRC cai abaixo de 65 porcento. 0 alerta é dado em um máximo de duas vezes durante um período de 10 segundos, e somente quando o motorista olha para fora a partir da estrada; o que significa, o alerta irá ser dado nos dois primeiros golpes de vista para fora a partir do centro de estrada depois que PRC vier a cair abaixo de 65 porcento. Um outro nível de alerta é alcançado quando o sujeito está severamente distraído; isto é, quando PRC cai abaixo de 58 porcento. Neste caso, imediatamente depois deste alerta ser emitido, PRC é reajustado (zerado) para direção normal, isto é, 80 porcento.

No caso de distração cognitiva, o alerta cognitivo é emitido quando o motorista está cognitivãmente distraído; isto é, quando PRC está acima de 92 porcento. PRC é então reajustado (zerado) para 80 porcento. Um longo alerta de golpe de vista (para fora a partir da estrada) é emitido sempre que um golpe de vista para fora de centro de estrada perdura por mais do que quatro segundos.

Utilização de uma janela de tempo poderia não ser a solução otimizada. Uma janela de tempo de um minuto possui uma história de um minuto, por conseqüência, o que o motorista fez meio minuto atrás irá afetar PRC, e bem como a tarefa corrente. Se o motorista sintoniza o rádio e, por conseqüência, realiza quatro golpes de vista para o rádio, ele irá ser punido por estes quatro golpes de vista por pelo menos metade de um minuto; o que significa, PRC irá permanecer baixo por pelo menos 30 segundos mesmo se de qualquer forma o motorista está de volta para direção normal (isto é, assumindo que a tarefa perdurou por um máximo de 30 segundos). Existem diversas maneiras para lidar com este problema.

Uma delas é utilizar uma janela de tempo mais curta com um fator de amortecimento (para obter aproximadamente as mesmas dinâmicas de janela). Uma outra é descarregar a janela sempre que uma tarefa é completada. Ainda adicionalmente, uma janela de tempo muito mais curta, por exemplo, de 3 - 15 segundos, pode ser utilizada para decidir se uma tarefa está sendo desempenhada ou não.

0 detector de divisão de tempo pode ser utilizado para decidir se a soma de PRC (usualmente o tempo total de todos golpes de vista em centro de estrada dentro da janela de tempo) deve negligenciar golpes de vista em estrada; o que significa, enquanto desempenhando uma tarefa, a soma de PRC diminui proporcionalmente para o tempo de golpe de vista fora de centro da estrada, mas negligencia o tempo de golpe de vista em centro de estrada e, por conseqüência, determina a mesma dinâmica das soma como a janela deveria.

Um outro problema com o algoritmo corrente é o de que piscadas muito freqüentemente são interpretadas como golpes de vista para baixo em direção do grupo de instrumentos.

Filtragem de dado padronizado não irá filtrar piscadas devido a propriedades ligeiramente diferentes no sinal de olhar fixo. Soluções propostas incluem utilização do sinal de abertura de olho para determinar se ele está piscando ou em um golpe de vista. Isto requer que o sinal de abertura de olho venha a ser apresentado no dado de log (de alimentação) quando o programa está em "modo não latente". Uma alternativa é projetar um detector de piscada. Uma piscada é excessivamente curta para ser um golpe de vista e poderia, por conseqüência, ser interrompida em um filtro. Isto irá, entretanto, introduzir um atraso no sistema de pelo menos 150 ms.

O algoritmo anteriormente é sintonizado para tráfego médio de auto-estradas dirigindo aproximadamente em velocidades de 70 Km/h - 120 Km/h. Existem diversas maneiras para adaptar o algoritmo para diferentes velocidades e ambientes. Uma delas é adaptar a área de centro de estrada para velocidade e ambiente. Na medida em que velocidade diminui, centro de estrada irá aumentar em tamanho, primordialmente no campo horizontal. Centro de estrada é aumentado de maneira que direção normal nesta velocidade e ambiente possui um PRC aproximado de 80 porcento. Existem duas maneiras para fazer isto. Uma delas é adaptar para cada motorista on-line. Uma outra é proporcionar geometrias de centro de estrada pré-definidas para diferentes velocidades e ambientes. Ainda uma outra é ajustar os limiares de alerta em concordância com o nível PRC de direção normal para a velocidade e o ambiente particulares. Ainda uma outra é proporcionar uma descrição do ambiente, ou pelo menos do ambiente indicado pelo comportamento de direção.

Uma limitação é a de que o algoritmo irá falhar se a cabeça do motorista é voltada mais do que cerca de 60 graus para fora a partir do centro de estrada; o que significa, se o motorista olha acima de seu ombro ou para o lado para ver se existe um carro na faixa adjacente. Reconhecimento de modelo pode ser utilizado para preencher naquelas lacunas (blanks).

Independentemente de alertas diretos, PRC pode ser utilizado para habilitar/desabilitar um terceiro sistema de grupo ou ajustá-lo em diferentes modos. Por exemplo, PRC pode ser utilizado para ajustar um sistema de alerta de colisão dianteira (FWC) em modo "sensível", e o sinal de centro de estrada em olhos instantâneo pode ser utilizado para decidir se um alerta deve ser habilitado ou não. Este poderia também ser utilizado para ajustar o lapso de tempo para um Ioop de controle de cruzeiro adaptativo (Adaptative Cruise Control - ACC) (aumento ou diminuição da distância de segurança) ou habilitar/desabilitar outros alertas e sistemas.

Muitas das mensurações aqui esboçadas fazem utilização de um cálculo de referência do ponto de centro de estrada (Road Center Point - RCP). O ponto de centro de estrada vertical e horizontal é calculado a partir de um conjunto de dados de movimento de olho segmentado (segmentado em fixações/perseguições suaves e sacadas) de, por exemplo, três minutos de dados. Primeiro, cada ponto de dado de fixação é adicionado para uma caixa (bin) vertical e horizontal; por exemplo, um tamanho de caixa de 0,98 grau por 0,98 grau (128.vezes.128 para +/- 30 graus a partir de linha reta à frente, ou o ponto zero). Depois, o modo das caixas (freqüência a mais larga em caixa) é ajustado como o ponto de centro de estrada vertical e horizontal. Estas mensurações fundamentadas em ponto de dado são mais completamente descritas ilustradas nas Figuras 37 - 40 onde o ponto de centro de estrada é identificado fundamentado sobre densidade de amostra de posições de olho de motorista. Movimentos de olhos em condições de direção normal em uma auto-estrada de duas faixas em linha reta são descritos nestas Figuras. 0 dado é concentrado em torno do ponto de centro de estrada, e o ponto de centro de estrada é ajustado para zero fundamentado sobre o mesmo. A freqüência em unidades representa o percentual de freqüência total por caixa (uma caixa iguala 0,98 grau por 0,98 grau). Movimentos de olho à esquerda e ascendentes são positivos, movimentos de olho à direita e descendentes são ilustrados como sendo negativos.

Para cada etapa em uma janela de tempo de movimento, por exemplo, uma janela de tempo de um minuto com uma freqüência atualizada de 60 Hz, o seguinte é calculado. Cada ponto de dado de fixação dentro da janela de tempo é classificado como sendo tanto de um tipo "1" representando um "centro de estrada" ou quanto de um tipo "0" representando um "não centro de estrada", a diferenciação sendo feita sobre a base de ser o interior ou exterior da área de centro de estrada definida. A área de centro de estrada é, por exemplo, calculada por tomar a distância em graus/radianos a partir do ponto de centro de estrada e ajustamento de um limiar de corte, por exemplo, oito graus como um raio ao redor desta. Estes pontos de dados de fixação que caem dentro do limiar de corte são classificados como "centro de estrada" e aqueles que caem fora são classificados como "não centro de estrada". Neste exemplo, o limiar de corte define a configuração da área de centro de estrada.

A área de centro de estrada pode também ser definida de outras maneiras como uma alternativa para utilização de um limiar de corte de raio. Por exemplo, a área de centro de estrada pode ser definida como uma configuração não simétrica. Uma identificação de centro de estrada não simétrica é útil quando dirigindo em um ambiente de estrada encurvado ou movimentado. Algumas maneiras de definir uma configuração não simétrica são: (1) um nível de limiar pode ser ajustado em uma freqüência por caixa tal como a linha de área de centro de estrada horizontal mostrada na Figura 39. Uma configuração geométrica como o esboço da Figura 38 é o produto; (2) a área de centro de estrada pode ser definida como dado dentro de, por exemplo, um ou dois desvios padrão a partir do ponto de centro de estrada. Desvio padrão pode ser definido fundamentado sobre os raios do ponto de centro ou separadamente fundamentado sobre os componentes vertical e horizontal. Uma definição de desvio padrão vertical/horizontal deveria possibilitar que a configuração a ser calculada venha a ser oval; (3) em ambientes de estrada encurvados, na maior parte os pontos de dados de fixação são centrados em torno do caminho futuro do veículo. Trajetória de caminho instantâneo é comumente calculada a partir da taxa de ziguezague de veículo (ou mensurações fundamentadas sobre ângulo de roda de direção). Esta trajetória de caminho encurvado (convertida em ângulos visuais) pode ser utilizada para definir uma área de validade "em fixações de caminho". Esta trajetória pode ser utilizada para definir uma "Área Em Caminho" ("On Path Area") de, por exemplo, golpes de vista dentro de uma determinada distância a partir do caminho de veículo. Por conseqüência, PRC1 A-PRC, e PLG podem ser calculados da mesma maneira como anteriormente descrito substituindo área de centro de estrada por área em caminho. Finalmente, um cálculo de porcentagem é feito por divisão do número de pontos de dados de centro de estrada pelo número total de pontos de dados de fixação dentro da janela, e multiplicação do produto por 100. 0 cálculo de porcentagem, por conseqüência, ignora sacadas e dados perdidos.

Centro de estrada de porcentagem absoluta (A-PRC) é calculado, na mesma janela de tempo como anteriormente, na medida em que a diferença absoluta a partir de um determinado valor PRC; por exemplo, o valor PRC de direção normal. A Figura 3 mostra uma comparação do A-PRC com algumas outras mensurações comuns de distração.

Porcentagem de golpes de vista longos para fora a partir do centro de estrada (PLG) é calculada, na mesma janela de tempo como anteriormente, na medida em que a porcentagem de pontos de dados de fixação que são classificados como golpes de vista (como definido pelo padrão SAEJ-2396) sobre um determinado limiar de tempo, por exemplo, dois segundos como exemplificado na Figura 4.

Desvio padrão a partir do modo de centro de estrada (SD-MRC) é calculado, na mesma janela de tempo como anteriormente, em concordância com a fórmula de desvio padrão, mas com a exceção de que a média é substituída por modo como exemplificado por [intraduzivel]:

DistRoadCenter=sqrt(((VerticalPos-VerticalMode) {circumflex over() }2) + (Horizontal-HorizontalMode) {circumflexover () }2))

SD-MRC=sqrt (sum (((DistRoadCenter) {circumflex over () }2) /lenght (NonFixation - s))

Porcentagem de veículo externo (POV) é calculada, na mesma janela de tempo como anteriormente, na medida em que a porcentagem de pontos de dados de fixação que cai externa ao veículo e pontos de dados de fixação que caem sobre espelhos retrovisores traseiros ou laterais. O interior do veículo é definido como uma área geométrica em graus ou radianos.

Um exemplo de conjunto de dados foi coletado relevante para as presentes invenções. Um estudo de validação foi conduzido em um ambiente de simulador utilizando Oma tela de "parede de força" de 7,5 m X 2,2 m com cento e onze graus de visão e com uma resolução de 2.456 X 750 em 48 Hz. Quarenta sujeitos tomaram parte no estudo e várias tarefas em carro, tal como utilizando um telefone móvel, mudando estações de rádio e os assemelhados foram desempenhados. O dado foi coletado e está também disponível em forma transcrita em vídeo em concordância com o método ISO 15007- 2 (ISO 1999). No que é referido como o estudo de vigilância GIB-T, as mesmas simulações foram desempenhadas no ambiente descrito anteriormente e incluiu doze pessoas dirigindo em uma auto-estrada de quatro faixas em tráfego leve. Cada pessoa participou em duas ocasiões, uma dirigiu trinta minutos sob condições normais e aproximadamente duas e um quarto de hora com privação de sono; os resultados foram registrados utilizando um gravador de video. Este conjunto é parte de uma maior experiência em estrada onde dezesseis sujeitos participaram. Cada pessoa desempenhou várias tarefas no carro durante uma direção de trinta quilômetros e cerca de quinze minutos de direção de auto-estrada normal.

Sistemas de rastreamento possuem a habilidade de rastrear a posição e ângulo de cabeça, e bem como, o ângulo de olhar fixo com respeito a um sistema de coordenadas fixado. Sistemas de rastreamento utilizam visão estéreo; o que significa, duas câmeras posicionadas em frente do motorista sujeito à frente do grupo de instrumentos, mas atrás do volante de direção como representado na Figura 41 para rastreamento de posição de cabeça e olhar fixo. Alternativamente, e preferivelmente, uma câmera única pode também ser utilizada como ilustrado na Figura 28. Isto é um aperfeiçoamento considerável para outros sistemas de rastreamento de olho existentes que são intrusivos. Um intercâmbio utilizando esta técnica, comparado com estratégias fundamentadas em não visão é ligeiramente mais deficiente em estimativa de olhar fixo (± 3°) comparado com sistemas que utilizam alguma espécie de reflexão de córnea (± 1°). Estes outros tipos de sistemas fundamentados em visão dependem de mono visão, e não funcionam tão bem. Uma vantagem substancial do sistema presentemente explanado é a de que eles dão saída tanto a vetores de cabeça e quanto de olho, simultaneamente.

O sistema utilizado utiliza um algoritmo de comparação de modelo para encontrar características faciais, tais como, sobrancelhas, canto da boca e olhos. Cada modelo é considerado parte de um modelo de face de corpo rígido em 3D. Quando diversas características são encontradas em ambas as fotografias, uma posição em 3D da cabeça e olhos é calculada utilizando otimização de quadrados mínimos da rotação e translação de modelo. A solução para este problema é inclinada em direção de pontos que são bem rastreados que a fazem robusta com respeito à oclusão, ruído e distorção de perceptiva. Adicionalmente, um filtro de Kalman é utilizado para reduzir ruído e predizer a posição de cabeça na próxima iteração, isto reduz tempo de cálculo para a próxima estrutura.

A estimativa de olhar fixo de olho é fundamentada sobre posição de cabeça-olho. Utilizando uma mensuração do centro de rotação de globo ocular e o centro da ires, olhar fixo é computado como um raio através destes dois pontos. Quando ambos os olhos são visíveis, a direção de olhar fixo é calculada como a média dos dois vetores, de outro modo o raio de olho visível é utilizado. Se nenhum dos olhos é detectável, por exemplo, quando a cabeça do sujeito está voltada mais do que alguns sessenta graus, ou quando os olhos estão oclusos, a normal de face é utilizada como direção de olhar fixo.

Um algoritmo de detecção de fechamento de olho é utilizado para determinar sempre que um sujeito está piscando. A distância entre as pálpebras superior e inferior, escalada pela distância entre cantos de olho, é utilizada como uma mensuração de fechamento de olho. De maneira a computar estas distâncias, o sistema utiliza detectores de borda e então aproxima parábolas, uma sobre cada pálpebra, que passa através de ambos os cantos de olho. A mensuração de fechamento de olho e umas outras poucas mensurações (fluxo óptico vertical de região de imagem de olho, taxa de mudança temporal de região, nr de pixels como cor de esclerótica de olho e coeficiente de correlação de modelo de olho) são então considerados juntamente e um limiar determina sempre que o sujeito está piscando.

O sistema dá saída a um número de sinais, uns poucos exemplos dos quais incluem, mas não são limitados a: (1) os sinais de olhar fixo "olhar fixo_rotação_bruto" e "olhar fixo_rotação_filtrado" são o mesmo sinal no caso instantâneo na medida em que os parâmetros de filtro foram ajustados para zero em todos os estudos. 0 sinal consiste de duas direções, inclinação e ziguezague, determinadas em radianos; (2) o sinal "olhar fixo_confidência" proporciona uma mensuração de confidencia para o algoritmo de estimativa de olhar fixo; (3) a "cabeça_posição_filtrada" e "cabeça_rotação_filtrada" unicamente determina a posição em 3D e rotação da cabeça; estes são os mesmos como "cabeça_posição_bruto" e "cabeça_rotação_bruto" na medida em que todos os parâmetros de filtro foram ajustados para zero no dado disponível; (4) status (situação) de "rastreamento" indica se o sistema está em modo de rastreamento ou de busca; (5) "piscada" indica se o sujeito está piscando; (6) "tempo" é o tempo associado de CPU com cada estimativa.

Deveria ser observado que o conteúdo de informação no sinal de olhar fixo não é de todo constante, mas de preferência variando ao longo do tempo. Durante registros, existem golpes de vista ocasionais em direção de objetos que estão desigualmente sendo focalizados neste ponto tal como os joelhos do motorista sujeito, capota interna do veículo e os assemelhados. Alguns destes golpes de vista podem ser referidos como fechamentos de olho não detectados que provocam uma depressão no sinal de olhar fixo. 0 sistema pode também ser sensível para diferentes níveis de iluminação. Ele tem capacidade de manipular mudanças em panorama de iluminação, entretanto, não quando a mudança é rápida tal como quando o veículo se move a partir de uma faixa de estrada sombreada para uma ensolarada. 0 resultado é um alto nível de ruído e algumas vezes quase nenhum conteúdo de informação existente. Luz do sol direta para as lentes da câmera faz o sinal ainda mais ruidoso devido à dilatação das lentes. Ocasionalmente, isto conduz para a perda de rastreamento por diversos segundos.

A "depressão" acima referida durante fechamentos de olho é indubitavelmente devida ao fato de que os olhos estão fechando o que leva a uma falha de aproximação (como mencionado na introdução). A depressão é muito óbvia no sinal de inclinação, alguns 30 graus - 40 graus, mas pode também ser percebido no sinal de ziguezague. Uma piscada típica perdura sobre a ordem de 300 milisegundos, mas uma depressão, entretanto, perdura somente por cerca de 100 milisegundos. Por conseqüência, a estimativa não entra em colapso até que os olhos venham a estar quase fechados. As depressões são facilmente removidas no estagio de pré- processamento utilizando um filtro médio. Em uma concretização exemplificativa, o sistema simplesmente corta a parte de piscada indicada pelo sinal de piscada e linearmente interpola entre a última amostra conhecida e a primeira uma nova como é exemplificado na Figura 42 onde piscadas foram interpoladas. O resultado é que porções significativas de dados, freqüentemente quase equivalentes a 300 milisegundos, são removidas e substituídas por uma representação de certa forma de preferência não natural; o que significa, uma linha reta. Na medida em que piscadas freqüentemente ocorrem durante sacadas, nenhumas mensurações apropriadas podem ser feitas. Deveria ser vantajoso reconstruir estas características de maneira a fazer mensurações precisas.

0 sinal de piscada não é sempre consistente com a realidade. Isto é óbvio quando o sujeito desempenha tarefas e, em concordância com o sinal de piscada, nunca pisca, mas na realidade é conhecido que piscada deve ter ocorrido. No sistema exemplificativo, quanto mais um sujeito move seu olhar fixo, menos preciso é o sinal de piscada.

A confidência de sinal de olhar fixo poderia ser utilizada para superar uma grande porção das deficiências anteriormente descritas. Experiência, entretanto, mostra que a qualidade de sinal e mensuração de confidência de olhar fixo nem sempre se correlacionam. Podem diferir significativamente, não somente para diferentes sujeitos, mas também para diferentes amostras tomadas a partir do mesmo sujeito. Mais adicionalmente, a mensuração de confidência cai para zero com cada piscada. Na ocorrência de uma piscada não detectada, não é possível ter certeza que o incidente foi de fato uma piscada quer dirigiu confidência para zero, ou um artefato. Portanto, o sinal de confidência pode não ser absolutamente confiável.

O fato de que a taxa de computação do sistema é "cerca de 60 Hz", o intervalo de amostragem não é constante, mas mais provavelmente dependente do tempo de computação para cada estrutura. No sistema exemplificativo, entretanto, tempo é disponível tanto em segundos e quanto em milisegundos, e bem como um sinal de atraso de computação em milisegundos. 0 atraso está sobre a ordem de 150 milisegundos - 200 milisegundos.

Finalmente, sujeitos diferentes possuem diferentes características faciais fazendo os mesmos mais ou menos adequados para mensurações fundamentadas em sistema. Características faciais com bom contraste freqüentemente são correlacionadas com boa qualidade de dados, assim fazendo posição de cabeça correta que é centrada na visão de câmera.

O projeto de algoritmos de detecção de mudança é sempre um compromisso entre mudanças verdadeiras de detecção e evitação de alertas falsos. Variação de ruído e propriedades de sinal faz a zona cinza ainda maior. Na medida em que a qualidade de sinal varia, a idéia foi utilizar um filtro adaptativo para superar este problema. Geralmente, quando um filtro adaptativo é proposto, são os coeficientes de filtragem que se adaptam para o sinal utilizando alguma espécie de processo de estimativa; por exemplo, quadrado médio mínimo (Least Mean Square) (LMS). Entretanto, os sinais de dados provaram possuir características, tais como mudança de conteúdo de informação e artefatos estranhos, que tornam os mesmos menos adequados para esta espécie de adaptação. Ao invés disso, um algoritmo híbrido que faz utilização de dois filtros médios de pré-processamento foi desenvolvido. Isto é descrito neste capítulo tanto para um algoritmo on-line e quanto um algoritmo em tempo real. Mas, primeiro uma breve revisão de alguns diferentes algoritmos comumente utilizados para segmentação de movimento de olho.

0 trabalho de Salvucci e Goldberg foi definido em "Identificação de Fixações e Sacadas em Protocolos de Rastreamento de Olho" (nIdentifying Fixations and Saccades in Eye-Tracking Protocols") em que diversas diferentes técnicas foram reunidas para identificação de sacadas e fixações.

- Fundamentadas em velocidade.

- Identificação de Limiar de Velocidade (VT-I).

- Identificação HMM (HMM-I).

- Fundamentadas em dispersão.

- Identificação de Limiar de Dispersão (DT-I).

- Identificação de Árvore de Chave de Parafuso

- Minimizada [Minimized Spanning Tree - (MST)] (MST-I).

- Fundamentada em área.

- Identificação de Área de Interesse (AOI-I).

Na medida em que trabalho verificado já tinha sido feito sobre o método VT-I, uma primeira abordagem foi feita utilizando o método DT-I. 0 algoritmo DT-I é considerado totalmente preciso e robusto, entretanto, a inexatidão e ruído do rastreador de olho aqui utilizado o tornam menos adequado. Sacadas são identificadas devido ao ruído e espigões, e começos/finais de fixações são inexatos devido às propriedades de sinal; por exemplo, flutuação ocasional antes de uma fixação se tornar mais ou menos estacionária. Um outro problema são perseguições suaves, que provocam que o algoritmo venha ao colapso quando perseguições são consideradas como uma fixação. Por conseqüência, o método de dispersão não pode ser utilizado sozinho.

O HMM-I, por um lado, faz utilização de análise de probabilidades para determinar a identificação a mais provável. O modelo HMM em HMM-I é um modelo de dois estados. O primeiro estado representa pontos de sacadas de velocidade mais alta; o segundo estado representa pontos de fixação de velocidade mais baixa. Determinadas suas probabilidades de transição, o HMM-I determina a identificação a mais provável de cada ponto de protocolo por intermédio de probabilidades de maximização. O algoritmo é considerado ser preciso e robusto, determinando os parâmetros corretos. Estes são estimados utilizando um processo de re-estimativa, a complicação primária de HMMs. A implementação desta estimativa é tanto complexa e quanto tediosa.

O algoritmo VT-I não possui os problemas anteriormente mencionados. Entretanto, o limiar de velocidade é um compromisso entre impressão de ruído e identificação de fixação precisa começando e terminando. De maneira a minimizar este problema, um algoritmo de limiar duplo foi adotado (DualVT-I : VT-I duplo). Um alto limiar assegura identificação apropriada de sacada. Se uma sacada é detectada, o baixo limiar é utilizado para calcular o começo e término.

A desvantagem primária do algoritmo VT-I foi a falta de robustez. Isto é, entretanto, grandemente aperfeiçoado no VT-I duplo.

Nenhum dos métodos de identificação descritos na seção precedente são de qualquer forma perfeitos; todos eles possuem diferentes brechas. Portanto, uma combinação de dois algoritmos e as regras adicionais para movimentos de olho foram escolhidas para este trabalho, a saber o VT-I duplo e o DT-I. Esta combinação funciona como um algoritmo adaptativo no sentido que a construção de decisão é automaticamente inclinada em direção ao DT-I e parte fundamentada em regra enquanto preservando as propriedades de VT-I duplo na medida em que ruído aumenta. Isto combina a exatidão do protocolo de velocidade de VT-I duplo e a robustez do protocolo de dispersão DT-I. Uma maneira de olhar para isto é considerar as regras como controle de algoritmo, significando que elas inclinam a "decisão" em direção da parte de algoritmo funcionando o mais precisamente no tempo presente. A cooperação de algoritmo é ilustrada na Figura 25.

Considerando re-processamento, os dados em bruto necessitam ser re-processados precedentemente à segmentação. Isto é mais ou menos ruidoso e contém piscadas e partes não rastreadas.

Muitos pesquisadores têm apontado filtros médios e filtros médios híbridos FIR (FHM) serem apropriados para movimentos de olho. As características especiais de filtros médios para preservar bordas afiadas enquanto ruído e classificados à parte são subjugados são adequadas para sinais de sacadas. Em geral, FHM ou um filtro FHM calibrado é considerado funcionar melhor, entretanto, um filtro médio de janela deslizante de 15 amostras reduz ruído suficientemente. Como um efeito lateral positivo ele também suprime as "depressões de piscada", produzidas sempre que o sujeito pisca, o suficiente para passar a segmentação não detectada como demonstrado na Figura 43.

Um problema completamente diferente é a interpolação de piscada como descrito precedentemente e na qual o sinal de olhar fixo é substituído por uma interpolação linear. Se isto ocorre durante uma fixação, não é usualmente nenhum problema. Entretanto, humanos freqüentemente piscam durante sacadas que somente perduram por alguns 100 ms enquanto 200 ms - 300 ms são substituídos com uma linha reta. Para conseguir contornar este problema uma reconstrução é necessária. A presente invenção emprega uma solução simples e robusta que proporciona um número apropriado de golpes de vista, enquanto que mensurações fundamentadas em tempo são menos precisas. Ruído, da mesma amplitude como apresentado no sinal, é adicionado pata todas as piscadas com dispersão de menos do que cinco graus e todas as outras piscadas são marcadas como sacadas. 0 limiar de cinco graus foi ajustado fundamentado sobre todos os dados disponíveis, sem detecção de quaisquer fixações falsas. Felizmente, sujeitos tendem a piscar menos durante tarefas com múltiplos golpes de vista.

Como mencionado precedentemente, o algoritmo de identificação escolhido é um híbrido entre o protocolo de velocidade e dispersão e bem como regras esboçadas pelas propriedades físicas dos olhos e equipamento rastreador de olho. Na versão off-Iine, os processos rodam em série, primeiro o protocolo de velocidade utilizando um limiar duplo é aplicado e após isso o protocolo de dispersão com as regras. Isto é ilustrado na Figura 23. Um algoritmo de restauração de fixação é utilizado quando ruído ou alguma outra propriedade do sinal preveniu a detecção de uma fixação (que deveria existir em concordância com as regras oculares). Isto é ilustrado como uma flecha de volta a partir do DT-I e bloco fundamentado em regra para o bloco de VT-I duplo. Também, o algoritmo de grupo automático foi incluído para a concha híbrida. Ele administra a detecção de olhar fixo.

Cada parte de algoritmo irá agora ser adicionalmente descrita. A derivada de estimativa (velocidade) é computada por intermédio de uma diferença central de dois pontos:

<formula>formula see original document page 115</formula>

aplicada para cada componente de golpe de vista e então considerada juntamente com uma soma de raiz quadrada para formar a velocidade em 2D. Ruído é sempre um problema quando diferenciando um sinal, uma maneira para lidar com este problema é filtrar em passa baixa as derivadas. A diferença central, entretanto, pode ser descrita como um diferenciador ideal e um filtro de passa baixa em série. A resposta de freqüência é calculada: <formula>formula see original document page 116</formula>

Com o conjunto de taxa de amostragem para aproximadamente 60 Hz, este filtro possui uma freqüência de corte de 3 dB de cerca de 14 Hz. Este corte baixo de preferência previne aliasing (serrilhamento), assegurando que freqüências de mais do que 30 Hz sejam subjugadas, mas ainda não altas o suficiente para distorcer começos e términos de sacadas. Os limiares duplos e a estimativa de velocidade são mostrados na Figura 44.

Uma comparação experimental de cinco algoritmos derivados descobriu a diferença central de dois pontos como sendo a técnica a mais precisa para dados de 12 bit. Entre as vantagens deste método estão a de que ele é simples, preciso e rápido.

Limiares para detecção de sacada foram ajustados primeiramente por comparação dos resultados com os resultados de análise semi-automatizada previamente desempenhada.

Agora, embora a aproximação derivativa seja automaticamente filtrada em passa baixa, ela é ainda muito ruidosa, o nível de ruído sendo de aproximadamente 70°/s. Entretanto, na medida em que o sistema de coleta de dados possui uma imprecisão de ± 3o no melhor, e a velocidade de pico de movimento de sacada é mais alta do que 100°/s para amplitudes maiores do que alguns três-quatro graus, nenhum problema é colocado. A despeito disto, avaliações práticas têm mostrado que o erro ocasional pode deslizar sem interrupção, especialmente quando ruído aumenta. Aquelas identificações imprecisas são detectadas e removidas pela parte DT-I na próxima etapa do processo de segmentação. Por conseqüência, o preciso intercâmbio utilizando três amostras para a estimativa de velocidade provou ser desprezível.

Na segunda etapa, os critérios físicos estabelecidos aqui anteriormente, e partes do algoritmo fundamentadas em dispersão determinam se sacadas e fixação detectadas são válidas (aplicação de regras). Uma representação tridimensional de sacadas e fixações exemplificativas é proporcionada na Figura 45. Quando o nível de ruído é alto, a aproximação derivativa se torna mais sensível e artefatos confusos são ocasionalmente detectados dentro de fixações. Sua remoção possui umas poucas regras de fundamento prevenindo julgamento errado: 1) Uma sacada pode ser alterada em parte de uma fixação se a nova dispersão de fixação é menor do que um limiar; e 2) Uma sacada pode ser alterada em parte de uma fixação se a variância das fixações é menor do que um limiar.

Se estes critérios são preenchidos, as duas fixações são unidas utilizando uma interpolação linear com algum ruído adicionado. O ruído é introduzido de maneira a evitar fazer esta parte do sinal não físico. O sinal original freqüentemente contém um espigão de alguma espécie, portanto, a interpolação.

Da mesma forma, fixações são removidas e simplesmente marcadas como sacadas se elas são não físicas, significando que a duração é menor do que alguns 150 ms. Isto ocorre quando o conteúdo de informação do sinal é baixo.

Na versão off-line (quando um longo atraso é aceitável), um algoritmo de restauração de fixação como ilustrado na Figura 46 foi desenvolvido para compensar para o, algumas vezes, baixo conteúdo de informação no sinal de olhar fixo. Isto pode ocorrer no começo de uma fixação quando os algoritmos não estabilizaram a si mesmos. Ele funciona sob a suposição de que uma sacada não é provavelmente para perdurar mais longa do que alguns 200 ms e se este é o caso, são o mais provavelmente duas sacadas e uma fixação não detectada dentre as mesmas. Fundamentado sobre isto, o algoritmo localiza sacadas que poderiam conter uma fixação não detectada e então filtrar as mesmas utilizando um filtro médio deslizante um pouco mais longo do que aquele utilizado no pré-processamento (20 amostras). Isto acalma o ruído de sinal o suficiente para, algumas vezes, detectar uma nova fixação. Agora, isto pode parecer como um método direto e perigoso, mais ou menos forçando detecção. É, entretanto, meramente uma propriedade adaptativa da fórmula de segmentação e foi provado se correlacionar fortemente com realidade com respeito para a porção de validação.

O algoritmo de classificação de golpe de vista funciona em duas etapas. Na primeira etapa, todos os grupos são automaticamente localizados fundamentados sobre seus tempos de interrupção total. Na segunda etapa, estes grupos são agrupados em si mesmos, fundamentados sobre o mesmo dado de interrupção, e objetos de modelo universal são formados. Um modelo universal em uma descrição simples de diferentes áreas de visão pré-definidas, por exemplo, o espelho retrovisor traseiro direito ou a estrada em linha reta à frente. Todos os modelos são definidos em um plano perpendicular para o motorista quando ele/ela olha na estrada em linha reta diretamente à frente.

Na primeira etapa, uma aproximação grosseira de localizações de grupo é feita utilizando um histograma de tempo de interrupção em 2D-, o que significa, tempo de fixação total em diferentes áreas de visão fundamentadas sobre a duração e posição média de cada fixação como representado nas Figuras 47 e 48. Uso da posição média se provou ser uma maneira simples de reduzir problemas de ruído. O histograma de tamanho de caixa (bin) foi ajustado para 3 graus - por - 3 graus, primordialmente por julgamento de um erro. Isto cria um bom, suave histograma onde cada pico indica a posição aproximada de um grupo. Na medida em que dado de olhar fixo é proporcionado em radianos, o plano de grupo efetivo não é um plano, mas mais preferivelmente o interior de um cilindro. Por conseqüência, o ângulo de olhar fixo não afeta o tamanho de grupo. Uma vez que as posições de grupo aproximadas são determinadas, cada ponto de fixação médio é assinalado para o ponto de grupo o mais próximo, por recurso Euclidiano. Todos os grupos são então atualizados para a posição média dos pontos associados para respectivo grupo.

0 algoritmo também cria um Iog (uma alimentação) de classificação onde cada evento classificado é armazenado em uma matriz com sua posição, começo, terminação, duração, grupo associado e tipo codificado em números onde o tipo é de sacada ou de fixação. A matriz de Iog é simplesmente uma redução de dado e, posteriormente, utilizada como base para cálculos de função estatística.

Na segunda etapa, todos os grupos são mapeados em cima de um modelo universal. Diferentes áreas geométricas, por exemplo caixas, círculos ou combinações dos mesmos ou outras configurações, definem objetos tais como espelhos, empilhamento de centro, grupos de instrumentos, e os assemelhados. Diversos grupos estão usualmente dentro da mesma área pertencendo ao mesmo golpe de vista. Estes são agora unidos para um grupo e sua posição média recalculada. 0 número de objetos modelo universal varia com a tarefa. Um modelo de base de três objetos foi escolhido para este trabalho e um algoritmo fundamentado sobre o histograma de interrupção torna os objetos "flutuantes" no lugar. Então se calcula o desvio padrão da distância entre o centro de objetos e todas as posições de grupo. Os grupos que caem dentro de 95 porcento de valores de confidência de um objeto são considerados para serem uma parte do mesmo, por conseqüência, o tamanho de objeto é ajustado para englobar o grupo. 0 número de objetos de modelo universal é facilmente controlado por intermédio de um parâmetro.

Esta é uma etapa que pode requerer inspeção e, algumas vezes, correção a partir do experimentador. Isto é porque decisões sobre o que é e sobre o que não é um objeto são muito difíceis devido ao ruído e não rastreamento no sinal bruto; conjecturas qualificadas devem ser feitas pelo experimentador. Uma maneira de eliminar a necessidade de avaliação humana é evitar dias ensolarados quando coletando dados. Luz solar direta nas câmeras é a única causa que sustenta quase todos os deslocamentos de fixação.

A abordagem de modelo universal poderia ser muito útil para outros propósitos de mensuração paralelamente à classificação de golpe de vista; por exemplo, proporção em estrada/fora de estrada e modelos de escaneamento visual de maior escala. Isto é também útil quando o sinal de olhar fixo é ruidoso ou corrompido (por exemplo, por luz solar) e fixações s ao espalhadas em áreas maiores formando mais grupos do que realmente existem. Durante o processo, o Iog em matriz é atualizado continuamente.

Quando modelando (padronizando) áreas de interesse, existem dois problemas primários: 1) ele necessita ser calibrado para cada e todo sujeito, e roda; e 2) os objetos freqüentemente necessitam ser definidos maiores do que eles realmente são devido a uma imprecisão do sistema de sensor. É difícil determinar quão grande um objeto universal necessita ser antes de examinar o dado. Se o objeto é excessivamente grande existe sempre uma possibilidade de que classificados à parte sejam incluídos ou que objetos venham a se sobrepor uns sobre os outros.

À luz disto, é mais fácil definir o modelo universal quando analisando o dado e deixar o mesmo se adaptar para a situação corrente.

Por último, as mensurações estatísticas são produzidas utilizando um Iog em matriz. As mensurações são definidas como: 1) Tempo de interrupção; 2) Duração de golpe de vista; 3) Freqüência de golpe de vista; 4) Tempo de golpe de vista total; 5) Probabilidade de golpe de vista; 6) Probabilidade de valor de ligação (link); 7) Tempo de cenário fora de estrada à frente; 8) Tempo de tarefa total; e 9) Tempo de transição.

Uma vez que a classificação de golpe de vista é desempenhada, os cálculos destas mensurações são diretos, e estão, conseqüentemente, não incluídos. Uma implementação em tempo real exemplificativa é muito mais semelhante ao algoritmo off-line. As diferenças são que somente "cenário de estrada à frente" e "outras áreas" são definidas como objetos de modelo universal. A saída é, para cada tarefa, número de golpes de vista total e tempo de golpe de vista total em e fora de estrada. Tarefas começando e terminando são indicadas no arquivo em log por anotações ou brechas de tempo (isto é feito manualmente durante logging).

Antes que qualquer classificação venha a ser desempenhada, o objeto universal de canário de estrada à frente é localizado. Isto é feito utilizando uma fase de iniciação, calibrando o ajustamento (setup) para o sujeito em particular e rodando. A área de canário de estrada à frente é localizada por intermédio de uma função de densidade de olhar fixo. A maior parte da atenção de motorista é direcionada nesta área e a função de densidade de tempo de interrupção sempre possui um pico muito significativo no centro da mesma como mostrado na Figura 48. A distribuição de fixações nesta área é aproximada para ser Gaussiana. Por conseqüência, o desvio padrão pode ser computado utilizando o ponto o mais alto no histograma de interrupção como o valor de posição de fixação médio. Tecnicamente, não é um desvio padrão sendo calculado, mas particularmente desvio de modo. 0 cenário de estrada à frente é então considerado para estar dentro de 95 porcento de valores de confidencia. O procedimento é feito tanto para ziguezague e quanto para inclinação, respectivamente, por conseqüência, formando uma área oval que representa o cenário de estrada à frente. Durante a iniciação a área de busca é limitada para o que provavelmente é o cenário de estrada à frente; tipicamente um círculo com raio de 100 e centro em (0,0) e somente fixações caindo para esta área são utilizadas para cálculos. Apesar disto, os 95 porcento de fronteiras de confidencia devem ser inclinados cerca de 2 graus para baixo e para a direita de maneira a fazer as mesmas funcionar com alguns sujeitos; uma característica que aparece quando um olhar fixo do sujeito segue a curvatura de estrada. Soluções simples para estes desvios são exemplificativamente períodos de iniciação mais longos ou um cálculo adicional, utilizando uma janela de tempo que possibilita seguir a curvatura. Se taxa de ziguezague estava disponível, o centro de cenário de estrada à frente poderia provavelmente se adaptar para este sinal e solucionar o problema, entretanto, este não é um sensor comum em veículos nos dias de hoje. A fase de iniciação pode ser observada na Figura 49. 0 processo de calibração foi sintonizado para funcionar em uma utilização otimizada aproximadamente por cinco minutos de direção normal antes de produção de valores válidos.

Um problema similar aparece quando o motorista está desempenhando uma tarefa. Os olhos não parecem retornar para o centro da área de estrada à frente, mas particularmente uns poucos graus na direção de uma tarefa secundária (direção sendo a primária). Cabeça inclinada poderia ser a resposta para este comportamento significando que ela não está perpendicular para o cenário de estrada à frente, por conseqüência, introduzindo uma inclinação na estimativa de olhar fixo. Quanto mais o sujeito olha para fora a partir de que é o cenário de estrada à frente menos precisa é a estimativa de olhar fixo.

Quanto mais cedo a fase de iniciação for finalizada, o duplo VT-I, DT-I e regras são habilitado/as. 0 duplo VT-I primeiro identifica combinações de sacada-fixação. Isto, a forma a mais curta de um golpe de vista, é então avançada para o DT-I e regras alinhadas com seus tempos de golpe de vista. Mini golpes de vista, por exemplo, uma seqüência de fixações dentro de uma área é unida se elas pertencem à mesma área; o que significa, golpes de vista em concordância com os padrões ISO/SAE são formados. Tempos de golpe de vista são somados e avançados para um contador sincronizado com um sinal em estrada/fora de estrada (on/off) à frente, que é a saída a partir do algoritmo de agrupamento como representado na Figura 35. O contador registra todos os golpes de vista e tempos de golpe de vista pertencendo para a mesma tarefa e é após isso reajustado (zerado) para toda nova tarefa. Antes do reajustamento (zeragem) ser desempenhado, entretanto, o dado é enviado processado para propósitos de logging. Neste caso, brechas de tempo têm sido utilizadas para indicar o começo e término de tarefas.

Os algoritmos foram validados para dados a partir do estudo de validação VDM utilizando transcrição em vídeo. A transcrição em vídeo foi conduzida em concordância com o método ISO 15007-2 e com o método SAEJ-2356. Utilizando sete sujeitos, quatro mensurações foram comparadas: 1) Comprimento de tarefa; 2) Freqüência de golpe de vista; 3) Duração de golpe de vista médio; e 4) Tempo de golpe de vista total. A validação foi desempenhada tarefa por tarefa com todo golpe de vista visualmente confirmado para assegurar função de algoritmo apropriada. Umas poucas fixações foram automaticamente restauradas utilizando o algoritmo de restauração que se provou funcionar muito bem e efetivamente não se fizeram cálculos errados.

Produto-movimento de Pearson revelou altas correlações entre tipos de análise sobre todas as mensurações importantes: comprimento de tarefa, r = 0,999; freqüência de golpe de vista, r = 0,998; duração de golpe de vista médio, r = 0,816; e duração de golpe de vista total, r = 0,995. Isto é para ser comparado com os resultados em "Mensuração de Comportamento Visual de Motorista Automatizada" onde correlações foram: r = 0,991; r = 0,997; r = 0,732; e r = 0,995, respectivamente. As Figuras 50 - 53 plotam o desvio médio e o desvio padrão para cada tarefa.

O algoritmo em tempo real foi validado contra seis sujeitos transcritos em vídeo a partir do estudo de validação VDM. Um dos sujeitos utilizados na validação off- line teve que ser deixado de fora devido à ausência de uma direção de linha de base (nenhum dado de calibração).

Três mensurações foram comparadas: 1) Número de golpes de vista; 2) Tempo de golpe de vista total; e 3) Tempo de golpe de vista médio.

A integridade de direção de cada sujeito foi rodada em série através do algoritmo. Para estar sobre o lado seguro toda corrida se iniciou com 20 minutos de auto-estrada normal (linha de base) dirigindo para calibrar o sistema ainda que somente cinco minutos sejam requeridos. Produto- movimento de Pearson revelou altas correlações entre tipo de análise sobre duas mensurações: Número de golpes de vista, r = 0,925; e Tempo de golpe de vista total, r = 0,964. Tempo de golpe de vista médio, entretanto, não se correlacionou muito bem, r = 0,301. As Figuras 54 - 56 plotam o desvio médio e o desvio padrão para cada tarefa.

Os resultados a partir da validação provam que os algoritmos são surpreendentemente confiáveis, mesmo quando qualidade de dado não está em um nível otimizado; por exemplo, os algoritmos são robustos para variação de nível de ruído e precisão de sinal. Também, utilizando regras de movimentação ocular, o algoritmo pode reter (recuperar) fixações que têm quase desaparecido no sinal.

A correlação entre métodos de análise é muito alta, na região de 0,99 (versão off-line) para todas as mensurações exceto duração de golpe de vista médio, que é ainda forte (r = 0,82). Uma baixa correlação pode, entretanto, ser esperada a partir de uma mensuração fundamentada em duas outras.

0 pré-processamento também se provou funcionar muito bem. 0 filtro médio de 15 amostras preservou começos/ términos de sacada enquanto subjugando ruído e piscadas muito eficientemente.

A combinação do duplo VT-I, do DT-I e das regras se provou funcionar além das expectativas. A precisão do duplo VT-I e a confiabilidade do DT-I em colaboração com as regras físicas para movimentos de olho formaram um algoritmo que é robusto para quedas de confidencia de sensor temporárias e altos níveis de ruído.

Foi mostrado que é possível possuir detecção de golpe de vista robusta e confiável em tempo real. A simulação revelou altas correlações sobre duas mensurações (número de golpes de vista e tempo de golpe de vista total). A correlação para tempo de golpe de vista médio foi, entretanto, baixa (r = 0,301). Mantendo em mente que o algoritmo em tempo real não pode diferir um golpe de vista em direção do espelho retrovisor a partir de alguém para o rádio, todas as mensurações poderiam ser esperadas ser mais provavelmente baixas. É possível tornar o algoritmo em tempo real tão preciso quanto a versão off-line. Isto irá ser conseguido por identificação dos objetos os mais comumente olhados no interior do veículo; por exemplo, o espelho retrovisor interno, espelhos retrovisores laterais, grupo de instrumentos e empilhamento de centro. Estes objetos são regularmente espalhados no veículo e, conseqüentemente, não irão ser confundidos uns com os outros. Além do mais, deveria/m ser tomado/s somente um ou dois golpes de vista na área que é definida como a área a mais provável para um daqueles objetos para começar uma fase de iniciação para este objeto em particular. Os objetos os mais comumente olhados são os únicos contribuindo na maior parte para este erro e estes são também os únicos que são mais fáceis de detectar.

Na medida em que nenhum outro ajuste de dado é transcrito em vídeo ou de qualquer outra maneira analisado, ele tem somente sido utilizado para testagem de diferentes partes de algoritmo, por exemplo, a iniciação em tempo real. Entretanto, este trabalho abriu as portas para a análise deste dado.

Um algoritmo híbrido robusto que funciona em concordância com as definições e mensurações nos padrões ISO 15007-2 e SAEJ-2396 foi desenvolvido. 0 método é substancialmente mais rápido do que transcrição em vídeo, uma hora de dados toma cerca de um dia para transcrição em vídeo comparado com uns poucos minutos com os algoritmos que também automaticamente se adaptam para o nível de ruído presente.

Durante o transcurso do desenvolvimento da/s presente/s invenção/ões, as seguintes realizações foram observadas: 1) 0 comprimento de filtragem média de pré- processamento é otimizado para 15 amostras para dado amostrado em 60 Hz; 2) Um filtro médio com 20 amostras é utilizado sobre partes de sinal ruidoso, em concordância com as regras oculares, deveria existir uma fixação; isto acalma o sinal o suficiente para detectar a fixação; 3) Um híbrido robusto de dois algoritmos de detecção de fixação/sacada, que se adapta para o nível de ruído presente, e o algoritmo de decisão foi desenvolvido e sintonizado para dado de 60 Hz; 4) Regras físicas para movimentos de olho são implementadas como um algoritmo inteligente de realização e controle de decisão; 5) Um método de agrupamento automático e robusto que requer uma interação mínima foi desenvolvido para análise de tarefa; 6) Uma versão em tempo real do algoritmo foi desenvolvida e validada; 7) A versão em tempo real do algoritmo utiliza uma nova estrutura de trabalho que segmenta golpes de vista em "estrada em linha reta à frente" ou "outras" categorias; e (8) Todas as mensurações no padrão ISO/SAE foram implementadas.

Esta tese abre portas para diversas aplicações de produto em veículo (embarcadas) interessantes que poderiam fazer utilização de dado de movimento de olho para ser testado em um ambiente real em estrada. Por exemplo: estimativa de carga de trabalho, estimativa de atenção, detecção de sonolência, interfaces adaptativas, alertas adaptativos, etc.. Avaliações ergonômicas, estudos HMI, estudos de carga de trabalho cognitiva, distração, sonolência e os assemelhados são todas aplicações potencialmente interessantes das presentes invenções aqui definidas.

Por conseqüência, um novo caminho para a mente de motoristas foi aberto. No ambiente atual, existem ainda umas poucas etapas manuais para realização tal como dado de carga e a salvar, visualmente inspecionar a segmentação e ocasionalmente ajuste do modelo universal. Isto é contemplado, entretanto, e bem dentro do entendimento daquelas pessoas especializadas no estado da técnica relevante para automatização destas tarefas manuais e execução das mesmas em concordância com a presente invenção. Este é especialmente o caso com luz solar direta nas câmeras que espalha fixações sobre grandes áreas que algumas vezes ainda "fundem" grupos juntamente. Por conseqüência, esta ferramenta de análise se torna mais robusta e precisa, alguma destas etapas não irão de nenhum modo serem mais necessárias e talvez processamento em batelada irá ser possível.

A presente invenção contempla possuir um algoritmo em tempo real que funciona vigorosamente e inteligentemente para proporcionar veículos (e pesquisadores) com tanta informação utilizável quanto possível a partir dos olhos do motorista. 0 algoritmo em tempo real irá ter capacidade de classificar diversos objetos vigorosamente e inteligentemente. A adaptação em tempo real de objetos de modelo universal para o mundo real irá logar eventos e dados. Uma abordagem interessante é implementar áreas alvo como estados HMM. Introduzindo esta abordagem estatística, classificação de alvo pode ser reforçada, na medida em que deveria tornar as fronteiras de área alvo de mais flutuação. Uma idéia interessante é possuir áreas de modelo universal pop up sempre que fixações são registradas exteriores ou em uma distância para fora a partir dos outros objetos, um modelo universal dinâmico. O modelo universal poderia utilizar esta historia de objetos para calibrar o modelo universal e tornar inteligentes as decisões; por exemplo, uma identificação de objetos de tarefa de direção integralmente.

Levando-se em consideração os algoritmos de detecção, outra informação de sensor pode ser utilizada. Em automóveis modernos, o bus CAN é completo de sinais de sensor que poderiam ser úteis para estimar direção de olhar fixo quando rastreamento cai, tal como ângulo de roda (de direção), acionamento de indicador de volta, velocidade de veículo, e se determinados botões estão pressionados ou não. Isto poderia também proporcionar informação acerca do ambiente de tráfego e, por conseqüência, otimizar parâmetros de segmentação para ambientes específicos de tráfego tal como tráfego de campo, suburbano e de cidade (urbano). Uma abordagem mais provavelmente bem sucedida para reconhecimento de modelos de direção em grande escala foi também completada.

Outros filtros JVHM podem ser testados para descobrir se existe uma melhor maneira de reduzir ruído no começo de fixações para fora a partir da estrada onde o algoritmo de restauração é utilizado. A diversidade de filtros parece ser enorme.

Uma maneira de suportar o algoritmo poderia ser o fato de que a cabeça do sujeito freqüentemente se move na mesma direção como os olhos, pelo menos para olhar fixo lateral. Uma desvantagem com esta abordagem resulta a partir de diferenças individuais em sujeitos. Alguns sujeitos virtualmente não movem suas cabeças de todo, enquanto alguns sujeitos sempre o fazem. Ainda, isto poderia ser uma maneira adequada para auxiliar a segmentação quando olhar fixo é ruidoso.

No algoritmo em tempo real, uma predição das próximas seis amostras deveria aumentar velocidade em 100 ms. Foi mostrado que sinais de sacada podem ser preditos, pelo menos uns poucos pontos, com erros muito pequenos utilizando um previsor quadrático de cinco pontos. Velocidade é de importância a mais alta em um algoritmo em tempo real.

À luz do que foi anteriormente mencionado, é claro que a sintonia fina destes algoritmos irá continuar no futuro. Um desenvolvimento que já está a caminho é um algoritmo GUI1 chamado "Ferramenta de Mensuração de Demanda Visual" ("Visual Demand Measurement Tool") ou simplesmente "Ferramenta VDM". 0 propósito deste programa é o de tornar as ferramentas de análise fáceis de utilizar por qualquer pessoa que deseja analisar movimentos de olho.

Muitos aspectos das técnicas de análise inventivas, incluindo tanto os métodos e quanto as disposições sobre o/as quais aqueles métodos podem ser executados, são apresentados. Características importantes da análise incluem pelo menos uma base (fundamento) parcial sobre movimentos de olho de motorista, e acessos sendo feitos em uma base em tempo real.

A presente invenção foi descrita com referência para concretizações específicas, e deverá ser observado por aqueles especializados no estado da técnica que a mesma não é considerada como limitada para estas concretizações exemplificativas e vantajosas, mas certamente, um número de variações e de modificações adicionais é conceptível, e a presente invenção é unicamente limitada pelo escopo de proteção das reivindicações de patente posteriormente.

Claims

1. Um método em análise de uma localização de interesse visual de motorista derivado a partir de observação de orientação fisiológica de motorista em um veiculo, referido método compreendendo: obtenção de dados descritivos de uma pluralidade de ocorrências de direção de olhar fixo de motorista, em que cada ocorrência de direção de olhar fixo de motorista é definida por um conjunto de dados; processamento de referidos dados utilizando um processador fundamentado em computador; classificação de uma pluralidade de referidas ocorrências de direção de olhar fixo de motorista tanto como em localização ou quanto como fora de localização em preparação para análises adicionais relacionadas para referida localização de interesse visual de motorista; agrupamento de dados derivados a partir das ocorrências de direção de olhar fixo de motorista classificadas; caracterizado pelo fato de que: transformação de cada uma da pluralidade de ocorrências de direção de olhar fixo de motorista classificadas em um de dois valores binários representativos de se a respectiva ocorrência de direção de olhar fixo de motorista é em localização ou fora de localização, por conseqüência, formando um sinal de classificação que determina em cada amostra ou unidade de tempo se a localização de interesse visual de motorista é em localização ou fora de localização; computação de uma freqüência de golpe de vista por contagem do número de intervalos ativos e inativos no sinal de classificação; e computação de uma duração de golpe de vista por observação de um inicio e final de cada segmento contínuo classificado da mesma maneira.

2. 0 método de acordo com a reivindicação 1, caracterizado pelo fato de que somente uma área onde dispositivos de mensuração proporcionam desempenho otimizado é observada para ocorrências de direção de olhar fixo de motorista.

3. 0 método de acordo com a reivindicação 1, caracterizado pelo fato de que um grupo de centro de estrada efetivo como mensurado por dispositivos de mensuração é confinado por uma área de centro de estrada pré-definida para análise.

4. 0 método de acordo com a reivindicação 1, caracterizado pelo fato de que múltiplas áreas de centro de estada são definidas de uma forma global quando diferente comportamento visual correlacionado para diferentes características de estrada é desejado para ser mensurado.

5. 0 método de acordo com a reivindicação 1, caracterizado pelo fato de que referidos valores binários são 1 e 0, referidos valores 1 e 0 sendo mais rapidamente processáveis em referida análise adicional do que referidos dados obtidos a partir dos quais valores 1 e 0 são derivados.

6. O método de acordo com a reivindicação 1, caracterizado pelo fato de que a classificação de pelo menos alguns de referidas ocorrências de direção de olhar fixo de motorista fora de localização é inferida a partir de falha para satisfazer o critério determinado para ser classificado como uma ocorrência de direção de olhar fixo de motorista em localização.

7. 0 método de acordo com a reivindicação 1, caracterizado pelo fato de que referida análise adicional se refere a períodos de carga de trabalho de motorista elevada e não sonolência de motorista.

8. O método de acordo com a reivindicação 1, caracterizado pelo fato de que cada conjunto de dados definindo uma ocorrência de direção de olhar fixo de motorista é derivado a partir da orientação sensoriada de uma porção acima da cintura do corpo do motorista.

9. O método de acordo com a reivindicação 1, caracterizado pelo fato de que cada conjunto de dados definindo uma ocorrência de direção de olhar fixo de motorista é derivado a partir da orientação sensoriada de uma porção de torso superior do corpo do motorista.

10. O método de acordo com a reivindicação 9, caracterizado pelo fato de que referida orientação sensoriada de uma posição de torso superior é sensoriada utilizando um dispositivo ultra-sônico.

11. O método de acordo com a reivindicação 9, caracterizado pelo fato de que referida orientação sensoriada da cabeça de motorista é sensoriada utilizando um sensor de câmera.

12. O método de acordo com a reivindicação 1, caracterizado pelo fato de que cada conjunto de dados definindo uma ocorrência de direção de olhar fixo de motorista é derivada a partir de uma orientação sensoriada da cabeça de motorista.

13. O método de acordo com a reivindicação 12, caracterizado pelo fato de que referida orientação sensoriada da cabeça do motorista é sensoriada utilizando um sensor de câmara.

14. O método de acordo com a reivindicação 12, caracterizado pelo fato de que referida orientação sensoriada da cabeça do motorista é sensoriada utilizando um sensor capacitivo.

15. O método de acordo com a reivindicação 1, caracterizado pelo fato de que cada conjunto de dados definindo uma ocorrência de direção de olhar fixo de motorista é derivada a partir de uma orientação sensoriada de pelo menos um olho do motorista.

16. O método de acordo com a reivindicação 1, caracterizado pelo fato de que referida localização é uma localização de centro de estrada.

17. O método de acordo com a reivindicação 1, caracterizado pelo fato de que referida localização é uma localização de espelho retrovisor traseiro.

18. O método de acordo com a reivindicação 1, caracterizado pelo fato de que referida localização é uma localização de espelho retrovisor lateral.

19. O método de acordo com a reivindicação 1, caracterizado pelo fato de que referida localização é uma localização de acessório de automóvel.

20. O método de acordo com a reivindicação 1, caracterizado pelo fato de que referida localização é um acessório pessoal.

21. O método de acordo com a reivindicação 1, caracterizado pelo fato de que adicionalmente compreende analise das ocorrências de direção de olhar fixo de motorista classificadas utilizando um processador fundamentado em computador e determinação a partir do mesmo se uma quantidade excessiva de atenção de motorista está sendo dada para fora de localização fundamentada em uma determinação de carga de trabalho de motorista.

22. O método de acordo com a reivindicação 21, caracterizado pelo fato de que adicionalmente compreende estimulação de iniciação da atenção do motorista para tarefas de controle de direção depois de determinação de uma quantidade excessiva de atenção de motorista sendo dada para fora de localização.

23. O método de acordo com a reivindicação 22, caracterizado pelo fato de que adicionalmente compreende detecção de um decréscimo de desempenho de tarefa de controle de direção precedente à estimulação da atenção do motorista.

24. O método de acordo com a reivindicação 23, caracterizado pelo fato de que referido decréscimo de desempenho de tarefa de controle de direção é fundamentado sobre dirigibilidade inconsistente.

25. O método de acordo com a reivindicação 23, caracterizado pelo fato de que referido decréscimo de desempenho de tarefa de controle de direção é fundamentado sobre manutenção de pista inconsistente.

26. O método de acordo com a reivindicação 23, caracterizado pelo fato de que referido decréscimo de desempenho de tarefa de controle de direção é fundamentado sobre velocidade de veículo inconsistente.

27. O método de acordo com a reivindicação 16, caracterizado pelo fato de que adicionalmente compreende análise das ocorrências de direção de olhar fixo de motorista classificadas utilizando um processador fundamentado em computador e determinação a partir do mesmo se uma quantidade excessiva de atenção de motorista está sendo dada para fora de localização de centro de estrada fundamentada em uma determinação de carga de trabalho de motorista.

28. O método de acordo com a reivindicação 27, caracterizado pelo fato de que adicionalmente compreende estimulação de iniciação da atenção do motorista para tarefa de controle de direção depois de determinação de uma quantidade excessiva de atenção de motorista sendo dada para fora de localização.