BR102017020283A2 - Sistema de câmera estéreo para evitar colisão durante operações de superfície de aeronave - Google Patents

Abstract

um sistema de prevenção de colisão compreende um par de câmeras de vídeo montadas em um estabilizador vertical da aeronave, uma unidade de processamento de visão de máquina, e um sistema para informar os pilotos de uma colisão potencial. a unidade de processamento de visão de máquina é configurada para processar dados de imagem capturada pelas câmeras de vídeo usando técnicas estereoscópicas e de estrutura a partir de movimento para detectar um obstáculo que está perto ou na trajetória da aeronave. estimativas do alcance para o objeto e a taxa de mudança deste alcance são computadas. com o alcance e a taxa de alcance, um tempo para a colisão pode ser estimado para cada ponto da aeronave. um aviso ao piloto pode ser soado baseado na proximidade da colisão potencial, um método de calibrar as câmeras de vídeo usando pontos de recurso existentes no topo da aeronave é iniciado em resposta à energia sendo ligada.

Description

Relatório Descritivo da Patente de Invenção para "SISTEMA DE CÂMERA ESTÉREO PARA EVITAR COLISÃO DURANTE OPERAÇÕES DE SUPERFÍCIE DE AERONAVE".

ANTECEDENTES

[001] Esta descrição em geral se refere a sistemas e métodos para evitar colisões durante manobra de solo por uma aeronave.

[002] Na indústria de aviação hoje, o número de dólares perdido para dano devido à colisão de solo é significante. A maioria de colisões de solo ocorre em áreas de taxiamento e de entrada e saída de portão dentro de um aeroporto. Sistemas para evitar colisão estão e tornando um lugar comum na indústria automotiva, mas apenas começaram a ser investigados para aeronave. Existem duas abordagens possíveis: por meio de uma instalação fixa em cada aeroporto ou como sensores a bordo de cada aeronave. A abordagem egocêntrica (baseada na aeronave) para detecção de obstáculo tem vantagens importantes porque não conta com controle de solo ou instalações de solo, não precisa da vigilância de outros ou custos de investimento em cada aeroporto sendo usado, e não precisa de dados e equipamento externos.

[003] Muitas aeronaves hoje têm um sistema de câmera externa que é destinado a ajudar o piloto em operações de manobra de solo. Existem duas funções primárias para este tipo de sistema: ajudar o piloto a manter o deslocamento da aeronave no pavimento e impedimento de colisão de obstáculo. Um sistema de câmera externa pode mostrar vistas das pontas de asa, o que permite que pilotos monitorem a posição de cada ponta de asa com relação aos obstáculos dentro da proximidade para mitigar colisões de ponta de asa em cada uma das posições dobradas ou estendidas. No entanto, pode existir um problema de perspectiva dependendo de onde a câmera está situada. Mais especificamente, se uma câmera é instalada na seção de empenagem da aeronave e mostra vistas da ponta de asa, existe uma distância fora do eixo significante entre as duas e torna muito difícil julgar a posição da ponta de asa com relação ao solo ou quaisquer obstáculos na vizinhança da ponta de asa.

[004] De acordo com um sistema de câmera de manobra de solo conhecida, várias câmeras de vídeo são montadas em uma aeronave apontando em uma direção para frente. Mais especificamente, um sistema de câmera de manobra de solo conhecida compreende: (a) uma primeira câmera de vídeo montada no lado de baixo da fuselagem em uma posição atrás do tem de pouso do nariz e em frente de uma linha que se estende entre os trens de pouso principais de asa esquerda e direita; uma segunda câmera de vídeo montada na borda dianteira do estabilizador vertical da aeronave em uma posição localizada substancialmente na linha central da fuselagem; e c) terceira e quarta câmeras de vídeo respectivamente montadas nos lados esquerdo e direito do estabilizador vertical, ou nas bordas dianteiras das partes esquerda e direita do estabilizador horizontal. Este sistema de câmera de manobra de solo não conta com estereoscopia. Também, algumas das câmeras não podem se ver e não são rigidamente conectadas uma na outra. Por exemplo, câmeras montadas em asas ou estabilizadores horizontais podem se mover com relação às câmeras fixadas na fuselagem ou estabilizador vertical devido à flexão e asas ou estabilizadores horizontais que são presas em uma extremidade somente.

[005] Para um sistema de evitar colisão de operações de superfície baseado em câmera em aeronave de jato comercial e militar, pelo menos duas câmeras são necessárias para fornecer rastreamento tridimensional (3D) confiável de objetos. Devido ao custo de montar câmeras em uma aeronave (custos de instalação de adaptação são muito altos), é desejado um sistema de câmera mínimo que pode ver tanto quanto possível as vistas dianteira e lateral de objetos em torno da ae- ronave durante o taxiamento.

SUMÁRIO

[006] O assunto descrito em detalhe abaixo é um sistema para evitar colisão a bordo de uma aeronave compreendendo sensores, uma unidade de processamento e visão de máquina, e um sistema para informar os pilotos de uma colisão potencial. De acordo com uma modalidade, os sensores compreendem um par de câmeras montadas em um estabilizador vertical da aeronave com uma distância de separação e a unidade de processamento de visão de máquina é configurada para processar dados de imagem capturada pelas câmeras usando técnicas estereoscópicas e estrutura a partir de movimento (SFM) para detectar um obstáculo que está perto ou na trajetória da aeronave. Como usado depois aqui, o termo "câmera" significa uma câmera de vídeo.

[007] Sistemas de câmera têm a vantagem de serem completamente passivos, eliminando preocupações de interferência ou a necessidade de licença de operação em aeroportos particulares. Para um sistema para evitar colisão baseado em câmera, pelo menos duas câmeras são necessárias para fornecer rastreamento 3D de objetos usando técnicas estereoscópicas. Duas câmeras montadas com uma grande separação vertical, e lentes de grande angular são preferidas para detecção de colisão durante taxiamento. Estas câmeras podem ser tanto câmeras visíveis, câmeras de infravermelho, ou alguma combinação que permitiria operação de dia ou de dia e noite.

[008] Técnicas estereoscópicas exigem duas vistas de cada objeto colidindo potencialmente que precisa alcançar. Cada objeto de interesse tem uma localização diferente em cada vista da câmera. Esta disparidade é diretamente proporcional ao alcance. Assim quando cada quadro de vídeo é processado, a taxa de alcance de cada objeto em cada ponto na aeronave pode também ser estimada baseada na mudança em alcance através de um ou mais quadros juntos com a taxa de quadro dada das câmeras, e a geometria conhecida da aeronave e a posição de instalação das câmeras. Com o alcance e a taxa de alcance, um tempo para a colisão pode ser estimado para cada ponto da aeronave. Assim, o tempo para colisão pode ser estimado e um aviso de piloto pode ser soado (daqui em diante "sugestão auditiva") baseado na proximidade da colisão potencial, com colisões mais iminentes tendo sugestões auditivas mais altas ou mais rápidas, por exemplo. Na alternativa ou em adição, uma sugestão gráfica indicando a proximidade da colisão potencial pode ser exibida em uma tela de monitor da cabine de pilotagem.

[009] Um problema com a adaptação de uma aeronave com câmeras montadas no estabilizador vertical é o custo de calibração de tal sistema durante a instalação. O problema ocorre porque a montagem mecânica não é perfeita e assim a posição relativa da câmera e o ângulo de visualização central podem variar dependendo de ligeiras diferenças de montagem. Isto pode levar a grandes erros ao estimar o alcance usando estereoscopia e métodos SFM. Outro problema é que a flexão mecânica com o tempo pode levar à má calibração e alcances incorretos. A calibração estéreo geral no campo de visão da máquina, tipicamente utiliza uma imagem de tabuleiro de xadrez ou outras imagens projetadas ricas em recurso, com recursos fixos que devem ser combinados entre as câmeras. Isto é trabalho e tempo intensivo se é feito em cada instalação de aeronave e assim aumenta o custo de tal sistema. O sistema descrito em detalhe abaixo soluciona este problema criando um método de acionar autocalibração usando pontos de recurso existentes na "vista de topo" da aeronave para ajustar matrizes de calibração estéreo de câmera armazenadas, usadas em algoritmos estereoscópico e SFM.

[0010] De acordo com uma modalidade, as câmeras traseiras são rigidamente montadas de modo que suas posições relativas e orientações não mudarão ou mudarão muito pouco por longos períodos de tempo. Também, quase a região visível inteira à frente da trajetória da aeronave está disponível em ambas as câmeras (com a exceção de diretamente na frente da cabine de vôo, onde os pilotos têm visibilidade completa). Portanto, um sistema de operações de superfície usando câmeras montadas na traseira autocalibradas (que se autocalibram durante o acionamento) tem claras vantagens em simplicidade. Também, a autodescoberta da identidade (topo ou fundo) de cada câmera quando montadas na traseira da aeronave usando um modelo de marcação para a câmera de fundo (que pode somente ser vista pela câmera de topo) permite um número de peça para o software associado com cada câmera.

[0011] Um aspecto do assunto descrito em detalhe abaixo é um sistema para avisar um piloto de um risco de colisão, o sistema compreendendo: uma primeira câmera montada a uma primeira altura para uma borda dianteira de um estabilizador vertical da aeronave para gerar um fluxo de quadros de vídeo que incluem primeiros dados de imagem representando uma imagem de um objeto em uma cena e segundos dados de imagem representando uma imagem de uma parte da aeronave; uma segunda câmera montada a uma segunda altura para a borda dianteira do estabilizador vertical para gerar um segundo fluxo de quadros de vídeo que incluem terceiros dados de imagem representando uma imagem do objeto na cena e quartos dados de imagem representando uma imagem da parte da aeronave, em que a segunda altura é menor que a primeira altura; um sistema de sugestão em uma cabine de comando da aeronave capaz de gerar uma sugestão; e um sistema de computador. O sistema de computador é programado para realizar as seguintes operações: processar os quadros de vídeo dos primeiro e segundo fluxos para determinar um alcance para um objeto e uma taxa de alcance em que o alcance para o objeto está mudando em um momento; computar um tempo para colisão baseado pelo menos no alcance e taxa de alcance; e disparar o sistema de sugestão para produzir uma sugestão em resposta ao tempo para colisão sendo menor que um limite de detecção. As primeira e segunda câmeras são direcionadas em uma direção para frente ao longo de uma linha central da aeronave com campos de vista respectivos que estão pelo menos parcialmente se sobrepondo.

[0012] De acordo com algumas modalidades, os quadros de vídeo dos primeiro e segundo fluxos são processados usando uma técnica estereoscópica para estimar uma profundidade do objeto e usando uma estrutura da técnica de movimento para estimar uma estrutura tridimensional da cena. De acordo com a mesma ou outras modalidades, o sistema de computador é ainda programado para: ativar as primeira e segunda câmeras para capturar primeira e segunda imagens; calibrar as primeira e segunda câmeras baseado nas primeira e segunda imagens; detectar dados de imagem correlacionados com um modelo de câmera na primeira imagem; e declarar que a primeira câmera seja uma câmera de topo em resposta à detecção de dados de imagem correlacionados com o modelo de câmera na primeira imagem.

[0013] Outro aspecto do assunto descrito em detalhe abaixo é um sistema para avisar um piloto de um risco de colisão, o sistema compreendendo: uma primeira câmera montada a uma primeira altura para uma borda dianteira de um estabilizador vertical de uma aeronave; uma segunda câmera montada a uma segunda altura para a borda dianteira do estabilizador vertical, em que a segunda altura é diferente da primeira altura; e um sistema de computador programado para: ativar as primeira e segunda câmeras para capturar primeira e segunda imagens; detectar dados de imagem correlacionados com um modelo de câmera em uma das primeira e segunda imagens; e declarar que uma das primeira e segunda câmeras seja uma câmera de topo baseado em que um dados de imagem contidos nas primeira e segunda imagens correlacionados com o modelo de câmera.

[0014] Um aspecto adicional do assunto descrito em detalhe abaixo é um método para avisar que existe um risco de colisão, o método compreendendo: ativar uma primeira câmera montada a uma primeira altura para uma borda dianteira de um estabilizador vertical de uma aeronave para gerar um primeiro fluxo de quadros de vídeo que incluem primeiros dados de imagem representando uma imagem de um objeto em uma cena e segundos dados de imagem representando uma imagem de uma parte da aeronave; ativar uma segunda câmera montada a uma segunda altura para a borda dianteira do estabilizado vertical para gerar um segundo fluxo de quadros de vídeo que incluem terceiros dados de imagem representando uma imagem do objeto na cena e quartos dados de imagem representando uma imagem da parte da aeronave, em que a segunda altura é menor que a primeira altura; processar os quadros de vídeo dos primeiro e segundo fluxos para determinar um alcance para o objeto e uma taxa de alcance na qual o alcance para o objeto está mudando a cada momento; computar um tempo para colisão baseado pelo menos no alcance e taxa de alcance; e produzir uma sugestão em resposta ao tempo para a colisão sendo menor que um limite de detecção.

[0015] Ainda outro aspecto é um método para calibrar um par de câmeras, o método compreendendo: ativar primeira e segunda câmeras montadas em uma borda dianteira de um estabilizador vertical de uma aeronave para capturar primeira e segunda imagens; calibrar as primeira e segunda câmeras baseado nas primeira e segunda imagens, detectar os dados de imagem correlacionados com um modelo de câmera na primeira imagem; e declarar a primeira câmera como sendo uma câmera de topo em resposta à detecção de dados de imagem na primeira imagem que está correlacionada com o modelo de câmera.

[0016] Outros aspectos de sistemas de câmera estéreos para evitar colisão durante operações de superfície de aeronave são descritos abaixo.

BREVE DESCRIÇÃO DOS DESENHOS

[0017] Os aspectos, funções e vantagens, discutidos na seção precedente, podem ser obtidos independentemente em várias modalidades ou podem ser combinados em ainda outras modalidades. Várias modalidades serão daqui em diante descritas com referência aos desenhos para o propósito de ilustrar os aspectos acima descritos e outros.

[0018] A figura 1 é um diagrama mostrando uma vista lateral de uma aeronave tendo duas câmeras montadas em uma borda dianteira de um estabilizador vertical de acordo com uma implementação exemplar.

[0019] A figura 1a é um diagrama mostrando uma vista lateral em uma escala aumentada da parte da aeronave vista no retângulo tracejado rotulado 1A na figura 1.

[0020] A figura 2 é um diagrama de bloco identificando componentes de um sistema de detecção de objeto e prevenção de colisão situado a bordo da aeronave representada na figura 1, cujo sistema compreende as câmeras de topo e fundo montadas em um estabilizador vertical de uma aeronave e uma unidade de processamento de visão de máquina para processar dados de imagem obtidos usando técnicas estereoscópicas e SFM.

[0021] A figura 3 é um fluxograma identificando etapas de um método para emitir um som de uma sugestão na cabine de comando baseado no grau de proximidade de um objeto colidindo potencialmente em uma aeronave em uma pista.

[0022] A figura 4 é um fluxograma identificando as etapas de um algoritmo de calibração acionado para uso em calibrar as câmeras de topo e fundo montadas em um estabilizador vertical de uma aeronave.

[0023] A figura 5A a 5C são diagramas que respectivamente mostram um efeito de lente livre de distorção (figura 5A), um efeito de distorção de "barril" radial positiva (figura 5B) e um efeito de distorção de "almofada de alfinetes" radial negativa (figura 5C).

[0024] As figuras 6A e 6B são diagramas que mostram respectivamente uma lente de câmera e um sensor de imagem dispostos em paralelo (figura 6A) de modo que nenhuma distorção tangencial é produzida e não em paralelo (figura 6B) de tal forma que ocorre distorção tangencial.

[0025] A figura7 é um fluxograma identificando etapas de um processo para computar um tempo para a colisão ente um objeto e uma aeronave no solo de acordo com uma modalidade.

[0026] Daqui em diante será feita referência aos desenhos em que elementos similares em desenhos diferentes carregam os mesmos numerais de referência.

DESCRIÇÃO DETALHADA

[0027] Várias modalidades de um sistema de prevenção de colisão a bordo para ajudar um piloto durante manobra no solo de uma aeronave serão agora descritas em detalhe para propósitos de ilustração somente. No entanto, deve ser apreciado que o sistema de prevenção de colisão a bordo descrito aqui não é limitado em sua aplicação em aeronave somente, mas pode também ser instalado em e nos outros tipos de veículos na medida em que tal veículo tem uma estrutura que permite que um par de câmeras relativamente deslocadas verticalmente seja montado apontando na direção dianteira.

[0028] Cada modalidade escrita aqui compreende sensores, uma máquina de processamento de visão de máquina, e um sistema para informar o piloto de uma colisão potencial. De acordo com uma modalidade, os sensores compreendem um par de câmeras montado (isto é, espaçadas por uma distância de separação) em um estabilizador vertical da aeronave e a unidade de processamento de visão de máquina é configurada para processar os dados de imagem capturados pelas câmeras usando técnicas estereoscópicas e SFM para detectar qualquer obstáculo que está perto ou na trajetória destinada da aeronave. Duas câmeras montadas com uma grande separação vertical e lentes de grande angular são preferidas para detecção de colisão durante taxiamento. Estas câmeras podem ser tanto câmeras visíveis, câmeras de infravermelho ou alguma combinação que permitiria operação de dia ou de dia e de noite.

[0029] A figura 1 é um diagrama mostrando uma aeronave 10 compreendendo uma fuselagem 12, um par de asas (somente uma asa 14 é visível, um estabilizador horizontal 16, um par de motores (somente um motor 18 é visível) e um estabilizador vertical 20. Uma câmera de topo 2 e uma câmera de fundo 4 são montadas na borda dianteira do estabilizador vertical 20, ambas as câmeras apontando em uma direção dianteira ao longo de uma linha central da aeronave com campos de vista se sobrepondo pelo menos parcialmente.

[0030] A figura 1A mostra uma vista lateral em uma escala aumentada da parte da aeronave vista no retângulo tracejado rotulado 1A na figura 1, cuja parte inclui a câmera de topo 2. De acordo com uma configuração simulada, a câmera de topo 2 e a câmera de fundo 4 foram separadas por uma distância de 3,05 metros, cada câmera sendo uma câmera de 640 por 480 pixels com um campo de visão de 90 por 65,7 graus (FOV). Em uma implementação real, a posição e orientação da câmera de topo 2 e câmera de fundo 4 são ajustadas que a câmera de fundo está no campo de visão da câmera de topo, mas a câmera de topo não está no campo de visão da câmera de fundo. Várias monta- gens conhecidas para estas câmeras podem ser empregadas e não são descritas em detalhe aqui, como será facilmente apreciado por aqueles versados em sistemas de câmera, vários tipos de câmeras podem ser usados, por exemplo, câmeras de baixa luminosidade ou infravermelhas/térmicas poderíam ser usadas para operações noturnas.

[0031] A aeronave 10 pode se mover ao longo de uma trajetória (por exemplo, em uma pista). Um objeto (não mostrado na figura 1) pode se mover ao longo da mesma trajetória ou uma diferente (por exemplo, interceptando). Dependendo das posições relativas e/ou movimentos relativos da aeronave 10 e/ou o objeto, pode existir um risco que o objeto e a aeronave 10 colidirão. O sistema de prevenção de colisão descrito aqui pode ser instalado em uma aeronave de um tipo diferentes daquele tipo representado na figura 1. Por exemplo, a aeronave pode ser uma aeronave de passageiro comercial operada por uma companhia aérea, uma aeronave de carga operada por uma entidade privada ou pública, uma aeronave militar operada por uma organização militar ou outra governamental, uma aeronave pessoal operada por um indivíduo, ou qualquer outro tipo de aeronave operada porque qualquer outro operador de aeronave. O objeto pode ser outra aeronave no solo ou qualquer veículo de solo de um tipo tipicamente encontrado em um aeroporto.

[0032] A câmera de topo 2 e a câmera de fundo 4 são configuradas para capturar dados de imagem representando imagens nos campos de visão respectivos das câmeras. Em uma implementação exemplar, cada uma da câmera de topo 2 e câmera de fundo 4 pode compreender uma câmera de FOV-largo (isto é, maior que 90 graus). As duas câmeras podem ser do mesmo tipo ou de tipos diferentes. Em modalidades alternativas, o sistema de câmera pode incluir uma ou mais câmeras adicionais.

[0033] A câmera de topo 2 e a câmera de fundo 4 podem operar sobre qualquer alcance ou alcances de comprimentos de onda para capturar imagens. Por exemplo, e sem limitação, a câmera de topo 2 e câmera de fundo 4 podem ser configuradas para obter imagens em qualquer um ou mais alcances de comprimento de onda infravermelha, quase infravermelha, visível e ultravioleta. As câmeras podem ser configuradas para capturar imagens detectando luz polarizada.

[0034] Em uma implementação exemplar, a câmera de topo 2 e câmera de fundo 4 capturam imagens de vídeo compreendendo uma série de quadros de imagem de vídeo digital sucessivos capturados a uma taxa rápida (por exemplo, 30 Hz) sobre um período de tempo. As imagens capturadas pela câmera de topo 2 e câmera de fundo 4 são processadas usando técnicas estereoscópicas e SFM para detectar a presença de um ou mais objetos, opcionalmente, as imagens podem também ser usadas para identificar uma ou mais características de quaisquer objetos detectados usando tecnologia de reconhecimento de objeto.

[0035] De acordo com uma modalidade, a câmera de topo 2 e a câmera de fundo 4 são montadas no estabilizador vertical 20 da aeronave 10 olhando para frente e tendo um campo de visão de grande angular. Por exemplo, o ângulo lateral do campo de visão é de preferência maior que o ângulo vertical do campo de visão. Os campos de visão respectivos das duas câmeras são pelo menos se sobrepondo pelo menos parcialmente e de preferência substancialmente inteiramente.

[0036] O sistema de detecção de objeto e prevenção de colisão ainda compreende os componentes adicionais identificados na figura 2, incluindo uma unidade de processamento de visão de máquina 6 que ETA localizada dentro da fuselagem de aeronave, mas é acoplada de modo comunicativo na câmera de topo 2 e câmera de fundo 4 de modo que dados de imagem na forma de fluxos respectivos de quadros de vídeo é recebido daquelas câmeras. A unidade de processamento de visão de máquina 6 pode ser configurada para recuperar o formato tridimensional e informação de cor das imagens capturadas de objetos usando qualquer um de um número de métodos conhecidos na técnica.

[0037] De acordo com uma modalidade, a unidade de processamento de visão de máquina 6 compreende um sistema de computador que executa software configurado para processar os dados de imagem recebidos usando algoritmos de processamento de quadro SFM e estereoscópico para determinar se qualquer objeto na proximidade representa um risco de colisão. A técnica estereoscópica estabelece correspondência de pontos ou linhas entre as duas imagens capturadas pelas duas câmeras e estima, a partir das posições das câmeras e pares de pontos ou linhas correspondentes nas imagens direita e esquerda, as posições de pontos e linhas em um espaço de cena correspondendo com os pares de pontos ou linhas correspondentes. A técnica SFM rastreia pontos de aspectos individuais em um número de imagens captadas por uma câmera móvel e estima as posições de pontos em um espaço de cena que corresponde com os pontos de aspectos.

[0038] Em adição, o software executado pela unidade de processamento de visão de máquina 6 é configurado para calcular um alcance para cada objeto potencialmente colidindo que aparece no campo de visão de ambas as câmeras baseado no dados de imagem em quadros de vídeo respectivos obtidos concorrentemente por aquelas câmeras e ainda baseado em dados de geometria de aeronave recuperados de um arquivo de configuração de modelo de aeroplano 8 e dados de estado de aeronave (por exemplo, velocidade e solo, rumo) recebidos de uma unidade de referência inercial de dados de ar (ADI- RU) 28. 0 arquivo de configuração de modelo e aeronave 8 contém informação sobre o modelo de aeronave específico (tal como capacidade de frenagem e dimensões da aeronave) que é necessária para determinar se/quando indicações precisam ser levantadas na cabine de comando. As dimensões de aeronave descrevem o tamanho e formato do exterior todo da aeronave.

[0039] A unidade de processamento de visão de máquina 6 executa instruções armazenadas em um meio de armazenamento legível por computador tangível não transitório (não mostrado na figura 2) tal como uma unidade de armazenamento de dados interna, uma unidade de armazenamento de dados externa, ou uma combinação das mesmas. A unidade de processamento de visão de máquina 6 pode compreender qualquer um dos vários tipos de tecnologia de processamento de dados. Por exemplo, a unidade de processamento de visão de máquina 6 pode compreender um processador eletrônico de propósito dedicado ou um computador de uso geral. Outros tipos de processadores e tecnologias de unidade de processamento são possíveis. Igualmente, o meio de armazenamento legível por computador tangível não transitório pode compreender qualquer um dos vários tipos de tecnologia de armazenamento de dados. Por exemplo, o meio de armazenamento legível por computador tangível não transitório pode compreender memória de acesso randômico, memória de leitura, memória de estado sólido, ou qualquer combinação das mesmas. Outros tipos de memórias e tecnologias de unidade de armazenamento de dados são possíveis.

[0040] O sistema de prevenção de colisão descrito aqui grava uma cena de imagens a partir de dois pontos de vista em perspectiva diferentes usando a câmera de topo 2 e a câmera de fundo 4 vistas na figura 1. Os pares de sequências de imagens sincronizadas no tempo fornecidas por estas câmeras contêm implicitamente a informação de profundidade da cena. A unidade de processamento de visão de máquina 6 usa processamento estereoscópico e de quadro SFM (isto é, imagem) para extrair esta informação de profundidade.

[0041] De acordo com uma implementação, a unidade e processamento de visão de máquina 6 compreende um sistema de computador que executa software configurado para processar pares sucessivos de vistas (isto é, quadros de vídeo) para cada objeto potencialmente colidindo que precisa de determinação de alcance. Cada objeto de interesse tem uma localização ligeiramente diferente em cada visão da câmera. Esta disparidade é diretamente proporcional ao alcance. Durante o processamento de quadros de vídeo sucessivos, a taxa de alcance de cada objeto em cada ponto na aeronave pode também ser estimada baseada na mudança em alcance através de um ou mais quadros de vídeo junto com a data taxa de quadros dada das câmeras, a geometria conhecida da aeronave e a posição de instalação das câmeras. Com o alcance e taxa de alcance, um tempo para colisão na direção de cada ponto da aeronave pode ser calculado pela unidade de processamento de visão de máquina 6. Assim, o tempo para colisão pode se estimado e comparado com limites de detecção pré-armazenados. Quando um limite de detecção é ultrapassado, um sinal de disparo de sugestão auditiva é enviado para um sistema auditivo de cabine de comando 34, que desse modo é ativado para soar uma sugestão através de autofalantes 36. A sugestão auditiva particular soada é uma função do grau de proximidade do objeto ou a proximidade de uma colisão potencial. De acordo com uma implementação, quando o tempo para a colisão diminui, os limites de detecção respectivos são ultrapassados que disparam indicadores auditivos respectivos representando níveis de rico respectivos. Por exemplo, um aviso de piloto pode ser soado baseado na proximidade da colisão potencial, com mais colisões iminentes tendo sugestões auditivas mais altas (isto é, volume ou amplitude maior) ou mais rápidas (isto é, taxa de repetição maior).

[0042] Ainda se referindo a figura 2, a unidade de processamento de visão de máquina 6 também grava os dois pontos de vista em perspectiva a partir das câmeras e os combina para fornecer uma sequência de imagem estereoscópica, que é enviada para um sistema de exibição de cabine de comando ou pacote eletrônico de voo 30, e então exibido em um monitor da cabine de pilotagem 32 para visualização pelo piloto. Em adição, a unidade de processamento de visão de máquina 6 envia dados de tempo com colisão para o sistema de exibição de cabine de comando ou pacote eletrônico de voo 30 para exibição no monitor da cabine de pilotagem 32.

[0043] A figura 3 é um fluxograma identificando as etapas de um método para fazer soar uma sugestão na cabine de comando baseado no grau de proximidade de um objeto colidindo potencialmente em uma aeronave em uma pista. A unidade de processamento de visão de máquina 6 (ver figura 2) compreende firmware 40 mantido em um dispositivo de memória não volátil tal como memória de leitura, memória de leitura programável apagável, ou memória flash. De acordo com uma modalidade, a entrada para firmware 40 inclui modelos de recurso de modelo da aeronave, que contêm modelos de imagem e informação sobre as marcações e equipamento visíveis no topo da aeronave para registro/calibração das câmeras. Recursos de calibração possíveis em um modelo de aeronave incluem tubos pitot, antenas, centros de topo de janelas, recursos de teto, bordas dianteira e traseira de pontas de asa, o fundo do estabilizador vertical e câmera de fundo. A entrada para firmware 40 também inclui dados de geometria de aeronave e dados de estado de aeronave. Dados de geometria de aeronave incluem um modelo geométrico exterior geral da aeronave para uso em processar os cálculos de tempo para colisão básico, bem como uma região de interesse definida em torno da aeronave onde eventos de colisão devem ser considerados para detecção. Os dados de estado de aeronave incluem dados tomados do arquivo de configuração de modelo de aeroplano 8 (ver figura 2), que contém informação sobre modelo especifico da aeronave que é necessário para determinar se/quando indicações precisam ser levantadas na cabine de comando (informação tal como capacidades de frenagem e dimensões de aeronave). Os dados de estado de aeronave podem também compreender dados de tempo e dados representando condições de aeroporto (pavimento seco/molhado, considerações de aeroporto especiais, etc.). Uma quarta peça de dados usada somente pelo processo de tempo para colisão (descrito em detalhe abaixo) é um conjunto de modelos de imagem de objeto seguros usados para eliminar objetos na cena para os quais a prevenção de colisão não deve ser processada. Estes incluem objetos tais como pessoas andando através da cena, rampas de passageiros, caminhões de combustível, carrinhos de bagagem, etc. Tais objetos esperados não devem fazer sugestões estranhas serem geradas;

[0044] Depois que o firmware 40 foi carregado, o sistema está pronto para ser calibrado. A unidade de processamento de visão de máquina 6 é configurada para realizar um processo de calibração 42 para cada câmera em resposta para recepção de um sinal indicando que a energia elétrica da aeronave foi ligada. Depois de calibrar ambas as câmeras, o sistema de detecção de objeto e prevenção de colisão está pronto para uso durante operações de superfície de aeronave. As câmeras de topo e fundo obtêm imagens sucessivas na forma de quadros de vídeo enquanto a aeronave está no solo (etapa 44). Aqueles quadros de vídeo são então processados usando técnica estereoscópica e de SFM conhecidas (etapa 46). Por exemplo, imagens respectivas de um objeto em quadros de vídeo em pares são detecta- das, segmentadas e associadas em uma maneira conhecida e disparidades estereoscópicas são medidas. Os quadros de vídeo processados são enviados para o sistema de exibição de cabine de comando ou pacote eletrônico de voo 30 (ver figura 2), e então exibidos no monitor da cabine de pilotagem 32 para visualização pelo piloto. Em adição, as medições de disparidade são usadas para computar o tempo mínimo para colisão (TTC) (etapa 48) baseado em alcances computados e taxas de alcance. Os dados de tempo para colisão resultante é enviado para o sistema de exibição de cabine de comando ou pacote eletrônico de como 30 para exibição em monitor de cabine de pilotagem 32. Os dados de tempo para colisão também são enviados para um comparador que compara o tempo mínimo para colisão com um ou mais limites de detecção (etapa 50). Se o comparador determina que um limite de detecção foi ultrapassado, então um sinal de sugestão auditivo TTC é enviado para o sistema auditivo de cabine de comando 34 (ver figura 2), que desse modo é ativado para soar uma sugestão apropriada. Por exemplo, o tempo para colisão pode ser estimado e uma sugestão auditiva pode ser gerada baseada na proximidade da colisão potencial, com colisões mais iminentes tendo sugestões auditivas mais altas ou mais rápidas. Em alternativa ou em adição, uma sugestão gráfica indicando a proximidade da colisão potencial pode ser exibida no monitor da cabine de pilotagem 32.

[0045] O processo de autocalibração de ativação 42 usa modelos e correlação para localizar cada ponto de recurso, bem como o modelo de recurso espacial correspondendo com a câmera de fundo 4 em vista abaixo da câmera de topo 2, a figura 4 é um fluxograma identificando as etapas de um algoritmo de calibração de ativação realizado pela unidade de processamento de visão de máquina 6 de acordo com uma modalidade. Este algoritmo é usado para calibrar as câmeras de topo e fundo com relação ao quadro de referência da aeronave. Durante o processo de calibração, a unidade de processamento de visão de máquina 6 (ou um computador separado em comunicação com a mesma ou processadores separados incorporados nas câmeras) ativa ambas as câmeras para tirar fotos do topo da aeronave em resposta para recepção e um sinal de ativação (etapa 52). A unidade de processamento de visão de máquina 6 (ver figura 2) segmenta as partes da aeronave parecendo em ambas as imagens usando localizações de recurso com tamanhos apropriados para modelos de imagem de cada recurso (etapa 54). Então cada segmento de recurso está correlacionado contra sua imagem de modelo e um coeficiente de correlação máximo é computado junto com um desvio da localização de recurso original (etapa 56). O coeficiente de correlação máximo é comparado contra um limite de coeficiente de correlação, e se acima do limite de coeficiente de correlação, a correlação é considerada boa (etapa 58). Os resultados de comparação para cada recurso são armazenados (etapa 60). Uma determinação é então feita se um número suficiente de boas correlações foi estabelecido ou não (etapa 62). Se correlações de recurso não suficientes são boas, então dados de calibração estéreo prévios, na forma de uma matriz essencial, são usados (etapa 66). [Em visão de computador, a matriz essencial é uma matriz 3x3 (descrita em mais detalhe abaixo), com algumas propriedades adicionais chamadas restrições internas, que relaciona pontos correspondentes em imagens estéreo assumindo que as câmeras satisfazem o modelo de câmera pinhole]. Se correlações de recurso suficientes são boas, então todos os valores de desvio de correlação boa são usados para tornar a computar a matriz essencial (etapa 64). Depois que os resultados de comparação para cada recurso foram armazenados (etapa 60), uma determinação é feita se um modelo de câmera de fundo pode ser encontrado na imagem sendo processada ou não (etapa 68). Se a correlação entre um recurso de imagens e o modelo de câmera de fundo é boa, a câmera presente sendo calibrada é declarada para ser a câmera de topo 2 (etapa 72). De outro modo, a presente câmera sendo calibrada é declarada para ser a câmera de fundo 4 (etapa 70).

[0046] De acordo com uma modalidade, a câmera de topo 2 e a câmera de fundo 4 são calibradas usando parâmetros de câmera estimados. Estimar parâmetros de câmera única exige estimativas para os parâmetros intrínsecos e extrínsecos e os coeficientes de distorção de uma câmera única. Estas estimativas podem ser feitas dependendo da combinação de câmera/lente e seria a mesma para todas as instalações de câmera. Estas podem ser feitas offline usando métodos padrão, mas modificados para uma lente grande angular ou lente olho de peixe para modelar melhor a distorção de lente, no caso de um par de câmeras usado para geração de imagens estereoscópicas, as duas câmeras precisam ser calibradas com relação ao quadro de referência de aeronave a fim de fornecer um sistema de prevenção de colisão estéreo avançado.

[0047] Para modelar a câmera intrínseca, o algoritmo de calibra-ção assume um modelo de câmera linear para modelar corretamente o quadro de referência da câmera para mapear pixel. O propósito é remover distorções de localizações de imagem de objeto de modo que a medição de disparidade e estrutura a partir de técnicas de movimento pode ser usada para processar o campo de visão inteira precisamente. Usar uma calibração de câmera precisa assegurará o alcance e taxa de alcance de objetos externos pode então se estimado precisamente através do campo de visão inteiro do par de câmeras.

[0048] Especificamente, o modelo linear para uma câmera única é como segue: onde (X, Y, Z) são as coordenadas mundiais de um ponto; (x, y) são coordenadas do ponto de imagem correspondente; w é um fator de escala relacionando a distância de pixel normalizada com a distância mundial; K é uma matriz intrínseca de câmera 3x3; Ré uma matriz 3 x 3 representando a rotação 3D da câmera; e T é uma translação 1 x 3 da câmera com relação ao sistema de coordenada mundial. 1A matriz intrínseca K contém cinco parâmetros intrínsecos como mostrada abaixo: [001] Estes parâmetros abrangem o comprimento focal, formato de sensor de imagens, e ponto principal. Os parâmetros □* = f.mx e uy = f. my representam comprimento focal em termos de pixels, onde mx e my são fatores de escala relacionando pixels com distância e f é o comprimento focal em termos de distância. Também, y representa o coeficiente de distorção entre os eixos x e y, e u0 e v0 representam o ponto principal, que idealmente estaria no centro da imagem.

[002] O modelo linear acima deve ser ajustado usando fatores não lineares adicionais para explicar a distorção radial (lente) e distorção tangencial. Estas são frequentemente definidas por modelos poli-nomiais e são usadas para ajustar os pixels de ponto de imagem não distorcidos em pixels de ponto de imagem distorcida (ou vice versa). Técnicas de otimização não linear são algumas vezes usadas para encontrar estes parâmetros polinomiais.

[003] Por distorção radial (lente), imagens de um padrão, tal como uma placa de verificador ou padrão fractal, são tomadas em múltiplos ângulos e distâncias, e através do campo de visão da câmera ou par de câmeras. Então a transformação que achata os pontos de recurso através do espaço de pixel das câmeras é estimada. Existem vários efeitos importantes para modelo com a transformação. As figuras 5A a 5C são diagramas que respectivamente mostram um efeito de lente livre de distorção 74 (figura 5A), um efeito de distorção de "barril" radial positivo 76 (figura 5B) e um efeito de distorção de "almofada de alfinetes" radial negativa 78 (figura 5C).

[004] Em ótica geométrica, a distorção é um desvio de projeção retilínea, uma projeção em que linhas retas em uma cena permanecem retas em uma imagem. É uma forma de aberração ótica. Como previamente descrito, estimar parâmetros de câmera única exige estimativas para parâmetros intrínsecos e extrínsecos e os coeficientes de distorção de uma câmera única.

[005] De acordo com uma modalidade, imagens de um padrão retilíneo padrão tal como uma placa de verificador (ver figura 5A) são tomadas em múltiplos ângulos e distâncias e através do campo de visão da câmera. Então uma transformação que achata os pontos de recurso através do espaço de pixel da câmera é estimada. Existem vários efeitos importantes para modelar com a transformação, esta transformação tiraria distorções radiais causadas pela lente. As distorções encontradas mais comumente são radialmente simétricas ou quase radialmente simétricas. Tais distorções radiais surgem da simetria de uma lente fotográfica. Estas distorções radiais podem normalmente ser classificadas como distorções radiais positivas (isto é, barril) ou distorções radiais negativas (isto é, almofada de alfinetes (pincushion)). Comumente vista em lentes grandes angulares, a distorção de barril acontece porque o campo de visão da lente é muito mais largo que o tamanho do sensor de imagem e, portanto precisa ser "comprimido" para encaixar. Na distorção do barril, a ampliação de imagem diminui com a distância do eixo ótico. O efeito aparente (representado na figura 5B) é aquele de uma imagem que foi mapeada em torno de uma esfera (ou barril). Na distorção da almofada de alfinetes, a ampliação de imagem aumenta com a distância do eixo ótico. O efeito visível (representado a figura 5C) é que linhas que não passam pelo centro da imagem são inclinadas para dentro, para o centro da imagem, como uma almofada de alfinetes.

[006] De acordo com uma modalidade descrita aqui, uma matriz de transformação é computada que removeria distorções radiais causadas pela lente que produz efeitos tais como aqueles representados nas figuras 5B e 5C. Isto é tipicamente feito usando modelagem poli-nomial tal como com as equações seguintes, em que os pontos distorcidos são indicados como x^stoi-ddo e ydistorcido respectivamente: Onde x e y são localizações de pixel não distorcidas; k1, k2, e k3 são os coeficientes de distorção radial da lente; e r2 é a distância do centro de matriz de pixels (isto é, r2 = x2 + y2). Distorção severa, tal como ocorre em lentes grandes angulares, exige mãos coeficientes para modelar precisamente.

[007] Uma distorção não linear adicional é causada por distorção tangencial, que ocorre quando a lente e o plano de imagem (isto é, o sensor) não são paralelos. A figura 6A mostra uma lente de câmera 4 e um sensor de câmera 6 que são paralelos a um plano vertical 8. Em contraste, a figura 6B mostra uma lente de câmera 4 que é paralela a um plano vertical 8, enquanto o sensor de câmera 6 não é paralelo à lente de câmera 4. Os coeficientes de distorção tangencial modelam o tipo de distorção representado na figura 6B.

[008] Os pontos distorcidos são indicados como xdistorcido e ydistorcido respectivamente: onde x e y são localizações de pixel não distorcidas; p1 e p2 são coeficientes de distorção tangencial da lente; e r2 é a distância do centro de matriz de pixel (isto é, r2 = x2 + y2).

[009] Calibração de câmera estéreo exige pelo menos a posição relativa e orientação do par de câmeras. Se as câmeras são calibradas separadamente, a posição relativa e orientação do par de câmeras devem ser especificadas. Especificamente, os modelos acima incluiríam duas matrizes de rotação 3x3 R12 e R2i que relacionam a rotação da primeira câmera com a rotação da segunda câmera e vice versa. Também, existem dois vetores de translação 3x1 T12 e T21 que relacionam a translação da primeira câmera com a translação da segunda câmera e vice versa. Em adição, o par de câmeras pode também ter matrizes intrínsecas diferentes K-ι e K2 e diferentes distorções não lineares também.

[0010] Como uma alternativa para ajudar com o processamento estéreo, os modelos lineares acima podem ser combinados para relacionar localizações de pixel normalizadas nas duas câmeras usando o que é denominado a matriz essencial E, que é uma matriz 3x3 que relaciona as duas câmeras de modo que satisfaçam a seguinte equação: [x2, y2, 1] * E* [Xi, yi, 1] = 0 onde os pontos são expressos em coordenadas de imagem normalizadas. Aqui, a origem está no centro ótico da câmera e as coordenadas de pixel x e y são normalizadas pelo comprimento focal fx e fy. (esta simples versão linear não captura as distorções não lineares separadas em ambas as câmeras descritas acima). Uma matriz essencial é definida como o produto de matriz de uma matriz de rotação e uma matriz simétrica oblíqua, ambas 3x3. A matriz simétrica oblíqua deve ter dois valores singulares que são iguais e outro que é zero. A multiplicação da matriz de rotação não muda os valores singulares, que significa que também a matriz essencial tem dois valores singulares que são iguais e um que é zero.

[0011] O resultado do processo de calibração é que a unidade de processamento de visão de máquina 6 será configurada para identificar que a sequência de vídeo está vindo da câmera de topo 2 e que a sequência de vídeo está vindo da câmera de fundo 4. Levando em conta esta informação e os desvios, a unidade de processamento de visão de máquina 6 processa os quadros para determinar um alcance para um objeto e uma taxa na qual este alcance está mudando. O processamento de quadro toma cada par de imagens (de modo sincronizado) das duas câmeras e produz uma métrica de tempo para colisão para o sistema de cabine de comando para apresentar aos pilotos em alguma maneira (por meio de sugestões auditivas ou visuais). A primeira etapa é produzir uma imagem em 3D de pelo menos duas imagens em 2D usando um ou mais métodos de processamento em 3D tal como estereoscopia e estrutura a partir de movimento. Esta etapa usa técnicas de processamento de imagens conhecidas. Informação geral sobre processamento estereoscópica (isto é, estimativa de profundidade a partir de vídeo estéreo) e estrutura a partir de processamento de movimento (isto é, estimativa da estrutura em 3D de uma cena a partir de um conjunto de imagens em 2D) pode ser encontrada no site www.mathworks.com e em Multiple View Geometry in Computer Vision, Second Edition. Richard Hartley and Andrew Zisserman, Cambrid-ge University Press, March 2004. A segunda etapa é computar um tempo mínimo respectivo para colisão (TTC) entre cada objeto na cena e a aeronave. Este parâmetro poderia ser "infinito" em valor se nenhum objeto está previsto para colidir. O software de aviso de colisão da cabine de comando pode então produzir uma sugestão auditiva ou visual cuja intensidade pode ser baseada na magnitude do TTC mínimo e somente sob condições predefinidas (por exemplo, somente sob taxiamento, não em voo e não parado no terminal).

[0012] A figura 7 mostra um processador de prevenção de colisão 80 programado para computar um tempo para colisão entre um objeto e uma aeronave no solo. O processo para computar um tempo para colisão pode ser implementado pelo modo de execução de vários módu- los de software armazenados em um meio de armazenamento legível por computador tangível não transitório. O processador de prevenção de colisão 80 pode compreender uma multiplicidade de unidades de processamento que executam o código de módulos de software respectivos.

[0013] Como visto na figura 7, o processador de prevenção de colisão 80 recebe dados representando dados de uma imagem em 3D a partir de um módulo de software de processamento de imagens em 3D (não mostrado). Estes dados de imagem em 3D estarão em coordenadas mundiais (X, Y, Z, R, G, B) se existem três planos de cor vermelha, verde e azul. Isto cria uma nuvem de pontos em espaço de seis dimensões. Inerentemente, existe um par de imagens em 2D do qual esta nuvem de pontos foi derivada. Estas são matrizes em 2D em coordenadas pixel com vetores de cor (R, G, B) para entradas, ou o que é visto também como três matrizes em 2D para vermelho, verde e azul. O processamento de tempo para colisão compreende processamento de nuvem de ponto (3D) e plano de cor (2D). Os resultados do processamento de tempo para colisão são emitidos do processador de prevenção de colisão 80 para o sistema auditivo de voo 34 e o sistema de exibição de cabine de comando ou pacote eletrônico de voo 30. Deve ser notado que a etapa de comparar o tempo para colisão para um ou mais limites de detecção pode ser realizada tanto no processador de prevenção de colisão 80 quanto em um processador separado no sistema auditivo de cabine de comando 34. Se a limitação é feita no processador de prevenção de colisão 80, então os limites de detecção estão incluídos nos dados de estado de aeronave 40c.

[0014] De acordo com uma modalidade, o processador de prevenção de colisão 80 realiza pelo menos as etapas identificadas na figura 7. Primeiro, os dados de nuvem de pontos são interrompidos deletando todos os pontos na nuvem de pontos que estão fora da região de inte- resse da aeronave (ROI) (etapa 82). Isto elimina o processamento de dados de nuvem de pontos que resultariam na detecção de colisões com a pista e "céu" bem como objetos muito afastados ou anexos à aeronave. Esta função de interromper nuvem de pontos usa dados da geometria da aeronave 40a em firmware 40.

[0015] A seguir, dados de imagem representando objetos seguros são segmentados nos dados de imagem em 2D interrompidos (etapa 84). A segmentação de objeto seguro usa processamento de segmentação de imagem padrão para segmentar objetos "seguros" representados por um conjunto de modelos de imagem de objeto seguro 40b carregados em firmware 40. O processo de segmentação de objeto seguro elimina objetos na cena para os quais a prevenção de colisão não deve ser processada. Estes incluem objetos tais como pessoas andando através da cena, a rampa de passageiros, caminhão de combustível, carrinhos de bagagem, etc. Tais objetos esperados não devem causar alarmes estranhos. Isto produz conjuntos de pixels para cada objeto cada pixel de segmento seguro está associado com um ponto na nuvem de pontos (etapa 88) através de um mapa de alcance a partir do processamento estereoscópico. Cada tal ponto de segurança na nuvem de pontos é deletado (etapa 84).

[0016] Depois disto, um filtro de imagens multidimensionais de banda baixa 90 é aplicado na nuvem de pontos. Este filtro é definido em uma maneira especial para manipular o fato que a nuvem de pontos é mais esparsa, quanto mais afastado é o ponto das câmeras. Assim, o filtro deve ter uma resposta de impulso mais largo quanto mais afastado é aplicado. Um método padrão é computar yd = convd (R, xd), onde convd() computa a convolução d-dimensional padrão, e R indica uma matriz d-dimensional que tem uns em cada entrada e é de tamanho R em cada dimensão, onde R é o alcance do ponto xd a partir da origem do espaço de nuvem de pontos (no ponto central entre as duas câme- ras).

[0017] O estágio seguinte no processo é detectar eventos (isto é, "bolhas") que representam a presença de um objeto nos dados de nuvem de pontos filtrados, cujo objeto não é um objeto seguro (etapa 92). Os dados referentes aos vários objetos encontrados nas imagens podem ser armazenados na forma de um histograma estocástico. Estes eventos correspondem a áreas de histograma que se acumulam com o tempo. Um processo de detecção de evento monitora o acúmulo de dados em um histograma estocástico para detectar um evento. Um evento pode ser, por exemplo, o valor para um compartimento particular no histograma estocástico sendo maior que algum valor selecionado. Existem várias maneiras de encontrar o evento, tal como usando técnicas de média sobre média (mean above mean) do tipo descrito na Patente U.S. N°. 9.046.593 ou usando métodos de código de barras do tipo descrito na Patente U.S. N° 9.430.688.

[0018] O processador de prevenção de colisão 80 então computa a localização média e o vetor de velocidade de cada objeto correspondendo com uma bolha respectiva no quadro de vídeo atual (etapa 94). O vetor de velocidade é computado tomando a diferença entre as localizações médias do objeto que correspondem com a bolha no quadro de vídeo atual e a bolha no quadro de vídeo anterior e então dividindo a diferença por taxa de quadro.

[0019] Depois disto, o processador de prevenção de colisão 80 toma a localização média do objeto e computa onde o objeto que corresponde a um particular pela bolha interceptaria a geometria de aeronave usando dados de estado de aeronave 40c localizados em firmware 40 e também usando o vetor de velocidade. Em termos matemáticos, este simplesmente computa a interseção de um raio ou segmento de linha com cada triângulo no modelo geométrico de aeronave. Um método adequado para computar a interseção de um raio ou segmento de linha com um triângulo está descrito em http://aeomalaorithms.com/ a06-intersect-2.html. Como um resultado deste cálculo, uma quantidade de tempo é também computada para este ponto de interseção. Esta quantidade de tempo é modificada para refletir o fato que o objeto representado pela bolha tem certa dimensão e assim o tempo é encurtado pela relação do raio do objeto sobre a norma de velocidade do objeto, o resultado desta subtração sendo o tempo para colisão (TTC), desde que é responsável por estimar quando a parte dianteira do objeto colidiría (não o centro). Este valor de TTC pode então ser relatado para os sistemas de cabine de comando.

[0020] Deve ser notado que referência aqui a velocidade significa velocidade com relação à aeronave, não velocidade absoluta (isto é, não com relação ao solo). O modelo de aeronave pode ser maior para lidar com questões relacionadas a imprecisões em estimativas de direção de velocidade.

[0021] Instruções codificadas para implementar o método de detecção podem ser armazenadas em um dispositivo de armazenamento de massa, em uma memória volátil, em uma memória não volátil, e/ou em um meio de armazenamento legível por computador tangível não transitório removível tal como um disco ótico para armazenar dados digitais.

[0022] O método de detecção pode ser implementado usando instruções legíveis por máquina que compreendem um programa para execução por um processador tal como o processador de prevenção de colisão 80 mostrado na figura 7. O programa pode ser incorporado em software armazenado em um meio de armazenamento legível por computador tangível não transitório tal como um disco ótico, um disquete, um disco rígido ou uma memória associada com o processado de prevenção de colisão 80, mas o programa inteiro e/ou partes do mesmo poderia alternativamente ser executado por um dispositivo in- corporado em firmware ou hardware dedicado.

[0023] O sistema de prevenção de colisão e detecção de objeto montado na aeronave descrito aqui pode ser implementado por hardware, software, firmware e/ou qualquer combinação de hardware, software e/ou firmware. Assim, por exemplo, o sistema de prevenção de colisão e detecção de objeto montado na aeronave poderia ser implementado usando circuitos analógicos ou digitais, circuitos lógicos, processadores programáveis, circuitos integrados de aplicação específica, dispositivos lógicos programáveis ou dispositivos lógicos programáveis de campo.

[0024] Também, a montagem das duas câmeras no estabilizador vertical de uma aeronave permite medições estéreo em tempo real estas medições estéreo em tempo real permitem que cada uma das duas câmeras para focalizar em um objeto e capturar vistas em 2D respectivas. Os dados de imagem podem ser usados para computar o tamanho de um objeto, o alcance para um objeto e a taxa na qual o alcance para o objeto está mudando quando o objeto e a aeronave estão se movendo.

[0025] De acordo com uma modalidade, uma incursão é detectada primeiro quando um objeto entra em um campo de visão da câmera e isto inicia um relógio para o tempo ao parar a aeronave antes que ocorra a colisão. A detecção pode ocorrer em torno da taxa de quadro da câmera, assumindo recursos de computação suficientes. Neste ponto, o piloto terá algum tempo de reação antes de ativar os freios. A distância de parada de uma aeronave grande leva algum tempo que varia dependendo das condições de pavimento, tal como seco, molhado ou gelado.

[0026] De acordo com uma implementação as câmeras de topo e fundo são montadas na borda dianteira do estabilizador vertical de uma aeronave, as câmeras sendo separadas por uma distância de 3,05 metros (10 pés). Ambas as câmeras têm um campo de visão lateral de 90 graus e são orientadas ao longo da linha central da aeronave.

[0027] Um sistema de prevenção de colisão de operações de superfície em uma aeronave que localiza as câmeras estereoscópicas de grande angular na borda dianteira do estabilizador vertical foi descrito. Estas câmeras podem ser tanto câmeras visíveis, câmeras de infravermelho ou alguma combinação que permitirá operação de dia ou de dia e de noite sem as considerações de licenciamento de sistemas ativos tais como radar e Ladar. Estas câmeras poderíam ser instaladas em uma operação de adaptação para aeronave em serviço. O sistema descrito realiza um método de autocalibração de ativação usando pontos de recurso existentes na "vista de topo" da aeronave para ajustar matrizes de calibração estéreo de câmera armazenadas, usadas no algoritmo estereoscópico em instalação e durante cada operação de ativação. Finalmente, usando uma marcação de recurso de câmera, pode-se usar software idêntico para as câmeras de topo e de fundo.

[0028] Enquanto sistemas de prevenção de colisão foram descritos com referência às várias modalidades, será entendido por aqueles versados na técnica que várias mudanças podem ser feitas e equivalentes podem ser substituídos por elementos dos mesmos sem se afastar do escopo das reivindicações apresentadas a seguir. Em adição, muitas modificações podem ser feitas para adaptar os ensinamentos aqui a uma situação particular sem se afastar do escopo das reivindicações.

[0029] Como usado nas reivindicações, o termo "sistema de computador" deve ser construído amplamente para abranger um sistema tendo pelo menos um computador ou processador, e que podem ter múltiplos computadores ou processadores que processam independentemente ou que se comunicam através de uma rede ou barramen- to.

[0030] Nota: os parágrafos seguintes descrevem aspectos adicionais desta descrição: A1. Um método para calibrar um par de câmeras, o método compreendendo: ativar primeira e segunda câmeras montadas em uma borda dianteira de um estabilizador vertical de uma aeronave para capturar primeira e segunda imagens; e calibrar as primeira e segunda câmeras baseadas nas primeira e segunda imagens. A2. O método de acordo com o parágrafo A1, em que ainda compreende: detectar dados de imagem correlacionados a um modelo de câmera na primeira imagem; e declarar a primeira câmera para ser uma câmera de topo em resposta à detecção de dados e imagem na primeira imagem que está correlacionada com o modelo de câmera.

REIVINDICAÇÕES

Claims (15)

1. Sistema para avisar um piloto de um risco de colisão, o sistema caracterizado pelo fato de que compreende: uma primeira câmera montada a uma primeira altura para uma borda dianteira de um estabilizador vertical da aeronave para gerar um fluxo de quadros de vídeo que incluem primeiros dados de imagem representando uma imagem de um objeto em uma cena e segundos dados de imagem representando uma imagem de uma parte da aeronave; uma segunda câmera montada a uma segunda altura para a borda dianteira do estabilizador vertical para gerar um segundo fluxo de quadros de vídeo que incluem terceiros dados de imagem representando uma imagem do objeto na cena e quartos dados de imagem representando uma imagem da parte da aeronave, em que a segunda altura é menor que a primeira altura; um sistema de sugestão em uma cabine de comando da aeronave capaz de gerar uma sugestão; e um sistema de computador programado para: processar os quadros de vídeo dos primeiro e segundo fluxos para determinar um alcance para um objeto e uma taxa de alcance em que o alcance para o objeto está mudando a cada momento; computar um tempo para colisão baseado pelo menos no alcance e taxa de alcance; e disparar o sistema de sugestão para produzir uma sugestão em resposta ao tempo para colisão sendo menor que um limite de detecção.

2. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que um sistema de computador é ainda programado para: processar os quadros de vídeo dos primeiro e segundo fluxos para determinar um segundo alcance para um objeto e uma se- gunda taxa de alcance em que o alcance está mudando em um segundo momento que é subsequente ao primeiro tempo; computar um segundo tempo para colisão baseado pelo menos no segundo alcance e segunda taxa de alcance; e disparar o sistema de sugestão para produzir uma segunda sugestão em resposta ao segundo tempo para colisão sendo menor que um segundo limite de detecção, em que o segundo limite de detecção é menor que o primeiro limite de detecção.

3. Sistema, de acordo com a reivindicação 2, caracterizado pelo fato de que a primeira sugestão é um som tendo um primeiro volume e a segunda sugestão é um som tendo um segundo volume maior que o primeiro volume, em que a primeira sugestão é um som repetitivo tendo uma primeira taxa de repetição e a segunda sugestão é um som repetitivo tendo uma segunda taxa de repetição maior que a primeira taxa de repetição.

4. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que os quadros de vídeo dos primeiro e segundo fluxos são processados usando uma técnica estereoscópica para estimar uma profundidade do objeto.

5. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que os quadros de vídeo dos primeiro e segundo fluxos são processados usando uma estrutura da técnica de movimento para estimar uma estrutura tridimensional da cena.

6. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que as primeira e segunda câmeras são direcionadas em uma direção para frente ao longo de uma linha central da aeronave com campos de vista respectivos que estão se sobrepondo pelo menos parcialmente.

7. Sistema de computador, de acordo com a reivindicação 1, caracterizado pelo fato de que o sistema de computador é ainda programado para: ativar as primeira e segunda câmeras para capturar primeira e segunda imagens; calibrar as primeira e segunda câmeras baseado nas primeira e segunda imagens; detectar dados de imagem correlacionados com um modelo de câmera na primeira imagem; e declarar que a primeira câmera seja uma câmera de topo em resposta à detecção de dados de imagem correlacionados com o modelo de câmera na primeira imagem.

8. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que o sistema de computador é ainda programado para: segmentar os dados de imagem nas primeira e segunda imagens que representam partes da aeronave que aparecem em ambas as imagens usado localizações de recurso com tamanhos apropriados para modelos de imagem de cada recurso; correlacionar cada segmento de recurso contra sua imagem de modelo; comparar um coeficiente de correlação máxima junto com um desvio de uma localização de recurso original; comparar o coeficiente de correlação máxima para um limite de coeficiente de correlação; e determinar uma matriz essencial baseada pelo menos em parte nos resultados da comparação do coeficiente de correlação máxima para o limite de coeficiente de correlação.

9. Sistema para avisar um piloto de um risco de colisão, o sistema caracterizado pelo fato de que compreende: uma primeira câmera montada a uma primeira altura para uma borda dianteira de um estabilizador vertical de uma aeronave; uma segunda câmera montada a uma segunda altura para a borda dianteira do estabilizador vertical, em que a segunda altura é diferente da primeira altura; e um sistema de computador programado para: ativar as primeira e segunda câmeras para capturar primeira e segunda imagens; detectar dados de imagem correlacionados com um modelo de câmera em uma das primeira e segunda imagens; e declarar que uma das primeira e segunda câmeras seja uma câmera de topo baseado em que um dados de imagem contidos nas primeira e segunda imagens correlacionado com o modelo de câmera.

10. Método para avisar que existe um risco de colisão, o método caracterizado pelo fato de que compreende: ativar uma primeira câmera montada a uma primeira altura para uma borda dianteira de um estabilizador vertical de uma aeronave para gerar um primeiro fluxo de quadros de vídeo que incluem primeiros dados de imagem representando uma imagem de um objeto em uma cena e segundos dados de imagem representando uma imagem de uma parte da aeronave; ativar uma segunda câmera montada a uma segunda altura para a borda dianteira do estabilizado vertical para gerar um segundo fluxo de quadros de vídeo que incluem terceiros dados de imagem representando uma imagem do objeto na cena e quartos dados de imagem representando uma imagem da parte da aeronave, em que a segunda altura é menor que a primeira altura; processar os quadros de vídeo dos primeiro e segundo fluxos para determinar um primeiro alcance para o objeto e uma primeira taxa de alcance na qual o alcance para o objeto está mudando em um primeiro momento; computar um primeiro tempo para colisão baseado pelo menos no primeiro alcance e primeira taxa de alcance; e produzir uma primeira sugestão em resposta ao primeiro tempo para a colisão sendo menor que um primeiro limite de detecção.

11. Método, de acordo com a reivindicação 10, caracterizado pelo fato de que ainda compreende: processar os quadros de vídeo dos primeiro e segundo fluxos para determinar um segundo alcance para o objeto e uma segunda taxa de alcance na qual o segundo alcance está mudando em um segundo momento que é subsequente ao primeiro tempo; computar um segundo tempo para colisão baseado pelo menos no segundo alcance e segunda taxa de alcance; e produzir uma segunda sugestão diferente da primeira sugestão em resposta ao segundo tempo para a colisão sendo menor que um segundo limite de detecção, em que o segundo limite de detecção é menor que o primeiro limite de detecção.

12. Método, de acordo com a reivindicação 11, caracterizado pelo fato de que a primeira sugestão é um som tendo um primeiro volume e a segunda sugestão é um som tendo um segundo volume maior que o primeiro volume tendo uma primeira taxa de repetição e a segunda sugestão é um som repetitivo tendo uma segunda taxa de repetição maior que a primeira taxa de repetição.

13. Método, de acordo com a reivindicação 10, caracterizado pelo fato de que os quadros de vídeo dos primeiro e segundo fluxos são processados usando técnica estereoscópica para estimar uma profundidade do objeto.

14. Método, de acordo com a reivindicação 10, caracterizado pelo fato de que os quadros de vídeo dos primeiro e segundo fluxos são processados usando uma estrutura de técnica de movimento para estimar uma estrutura tridimensional da cena.

15. Método, de acordo com a reivindicação 10, caracteriza- do pelo fato de que ainda compreende: segmentar os dados de imagem nas primeira e segunda imagens que representam partes da aeronave que aparecem em ambas as imagens usando localizações de recurso com tamanhos apropriados para modelos de imagem de cada recurso; correlacionar cada segmento de recurso contra sua imagem de modelo; computar um coeficiente de correlação máxima junto com um desvio de uma localização de recurso original; comparar o coeficiente de correlação máxima para um limite de coeficiente de correlação; e determinar uma matriz essencial baseada pelo menos em parte nos resultados da comparação do coeficiente de correlação máxima para o limite de coeficiente de correlação.