BR112015031505B1 - Método para determinar uma localização atual de um objeto alvo, e, sistema para rastreamento de localização - Google Patents

Método para determinar uma localização atual de um objeto alvo, e, sistema para rastreamento de localização Download PDF

Info

Publication number
BR112015031505B1
BR112015031505B1 BR112015031505-4A BR112015031505A BR112015031505B1 BR 112015031505 B1 BR112015031505 B1 BR 112015031505B1 BR 112015031505 A BR112015031505 A BR 112015031505A BR 112015031505 B1 BR112015031505 B1 BR 112015031505B1
Authority
BR
Brazil
Prior art keywords
target object
markers
camera
active
location
Prior art date
Application number
BR112015031505-4A
Other languages
English (en)
Other versions
BR112015031505A2 (pt
Inventor
James J. Troy
Scott W. Lea
Gary E. Georgeson
Daniel James Wright
Karl Edward Nelson
Original Assignee
The Boeing Company
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by The Boeing Company filed Critical The Boeing Company
Publication of BR112015031505A2 publication Critical patent/BR112015031505A2/pt
Publication of BR112015031505B1 publication Critical patent/BR112015031505B1/pt

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

MÉTODO PARA DETERMINAR UMA LOCALIZAÇÃO ATUAL DE UM OBJETO ALVO, E, SISTEMA PARA RASTREAMENTO DE LOCALIZAÇÃO. Um processo automatizado usa um sistema de posicionamento local para adquirir dados de localização (isto é, posição e orientação) para um ou mais objetos alvo móveis. Nos casos onde os objetos alvo apresentam a capacidade de se mover sob controle por computador, este processo automatizado pode usar os dados de localização medidos para controlar a posição e orientação de tais objetos alvo. O sistema alavanca a capacidade de medição e captura de imagem do sistema de posicionamento local, e integra luzes de marcador controláveis, processamento de imagem e computação de transformação coordenada para prover informação de rastreamento para controle de localização de veículo. O sistema resultante habilita o rastreamento de posição e orientação de objetos em um sistema de coordenadas de referência.

Description

FUNDAMENTOS
[001] Esta descrição refere-se geralmente a sistemas e métodos para rastrear as localizações de um objeto alvo móvel (por exemplo, um veículo de esteira ou outra máquina eletromecânica que é guiada por um programa de computador) à medida que se move em relação a uma peça de trabalho ou parte.
[002] Aplicações envolvendo processos de fabricação que usam veículos de esteira ou outras máquinas eletromecânicas controladas por computador, frequentemente empregam rastreamento de localização em um sistema de coordenadas de referência. Sistemas de rastreamento de localização existentes se ajustam em duas categorias: rastreamento de movimento absoluto e rastreamento de movimento incremental. O rastreamento de movimento absoluto refere-se ao rastreamento de posição e/ou orientação definido em um sistema de coordenadas de referência, tal como um sistema de coordenadas de uma aeronave. Técnicas conhecidas para rastreamento de movimento absoluto incluem captura de movimento óptica, rastreamento a laser, câmeras de profundidade, rastreamento magnético e rastreamento com base em som.
[003] O rastreamento de movimento incremental mede deslocamentos relativos a um sistema de coordenadas anterior. Uma técnica conhecida para rastreamento de movimento incremental emprega codificadores que emitem pulsos em resposta a movimentos incrementais. Em aplicações que usam medição de movimento incremental os erros podem se acumular ao longo do tempo. Tal acúmulo de erros é indesejável em casos de utilização requerendo erro finito em relação a um sistema de coordenadas absolutas. Há uma necessidade de implementar um processo que provê medição precisa, absoluta, a taxas de atualização mais baixas que podem ser integradas em um sistema de medição de movimento incremental executado em taxas de atualização mais altas.
[004] Embora outros sistemas de medição absoluta existam para medir posição e orientação usando técnicas ópticas ou baseadas em imagens, estes usualmente requerem câmeras múltiplas colocadas em torno do objeto alvo. Um sistema de medição absoluta conhecido que usa uma única câmera de "profundidade" tem alcance limitado e capacidade limitada para distinguir recursos específicos. Seria vantajoso ser capaz de rastrear a posição e orientação usando uma única câmera de vídeo padrão.
SUMÁRIO
[005] Os processos de medição automatizados aqui descritos provêm medições absolutas em sistemas que geram dados de rastreamento relativos (incrementais). Este pedido equaciona adicionalmente rastreamento de movimento automatizado e controle para veículos, tais como veículos de esteira de superfície usando equipamento portátil, de baixo custo, que é fácil de ajustar, uma vez que utiliza uma configuração de câmera única. Quando utilizado com odometria (ou outra medição de coordenada relativa), este sistema para rastreamento pode prover um método de correção de coordenada absoluta para veículos de movimento controlado. Quando usado sem controle de movimento, este ainda pode prover um meio automatizado de rastrear as localizações de um ou mais objetos em um grande volume.
[006] O processo automatizado usa um sistema de posicionamento local (LPS) para adquirir dados de localização (isto é, posição e orientação) para um ou mais objetos alvo móveis, embora aqueles objetos alvo móveis estejam pelo menos momentaneamente estacionários (isto é, pelo tempo suficiente para que a parte de medição do processo possa ser completada). Em casos em que os objetos alvo tenham a capacidade de se mover sob controle do computador, este processo automatizado pode usar os dados de localização medidos para corrigir a posição e orientação de tais objetos alvo. O sistema alavanca a capacidade de medição e captura de imagem do sistema de posicionamento local, e integra luzes marcadores controláveis, processamento de imagem e computação de transformação coordenadas para prover informação de rastreamento para controle de localização de veículo. O sistema resultante habilita o rastreamento de posição e orientação de objetos em um sistema de coordenadas de referência, tal como rastreamento de um veículo de esteira em uma superfície de asa de aeronave. O sistema provê uma alternativa de baixo custo para outros tipos de sistemas de rastreamento fora do veículo; é portátil, fácil de configurar e pode ser operado por um único usuário.
[007] Um aspecto do assunto descrito em detalhe abaixo é um método para determinar uma localização atual de um objeto alvo em um sistema de coordenadas de referência tridimensional, quando o objeto alvo é equipado com pelo menos três marcadores de alvo ativos arranjados em um padrão conhecido. O método compreende as seguintes etapas: (a) definir a localização de uma câmera em relação ao sistema de coordenadas de referência; (b) capturar uma imagem enquanto a câmera está centrada sobre o objeto alvo e todos os marcadores de alvo ativos não estão ligados; (c) capturar uma ou mais imagens, enquanto a câmera está centrada sobre o objeto alvo e um ou mais dos marcadores de alvo ativos estão ligados; (d) processar as imagens para computar uma imagem de diferença representando diferenças entre a imagem capturada, enquanto todos os marcadores de alvo ativos não estiverem ligados e cada imagem capturada enquanto um ou mais dos marcadores de alvo ativos estiverem ligados; (e) computar respectivas coordenadas de pixel médias para as áreas de diferença na imagem de diferença correspondendo aos respectivos marcadores de alvo ativos; (f) para respectivos marcadores de alvo ativos, objetivando um buscador de alcance de laser e transmitindo um feixe de laser na direção definida pelos respectivos ângulos de giro e inclinação nos quais o objeto alvo foi centrado em um campo de visão de imagem de câmera e diferenças entre as respectivas coordenadas de pixel médias e coordenadas de pixel de um centro das imagens; (g) para respectivos marcadores de alvo ativos, adquirir respectivo alcance, dados de giro e inclinação subsequentes à transmissão de um respectivo feixe de laser; (h) computar coordenadas dos respectivos pontos correspondentes aos marcadores de alvo ativos no sistema de coordenadas de referência, com base nos dados de alcance, giro e inclinação; e (i) comparar respectivas posições dos respectivos pontos cujas coordenadas foram computadas a partir dos dados de giro, inclinação e alcance medidos para as posições respectivas dos respectivos pontos arranjados no padrão conhecido, para determinar uma posição e orientação atuais do objeto alvo, definidas em termos do sistema de coordenadas de referência.
[008] De acordo com algumas modalidades, a etapa (c) compreende capturar uma imagem, enquanto pelo menos três marcadores de alvo ativos estão ligados. De acordo com outras modalidades, a etapa (c) compreende capturar as respectivas imagens enquanto o primeiro, segundo e terceiro marcadores de alvo ativos estão ligados em sequência.
[009] De acordo com algumas modalidades, a etapa (d) compreende: segmentar a imagem de diferença para incluir áreas separadas correspondendo aos marcadores de alvo ativos com base nas diferenças; e computar as respectivas coordenadas de pixel médias na imagem de diferença, para um respectivo centroide de cada área separada correspondendo aos marcadores de alvo ativos.
[0010] De acordo com um outro aspecto, o método descrito acima pode que compreende adicionalmente: medir um padrão de ponto com base nas distâncias relativas entre os pontos; e computar uma primeira matriz de transformação representando a localização do objeto alvo no sistema de coordenadas de referência, com base nas diferenças entre um padrão de ponto medido e um padrão de ponto conhecido. Em algumas modalidades, o padrão de ponto conhecido é assimétrico.
[0011] De acordo com um aspecto adicional, o método descrito acima pode que compreende adicionalmente: colocar o objeto alvo em uma localização inicial; computar uma segunda matriz de transformação representando a localização inicial do objeto alvo, relativa ao sistema de coordenadas de referência; mover o objeto alvo da localização inicial para a localização atual; computar uma inversa da segunda matriz de transformação; e computar um produto da primeira matriz de transformação e a inversa da segunda matriz de transformação, o produto sendo uma terceira matriz de transformação representando a localização atual do objeto alvo relativa à localização inicial do objeto alvo. De acordo com algumas modalidades, o método compreende adicionalmente gerar pulsos de codificador em resposta ao movimento incremental do objeto alvo durante o movimento da localização inicial para a localização atual.
[0012] Um outro aspecto do assunto discutido em detalhe abaixo é um sistema para rastreamento de localização compreendendo: um mecanismo de giro-inclinação; uma câmera e um buscador de alcance de laser montado no mecanismo de giro-inclinação, um objeto alvo equipado com pelo menos três marcadores de alvo ativos; e um sistema de computador programado com primeiro software para controlar a câmera, o buscador de alcance de laser e o segundo software de mecanismo de giro-inclinação, segundo software para processar imagens adquiridas pela câmera, e terceiro software para controlar movimento do objeto alvo e estados dos pelo menos três marcadores de alvo ativos.
[0013] De acordo com uma modalidade do sistema para rastreamento de localização descrito no parágrafo precedente, o primeiro software compreende rotinas para comandar o mecanismo de giro-inclinação para apontar a câmera para o objeto alvo e comandar a câmera para capturar imagens do objeto alvo; o segundo software compreende rotinas para processar imagens capturadas para computar uma imagem de diferença representando diferenças entre uma imagem capturada, enquanto os marcadores de alvo ativos não estiverem ligados e cada imagem capturada enquanto um ou mais dos marcadores de alvo ativos estiverem ligados; e o terceiro software compreende rotinas para controlar o estado de cada um dos marcadores de alvo ativos. O objeto alvo pode, por exemplo, compreender um veículo de esteira ou uma base de um braço robótico. Em modalidades nas quais o veículo de esteira de movimento holonômico, o sistema pode que compreende adicionalmente meio para rastrear o movimento incremental do veículo de esteira.
[0014] Ainda em outro aspecto está um sistema para rastreamento de localização compreendendo: um mecanismo de giro-inclinação; uma câmera e um buscador de alcance de laser montado no mecanismo de giro-inclinação; um objeto alvo equipado com pelo menos três marcadores de alvo ativos arranjados em um padrão conhecido; e um sistema de computador programado para executar as operações a seguir: (a) ajustar ângulos de giro e inclinação do mecanismo de giro-inclinação, para centrar a câmera no objeto alvo com os marcadores de alvo ativos dentro de um campo de visão de imagem da câmera; (b) comandar a câmera para capturar uma imagem enquanto a câmera está centrada sobre o objeto alvo e todos os marcadores de alvo ativos não estiverem ligados; (c) comandar a câmera para capturar uma ou mais imagens, enquanto a câmera estiver centrada sobre o objeto alvo e um ou mais dos marcadores de alvo ativos estiverem ligados; (d) processar as imagens para computar uma imagem de diferença representando diferenças entre uma imagem capturada, enquanto os marcadores de alvo ativos não estiverem ligados e as respectivas imagens capturadas enquanto um ou mais dos marcadores de alvo ativos estiverem ligados; (e) computar respectivas coordenadas de pixel médias para as áreas de diferença na imagem de diferença correspondendo a respectivos marcadores de alvo ativos; (f) para os respectivos marcadores de alvo ativos, comandar o buscador de alcance de laser para transmitir um feixe de laser na direção definida pelos respectivos ângulos de giro e inclinação, que são uma função de pelo menos os ângulos de giro e inclinação nos quais o objeto alvo foi centrado no campo de visão da imagem, e diferenças entre as respectivas coordenadas de pixel médias e coordenadas de pixel de um centro da imagem indicadora; (g) para respectivos marcadores de alvo ativos comandar o mecanismo de giro- inclinação para adquirir respectivos dados de giro e inclinação e comandar o buscador de alcance de laser para adquirir respectivos dados de alcance subsequentes à transmissão de um respectivo feixe de laser; (h) computar coordenadas dos respectivos pontos correspondentes aos marcadores de alvo ativos em um sistema de coordenadas de referência, com base nos dados medidos de alcance, giro e inclinação; e (i) comparar respectivas posições dos respectivos pontos cujas coordenadas foram computadas a partir dos dados medidos de giro, inclinação e alcance com as respectivas posições dos pontos respectivos arranjados no padrão conhecido, para determinar uma posição e orientação atuais do objeto alvo em termos do sistema de coordenadas de referência.
[0015] Outros aspectos de sistemas e métodos para rastrear a localização de um objeto alvo móvel são descritos abaixo.
BREVE DESCRIÇÃO DOS DESENHOS
[0016] Figura 1 é uma vista planar superior esquemática de alguns componentes de um dispositivo móvel equipado com codificador conhecido, cujos movimentos incrementais podem ser rastreados utilizando um processo usando cálculo de posição com base em odometria.
[0017] Figura 2 é uma vista isométrica esquemática de um sistema de posicionamento local conhecido apontado para um objeto alvo.
[0018] Figura 3 é uma vista isométrica esquemática de um sistema para rastrear e controlar o movimento de um veículo de esteira usando um sistema de posicionamento local de acordo com uma configuração.
[0019] Figura 4 é uma vista em perspectiva esquemática de um veículo de esteira que possui respectivos conjuntos de três marcadores de alvo ativos de cada lado (somente um conjunto é visível). De acordo com a modalidade exibida, os marcadores de alvo ativos são luzes de LED.
[0020] Figura 5 mostra a relação mútua das Figuras 5A e 5B, que incluem respectivas porções de um fluxograma mostrando etapas de um processo de medição de localização automatizado, de acordo com uma modalidade.
[0021] Figura 6 é um diagrama representando um resultado de processamento de imagem intermediária produzido utilizando o veículo de esteira mostrado na Figura 4, de acordo com o processo exibido na Figura 5.
[0022] Figura 7 é um diagrama em blocos mostrando uma configuração de sistema na qual um único computador executa processos múltiplos. (Alternativamente, cada processo pode ser executado em computadores ou processadores separados).
[0023] Figura 8 é uma vista isométrica esquemática de um sistema capaz de executar um processo de localização de robô para parte de acordo com uma outra configuração.
[0024] Figura 9 é um fluxograma mostrando etapas de um processo de localização de robô para parte que emprega um sistema de posicionamento local do tipo exibido na Figura 8.
[0025] Figura 10 é um diagrama referido no Apêndice e mostrando um vetor de posição AP estendendo-se a partir da origem de um sistema de coordenadas de instrumento {A}, substancialmente ao longo do eixo geométrico do ponto de objetivo do instrumento, até um ponto de interesse P e mostrando um vetor de posição BP estendendo-se a partir da origem de um sistema de coordenadas de objeto alvo {B} até o ponto de interesse P.
[0026] Figuras 11-13 são diagramas referidos ao Apêndice, onde é descrito um método ilustrativo para calcular uma matriz de calibração para transformação de sistema de coordenadas.
[0027] Figuras 14A-C são diagramas mostrando uma busca automatizada e processo de enquadramento para configurar um campo de visão de câmera apropriado (valor de zoom) para assegurar que todos os respectivos marcadores de alvo ativos estejam exatamente dentro das extensões do enquadramento de imagem da câmera LPS.
[0028] Será feita referência a seguir aos desenhos, nos quais elementos similares, em diferentes desenhos, suportam os mesmos numerais de referência.
DESCRIÇÃO DETALHADA
[0029] De acordo com os ensinamentos, um sistema para rastreamento de localização pode ser provido, o qual é capaz de medir a localização de um objeto alvo móvel em coordenadas absolutas, em seguida à conclusão de um movimento que foi rastreado incrementalmente, por exemplo, usando codificadores de posição. Se o sistema de medição de coordenada absoluta determina que a localização atual do objeto alvo momentaneamente estacionário se desvia da localização desejada de mais que uma tolerância configurável, o objeto alvo pode ser comandado para se mover na direção da localização correta. Consequentemente, o processo de medição de coordenada absoluta aqui descrito pode ser usado para corrigir erros nas medições de coordenada relativa.
[0030] Um exemplo de um sistema de medição de movimento incremental é um sistema de cálculo de posição com base em odometria. Qualquer solução de cálculo de posição com base em odometria apresentará imprecisões de medição devido a pequenos erros que se acumulam ao longo do tempo. Estes podem ser causados por erros sistemáticos no dispositivo ou perturbações causadas por variações inesperadas no ambiente. Figura 1 é uma vista planar superior esquemática de alguns componentes de um dispositivo móvel equipado com codificador, cujos movimentos incrementais podem ser rastreados utilizando um processo de cálculo de posição com base em odometria, conforme descrito no Pedido de Patente U.S. No. 13/796.584. Este dispositivo possui uma configuração dupla diferencial de quatro rodas omni, perpendiculares. Este dispositivo de rastreamento pode ser conectado ou montado em um veículo de esteira equipado com atuador (não mostrado na Figura 1). O dispositivo mostrado na Figura 1 compreende uma estrutura retangular 4 e quatro rodas omni de filas duplas 4a-4d montadas de forma rotativa a uma estrutura 4 por meio de respectivos eixos geométricos 6a-6d e mancais de eixo geométrico (não mostrados). Os respectivos codificadores 8a-8d medem a rotação das rodas omni 4a-4d. À medida que as rodas omni rolam sobre uma superfície, os codificadores 8a-8d enviam pulsos de codificador representando respectivas contagens do codificador para um centro de controle de operações, via um cabo de codificador (não mostrado na Figura 1), após cada rotação incremental de cada roda omni. Cada codificador emitirá uma contagem de codificador proporcional ao ângulo de rotação de uma respectiva roda omni. Estes pulsos de codificador serão recebidos por um sistema de computador (não mostrado na Figura 1, mas ver Figura 7) que computa as coordenadas X e Y do dispositivo.
[0031] O sistema de controle interrompe o dispositivo quando as contagens dos pulsos do codificador indicam que o dispositivo chegou à localização desejada. A localização atual do dispositivo parado pode então ser verificada para determinar a que ponto este pode se desviar da localização desejada. De acordo com os ensinamentos, correções podem ser feitas às medições de movimento relativo adquirindo medições precisas, absolutas a taxas de atualização mais baixas. Este processo de medição absoluta (executado enquanto objeto alvo está parado) pode ser integrado em um sistema de medição de movimento relativo executado a taxas de atualização mais altas, que adquirem medições de movimento relativo enquanto o objeto alvo está se movendo. De acordo com uma modalidade descrita a seguir, o processo de taxa de atualização mais baixa com base em LPS provê correções a um sistema de odometria de taxa de atualização mais alta.
[0032] O método de rastreamento aqui descrito incorpora luzes ativas sobre o objeto alvo e processamento de imagem para computar a posição e orientação do objeto alvo. Este utiliza o sistema de posicionamento local (LPS) do tipo exibido na Figura 2, cujo sistema possui uma única câmera e um medidor de alcance de laser em uma unidade de giro-inclinação controlável. A operação LPS e o processo de calibração são descritos na Patente U.S. No. 7.859.655.
[0033] Mais especificamente, o sistema de posicionamento local exibido na Figura 2 compreende uma câmera de vídeo 40 que pode apresentar capacidades de zoom automatizadas (controladas remotamente). A câmera de vídeo 40 pode incluir adicionalmente um gerador de mira integral para facilitar a localização precisa de um ponto dentro de um visor de campo de imagem óptica da câmera de vídeo. A câmera de vídeo 40 é suportada sobre um mecanismo de giro-inclinação 42. A câmera de vídeo 40 e o mecanismo de giro-inclinação 42 podem ser operados por um computador 48. O computador 48 se comunica com a câmera de vídeo 40 e com o mecanismo de giro-inclinação 42, através de um cabo de vídeo/controle 46. Alternativamente, o computador 48 pode se comunicar com a câmera de vídeo 40 e o mecanismo de giro-inclinação 42 através de um caminho de comunicação sem fio (não mostrado). Os ângulos de giro e inclinação do mecanismo de giro-inclinação 42 e, portanto, a orientação da câmera de vídeo 40 podem ser controlados usando o teclado do computador 48 ou outro dispositivo de entrada. O campo de imagem óptica, com sobreposição de mira, conforme visualizado pela câmera de vídeo 40, pode ser exibido no monitor do computador 48.
[0034] O mecanismo de giro-inclinação 42 é controlado para ajustar posicionalmente a câmera de vídeo 40 para selecionar ângulos em torno de um eixo geométrico vertical, de azimute (pan) e um eixo geométrico de elevação horizontal (inclinação). Um vetor de direção 12, que descreve a orientação da câmera em relação ao sistema de coordenada fixa do tripé 44 (ou outra plataforma na qual a unidade de giro-inclinação está fixada), é determinado a partir dos ângulos de giro e inclinação, bem como a posição do centro do marcador da mira no campo óptico, quando a câmera é apontada em um ponto de interesse. Este vetor de direção 12 pode ser exibido como uma linha estendendo-se a partir da lente da câmera de vídeo 40 e interceptando uma localização sobre um objeto alvo 30.
[0035] Um medidor de alcance de laser pode ser incorporado dentro do alojamento da câmera de vídeo 40 ou montado no exterior da câmera de vídeo 40, de tal modo que transmita um feixe de luz ao longo da direção do vetor de direção 12. O medidor de alcance de laser é configurado para apresentar um laser e uma unidade configurada para computar distâncias baseadas na luz de laser detectadas em resposta a um feixe de laser refletido pelo objeto alvo 30.
[0036] O sistema de posicionamento local mostrado na Figura 2 compreende adicionalmente software de localização tridimensional que é carregado no computador 48. Por exemplo, o software de localização tridimensional pode ser de um tipo que utiliza pontos de calibração múltiplos 14 sobre o objeto alvo 30 para definir a localização (posição e orientação) da câmera de vídeo 40 relativa ao objeto alvo 30. Os pontos de calibração múltiplos 14 podem ser características visíveis da posição conhecida do sistema de coordenada local do objeto alvo 30, conforme determinado a partir de uma base de dados tridimensional de posições características (por exemplo, um modelo CAD) ou outra técnica de medição. Durante o processo de calibração LPS, dados X, Y, Z para pelo menos três pontos não colineares são extraídos do modelo CAD. Tipicamente, são selecionados pontos de calibração que correspondem a características que podem ser facilmente localizadas sobre o objeto alvo. O software de localização tridimensional utiliza os dados X, Y, Z dos pontos de calibração múltiplos 14 e os dados de giro e inclinação a partir do mecanismo de giro-inclinação 42, para definir a posição relativa e orientação da câmera de vídeo 40 em relação ao sistema de coordenada local do objeto alvo 30. As distâncias medidas para os pontos de calibração múltiplos 14 podem ser usadas em coordenação com os ângulos de giro e inclinação a partir do mecanismo de giro-inclinação 42, para resolver quanto à posição e orientação da câmera relativa ao objeto alvo 30. Um método para gerar um instrumento para matriz de transformação de calibração de alvo (algumas vezes referido como postura da câmera) é descrito na Patente U.S. No. 7.859.655. Utilizando os dados conhecidos e medidos, o processo de calibração (estabelecido em mais detalhe no Apêndice) computa a matriz de transformação homogênea 4 x 4 que define a posição e orientação da câmera em relação ao objeto alvo.
[0037] Uma vez que a posição e orientação da câmera de vídeo 40 em relação ao objeto alvo 30 tenha sido determinado e um matriz de transformação de postura de câmera tenha sido gerada, dados de giro de câmera (ângulo de rotação da câmera de vídeo 40 em relação ao eixo geométrico de azimute) e dados de inclinação (ângulo de rotação da câmera de vídeo 40 em torno do eixo geométrico de elevação) podem ser usados em conjunto com a posição e orientação calculadas da câmera de vídeo 40, para determinar as coordenadas X, Y e Z, de qualquer ponto de interesse no objeto alvo 30 no sistema de coordenadas do objeto alvo.
[0038] Os processos de rastreamento de localização e movimento precedentes podem ser estendidos e aplicados de uma maneira análoga para determinar as coordenadas X, Y e Z de qualquer ponto de interesse sobre um objeto alvo em um sistema de coordenada absoluta (referência). Por exemplo, um sistema de posicionamento local pode ser usado para rastrear o movimento de um veículo de esteira 10 que está se movendo sobre uma asa 50 de uma aeronave, no sistema de coordenada de referência da aeronave, conforme exibido na Figura 3. Mais especificamente, o sistema de posicionamento local pode rastrear a localização da origem do sistema de coordenada do veículo de esteira no sistema de coordenada de referência da aeronave. Os valores de X, Y e Z na matriz de transformação anteriormente mencionada são computados com base na diferença de posição da origem do sistema de coordenadas do veículo de esteira a partir de uma posição inicial para uma posição atual. A origem pode ser definida em qualquer lugar no veículo de esteira (ou outro objeto alvo). Na Figura 3, a origem do sistema de coordenadas do veículo de esteira é mostrada no ponto P1.
[0039] Em adição ao software de controle LPS, o computador 48 é programado com software de processamento de imagem capaz de detectar diferenças entre conjuntos de imagem adquiridos pela câmera de vídeo 40. Nos casos em que o controle de movimento é combinado com rastreamento de movimento, o computador 48 é adicionalmente programado com software de controle de movimento de rastreador e se comunica com processadores a bordo do veículo de esteira 10, via um cabo elétrico 38. Na alternativa, o software de controle LPS, software de processamento de imagem e software de controle do veículo de esteira podem rodar em computadores ou processadores separados que se comunicam através de uma rede ou barramento.
[0040] O processo de medição absoluta automatizado funciona capturando uma sequência de imagens com luzes ativas (referidas a seguir como "marcadores de alvo ativos"), por exemplo, diodos emissores de luz (LEDs) controlados por computador fixados à superfície do objeto alvo que está momentaneamente estacionário. No exemplo mostrado na Figura 3, as posições de três marcadores de alvo ativos são indicadas pelos pontos P1, P2 e P3.
[0041] Figura 4 é uma vista em perspectiva de um veículo de esteira de movimento holonômico 52 que possui quatro rodas Mecanum 54 (apenas duas são visíveis), quatro rodas omni 55 (apenas uma está visível na Figura 4), duas zonas de sucção sob o veículo (não mostradas) e respectivos conjuntos de três luzes de LED 56a-c de cada lado (somente um conjunto é visível na Figura 4). (Detalhes concernentes à estrutura e função de um veículo de esteira de movimento holonômico do tipo exibido na Figura 4 são descritos no Pedido de Patente U.S. No. 13/210.899. De acordo com a modalidade exibida na Figura 4, as luzes de LED 56a-c são arranjadas em um padrão assimétrico na cobertura do veículo de esteira. Cada luz de LED possui um bulbo geralmente hemisférico que se projeta acima da cobertura 58 do veículo de esteira 52.
[0042] O processo de medição absoluta é implementado adquirindo uma imagem com as luzes de LED 56a-c desligadas e então ligando as luzes e adquirindo outra imagem (ou vice-versa). Duas variações do processo foram desenvolvidas: uma na qual as luzes são ligadas ao mesmo tempo e outra na qual as luzes são ligadas em uma sequência específica. O primeiro meio é ligeiramente mais rápido. Este emprega um padrão de luz sobre a superfície do objeto alvo que é assimétrico. O segundo método é mais robusto ao diferenciar entre as luzes e não requer que o padrão de luz seja assimétrico.
[0043] O sistema de medição absoluta produz dados de posição e orientação a intervalos de tempo finitos. O intervalo de tempo entre medições sucessivas depende da distância que os motores de giro-inclinação têm para se mover entre pontos alvo, a taxa de atualização do medidor de alcance de laser, e velocidade do processamento de imagem. A duração do ciclo de medição pode ser melhorada usando processamento de imagem mais rápida e um medidor de alcance de laser mais rápido. O sistema pode ser usado para rastrear as localizações de objetos alvo múltiplos, porém quanto mais objetos são rastreados, maior é o tempo entre atualizações para cada objeto alvo.
[0044] Antes do processo de medição absoluta começar, a câmera pode ser testada para determinar a correção de distorção apropriada para compensar quanto a deformação na imagem devido a óptica diferindo de uma câmera ideal estenopeica. Também o sistema de posicionamento local terá sido calibrado para o sistema de coordenada de referência desejado (tais como coordenadas de aeronave). Isto provê a postura da câmera relativa ao objeto alvo e é representado como uma matriz de transformação homogênea 4 x 4.
[0045] Os elementos principais de um processo de medição absoluta automatizada de acordo com uma modalidade, são mostrados nas Figuras 5A e 5B. Referindo-se à Figura 5A, o primeiro sistema de posicionamento local é calibrado para o sistema de coordenadas de referência desejado (por exemplo, um sistema de coordenada de aeronave) (etapa 100) usando a metodologia descrita previamente. Então, o objeto alvo (por exemplo, um veículo de esteira) é movido na direção de uma localização desejada e parado quando um sistema de medição de movimento incremental indica que a localização atual está suficientemente próxima da localização desejada (etapa 102). Para aquela localização atual, o sistema de posicionamento local determinará a posição e orientação do veículo de esteira no sistema de coordenadas de referência. Na etapa 104, o vetor de direção do sistema de posicionamento local é alterado (usando os eixos geométricos de giro e inclinação) para assegurar que todos os alvos ativos estejam dentro do campo de visão. Mais especificamente, os ângulos LPS de giro e inclinação são ajustados para centrar a câmera no objeto alvo, de tal modo que os três marcadores de alvo ativos (montados em um padrão sobre o objeto alvo) estejam dentro do campo de visão da imagem. Para a finalidade de ilustração, a seguinte descrição adicional do processo de medição suporá que os marcadores de alvo ativos sejam luzes (por exemplo, LEDs).
[0046] Com todos os marcadores de alvo ativos no campo de visão da imagem, o processo de adquirir dados de imagem é iniciado. Este processo envolve ativação de luz e captura de imagem. Na etapa 106, uma imagem de referência é capturada, enquanto as luzes estão desligadas e os ângulos atuais de giro e inclinação são armazenados. Nas etapas 108, as luzes são ligadas e uma ou mais imagens indicadoras são capturadas (usando os mesmos ângulos de giro e inclinação que foram usados na etapa 106). Alternativamente, a imagem de referência pode ser capturada enquanto as luzes estão ligadas e as imagem indicadoras podem ser capturas enquanto as luzes estão desligadas. A imagem indicadora (ou imagens) pode ser capturada usando qualquer das duas técnicas. De acordo com uma técnica, as luzes são cicladas uma de cada vez e imagens separadas do objeto alvo são capturadas para cada estado (isto é, se três luzes são utilizadas, haverá três estados separados do objeto alvo e três imagens separadas). De acordo com uma outra técnica, o objeto alvo é equipado com um conjunto de luzes que são arranjadas em um padrão assimétrico e uma única imagem é capturada, enquanto todas as luzes no conjunto são ligadas.
[0047] Referindo-se ainda à Figura 5A, as coordenadas de pixel de cada luz relativa à imagem indicadora são computadas (etapas 110) processando os dados de imagem adquiridos. Primeiramente, correção de função de distorção é aplicada a cada imagem (usando informação sobre a óptica). Em segundo lugar, computar uma imagem de diferença representando as diferenças entre a imagem de referência e a imagem ou imagem(ns) indicadora(s). Em terceiro lugar, a imagem de referência é segmentada em áreas separadas, que podem incluir filtragem utilizando tamanho, cor, forma ou outros parâmetros. Segmentação de imagem significa definir um grupo de pixels com uma característica específica. De acordo com uma implementação, pixels de uma cor e intensidade específicas que estão próximos um do outro (regiões contíguas) são encontrados. A imagem de diferença também apresentará alguns pequenos artefatos (tais como linhas de contorno de borda sutis) que serão filtradas. Isto pode ser feito usando um filtro de borrão e um filtro de limite de intensidade. Os resultados da segmentação são mostrados na imagem segmentada 94, exibida esquematicamente na Figura 6. Os três círculos representam regiões segmentadas 98a-c que correspondem às luzes de LED 56a-c no veículo de esteira de movimento holonômico 52 exibido na Figura 4. (Para simplicidade, as regiões segmentadas na Figura 6 são mostradas como círculos, mas na prática, algumas ou todas as regiões segmentadas na imagem não serão círculos perfeitos, uma vez que o vetor de direção da câmera estará raramente alinhado perfeitamente com o eixo geométrico de simetria das luzes). Depois de imagem ter sido segmentada, o computador calcula o centroide para cada região segmentada 98a-c. O centroide é a coordenada de pixel X mínima e a coordenada de pixel Y mínima para aquela região. Estes pares de coordenadas X-Y são usados para computar as diferenças a partir do par de coordenadas X-Y para o centro da imagem.
[0048] Referindo-se novamente à Figura 5A, uma vez que as coordenadas de pixel médias para cada região segmentada foram calculadas, são computados os respectivos ângulos de giro e inclinação para localização de posição de centroide para cada segmento na imagem (etapa 112). Estes são os ângulos de giro e inclinação do mecanismo de giro-inclinação que serão usados para orientar (direcionar) o buscador de alcance de laser do sistema de posicionamento local em cada marcador de alvo ativo no objeto alvo. Os ângulos de giro-inclinação LPS para o centro da imagem já são conhecidos, juntamente com a distância do objeto alvo (da etapa 104). O método para guiar o sistema de posicionamento local para apontar para cada um dos marcadores de alvo ativos (isto é, os LEDs) utiliza os desvios de pixel para cada um dos centroides a partir do centro da imagem, do ângulo do campo de visão atual da câmera e da distância para o alvo no centro da imagem, para computar os ângulos de desvio de giro e desvio de inclinação, que são alimentados ao sistema de posicionamento local pelo computador. O computador instrui o sistema de posicionamento local para executar medição LPS automatizada das localizações correspondentes aos centroides das regiões segmentadas, usando os ângulos de desvio de giro e desvio de inclinação. Isto significa que o buscador de alcance de laser é apontado para cada marcador de alvo ativo por sua vez e os dados de alcance, giro e inclinação para cada marcador de alvo ativo são medidos (etapa 114).
[0049] Referindo-se agora à Figura 5B, com base nos dados de alcance, giro e inclinação medidos, as coordenadas Cartesianas dos marcadores de alvo ativos (na estrutura de coordenada de referência) são computadas (etapa 116). Então, as distâncias relativas entre as coordenadas dos centros dos marcadores de alvo ativos são computadas e suas relações são comparadas com relações correspondentes do padrão conhecido, para determinar um respectivo número de índice para cada ponto (etapas 118). Se imagens separadas foram adquiridas enquanto as luzes foram ligadas em sequência, os segmentos de imagem são numerados usando a ordem de imagem. Alternativamente, se uma única imagem foi adquirida enquanto todas as luzes estavam simultaneamente ligadas, os vetores de distância entre os pontos medidos são computados usando as coordenadas Cartesianas para cada ponto medido, e comparados com os pontos no padrão conhecido de posições de luz sobre o objeto alvo.
[0050] Antes da etapa de indexação, o sistema de posicionamento local mediu os três pontos conhecidos no objeto alvo e os converteu em coordenadas Cartesianas (X, Y, Z) definidas no sistema de coordenada de referência. Para usar estes pontos para comparação com suas posições de referência, cada um dos pontos medidos precisa ser associado ao ponto de referência associado para o padrão. Porém a ordem na qual os pontos foram medidos pode ser diferente de uma vez para a próxima, dependendo da orientação do rastreador relativa à câmera LPS. Para equacionar esta incompatibilidade de correspondência potencial, os pontos medidos serão reordenados para coincidir a sequência dos pontos de referência. Isto será feito comparando a relação das distâncias relativas (comprimento do vetor) dos pontos medidos para a relação das distâncias relativas dos pontos de referência. Os pontos medidos serão então reordenados (isto é, índices de arranjo modificados) para coincidir com a ordem do ponto de referência.
[0051] Uma vez que a re-indexação tenha sido completada, uma matriz de transformação homogênea 4 x 4 descrevendo a posição e orientação atuais do objeto alvo é computada com base na diferença entre o padrão de ponto inicial conhecido e o padrão de ponto medido (etapa 120). Este processo é descrito em detalhe no Apêndice.
[0052] Referindo-se ainda à Figura 5B, a matriz de transformação computada na etapa 120 é aplicada para converter a localização computada nas coordenadas de controle do robô (etapa 122). A matriz de transformação computada na etapa 120 é definida em termos do sistema de coordenadas de referência, porém o caminho de movimento para o veículo de esteira pode ser definido em termos de um ponto de partida inicial que não é o mesmo que a origem do sistema de coordenadas de referência. Se este é o caso, então o inverso da matriz de transformação descrevendo a localização inicial relativa ao sistema de coordenadas de referência, pré-multiplica a transformação computada na etapa 120, o que define a localização atual do objeto alvo em relação ao sistema de coordenadas de referência. O resultado é uma transformação descrevendo a localização atual relativa à localização inicial. Este cálculo é mostrado na seguinte equação: onde T representa uma matriz de transformação homogênea 4 x 4; e os subscritos/sobrescritos R, I e C representam as localizações de referência, inicial e atuais, respectivamente.
[0053] Os dados representando a posição e orientação atuais do objeto alvo são então enviados para visualização ou outros processos que podem usar os dados (etapa 124).
[0054] O fluxograma apresentado nas Figuras 5A e 5B descreve o método acima para o caso em que as luzes estão em um padrão assimétrico sobre o objeto alvo e sal ativadas simultaneamente para a imagem indicadora.
[0055] Na etapa 104 da Figura 5A, o processo para modificar o vetor de direção do sistema de posicionamento local para apontar para a câmera no objeto alvo, envolve determinar os ângulos de giro e inclinação do mecanismo de giro-inclinação LPS e ajustar um campo de visão da câmera apropriado (valor de zoom) para assegurar que todos os marcadores estão somente dentro da extensão do quadro de imagem. Isto pode ser efetuado manualmente, um operador ajustando os controles de giro, inclinação e zoom para enquadrar as luzes indicadoras dentro do campo de visão da câmera LPS. Alternativamente, uma busca e processo de enquadramento automatizados podem ser realizados pelo sistema para tirar as etapas executadas manualmente da malha. Este processo automatizado é mostrado nas Figuras 14A-C e descrito a seguir. Conforme visto na Figura 14A, o processo começa configurando um campo amplo de ângulo de visão (s1) e capturar uma imagem com as luzes indicadoras do padrão de marcador desligadas e outra com as luzes indicadoras ligadas. Uma imagem de diferença é computada para determinar se as luzes indicadoras estão dentro do campo de visão atual da câmera, se as luzes indicadoras não são encontradas, a direção de objetivo LPS é modificada usando o mecanismo de giro-inclinação (não mostrado) para girar a câmera de vídeo 40 para visualizar uma outra região no espaço de trabalho, onde a nova região de campo de visão pode parcialmente superpor a região de campo de visão prévia (mostrada na Figura 14B), após o que as duas imagens do ambiente são capturadas enquanto as luzes indicadoras são cicladas, conforme anteriormente. Este processo de busca envolvendo rotação na direção de alvo e ciclagem das luzes indicadoras continua até que o padrão de marcador seja localizado no ambiente. A etapa final (mostrada na Figura 14C) é centrar a direção do alvo entre a extensão das luzes e então estreitar o campo de visão da câmera (s2) para enquadrar todas as luzes.
[0056] Se o movimento do objeto alvo é controlável por um computador, então as seguintes etapas adicionais podem ser realizadas: (1) computar o movimento de correção requerido, relativo à localização atual do objeto alvo; (2) enviar os dados representando a modificação de localização desejadas para o processador ou processadores a bordo que controlam o movimento do objeto alvo; (3) rastrear os movimentos incrementais do objeto alvo à medida que este se move na direção da localização corrigida; e (4) após o sistema de medição de movimento incremental indicar que o objeto alvo chegou à localização corrigida, o objeto alvo é parado e então o processo de medição absoluta pode ser executado novamente, para confirmar que a nova localização atual e a localização corrigida do objeto alvo estão dentro de uma tolerância configurável.
[0057] Figura 7 é um diagrama em blocos mostrando uma configuração de sistema na qual um único computador 48 executa processos múltiplos. (Alternativamente, cada processo pode ser executado em computadores ou processadores separados). O único computador 48 é programado com software de controle LPS que, quando executado, habilita o computador a atuar como um controlador LPS 26; software de processamento de imagem 28; e software de controle de rastreador que, quando executado, habilita o computador a atuar como um controlador de rastreador 32. O operador de sistema pode interfacear com o computador 48 por meio de um teclado do computador ou outro hardware de interface de usuário 36 (por exemplo, um controlador de jogos).
[0058] O controlador LPS 26 controla a operação do hardware LPS 22, incluindo um buscador de alcance de laser, uma câmera de vídeo e um mecanismo de giro-inclinação. A seta tracejada na Figura 7 representa a luz sendo gerada pelos marcadores de alvo ativos no veículo de esteira e visualizadas pela câmera de vídeo (durante a etapa de aquisição de imagem), bem como a reflexão do feixe de laser fora dos alvos para o buscador de alcance de laser do hardware LPS 22 durante o processo de medição.
[0059] O software de processamento de imagem 28 executa as operações envolvidas no desempenho das etapas 110 mostradas na Figura 5A, isto é, correção de função de distorção, diferenciação de imagem, segmentação de imagem e cálculo das coordenadas de pixel do centroide de cada segmento de imagem. O sistema compreende adicionalmente um monitor de visualização 34 para exibir imagens adquiridas.
[0060] O controlador de rastreador 32 controla a operação do veículo de esteira 10, incluindo ativação de luzes indicadoras, controle de motores de passo que controlam a rotação de um conjunto de rodas Mecanum e controle de dispositivos de sucção. O veículo de esteira pode que compreende adicionalmente um conjunto de rodas omni e um conjunto correspondente de codificadores de rotação de roda, conforme previamente descrito com referência à Figura 1. Pulsos de codificador representando contagem de codificador são enviados a partir dos codificadores de rotação de roda para um dispositivo de aquisição de dados 18 de um sistema de eletrônica de rastreador 16, através de um cabo elétrico. O veículo de esteira 10 recebe potência elétrica a partir de fontes de alimentação 20 do sistema de eletrônica de rastreador 16, através do mesmo cabo elétrico.
[0061] Embora o veículo de esteira 10 esteja se movendo, o dispositivo de aquisição de dados 18 recebe as contagens do codificador e as converte em sinais apresentando um formato aceitável para o computador 48. Com base nos dados de contagem do codificador, o controlador de rastreador 32 computa o ângulo absoluto s e modificações nas posições relativas FPx e FPy do veículo de esteira 10 em cada etapa de atualização e então usa o ângulo absoluto e variações na posição relativa para computar a posição absoluta Tx e Ty de um ponto no veículo de esteira. Então, usando s, FPx e FPy a posição absoluta pode ser computada usando uma matriz de rotação, conforme descrito no Pedido de Patente U.S. No. 13/796.584.
[0062] Se o controlador de rastreador 32 determina que as contagens do codificador indicam que o veículo de esteira 10 chegou na localização alvo, o controlador de rastreador 32 comanda o veículo de esteira 10 para parar (etapa 102 na Figura 5A). Então, o controlador LPS 26 comanda o hardware LPS 22 para ajustar os ângulos de giro e inclinação para apontar a câmera de vídeo sobre o objeto alvo (etapa 104 na Figura 5A) e então captura a imagem de referência (etapas 106 na Figura 5A). O controlador de rastreador 32 então ativa as luzes a bordo do veículo de esteira 10, em seguida o controlador LPS 26 comanda o hardware LPS 22 para capturar a imagem indicadora (etapas 108 na Figura 5A). O computador então executa uma rotina de processamento de imagem que computa as coordenadas de pixel das luzes na imagem indicadora (etapa 110 na Figura 5A). O controlador LPS 26 então computa os respectivos ângulos de giro e inclinação para cada localização de posição do centroide de cada segmento na imagem (etapa 112 na Figura 5A), adquire os dados de alcance, giro e inclinação para cada marcador de alvo ativo (etapa 114 na Figura 5A), e computa coordenadas Cartesianas para cada ponto medido (etapa 116 na Figura 5B). As rotinas para realizar as etapas 118, 120 e 122 mostradas na Figura 5B podem fazer parte do software de controle LPS, software de processamento de imagem ou um módulo de software separado.
[0063] O apontamento inicial da câmera de vídeo LPS para o objeto alvo pode ser realizado usando informação sobre a localização estimada do veículo de esteira, provida pelo processo de localização envolvendo os dados de codificador de roda incremental. Esta direção apontada somente precisa ser aproximada, uma vez que o processamento de imagem e medição determinará a localização real. Se a localização estimada inicial não provê uma visão da câmera que inclui o conjunto inteiro de marcadores de alvo ativos, podem ser feitos ajustes no campo de visão da câmera (por exemplo, ampliando o nível de zoom) juntamente com uma re-centragem da vista, de tal modo que todos os marcadores de alvo ativos estão visíveis, similarmente ao processo de centragem e enquadramento descrito acima com referência às Figuras 14A-C.
[0064] As técnicas descritas acima podem também ser usadas para determinar a posição e orientação de um braço robótico em relação a uma peça de trabalho (a seguir "parte"). Conforme mostrado na Figura 8, o sistema de posicionamento local pode ser usado para determinar o desvio relativo entre uma parte 90 e a base 84 de um braço robótico 86 que pode carregar uma extremidade atuadora 88 em uma extremidade distal deste. O controlador de robô 80 controla o braço robótico 86 e opera a extremidade atuadora 88 para executar operações de usinagem sobre a parte 90.
[0065] A sequência básica do processo é conforme segue: (1) O sistema de posicionamento local calibra o sistema de coordenadas da parte 90, medindo três pontos conhecidos 92a-c na parte. (2) O sistema de posicionamento local mede três pontos conhecidos 94a-c sobre a base do robô 84. (3) O software de controle LPS executado no computador 48 computa a localização da base do robô 84 relativa ao sistema de coordenadas da parte 90. (4) O computador 48 envia os dados de localização a um controlador de robô 80.
[0066] O software chave elétrica controle LPS no computador 48 emite os dados de pontos como valores X, Y e Z, mas aplicações de controle necessitam mais do que somente pontos de dados X, Y e Z para prover a posição e orientação da parte. Para resolver o problema de posição e orientação, os dados de X, Y e Z a partir de três pontos medidos 92a-c e as dimensões conhecidas destes pontos são usados para computar a representação de posição e orientação plena de 6 graus de liberdade. Isto é o que o software de localização previamente descrito faz. O formato da posição e orientação que o software de localização utiliza é uma matriz de transformação 4 x 4, porém há outros meios de representar os dados.
[0067] A metodologia de localização descrita acima também tem aplicação para sistemas robóticos diferentes de veículos de esteira. Aplicações robóticas comerciais usadas para tarefas de produção tem um meio para definir a localização do robô e outras partes em relação à origem da célula de trabalho. Isto incluirá ambas definições de desvio de posição e orientação. Há muitos modos equivalentes para definir esta informação de desvio, tais como matrizes de transformação 4 x 4, quatérnios + translação, eixo geométrico de ângulo + translação ou ângulos de Euler + translação. O processo de localização descrito acima pode ser modificado para que a saída em qualquer formato seja aceitável para o controlador de robô 80.
[0068] Uma conexão de soquete pode ser usada para transferir os dados do computador 48 para o controlador de robô 80, porém, para aplicações comercialmente disponíveis, um arquivo pode funcionar igualmente bem. Alguns controladores podem apresentar um API que aceita dados de entrada através de um soquete; outros controladores podem somente permitir que dados de desvio sejam lidos a partir de um arquivo. Consequentemente, de acordo com algumas modalidades, uma abordagem de compartilhamento de arquivo pode ser usada.
[0069] Um procedimento exemplificador usando medição de ponto manual (exibido na Figura 9) é conforme segue: (1) adquirir e armazenar três pontos de referência visíveis 92a-c na parte 90 (etapa 60) e os três pontos de referência visíveis 94a-c na base do robô 84 (etapa 68) (etapas 60 e 68 são realizadas uma vez para cada conjunto de pontos de referência); (2) usar o sistema de posicionamento local para obter medições dos três pontos de referência 92a-c na parte 90 (etapa 62), quando a parte está na localização desejada (isto é equivalente a uma calibração LPS padrão); (3) usar o sistema de posicionamento local para obter medições dos três pontos de referência 94a-c na base do robô 84 (etapa 70) quando a base do robô está na localização desejada; (4) usar o processo de localização 64 para computar o desvio de posição e orientação da parte 90 em relação à base do robô 84; e (5) enviar os dados de desvio de posição e orientação para o controlador de robô 80 (etapa 66).
[0070] Um procedimento exemplificador para medição de ponto automatizada é conforme segue: (1) adquirir e armazenar os três pontos de referência visíveis 92a-c na parte 90 e os três pontos de referência visíveis 94a-c na base do robô 84 (isto é feito uma vez para qualquer conjunto de pontos de referência), os pontos de referência visíveis sendo definidos por localizações de LED; (2) usar o sistema de posicionamento local para obter uma imagem do padrão de LED na parte 90, com os LEDs ligados e uma outra com os LEDs desligados; (3) usar o sistema de posicionamento local para medir automaticamente os pontos na parte 90 e comparar os pontos medidos com os pontos conhecidos; (4) usar o sistema de posicionamento local para obter uma imagem do padrão de LED na base do robô 84 com os LEDs ligados e uma outra com os LEDs desligados; (5) usar o sistema de posicionamento local para medir automaticamente os pontos na base do robô 84 e comparar os pontos medidos com os pontos conhecidos; (6) usar o processo de localização para computar o desvio de posição e orientação da parte 90 em relação à base do robô 84; e (7) enviar os dados de desvio de posição e orientação para o controlador de robô 80.
[0071] A metodologia precedente pode ser usada no início de cada sequência de trabalho, para estabelecer as posições relativas da base de um braço robótico e uma peça de trabalho. O controlador do robô será capaz de computar a posição e orientação da extremidade atuadora em relação à base do robô (utilizando outros sensores e dados cinemáticos). Se o sistema de coordenadas de referência for o sistema de coordenadas da peça de trabalho, então o sistema mostrado na Figura 8 pode determinar a posição da base do braço robótico (e da extremidade atuadora) nos sistemas de coordenadas da peça de trabalho. Inversamente, se o sistema de coordenadas de referência for o sistema de coordenadas da base do robô, então o sistema pode determinar a posição da peça de trabalho no sistema de coordenadas da base do robô.
[0072] Em resumo, o sistema para rastreamento de localização descrito acima usa uma única câmera, pode ser integrado com rastreamento com base em odometria e é capaz de rastrear objetos múltiplos (de uma maneira sequencial, se as sequências de medição são deslocadas em fase). Quando integrado com odometria baseada em codificador, o sistema é tolerante a oclusão intermitente. Também, o sistema não é afetado por campos magnéticos ou materiais ferrosos.
[0073] Embora uma metodologia de rastreamento de localização tenha sido descrita com referência a várias modalidades, será entendido por aqueles especialistas na técnica que várias modificações podem ser feitas e equivalentes podem ser substituídos por elementos destas, sem se afastar do escopo dos ensinamentos. Em adição, muitas modificações podem ser feitas para adaptar os ensinamentos a uma situação particular, sem se afastar do escopo desta. Portanto, é pretendido que as reivindicações não sejam limitadas às modalidades particulares aqui descritas.
[0074] Conforme usado nas reivindicações, o termo "sistema de computador" poderia ser interpretado amplamente para abranger um sistema possuindo pelo menos um computador ou processador, e que pode apresentar com múltiplos computadores ou processadores que se comunicam através de uma rede ou barramento. Conforme usado na sequência precedente, os termos "computador" e "processador" ambos se referem a dispositivos compreendendo uma unidade de processamento (por exemplo, uma unidade de processador central) e alguma forma de memória (isto é, meio legível por computador) para armazenar um programa que é legível pela unidade de processamento.
[0075] Conforme usado aqui, o termo "localização" compreende posição e um sistema de coordenadas tridimensional fixo e orientação relativa ao sistema de coordenadas; e o termo "marcador de alvo ativo" significa um marcador de alvo ativável (isto é, um "marcador de alvo ativo" pode ser comutado entre estados ativo e inativo).
[0076] As reivindicações do método estabelecidas a seguir não deveriam ser interpretadas como requerendo que as etapas aqui enumeradas sejam realizadas em ordem alfabética (ordenação alfabética nas reivindicações é usada somente para a finalidade de referenciar etapas enumeradas previamente) ou na ordem na qual estas são enumeradas. Nem deveriam ser interpretadas como excluindo quaisquer porções de duas ou mais etapas sendo realizadas simultaneamente ou alternadamente. ANEXO
[0077] Figura 10 mostra um vetor de posição AP estendendo-se da origem do sistema de coordenadas do instrumento {A}, substancialmente ao longo do eixo geométrico do ponto de apontamento do instrumento, até um ponto de interesse P e mostrando um vetor de posição BP estendendo-se da origem de um sistema de coordenadas de objeto alvo {B} até o ponto de interesse P.
[0078] Referindo-se à Figura 10, quando as coordenadas de um ponto P no sistema de coordenadas do instrumento 622 são coordenadas esféricas de giro (isto é, o ângulo de giro 634 na Figura 10 de um vetor AP até o ponto P), inclinação (o ângulo de inclinação 636 na Figura 10 de um vetor AP até o ponto P), e alcance (a distância ao longo do vetor AP até o ponto P na Figura 10), a posição do ponto P representada como coordenadas esféricas no sistema de coordenadas do instrumento 622 é relacionada à posição do ponto P em coordenadas Cartesianas X, Y, Z no sistema de coordenadas do instrumento 622 a partir das equações seguintes para a cinemática direta do instrumento 618: X = Alcance*cos(giro)*cos(inclinação) Y = Alcance*sen(giro)*cos(inclinação) Z = Alcance*sen(inclinação) onde giro (azimute) é a rotação em relação ao eixo geométrico Z e inclinação (elevação) é a rotação em relação ao eixo geométrico Y no sistema de coordenadas do instrumento 622.
[0079] É notado que a posição do ponto P representada como coordenadas Cartesianas (X, Y, Z) no sistema de coordenadas do instrumento 622 é relacionada à posição do ponto P representada como coordenadas esféricas (giro, inclinação, alcance) no sistema de coordenadas do instrumento 622 a partir das seguintes equações para cinemática inversa do instrumento 618:
Figure img0001
[0080] Em uma implementação, uma posição BP (que é representada como um vetor coluna na forma [x, Y, Z, 1]T) no sistema de coordenadas do objeto alvo 616 é calculada a partir de uma posição AP (também um vetor coluna na forma [x, Y, Z, 1]T), no sistema de coordenadas do instrumento 622 a partir da equação:
Figure img0002
onde T é a matriz de calibração. Em um exemplo, a matriz de calibração é uma matriz de transformação homogênea 4 x 4 apresentando a forma:
Figure img0003
[0081] É notado que uma posição AP no sistema de coordenadas do instrumento 622 pode ser calculada a partir de uma posição BP no sistema de coordenadas do objeto alvo 616, usando a matriz de calibração inversa a partir da equação:
Figure img0004
[0082] A matriz de transformação AT é computada conforme segue. Para situações em que a direção e comprimento dos vetores para os pontos de calibração são conhecidos, o número mínimo de pontos de calibração é três, supondo que estes sejam não colineares. A técnica de três pontos básica é conforme segue:
Figure img0005
onde, referindo-se às Figuras ii a i3: vAi2 é o vetor no sistema de coordenadas A que se estende do ponto PAi até o pE onto PA2; vAi3 é o vetor no sistema de coordenadas A que se estende do ponto PAi até o ponto PA3; vBi2 é o vetor no sistema de coordenadas A que se estende do ponto PBi até o pEonto PB2; vBi3 é o vetor no sistema de coordenadas A que se estende do ponto PB1 até o ponto PB3; nA e nB são as normais criadas a partir dos produtos cruzados de vetor; E k 1 e k2 são eixos geométricos de rotação; 1 e 2 são ângulos de rotação em relação aos eixos geométricos s1 e s2 , respectivamente; R1, R2 e R12 são matrizes de rotação simétricas 3 x 3; e f1( ) é a função (conhecida daqueles especialistas na técnica e descrita, por exemplo, em "Introduction to Robotics: Mechanics and Control", 3a edição, por John J. Craig e publicada em julho de 2004 por Prentice Hall Professional Technical Reference) que gera uma matriz de rotação 3 x 3 a partir das definição ângulo-eixo geométrico descrita abaixo:
Figure img0006
onde cS = cos(S), 5S = sen(S), pS = 1 - cos(S), e ic ? , ky, kz
[0083] Os valores X, Y e Z na matriz de transformação da Equação (2) são computados com base na diferença na posição da origem do sistema de coordenadas de objeto alvo a partir de uma posição inicial até uma posição atual. A origem pode ser definida em qualquer lugar no objeto alvo.
[0084] Notar que a matriz de calibração homogênea 4 x 4 BAT somente é computada uma vez para qualquer posição do instrumento apontador, em relação ao objeto alvo, e BAT pode então ser usado para converter qualquer número de vetores a partir do sistema de coordenadas A (o sistema de coordenadas do instrumento 622) no sistema de coordenadas B (o sistema de coordenadas do objeto alvo 616). É também notado que a matriz de calibração inversa ABT pode ser calculada calculando a inversa da matriz de calibração BAT ou pode ser calculada diretamente comutando a ordem dos vetores nas equações.
[0085] Nota: os parágrafos seguintes descrevem aspectos adicionais da descrição: A1. Um sistema de rastreamento de localização compreendendo: um mecanismo de giro-inclinação; uma câmera e um buscador de alcance de laser montado no dito mecanismo de giro-inclinação; um objeto alvo equipado com pelo menos três marcadores de alvo ativos; e um sistema de computador programado com primeiro software para controlar dita câmera, dito buscador de alcance de laser e dito mecanismo de giro-inclinação, segundo software para processar imagens adquiridas pela dita câmera, e terceiro software para controlar movimento do dito objeto alvo e estados do dito pelo menos três marcadores de alvo ativos. A2. O sistema como mencionado no parágrafo A1, em que: dito primeiro software compreende rotinas para comandar dito mecanismo de giro-inclinação para apontar dita câmera no dito objeto alvo e comandar dita câmera para capturar imagens do dito objeto alvo; dito segundo software compreende rotinas para processar captura de imagens para computar uma imagem de diferença representando diferenças entre uma imagem capturada enquanto ditos marcadores de alvo ativos não estavam ligados e cada imagem capturada enquanto um ou mais dos ditos marcadores de alvo ativos estavam ligados; e dito terceiro software compreende rotinas para controlar os estados dos ditos marcadores de alvo ativos. A3. O sistema como mencionado em qualquer um dos parágrafos A1 a A2, em que dito objeto alvo compreende um veículo de esteira. A4. O sistema como mencionado no parágrafo A3, em que dito veículo de esteira é um veículo de esteira de movimento holonômico. A5. O sistema como mencionado no parágrafo A4, compreendendo adicionalmente meios para rastreamento do movimento incremental do dito veículo de esteira. A6. O sistema como mencionado em qualquer dos parágrafos A1 a A2, em que dito objeto de alvo compreende uma base de um braço robótico. 81. Um sistema de rastreamento de localização compreendendo: um mecanismo de giro-inclinação; uma câmera e um buscador de alcance de laser montado no dito mecanismo de giro-inclinação; um objeto alvo equipado com pelo menos três marcadores de alvo ativos arranjados em um padrão conhecido; e um sistema de computador programado para executar as seguintes operações: ajustar ângulos de giro e inclinação do dito mecanismo de giro-inclinação para centrar dita câmera no dito objeto alvo com ditos marcadores de alvo ativos dentro de um campo de visão de imagem da dita câmera; comandar dita câmera para capturar uma imagem enquanto dita câmera é centrada no dito objeto alvo e ditos marcadores de alvo ativos não estão ligados; comandar dita câmera para capturar uma ou mais imagens enquanto dita câmera é centrada no dito objeto alvo e um ou mais dos ditos marcadores de alvo ativos está ligado; processar as imagens para computar uma imagem de diferença representando diferenças entre uma imagem capturada enquanto todos os ditos marcadores de alvo ativos não estavam ligados e respectivas imagens capturadas enquanto um ou mais dos ditos marcadores de alvo ativos estavam ligados; computar respectivas coordenadas de pixel médias para as diferenças na imagem de diferença correspondendo aos respectivos marcados de alvo ativos; para respectivos marcadores de alvo ativos, comandar dito buscador de alcance de laser para transmitir respectivos feixes de laser direcionados a respectivos ângulos de giro e inclinação que são uma função de pelo menos ângulos de giro e inclinação em que dito objeto alvo foi centrado no campo de visão de imagem e diferenças entre as respectivas coordenadas de pixel médias e coordenadas pixel de um centro da imagem de indicador; para respectivos marcadores de alvo ativos, comandar dito mecanismo de giro-inclinação para adquirir respectivos dados de giro e inclinação e comandar dito buscado de alcance de laser para adquirir respectivos dados de alcance subsequente para transmissão de um respectivo feixe de laser; e computar coordenadas de pontos respectivos correspondendo aos ditos marcadores de alvo ativos em um sistema de coordenadas de referência com base no alcance medido, dados de giro e inclinação; e comparar posições respectivas dos respectivos pontos nas quais coordenadas foram computadas a partir dos dados medidos para respectivas posições de pontos respectivos arranjados no padrão conhecido para determinar uma posição e orientação atual do objeto alvo definido nos termos do sistema de coordenada de referência. 82. O sistema como mencionado no parágrafo B1, em que ditos marcadores de alvo ativos são diodos emissores de luz. 83. O sistema como mencionado em qualquer dos parágrafos B1 a B2, em que dito sistema de computador é adicionalmente programado para executar as seguintes operações: medir um padrão de ponto com base nas distâncias relativas entre ditos pontos; e computar uma primeira matriz de transformação representando a localização do objeto alvo no sistema de coordenada de referência com base em diferenças entre o padrão de ponto medido e um padrão de ponto conhecido. 84. O sistema como mencionado em qualquer dos parágrafos B1 a B3, em que dito objeto alvo compreende um veículo de esteira. 85. O sistema como mencionado no parágrafo B4, em que dito veículo de esteira é um veículo de esteira de movimento holonômico, e dito sistema compreende adicionalmente meios para movimento incremental de rastreamento do dito veículo de esteira. 86. O sistema como mencionado em qualquer dos parágrafos B1 a B3, em que dito objeto alvo compreende uma base de um braço robótico.

Claims (14)

1. Método para determinar uma localização atual de um objeto alvo (10, 52, 90) em um sistema de coordenada de referência quando o objeto alvo (10, 52, 90) é equipado com pelo menos três marcadores de alvo ativos (P1-P3, 56a-c, 92a-c) arranjados em um padrão conhecido, caracterizado pelo fato de que compreende: definir uma localização de uma câmera (40) em relação ao sistema de coordenadas de referência (100); capturar uma imagem enquanto a câmera (40) está centrada sobre o objeto alvo (10, 52, 90) e os marcadores de alvo ativos (P1-P3, 56a-c, 92a-c) não estão ligados (106); capturar uma ou mais imagens, enquanto a câmera (40) está centrada sobre o objeto alvo (10, 52, 90) e um ou mais dos marcadores de alvo ativos (P1-P3, 56a-c, 92a-c) estão ligados (108); processar as imagens para computar uma imagem de diferença representando diferenças entre a imagem capturada, enquanto todos os marcadores de alvo ativos (P1-P3, 56a-c, 92a-c) não estiveram ligados e imagens capturadas enquanto um ou mais dos marcadores de alvo ativos (P1- P3, 56a-c, 92a-c) estiveram ligados; computar respectivas coordenadas de pixel médias para as diferenças na imagem de diferença correspondendo aos respectivos marcadores de alvo ativos (P1-P3, 56a-c, 92a-c) (110); para respectivos marcadores de alvo ativos (P1-P3, 56a-c, 92a- c), direcionar um buscador de alcance de laser e transmitir um feixe de laser na direção definida pelos respectivos ângulos de giro e inclinação que são uma função de pelo menos ângulos de giro e inclinação nos quais o objeto alvo (10, 52, 90) foi centrado em um campo de visão de imagem de câmera (40) e diferenças entre as respectivas coordenadas de pixel médias e coordenadas de pixel de um centro das imagens (112); para respectivos marcadores de alvo ativos (P1-P3, 56a-c, 92a- c), adquirir respectivos dados de alcance, giro e inclinação subsequentes à transmissão de um respectivo feixe de laser (114); computar coordenadas dos respectivos pontos correspondentes aos marcadores de alvo ativos (P1-P3, 56a-c, 92a-c) no sistema de coordenadas de referência, com base nos dados (116) de alcance, giro e inclinação medidos; e comparar respectivas posições dos respectivos pontos cujas coordenadas foram computadas a partir dos dados medidos para as posições respectivas dos respectivos pontos arranjados no padrão conhecido, para determinar uma posição e orientação atuais do objeto alvo (10, 52, 90), definidas em termos do sistema de coordenadas de referência (118).
2. Método de acordo com a reivindicação 1, caracterizado pelo fato de que a etapa de capturar uma ou mais imagens, enquanto a câmera (40) está centrada sobre o objeto alvo (10, 52, 90) e um ou mais dos marcadores de alvo ativos (P1-P3, 56a-c, 92a-c) estão ligados compreende capturar uma imagem enquanto pelo menos três marcadores de alvo ativos estão ligados.
3. Método de acordo com a reivindicação 1, caracterizado pelo fato de que a etapa de capturar uma ou mais imagens, enquanto a câmera (40) está centrada sobre o objeto alvo (10, 52, 90) e um ou mais dos marcadores de alvo ativos (P1-P3, 56a-c, 92a-c) estão ligados compreende capturar as respectivas imagens enquanto o primeiro, segundo e terceiro marcadores de alvo ativos estão ligados em sequência.
4. Método de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que a etapa de computar respectivas coordenadas de pixel médias para as diferenças na imagem de diferença correspondendo aos respectivos marcadores de alvo ativos (P1-P3, 56a-c, 92a-c) compreende: segmentar a imagem de diferença para incluir áreas separadas correspondendo aos marcadores de alvo ativos com base nas ditas diferenças; e computar as respectivas coordenadas de pixel médias na imagem de diferença, para um respectivo centroide de cada área separada correspondendo aos marcadores de alvo ativos.
5. Método de acordo com qualquer uma das reivindicações 1 a 4, caracterizado pelo fato de que compreende adicionalmente: medir um padrão de ponto com base nas distâncias relativas entre os pontos; e computar uma primeira matriz de transformação representando a localização do objeto alvo (10, 52, 90) no sistema de coordenadas de referência, com base nas diferenças entre um padrão de ponto medido e um padrão de ponto conhecido (120).
6. Método de acordo com a reivindicação 5, caracterizado pelo fato de que o padrão de ponto conhecido é assimétrico.
7. Método de acordo com a reivindicação 5 ou 6, caracterizado pelo fato de que compreende adicionalmente: colocar o objeto alvo (10, 52, 90) em uma localização inicial; computar uma segunda matriz de transformação representando a localização inicial do objeto alvo (10, 52, 90), relativa ao sistema de coordenadas de referência; mover o objeto alvo (10, 52, 90) da localização inicial para a localização atual; computar uma inversa da dita segunda matriz de transformação; e computar um produto da dita primeira matriz de transformação e dita inversa da dita segunda matriz de transformação, dito produto sendo uma terceira matriz de transformação representando a localização atual do objeto alvo (10, 52, 90) relativa à localização inicial do objeto alvo (10, 52, 90).
8. Método de acordo com a reivindicação 7, caracterizado pelo fato de gerar pulsos de codificador em resposta a movimento incremental do objeto alvo (10, 52, 90) durante o movimento da localização inicial para a localização atual.
9. Sistema para rastreamento de localização, caracterizado pelo fato de que compreende: um mecanismo de giro-inclinação (42); uma câmera (40) e um buscador de alcance de laser montado no dito mecanismo de giro-inclinação (42); um objeto alvo (10, 52, 90) equipado com pelo menos três marcadores de alvo ativos (P1-P3, 56a-c, 92a-c) arranjados em um padrão conhecido; e um sistema de computador (48) programado para executar as operações a seguir: ajustar ângulos de giro e inclinação do dito mecanismo de giro-inclinação (42), para centrar dita câmera (40) no dito objeto alvo (10, 52, 90) com ditos marcadores de alvo ativos (92a-c) dentro de um campo de visão de imagem da dita câmera (40); comandar dita câmera (40) para capturar uma imagem enquanto dita câmera está centrada sobre dito objeto alvo (10, 52, 90) e ditos marcadores de alvo ativos (P1-P3, 56a-c, 92a-c) não estiverem ligados; comandar dita câmera (40) para capturar uma ou mais imagens, enquanto dita câmera (40) estiver centrada sobre dito objeto alvo (10, 52, 90) e um ou mais dos ditos marcadores de alvo ativos (P1-P3, 56a-c, 92a-c) estiverem ligados; processar as imagens para computar uma imagem de diferença representando diferenças entre uma imagem capturada, enquanto todos os ditos marcadores de alvo ativos (P1-P3, 56a-c, 92a-c) não estiverem ligados e as respectivas imagens capturadas enquanto um ou mais dos ditos marcadores de alvo ativos (P1-P3, 56a-c, 92a-c) estiverem ligados; computar respectivas coordenadas de pixel médias para as diferenças na imagem de diferença correspondendo aos respectivos marcadores de alvo ativos (P1-P3, 56a-c, 92a-c); para os respectivos marcadores de alvo ativos (92a-c), comandar dito buscador de alcance de laser para transmitir respectivos feixes de laser direcionados nos respectivos ângulos de giro e inclinação, que são uma função de pelo menos os ângulos de giro e inclinação nos quais dito objeto alvo (10, 52, 90) foi centrado no campo de visão da imagem, e diferenças entre as respectivas coordenadas de pixel médias e coordenadas de pixel de um centro da imagem indicadora; para respectivos marcadores de alvo ativos (P1-P3, 56a-c, 92a- c) comandar dito mecanismo de giro-inclinação (42) para adquirir respectivos dados de giro e inclinação e comandar dito buscador de alcance de laser para adquirir respectivos dados de alcance subsequentes à transmissão de um respectivo feixe de laser; e computar coordenadas dos respectivos pontos correspondentes aos ditos marcadores de alvo ativos (P1-P3, 56a-c, 92a-c) em um sistema de coordenadas de referência, com base nos dados medidos de alcance, giro e inclinação; e comparar respectivas posições dos respectivos pontos cujas coordenadas foram computadas a partir de dados medidos para respectivas posições dos pontos respectivos arranjados no padrão conhecido, para determinar uma posição e orientação atuais do objeto alvo (10, 52, 90) definida em termos do sistema de coordenadas de referência.
10. Sistema de acordo com a reivindicação 9, caracterizado pelo fato de que ditos marcadores de alvo ativos (P1-P3, 56a-c, 92a-c) são diodos emissores de luz.
11. Sistema de acordo com a reivindicação 9 ou 10, caracterizado pelo fato de que dito sistema de computador (48) é adicionalmente programado para executar as seguintes operações: medir um padrão de ponto com base nas distâncias relativas entre os pontos; e computar uma primeira matriz de transformação representando a localização do objeto alvo (10, 52, 90) no sistema de coordenadas de referência, com base nas diferenças entre um padrão de ponto medido e um padrão de ponto conhecido.
12. Sistema de acordo com qualquer uma das reivindicações 9 a 11, caracterizado pelo fato de que dito objeto alvo (10, 52, 90) compreende um veículo de esteira (10).
13. Sistema de acordo com a reivindicação 12, caracterizado pelo fato de que dito veículo de esteira (10) é um veículo de esteira de movimento holonômico (52), e dito sistema compreende adicionalmente meios para rastrear movimento incremental de dito veículo de esteira (10).
14. Sistema de acordo com qualquer uma das reivindicações 9 a 11, caracterizado pelo fato de que dito objeto alvo (10, 52, 90) compreende uma base (84) de um braço robótico (86).
BR112015031505-4A 2013-06-19 2014-04-01 Método para determinar uma localização atual de um objeto alvo, e, sistema para rastreamento de localização BR112015031505B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/921,246 US9043146B2 (en) 2013-06-19 2013-06-19 Systems and methods for tracking location of movable target object
US13/921,246 2013-06-19
PCT/US2014/032503 WO2014204548A1 (en) 2013-06-19 2014-04-01 Systems and methods for tracking location of movable target object

Publications (2)

Publication Number Publication Date
BR112015031505A2 BR112015031505A2 (pt) 2017-07-25
BR112015031505B1 true BR112015031505B1 (pt) 2022-02-22

Family

ID=50640019

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112015031505-4A BR112015031505B1 (pt) 2013-06-19 2014-04-01 Método para determinar uma localização atual de um objeto alvo, e, sistema para rastreamento de localização

Country Status (8)

Country Link
US (2) US9043146B2 (pt)
EP (2) EP3011362B1 (pt)
JP (1) JP6426725B2 (pt)
KR (1) KR101988083B1 (pt)
CN (1) CN105518486B (pt)
BR (1) BR112015031505B1 (pt)
RU (1) RU2664257C2 (pt)
WO (1) WO2014204548A1 (pt)

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9279679B2 (en) * 2012-09-12 2016-03-08 Kabushiki Kaisha Topcon Construction machine control method and construction machine control system
US9404898B1 (en) * 2013-03-15 2016-08-02 The Boeing Company Laser ultrasound testing in limited-access areas
US9410659B2 (en) 2014-02-10 2016-08-09 The Boeing Company Automated mobile boom system for crawling robots
US10310054B2 (en) 2014-03-21 2019-06-04 The Boeing Company Relative object localization process for local positioning system
US11126193B2 (en) * 2014-06-19 2021-09-21 Husqvarna Ab Automatic beacon position determination
US9664652B2 (en) 2014-10-30 2017-05-30 The Boeing Company Non-destructive ultrasonic inspection apparatus, systems, and methods
US9746447B2 (en) 2014-10-30 2017-08-29 The Boeing Company Apparatuses, systems, and methods for inspecting a component
US9740191B2 (en) 2015-02-12 2017-08-22 The Boeing Company Location calibration for automated production manufacturing
EP3064435A1 (en) * 2015-03-03 2016-09-07 Airbus Defence and Space, S.A. Systems and methods for the calculation of relative distances and speeds in the three coordinate axis between aircraft in flight
US9924103B2 (en) 2015-04-09 2018-03-20 The Boeing Company Automated local positioning system calibration using optically readable markers
CN105069795B (zh) * 2015-08-12 2017-12-22 深圳锐取信息技术股份有限公司 运动对象跟踪方法及装置
US10232897B2 (en) 2015-10-16 2019-03-19 The Boeing Company Walking robot
CN105548989B (zh) * 2016-01-05 2018-01-02 西安应用光学研究所 手持式反光电观瞄及目标定位一体化装置
US10145670B2 (en) * 2016-01-12 2018-12-04 The Boeing Company Systems and methods for projected grid-based location tracking
US9892558B2 (en) 2016-02-19 2018-02-13 The Boeing Company Methods for localization using geotagged photographs and three-dimensional visualization
KR20170109330A (ko) * 2016-03-21 2017-09-29 한화테크윈 주식회사 라이다 시스템
US10325339B2 (en) * 2016-04-26 2019-06-18 Qualcomm Incorporated Method and device for capturing image of traffic sign
WO2017197556A1 (en) * 2016-05-16 2017-11-23 SZ DJI Technology Co., Ltd. Systems and methods for coordinating device actions
CN106033615B (zh) * 2016-05-16 2017-09-15 北京旷视科技有限公司 目标对象运动方向检测方法和装置
BR112019000728B1 (pt) 2016-07-15 2023-03-28 Fastbrick Ip Pty Ltd Veículo que incorpora máquina de assentamento de tijolos
US10607409B2 (en) 2016-07-19 2020-03-31 The Boeing Company Synthetic geotagging for computer-generated images
US10108872B2 (en) * 2016-07-29 2018-10-23 Conduent Business Services, Llc Multi-angle product imaging device
US10242581B2 (en) * 2016-10-11 2019-03-26 Insitu, Inc. Method and apparatus for target relative guidance
US10347109B2 (en) 2016-11-08 2019-07-09 The Boeing Company Automated human personnel fall arresting system and method
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US10181089B2 (en) * 2016-12-19 2019-01-15 Sony Corporation Using pattern recognition to reduce noise in a 3D map
US10178370B2 (en) 2016-12-19 2019-01-08 Sony Corporation Using multiple cameras to stitch a consolidated 3D depth map
RU2641604C1 (ru) * 2016-12-28 2018-01-18 Федеральное государственное автономное образовательное учреждение высшего образования "Дальневосточный федеральный университет" (ДВФУ) Способ измерения абсолютного положения конечного звена многозвенного механизма промышленного робота
JP6527178B2 (ja) * 2017-01-12 2019-06-05 ファナック株式会社 視覚センサのキャリブレーション装置、方法及びプログラム
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
JP6774603B2 (ja) * 2017-03-06 2020-10-28 株式会社Ｊｖｃケンウッド レーザ光照射検出装置、レーザ光照射検出方法、レーザ光照射検出システム
JP6854164B2 (ja) * 2017-03-22 2021-04-07 株式会社トプコン 測量データ処理装置、測量データ処理方法、測量データ処理システムおよび測量データ処理用プログラム
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
CN108709542B (zh) * 2017-05-18 2020-11-17 金钱猫科技股份有限公司 基于坐标变换的快速测量方法、***及装置
US11085611B2 (en) * 2017-06-15 2021-08-10 Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College Tracking lighting system
US10796477B2 (en) * 2017-06-20 2020-10-06 Edx Technologies, Inc. Methods, devices, and systems for determining field of view and producing augmented reality
WO2019006511A1 (en) 2017-07-05 2019-01-10 Fastbrick Ip Pty Ltd REAL-TIME POSITION TRACKING AND ORIENTATION DEVICE
JP7346308B2 (ja) 2017-07-27 2023-09-19 ウエスチングハウス・エレクトリック・カンパニー・エルエルシー 作業空間内の遠隔操作ビークルの位置を特定する方法およびかかる方法を用いた遠隔検査システム
WO2019033166A1 (en) * 2017-08-17 2019-02-21 Fastbrick Ip Pty Ltd COMMUNICATION SYSTEM FOR AN INTERACTION SYSTEM
CN111226090B (zh) 2017-08-17 2023-05-23 快砖知识产权私人有限公司 具有改进的横滚角测量的激光***
US10791275B2 (en) * 2017-09-25 2020-09-29 The Boeing Company Methods for measuring and inspecting structures using cable-suspended platforms
US10788428B2 (en) * 2017-09-25 2020-09-29 The Boeing Company Positioning system for aerial non-destructive inspection
CN109557329B (zh) * 2017-09-26 2022-07-19 深圳市新产业生物医学工程股份有限公司 旋转式加样装置及加样方法
CN111164522B (zh) * 2017-09-30 2023-05-16 西门子股份公司 设计具有可重复使用技能的自主***
JP6603289B2 (ja) 2017-10-27 2019-11-06 ファナック株式会社 ロボット、ロボットシステム、およびロボットの座標系設定方法
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
US10818097B2 (en) 2017-12-12 2020-10-27 Disney Enterprises, Inc. Spatial position calculation system for objects in virtual reality or augmented reality environment
DE102018206190A1 (de) * 2018-04-23 2019-10-24 Robert Bosch Gmbh Verfahren zur Detektion einer Anordnung von zumindest zwei Kameras eines Multi-Kamerasystems einer mobilen Trägerplattform zueinander und Verfahren zur Detektion einer Anordnung der Kamera zu einem Objekt außerhalb der mobilen Trägerplattform
CN110579738B (zh) * 2018-06-11 2021-06-25 深圳市优必选科技有限公司 运动目标方向角获取方法及终端设备
EP3581341B1 (de) * 2018-06-13 2020-12-23 Siemens Healthcare GmbH Verfahren zum betreiben eines roboters, datenspeicher mit einem entsprechenden programmcode, roboter und robotersystem
US10800550B2 (en) 2018-06-21 2020-10-13 The Boeing Company Positioning enhancements to localization process for three-dimensional visualization
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
US11007635B2 (en) * 2018-07-25 2021-05-18 The Boeing Company Gravity compensation for self-propelled robotic vehicles crawling on non-level surfaces
US10949980B2 (en) * 2018-10-30 2021-03-16 Alt Llc System and method for reverse optical tracking of a moving object
CN111121619A (zh) * 2018-11-01 2020-05-08 西南科技大学 一种基于激光测距的空间几何自动测量方法
JP7000361B2 (ja) * 2019-01-24 2022-01-19 ファナック株式会社 追随ロボットおよび作業ロボットシステム
CN109945782B (zh) * 2019-04-02 2020-12-08 易思维（杭州）科技有限公司 超长白车身关键位置检测方法
CN110068827A (zh) * 2019-04-29 2019-07-30 西北工业大学 一种无人机自主目标测距的方法
RU2714701C1 (ru) * 2019-06-17 2020-02-19 Федеральное государственное унитарное предприятие "Российский федеральный ядерный центр - Всероссийский научно-исследовательский институт технической физики имени академика Е.И. Забабахина" Способ селекции объекта на удаленном фоне оптическими системами с воздушного носителя
US11361869B2 (en) * 2019-08-13 2022-06-14 Westinghouse Electric Company Llc System and method enabling signals from replacement self-powered neutron detectors to be used to generate inputs to legacy software
CN110780325B (zh) * 2019-08-23 2022-07-19 腾讯科技（深圳）有限公司 运动对象的定位方法及装置、电子设备
JP7435998B2 (ja) * 2019-09-17 2024-02-21 日本電気通信システム株式会社 物品位置管理装置、物品、物品位置管理システム、物品位置管理方法及びプログラム
FI20196022A1 (en) * 2019-11-27 2021-05-28 Novatron Oy Method and positioning system for determining the position and orientation of a machine
JP7406902B2 (ja) * 2019-12-10 2023-12-28 キヤノン株式会社 制御装置、制御方法、プログラム、方法及び記憶媒体
US10846880B1 (en) * 2020-01-03 2020-11-24 Altec Industries, Inc. Camera embedded joystick
US11631251B2 (en) * 2020-02-23 2023-04-18 Tfi Digital Media Limited Method and system for jockey and horse recognition and tracking
WO2021217371A1 (zh) * 2020-04-27 2021-11-04 深圳市大疆创新科技有限公司 可移动平台的控制方法和装置
CN111474519A (zh) * 2020-04-28 2020-07-31 广东博智林机器人有限公司 一种定位方法、装置、设备及存储介质
CN111753663B (zh) * 2020-05-25 2023-12-12 上海欧菲智能车联科技有限公司 目标检测方法及装置
CN111931614B (zh) * 2020-07-24 2024-04-19 深圳市瑞立视多媒体科技有限公司 主动光刚体识别方法、装置、设备及存储介质
CN112116651B (zh) * 2020-08-12 2023-04-07 天津(滨海)人工智能军民融合创新中心 一种基于无人机单目视觉的地面目标定位方法和***
RU2756437C1 (ru) * 2020-09-03 2021-09-30 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и система планирования движения робота-манипулятора путем коррекции опорных траекторий
CN112595231A (zh) * 2020-12-10 2021-04-02 上海镭隆科技发展有限公司 一种基于智能图像识别二维随动***动态监测装置及方法
CN112822353B (zh) * 2020-12-28 2022-03-01 维沃移动通信有限公司 电子设备及其摄像头模组
CN112991401B (zh) * 2021-01-20 2023-07-14 深兰科技（上海）有限公司 车辆运行轨迹追踪方法、装置、电子设备和存储介质
CN113050108B (zh) * 2021-03-23 2024-01-09 湖南盛鼎科技发展有限责任公司 电子界址视觉测量***及测量方法
CN113358332B (zh) * 2021-07-15 2022-03-22 中国科学院长春光学精密机械与物理研究所 一种动态成像望远镜性能检测装置及方法
US11502729B1 (en) 2021-08-10 2022-11-15 The Boeing Company Methods for through-structure power and data transfer between mobile robots and sensor nodes
CN114235457B (zh) * 2021-12-20 2024-03-15 浙江谱麦科技有限公司 用于检测机器人力学性能的力加载***及***调校方法
US20230241720A1 (en) * 2022-01-31 2023-08-03 Standex International Corporation Techniques for closed-loop control of a laser-engraving process
CN115435764B (zh) * 2022-11-09 2022-12-30 中国空气动力研究与发展中心设备设计与测试技术研究所 一种用于激光跟踪仪靶点扫描的吸盘式行走机器人
CN115861429B (zh) * 2023-02-28 2023-06-16 深圳思谋信息科技有限公司 图像采集设备标定方法、装置、计算机设备和存储介质
CN116931583B (zh) * 2023-09-19 2023-12-19 深圳市普渡科技有限公司 移动对象的确定方法和避让方法、装置、设备及存储介质
CN117516811A (zh) * 2023-10-09 2024-02-06 南京智谱科技有限公司 一种气体泄漏监测***、方法、装置和巡检装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4424943A (en) * 1981-05-04 1984-01-10 Hughes Aircraft Company Tracking system
US4786167A (en) * 1985-10-03 1988-11-22 Rothbone Richard R Optical navigation system
US5673082A (en) * 1995-04-10 1997-09-30 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Light-directed ranging system implementing single camera system for telerobotics applications
US5974348A (en) * 1996-12-13 1999-10-26 Rocks; James K. System and method for performing mobile robotic work operations
JP3909377B2 (ja) * 1997-02-14 2007-04-25 株式会社安川電機 屋外用距離計測装置
FR2770672B1 (fr) * 1997-11-04 2000-01-21 Inst Nat Rech Inf Automat Procede et dispositif de localisation et de guidage d'un mobile muni d'une camera lineaire
US6198485B1 (en) * 1998-07-29 2001-03-06 Intel Corporation Method and apparatus for three-dimensional input entry
AT412033B (de) * 2000-02-08 2004-08-26 Efkon Entwicklung Forschung & Konstruktion Von Sondermaschinen Gmbh System zum automatischen verrechnen von gebühren
AU2001284519A1 (en) * 2000-09-11 2002-03-26 Kunikatsu Takase Mobile body position detecting system
US7145478B2 (en) * 2002-12-17 2006-12-05 Evolution Robotics, Inc. Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system
US7419140B2 (en) 2005-05-16 2008-09-02 Safeguards Technology Llc Security fence module
GB0513899D0 (en) 2005-07-06 2005-08-10 Airbus Uk Ltd Program-controlled process
JP4799088B2 (ja) * 2005-09-06 2011-10-19 株式会社東芝 遠隔検査における作業位置計測方法およびその装置
US7599789B2 (en) * 2006-05-24 2009-10-06 Raytheon Company Beacon-augmented pose estimation
US7643893B2 (en) 2006-07-24 2010-01-05 The Boeing Company Closed-loop feedback control using motion capture systems
ITFI20060196A1 (it) * 2006-08-04 2008-02-05 Fasep 2000 S R L Metodo e dispositivo per la misura senza contatto dell'allineamento di ruote di autoveicoli
US9176598B2 (en) * 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US8044991B2 (en) * 2007-09-28 2011-10-25 The Boeing Company Local positioning system and method
US7859655B2 (en) * 2007-09-28 2010-12-28 The Boeing Company Method involving a pointing instrument and a target object
US9189858B2 (en) * 2008-02-29 2015-11-17 Trimble Ab Determining coordinates of a target in relation to a survey instrument having at least two cameras
JP5157803B2 (ja) * 2008-10-06 2013-03-06 村田機械株式会社 自律移動装置
US8199194B2 (en) 2008-10-07 2012-06-12 The Boeing Company Method and system involving controlling a video camera to track a movable target object
US8279412B2 (en) * 2009-12-17 2012-10-02 The Boeing Company Position and orientation determination using movement data
US8447805B2 (en) * 2011-02-28 2013-05-21 The Boeing Company Distributed operation of a local positioning system
US8738226B2 (en) * 2011-07-18 2014-05-27 The Boeing Company Holonomic motion vehicle for travel on non-level surfaces
US8874371B2 (en) * 2011-08-09 2014-10-28 The Boeing Company Beam directed motion control system
CN103827631B (zh) * 2011-09-27 2016-11-16 莱卡地球***公开股份有限公司 对坐标系中已知的目标点进行标记的测量***和方法

Also Published As

Publication number Publication date
US9197810B2 (en) 2015-11-24
EP3407088A1 (en) 2018-11-28
US20150207987A1 (en) 2015-07-23
EP3011362A1 (en) 2016-04-27
US9043146B2 (en) 2015-05-26
CN105518486B (zh) 2017-09-19
CN105518486A (zh) 2016-04-20
US20140376768A1 (en) 2014-12-25
JP6426725B2 (ja) 2018-11-28
KR20160044432A (ko) 2016-04-25
RU2015141333A3 (pt) 2018-03-20
BR112015031505A2 (pt) 2017-07-25
JP2016526673A (ja) 2016-09-05
RU2664257C2 (ru) 2018-08-15
KR101988083B1 (ko) 2019-09-30
EP3011362B1 (en) 2018-10-17
WO2014204548A1 (en) 2014-12-24
RU2015141333A (ru) 2017-07-24

Similar Documents

Publication Publication Date Title
BR112015031505B1 (pt) Método para determinar uma localização atual de um objeto alvo, e, sistema para rastreamento de localização
US11408728B2 (en) Registration of three-dimensional coordinates measured on interior and exterior portions of an object
US11396100B2 (en) Robot calibration for AR and digital twin
CN111156925A (zh) 基于线结构光和工业机器人的大构件三维测量方法
CN105303560A (zh) 机器人激光扫描式焊缝跟踪***标定方法
CN106737859B (zh) 基于不变平面的传感器与机器人的外部参数标定方法
Gratal et al. Visual servoing on unknown objects
CN111121619A (zh) 一种基于激光测距的空间几何自动测量方法
CN112424563A (zh) 用于精确计算动态对象的位置和方位的多维测量***
Das et al. Calibration of a dynamic camera cluster for multi-camera visual SLAM
CN109773589A (zh) 对工件表面进行在线测量和加工导引的方法及装置、设备
CN118172424A (zh) 激光跟踪仪的标定方法及激光跟踪仪
Roozing et al. Low-cost vision-based 6-DOF MAV localization using IR beacons
McArthur et al. Pose-estimate-based target tracking for human-guided remote sensor mounting with a UAV
Davidson et al. Monocular vision-based range estimation supported by proprioceptive motion
CN111300426B (zh) 一种高智能人型机器人感测头的控制***
Habibnejad Korayem et al. Application of Stereo Vision and ARM Processor for Motion Control
CN211517547U (zh) 一种设置转盘的凹形机器人头部
Ekmanis et al. Mobile robot camera extrinsic parameters auto calibration by spiral motion
KR20160007741A (ko) 수술 로봇 조종 시스템
Wongwilai et al. Calibration of an eye-in-hand system using SoftKinetic DepthSense and Katana robotic arm
Chen et al. Active vision sensors
Kelly et al. Calibration and control of a robot arm using a range imaging camera
Korayem et al. Application of Stereo Vision on Determination of End-Effector Position and Orientation of Manipulators

Legal Events

Date Code Title Description
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B350 Update of information on the portal [chapter 15.35 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 01/04/2014, OBSERVADAS AS CONDICOES LEGAIS.

B21F Lapse acc. art. 78, item iv - on non-payment of the annual fees in time

Free format text: REFERENTE A 10A ANUIDADE.

B24J Lapse because of non-payment of annual fees (definitively: art 78 iv lpi, resolution 113/2013 art. 12)

Free format text: EM VIRTUDE DA EXTINCAO PUBLICADA NA RPI 2768 DE 23-01-2024 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDA A EXTINCAO DA PATENTE E SEUS CERTIFICADOS, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013.