ES2787226T3 - Imágenes oblicuas en mosaico y métodos para elaborar y usar las mismas - Google Patents

Imágenes oblicuas en mosaico y métodos para elaborar y usar las mismas Download PDF

Info

Publication number
ES2787226T3
ES2787226T3 ES07814579T ES07814579T ES2787226T3 ES 2787226 T3 ES2787226 T3 ES 2787226T3 ES 07814579 T ES07814579 T ES 07814579T ES 07814579 T ES07814579 T ES 07814579T ES 2787226 T3 ES2787226 T3 ES 2787226T3
Authority
ES
Spain
Prior art keywords
oblique
image
pixel
images
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES07814579T
Other languages
English (en)
Inventor
Stephen Schultz
Frank Giuffrida
Robert Gray
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pictometry International Corp
Original Assignee
Pictometry International Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pictometry International Corp filed Critical Pictometry International Corp
Application granted granted Critical
Publication of ES2787226T3 publication Critical patent/ES2787226T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30176Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Un método para crear una imagen de mosaico oblicua (12) a partir de una pluralidad de imágenes oblicuas de la fuente (16) tomadas a una primera elevación por una cámara real, que comprende los pasos de: identificar un área geográfica deseada (15) para ser captada en imágenes y recogida en una imagen de mosaico oblicua (12); crear un modelo matemático de un sensor de una cámara virtual (20), donde la cámara virtual (20) tiene una segunda elevación mayor que una elevación del área a ser captada en imágenes (15), la segunda elevación más alta que la primera elevación, el modelo matemático teniendo un mapa de píxeles de mosaico oblicuo para el sensor del área geográfica deseada (15); determinar una localización de superficie para cada píxel incluido en el mapa de píxeles de mosaico oblicuo; seleccionar imágenes oblicuas de fuente (16) de la localización de la superficie capturadas en un ángulo oblicuo y dirección de la brújula que son iguales, o casi iguales al ángulo oblicuo y la dirección de la brújula de la cámara virtual (20); y reproyectar por lo menos un píxel de la imagen oblicua de la fuente del área a ser captada en imágenes (16) para cada píxel incluido en el mapa de píxeles de mosaico oblicuo para crear de este modo una imagen de mosaico oblicua (12) del área geográfica deseada (15).

Description

DESCRIPCIÓN
Imágenes oblicuas en mosaico y métodos para elaborar y usar las mismas
ANTECEDENTES DE LA INVENCIÓN
1. Campo de la invención
Las invenciones actualmente reivindicadas y divulgadas se refieren a imágenes oblicuas en mosaico y a métodos para elaborar y usar las mismas. Más particularmente, las invenciones actualmente reivindicadas y divulgadas usan una metodología mediante la cual se combinan imágenes aéreas capturadas de manera oblicua por separado en por lo menos una única imagen de mosaico oblicua. La por lo menos una sola imagen de mosaico oblicua es visualmente agradable y geográficamente precisa.
2. Antecedentes de la técnica
En la industria de teledetección/obtención de imágenes aéreas, las imágenes se usan para capturar vistas de un área geográfica y poder medir objetos y estructuras dentro de las imágenes, así como para poder determinar las ubicaciones geográficas de puntos dentro de la imagen. Generalmente, estas se denominan "imágenes georreferenciadas" y se dividen en dos categorías básicas:
1. Conjunto de imágenes capturadas-estas imágenes tienen la apariencia de que han sido capturadas por la cámara o el sensor empleado.
2. Conjunto de imágenes proyectadas-estas imágenes se han procesado y convertido de tal manera que se ajusten a una proyección matemática.
Toda conjunto de imágenes comienza como un conjunto de imágenes capturado, pero como la mayoría de software no puede geo-referenciar conjuntos de imágenes capturados, ese conjunto de imágenes se reprocesa luego para crear un conjunto de imágenes proyectado. La forma más común forma de conjunto de imágenes proyectado es la imagen orto-rectificadas. Este proceso alinea la imagen con una cuadrícula ortogonal o rectilínea (compuesta de rectángulos). La imagen de entrada usada para crear una imagen orto-rectificada es una imagen nadir - es decir, una imagen capturada con la cámara apuntando directamente hacia abajo.
A menudo es bastante deseable combinar múltiples imágenes en una imagen compuesta más grande de tal manera que la imagen cubra un área geográfica más grande en el suelo. La forma más común de esta imagen compuesta es la "imagen orto-mosaica", que es una imagen creada a partir de una serie de imágenes nadir superpuestas o adyacentes que se combinan matemáticamente en una única imagen orto-rectificada.
Cada imagen nadir de entrada, así como la imagen orto-mosaico de salida, se compone de píxeles discretos (elementos de imagen individuales) de información o datos. Como parte del proceso para crear una imagen orto-rectificada y, por lo tanto, una imagen de orto-mosaico, se hace un intento de reproyectar (mover dentro de un modelo matemático) cada píxel dentro de la imagen de tal manera que la imagen resultante aparezca como si cada píxel en la imagen fuese un píxel de nadir, es decir, que la cámara estuviese directamente encima de cada píxel en la imagen.
La razón por la que es necesario este proceso de orto-rectificación es que actualmente no es posible capturar una imagen en la que cada píxel esté en el nadir (directamente debajo) de la cámara a menos que: (1) la cámara usada sea tan grande como el área de captura, o (2) la cámara esté colocada a una distancia infinita sobre el área de captura de tal manera que el ángulo desde la cámara al píxel esté tan cercano directamente abajo que puede considerarse nadir. El proceso de orto-rectificación crea una imagen que se aproxima a la apariencia de ser capturada con una cámara donde el área en el suelo que captura cada píxel se considera nadir para ese píxel, es decir, directamente debajo de ese píxel. Este proceso se realiza creando un modelo matemático del suelo, generalmente en una cuadrícula rectilínea (una cuadrícula formada por rectángulos), y reproyectando de la imagen de la cámara capturada individual en esta cuadrícula rectilínea. Este proceso mueve los píxeles desde su localización no nadir relativa dentro de las imágenes individuales a sus posiciones nadir dentro de la cuadrícula rectilínea, es decir, la imagen se deforma para alinearse con la cuadrícula.
Cuando se crea un orto-mosaico, se usa este mismo proceso de orto-rectificación, sin embargo, en lugar de usar una única imagen nadir de entrada, se usa una colección de imágenes nadir superpuestas o adyacentes y se combinan para formar una única imagen orto-rectificada compuesta conocida como orto-mosaico. En general, el proceso de orto-mosaico implica los pasos siguientes:
• Se crea una cuadrícula rectilínea, que da como resultado una imagen de orto-mosaico donde cada píxel de la cuadrícula cubre la misma cantidad de área en el suelo.
• La localización de cada píxel de la cuadrícula se determina a partir de la definición matemática de la cuadrícula. Generalmente, esto significa que a la cuadrícula se le da una localización de inicio o de origen X e Y y un tamaño X e Y para los píxeles de la cuadrícula. Por tanto, la localización de cualquier píxel es simplemente la localización de origen más el número de píxeles multiplicado por el tamaño de cada píxel. En términos matemáticos: Xp¡xel = Xorigen + Xtamaño x Columnapixel e Yp¡xel = Yorigen + Ytamaño X filapíxel.
• Las imágenes nadir disponibles se comprueban para ver si cubren el mismo punto en el suelo que el píxel de la cuadrícula que se está rellenando. Si es así, se usa una fórmula matemática para determinar dónde se proyecta ese punto en el suelo sobre el mapa de imágenes de píxeles de la cámara y ese valor de píxel resultante se transfiere al píxel de la cuadrícula. Durante este proceso de selección, se realizan dos pasos importantes:
• Al seleccionar la imagen que se usará para proporcionar el valor de píxel, se usa una fórmula matemática para seleccionar una imagen que minimice la inclinación del edificio, el efecto en el que los edificios parecen alejarse de la cámara. Esto se logra de varias maneras, pero la más común es elegir la imagen donde el píxel de la cuadrícula se reproyecta lo más cerca posible del centro de la cámara y, por lo tanto, lo más cerca posible del punto nadir de esa cámara.
• Al determinar el valor de píxel de origen a usar, se tiene en cuenta la elevación del suelo para garantizar que se seleccione el valor de píxel correcto. Los cambios en la elevación hacen que la localización aparente del píxel cambie cuando es capturada por la cámara. Un punto en el suelo que está más alto aparecerá más lejos del centro de la imagen que un punto en el suelo en la misma localización que está más abajo. Por ejemplo, la parte superior de un edificio aparecerá más lejana del centro de una imagen que la parte inferior de un edificio. Teniendo en cuenta la elevación del suelo al determinar el valor del píxel de origen, el efecto neto es "aplanar" la imagen de manera que se eliminen los cambios en la localización del píxel debido a la elevación del suelo.
Como las cuadrículas rectilíneas usadas para el orto-mosaico son generalmente las mismas cuadrículas usadas para crear mapas, las imágenes de orto-mosaico tienen una sorprendente similitud con los mapas y, como tales, son generalmente muy fáciles de usar desde el punto de vista de la dirección y la orientación. Sin embargo, como tienen una apariencia dictada por proyecciones matemáticas en lugar de la apariencia normal que captura una sola cámara y porque se capturan mirando directamente hacia abajo, esto crea una visión del mundo a la que no estamos acostumbrados. Como resultado, muchas personas tienen dificultades para determinar qué es lo que están mirando en la imagen. Por ejemplo, podrían ver un rectángulo amarillo en la imagen y no darse cuenta de que lo que están viendo es la parte superior de un autobús escolar. O podrían tener dificultades para distinguir entre dos propiedades comerciales, ya que lo único que pueden ver de las propiedades en el orto-mosaico son sus tejados, donde la mayoría de las propiedades distintivas se encuentran a los lados de los edificios. Ha surgido toda una profesión, el intérprete fotográfico, para abordar estas dificultades, ya que estas personas tienen años de capacitación y experiencia específicamente en la interpretación de lo que están viendo en conjuntos de imágenes nadir o de orto-mosaico.
Como una imagen oblicua, por definición, se captura en ángulo, presenta una apariencia más natural ya que muestra los lados de los objetos y las estructuras, lo que estamos más acostumbrados a ver. Además, como las imágenes oblicuas generalmente no están orto-rectificadas, todavía mantienen el aspecto natural que captura la cámara en lugar de la construcción matemática de la imagen orto-mosaica. Esta combinación hace que sea muy fácil para las personas mirar algo en una imagen oblicua y darse cuenta de qué es ese objeto. No se requieren habilidades de interpretación fotográfica cuando se trabaja con imágenes oblicuas.
Las imágenes oblicuas, sin embargo, presentan otro problema. Como las personas han aprendido habilidades de navegación en los mapas, el hecho de que las imágenes oblicuas no estén alineadas con una cuadrícula del mapa, como las imágenes de orto-mosaico, las hace mucho menos intuitivas al intentar navegar o determinar la dirección de una imagen. Cuando se crea un orto-mosaico, como se crea en una cuadrícula rectilínea que generalmente es una cuadrícula de mapa, la parte superior de la imagen del orto-mosaico es Norte, el lado derecho es Este, la parte inferior es Sur y el lado izquierdo es Oeste. Así es como las personas generalmente están acostumbradas a orientarse y navegar en un mapa. Pero una imagen oblicua puede capturarse desde cualquier dirección y la parte superior de la imagen generalmente está "hacia arriba y hacia atrás", lo que significa que las estructuras verticales apuntan hacia la parte superior de la imagen, pero que la parte superior de la imagen también está más cercana al horizonte. Sin embargo, como la imagen puede capturarse desde cualquier dirección, el horizonte puede estar en cualquier dirección, Norte, Sur, Este, Oeste o cualquier punto intermedio. Si la imagen se captura de tal manera que la cámara apunta hacia el Norte, entonces el lado derecho de la imagen es el Este y el lado izquierdo de la imagen es el Oeste. Sin embargo, si la imagen se captura de tal manera que la cámara apunte hacia el Sur, entonces el lado derecho de la imagen es el Oeste y el lado izquierdo de la imagen es el Este. Esto puede causar confusión para alguien que intenta navegar dentro de la imagen.
Adicionalmente, como la cuadrícula de orto-mosaico es generalmente una cuadrícula rectilínea, por definición matemática, las cuatro direcciones cardinales de la brújula se encuentran en ángulo recto (90 grados). Pero con una imagen oblicua, como todavía está en la forma original que capturó la cámara y no ha sido reproyectada en un modelo matemático, no es necesariamente cierto que las direcciones de la brújula se encuentren en ángulo recto dentro de la imagen. Como en la perspectiva oblicua, te estás moviendo hacia el horizonte a medida que te mueves hacia arriba en la imagen, la imagen cubre un área más amplia en el suelo cerca de la parte superior de la imagen en comparación con el área en el suelo cubierta cerca de la parte inferior de la imagen. Si tuviese que pintar una cuadrícula rectangular en el suelo y capturarla con una imagen oblicua, las líneas a lo largo de la dirección en que apunta la cámara parecerían converger en la distancia y las líneas a través de la dirección en la que apunta la cámara parecerían estar más espaciadas en el frente de la imagen que en la parte posterior de la imagen. Esta es la vista en perspectiva que todos estamos acostumbrados a ver - las cosas son más pequeñas en la distancia que de cerca y las líneas paralelas, como las vías del ferrocarril, parecen converger en la distancia. Al contrario, si se crease una imagen de orto-mosaico sobre esta misma cuadrícula rectangular pintada, aparecería como una cuadrícula rectangular en la imagen de orto-mosaico ya que toda perspectiva se elimina como una parte incidental del proceso de orto-mosaico.
Debido a estas diferencias fundamentales en perspectiva y apariencia, la creación de una imagen de ortomosaico mediante el proceso descrito anteriormente no funciona bien para imágenes oblicuas. Debido a que el eje óptico de la cámara (una línea imaginaria a través del centro de la lente o la óptica que sigue el objetivo de la cámara) apunta generalmente en un ángulo de 45 grados o más desde el nadir (apunta 45 grados o más hacia arriba desde abajo), los efectos de la inclinación de los edificios, las diferencias de elevación y los píxeles no cuadrados son todos exagerados, efectos que se consideran cualidades negativas en una imagen de orto-mosaico. En la industria del orto-mosaico, los requisitos se colocan generalmente en el proceso de captura de imágenes de tal manera que limitan la cantidad de oblicuidad a tan poco como 5 grados desde el nadir para minimizar cada uno de estos efectos negativos.
Además, si se deben mantener las propiedades admirables de una imagen oblicua, concretamente, ver los lados de las estructuras y la apariencia natural de las imágenes, entonces claramente un proceso que intenta eliminar los desplazamientos verticales y, por lo tanto, los lados de los edificios, y una que deforma la imagen para que se ajuste a una cuadrícula rectilínea no es una opción viable. Es necesario un nuevo proceso, uno que cumpla con las siguientes cualidades deseables en un esfuerzo por preservar las propiedades admirables de la imagen oblicua:
• Si se debe mantener la perspectiva oblicua, los píxeles no se pueden alinear a una cuadrícula rectilínea, ni siquiera a una cuadrícula trapezoidal. En cambio, los píxeles se alinean preferiblemente a la perspectiva natural que captura una cámara.
• Como parte de la perspectiva oblicua, los píxeles de la imagen no pueden medir el mismo tamaño en el suelo, ya que los píxeles en primer plano de la imagen cubren un área mucho más pequeña en el suelo que los píxeles en el fondo de la imagen - es decir por definición parte de la perspectiva natural de una cámara.
• Debido a que los píxeles están muy lejos del nadir, los efectos de la inclinación de los edificios se vuelven extremos y las soluciones estándar empleadas en el proceso de orto-mosaico no hacen un trabajo lo suficientemente adecuado para compensar este efecto - deben desarrollarse nuevas técnicas para compensar mejor este efecto.
• Si se retroceden los efectos de los cambios en la elevación, la imagen resultante tiene una apariencia muy poco natural - los lados verticales de los edificios pueden deformarse y retorcerse, algo que no estamos acostumbrados a ver y, por lo tanto, al mirar dicha imagen, tendemos a "rechazarla". Por tanto, para mantener los edificios, estructuras y objetos dentro de una imagen con un aspecto natural, es preferible dejar los efectos de elevación en la perspectiva de la imagen y, en su lugar, exponerlos de otra manera. "Desarrollo de un sistema de asistencia de estacionamiento usando una síntesis de imagen de punto de vista virtual" por Okamoto et al. Congreso Mundial ITS, (1 de noviembre de 2000), XP002418339, describe un sistema de asistencia de estacionamiento que usa tecnología de síntesis de imágenes de punto de vista virtual. Este documento describe métodos para ayudar a un conductor proporcionando una vista aérea del vehículo y el área circundante, como un método para sintetizar una imagen virtual vista desde un punto de vista elevado arbitrario convirtiendo e integrando múltiples imágenes tomadas de cámaras montadas en el vehículo.
La EP 1223750 divulga un dispositivo de cámara para usar en la medición y síntesis de una imagen que puede usarse para una medición y síntesis precisas incluso sin suprimir la variación en las características del dispositivo. Un medio de almacenamiento de parámetros de cámara almacena un parámetro de cámara que indica características exclusivas para el dispositivo de cámara. Un medio de detección de estado detecta un estado del dispositivo de cámara como una temperatura. Una salida de parámetro significa que externamente emite un parámetro de cámara de acuerdo con la información de estado.
Debido a estos problemas, la práctica común en la industria es proporcionar conjuntos de imágenes oblicuas como una serie de imágenes individuales. Sin embargo, algunos de los mismos beneficios del orto-mosaico también se aplican a un mosaico oblicuo (una imagen creada a partir de una colección de imágenes oblicuas superpuestas o adyacentes), concretamente el hecho de que el mosaico cubre un área geográfica más grande que cada una de las imágenes individuales que se usaron para crearlo. Esta invención detalla un medio mediante el cual se puede crear un mosaico oblicuo de calidad, superando las limitaciones anteriores.
SUMARIO DE LA INVENCIÓN
Esta invención permite la creación de una imagen de mosaico oblicua que tiene tanto una apariencia natural y además está preferiblemente georreferenciada para mantener la capacidad de medir y determinar coordenadas geográficas. Aunque la realización preferida aplica esta invención a las imágenes oblicuas aéreas, la invención también funcionará con imágenes oblicuas no aéreas capturadas de varias maneras, incluyendo, pero no limitado a, cámaras montadas oblicuamente en un poste vertical, cámaras de mano apuntadas oblicuamente, y cámaras montadas en ángulos oblicuos en una sonda submarina.
Se divulga un método para crear una imagen de mosaico oblicua a partir de una pluralidad de imágenes oblicuas de la fuente de un área geográfica. Las imágenes oblicuas de la fuente son preferiblemente imágenes oblicuas capturadas. En este método, se identifica un área deseada para ser fotografiada y recogida en una imagen de mosaico oblicua, y se crea un modelo matemático de un sensor de una cámara virtual. La cámara virtual tiene una elevación mayor que una elevación del área a ser fotografiada. El modelo matemático tiene un mapa de píxeles de mosaico oblicuo para el sensor del área deseada. Se determina una localización de superficie para cada píxel incluida en el mapa de píxeles de mosaico oblicuo. La presente invención comprende además el paso de seleccionar imágenes oblicuas de la fuente de la localización de la superficie capturada en un ángulo oblicuo y una dirección de la brújula similar al ángulo oblicuo y la dirección de la brújula de la cámara virtual. Luego, se reproyecta por lo menos un píxel de imagen oblicua de la fuente del área a ser fotografiada para cada píxel incluido en el mapa de píxeles de mosaico oblicuo para crear de este modo una imagen de mosaico oblicua del área geográfica deseada. Por tanto, la imagen de mosaico oblicua es una imagen compuesta formada a partir de píxeles reproyectados a partir de múltiples imágenes oblicuas de la fuente.
En una versión de la invención, las múltiples imágenes oblicuas de la fuente representan la misma localización de superficie. En esta realización, el método puede comprender además pasos para seleccionar qué píxeles y/o imágenes oblicuas de la fuente utilizar para formar la imagen de mosaico oblicua. En otra versión, los píxeles de cada imagen oblicua de la fuente que representan la misma localización de superficie se comparan para determinar qué píxel de la fuente es el más representativo de la localización de la superficie, el píxel más representativo que se incluirá en la imagen de mosaico oblicua.
En una versión de la invención, el paso de asignación se define además mediante la proyección de cada píxel a través de la perspectiva de la cámara virtual para determinar una localización de superficie correspondiente para cada píxel en el mapa de píxeles de mosaico oblicuo.
En otra versión de la invención, el paso de la reproyección se define además reproyectando el píxel para que coincida con el tamaño y la forma de la localización de la superficie representada, tomada desde la elevación, la dirección de la brújula, y el ángulo oblicuo de la cámara virtual.
En otra versión más de la invención, el paso de la reproyección se define adicionalmente eliminando los efectos de elevación de las imágenes oblicuas de la fuente antes de la reproyección y luego añadiendo los efectos de elevación a la imagen de mosaico oblicua después de la reproyección.
En otra versión más de la invención, el método incluye el paso de minimizar la inclinación de las estructuras verticales dentro de la imagen de mosaico oblicua. Esto puede lograrse de varias maneras, como creando un modelo de elevación a partir de las imágenes oblicuas de la fuente teniendo en cuenta las estructuras verticales, y reproyectar por lo menos un píxel de la imagen oblicua de la fuente del área de la que se va a captar la imagen utilizando el modelo de elevación. Alternativamente, puede minimizarse la inclinación de las estructuras verticales haciendo coincidir las estructuras verticales en múltiples imágenes oblicuas de la fuente y cambiando la localización aparente de los píxeles en por lo menos una de las imágenes oblicuas de la fuente en una altura relativa sobre un modelo de suelo.
BREVE DESCRIPCIÓN DE VARIAS VISTAS DE LOS DIBUJOS
La Fig. 1 es una vista esquemática de una escena capturada por una cámara real reproyectada a una "cámara virtual", es decir, un modelo matemático que describe una cámara más grande que la cámara real y de elevación más alta que la cámara real.
La Fig. 2 es una ilustración de un diagrama de flujo de software/función ejemplar de un método para elaborar una imagen de mosaico oblicua usando una metodología mediante la cual las imágenes aéreas capturadas oblicuamente separadas se combinan en la imagen de mosaico oblicua.
La Fig. 3a es una representación pictórica de una imagen de mosaico oblicua del estado de la técnica.
La Fig. 3b es una vista ampliada de la representación pictórica de la imagen de mosaico oblicua del estado de la técnica de la Fig. 3a.
La Fig. 4a es una representación pictórica de una imagen de mosaico oblicua ejemplar creada de acuerdo con la presente invención.
La Fig. 4b es una vista ampliada de la representación pictórica de la imagen de mosaico oblicua ejemplar creada de acuerdo con la presente invención de la Fig. 4a.
DESCRIPCIÓN DETALLADA DE LA INVENCIÓN RECIENTEMENTE REVELADA Y RECLAMADA
Antes de explicar por lo menos una realización de la invención con detalle, debe entenderse que la invención no está limitada en su aplicación a los detalles de construcción, experimentos, datos ejemplares y/o la disposición de los componentes expuestos en la siguiente descripción o ilustrados en los dibujos. La invención es capaz de otras realizaciones o de ser puesta en práctica o llevada a cabo de varias maneras. Además, debe entenderse que la fraseología y la terminología empleadas en la presente tienen fines descriptivos y no deben considerarse limitativas.
Las invenciones actualmente reivindicadas y divulgadas se refieren a imágenes de mosaico oblicuo y a métodos para elaborar y usar las mismas. Más particularmente, las invenciones actualmente reivindicadas y divulgadas usan una metodología por la cual las imágenes aéreas capturadas oblicuamente separadas se combinan en por lo menos una única imagen de mosaico oblicua. La por lo menos una única imagen de mosaico oblicua es visualmente agradable y geográficamente precisa.
En referencia ahora a las Figuras y en particular a las Figs. 1 y 2, en la Fig. 1 se muestra y se designa por un número de referencia 10 una vista esquemática de un método para crear una imagen de mosaico oblicua 12 (ver Figuras 4A y 4B). La Fig. 2 es una ilustración de un diagrama de flujo de software/función ejemplar 14 de un método para elaborar la imagen de mosaico oblicua 12 usando una metodología mediante la cual las imágenes aéreas oblicuas capturadas se combinan en la imagen de mosaico oblicua 12. La Fig. 4a es una representación pictórica de una imagen de mosaico oblicua 12 ejemplar creada de acuerdo con la presente invención. La Fig. 4b es una vista ampliada de la representación pictórica de la imagen de mosaico oblicua 12 ejemplar creada de acuerdo con la presente invención.
En general, el método identifica un área deseada 15 para ser capturada en imágenes y recogida en la imagen de mosaico oblicua 12. Las imágenes de la fuente se obtienen utilizando una cámara real 14 que captura una escena 16 como se indica mediante un bloque 18 en la Fig. 2. Luego, se crea una cámara virtual 20 como se indica mediante un bloque 22 en la Fig. 2. La cámara virtual 20 es un modelo matemático que describe una cámara más grande que la cámara real 14 y más elevada que la cámara real 14 como se muestra en la Fig. 1. El modelo matemático tiene un mapa de píxeles de mosaico oblicuo para el sensor del área deseada. Se asigna una localización de superficie a cada píxel incluido en el mapa de píxeles oblicuo, y luego, como se indica mediante un bloque 24, se seleccionan las imágenes oblicuas de la fuente para las localizaciones de suelo y luego por lo menos un píxel de imagen oblicua de la fuente del área de la que se van a capturar imágenes para cada píxel incluido en el mapa de píxeles del mosaico oblicuo se reproyecta para crear de este modo la imagen de mosaico oblicua del área geográfica deseada (como se indica mediante un bloque 26). Opcionalmente, el método incluye además uno o más pasos para minimizar el efecto de la inclinación de la estructura vertical como se indica mediante un bloque 28.
Como se ha descrito anteriormente en la presente, el uso de una metodología de reproyección de cuadrícula para crear imágenes de mosaico oblicuas está plagado de problemas y es poco probable que proporcione una imagen utilizable. Por lo tanto, para producir la imagen de mosaico oblicua de calidad 12, debe realizarse un proceso mejorado. Tal proceso mejorado y único se describe y reivindica en la presente y preferiblemente usa, generalmente, las siguientes consideraciones:
• Primero, en lugar de proyectar sobre una cuadrícula rectilínea, los píxeles de la imagen de entrada se proyectan sobre la "cámara virtual" 20. La cámara virtual 20 es un modelo matemático que describe una cámara muy grande, en lo alto del cielo. Como es una creación matemática, esta cámara 20 no está sujeta a las limitaciones actuales de la fabricación de cámaras.
• En segundo lugar, los píxeles no se reproyectan para que sean cuadrados o incluso del mismo tamaño en la imagen de salida, como es el caso en el proceso estándar de orto-rectificación usado cuando se crea un orto-mosaico. En cambio, se reproyectan para que coincidan con el tamaño que proyectarían sobre el suelo desde esta cámara virtual 20, es decir, la perspectiva natural que captura una cámara.
• En tercer lugar, para alinear mejor el conjunto de imágenes combinadas, los efectos de los cambios en la elevación se eliminan primero del conjunto de imágenes de entrada durante la proyección desde la localización de la cámara de la imagen de entrada original hasta el suelo, y luego los efectos de elevación se reintroducen durante la proyección desde el suelo hasta la localización de la cámara virtual. El resultado es una imagen de aspecto natural que muestra apropiadamente los contornos de la tierra como se ve desde una perspectiva oblicua natural.
• Finalmente, los efectos de la inclinación de los edificios deseablemente se minimizan. Hay varias maneras diferentes en las que puede minimizarse la inclinación de los edificios:
o "Dirigiendo" las líneas de corte entre las imágenes de entrada por las calles de tal manera que las líneas de corte no pasen por un edificio, lo que puede hacer que la inclinación del edificio en conflicto distorsione en gran medida la apariencia de un edificio.
o El ángulo de inclinación del edificio puede calcularse y las imágenes deformarse para compensar la inclinación del edificio.
o Los edificios pueden hacerse coincidir en imágenes adyacentes y alinearse entre sí.
En la práctica, la metodología divulgada y reivindicada en la presente consiste de múltiples pasos y transformaciones de datos que pueden ser realizados por un experto en la técnica dada la presente especificación. Hay una serie de algoritmos ya conocidos en la técnica que dirigen líneas de corte para orto-mosaicos y podrían ser adaptados fácilmente para su uso con imágenes oblicuas. Además, el trabajo de seguimiento podría crear nuevos algoritmos diseñados específicamente para tratar las complejidades de las imágenes oblicuas.
El primer paso para crear la imagen de mosaico oblicua 12 de acuerdo con la invención actualmente divulgada y reivindicada requiere la selección de un área de la que se van a captar imágenes. En general, el área de la que se van a captar imágenes sería una localización geográfica específica. Sin embargo, también pueden seleccionarse otras áreas para captar imágenes en la imagen de mosaico oblicua 12, como los laterales de edificios, paredes, paisajes, laderas de montañas y similares. La creación de una "cámara virtual" 20 que sea capaz de cubrir todo el paisaje o área de interés de la que se van a captar imágenes.
Una vez que se ha determinado un área deseada para ser captada en imágenes y recogida en la imagen de mosaico oblicua 12, el usuario u operador crea la "cámara virtual" 20, es decir, una construcción matemática que es capaz de cubrir o capturar una parte o la totalidad del área deseada. La cámara virtual 20 es un modelo matemático de una cámara con los parámetros de geometría de cámara necesarios (los valores matemáticos que definen el modelo de la cámara, por ejemplo, el número de filas y columnas del plano del sensor, el tamaño del plano del sensor en milímetros, la distancia focal en milímetros, altura sobre el suelo, guiñada, inclinación y alabeo del eje óptico) que le permiten "capturar" preferiblemente la escena deseada. Por ejemplo, puede concebirse una cámara virtual que tenga un sensor muy grande (por ejemplo, columnas de 20.000 píxeles y filas de 10.000 píxeles), un campo de visión estándar (plano del sensor de 36 mm por 24 mm y una distancia focal de 60 mm), y "colocarse" a una altitud relativamente alta (por ejemplo, 30.000 pies) mirando hacia abajo en un ángulo oblicuo hacia el norte (guiñada y alabeo de 0 y cabeceo de -40 grados). En una realización preferida, se usa un modelo de sensor de una cámara real y el usuario simplemente modifica los parámetros de tal manera que cumpla los requisitos para "capturar" el área deseada.
El segundo paso crea el mapa de píxeles oblicuo resultante para la cámara virtual 20. El mapa de píxeles corresponde al sensor de la cámara virtual y, por tanto, típicamente pero no necesariamente, tiene el mismo número de filas y columnas que el sensor de la cámara virtual. Luego, para cada píxel en la imagen del mapa de píxeles, se usan ecuaciones proyectivas para la cámara virtual 20 para proyectar cada píxel hacia abajo y lejos de la cámara virtual 20 y sobre el suelo, teniendo en cuenta la elevación al hacerlo (generalmente a través del uso de un modelo de elevación matemático de la superficie del suelo). Esto da como resultado una localización de suelo correspondiente para el píxel de esa cámara virtual.
Una vez que se ha encontrado la localización del suelo correspondiente, puede usarse para seleccionar qué imágenes capturadas previamente contienen datos de imagen para esa localización del suelo. Esto se realiza generalmente comprobando si la localización del terreno se encuentra dentro de los límites de una imagen capturada previamente.
Cuando se seleccionan imágenes oblicuas de la fuente, por ejemplo, imágenes capturadas de entrada, para lograr una imagen de salida deseable, es importante usar imágenes oblicuas de la fuente que se capturaron en la misma orientación relativa, o casi la misma, de la cámara virtual 20, en términos de ángulo hacia abajo oblicuo y dirección de la brújula del eje óptico. Aunque generalmente no es un problema usar imágenes de entrada de una cámara cuyo modelo es diferente al modelo de la cámara virtual, si ese modelo es radicalmente diferente (por ejemplo, un escáner de línea frente a un dispositivo de captura de fotograma completo), puede dar como resultado una imagen resultante indeseable.
Aunque esta invención analiza el uso de imágenes capturadas como entrada al mosaico oblicuo 12, en realidad no es necesario. Es posible usar una imagen proyectada como entrada para este proceso o incluso usar otro mosaico oblicuo como entrada para este proceso. Sin embargo, como este proceso reproyecta las imágenes de entrada, es deseable usar imágenes de entrada no proyectadas, es decir, imágenes capturadas. La razón es que la reproyección de datos ya proyectados a menudo puede llevar a artefactos, algo así como errores de redondeo en los cálculos matemáticos. Estos artefactos pueden crear un mosaico oblicuo resultante indeseable.
En general, es deseable crear el mosaico oblicuo continuo 12. Para hacerlo, debe haber datos de imágenes capturadas para toda el área "capturada" por la cámara virtual 20. Esto significa que si se combinan múltiples imágenes capturadas para crear el mosaico oblicuo 12, esas imágenes de entrada deben ser adyacentes o, más comúnmente, estar superpuestas. Como resultado de esta superposición, es común que haya múltiples imágenes capturadas que cubran la misma área en el suelo. Si hay múltiples imágenes capturadas disponibles para la selección, se elige una imagen capturada preferida de acuerdo con los criterios de selección que se describen a continuación.
Cuando varias imágenes de cámaras reales 14 cubren el mismo punto en el suelo, puede usarse un proceso de selección para determinar qué imagen de cámara real debe usarse como entrada para la creación de la imagen de mapa de píxeles de la cámara virtual. Este proceso de selección puede realizarse asignando ponderaciones (valores numéricos asignados) a los siguientes criterios de entrada, multiplicando esas ponderaciones por el criterio normalizado (un valor que se ha escalado entre 0 y 1), y luego seleccionando la imagen con la mayor suma de estos productos de ponderación/criterio. Aunque puede usar cualquier número de criterios, se han usado los siguientes tres criterios en el desarrollo de esta invención:
Criterio de selección: distancia al eje óptico
La distancia entre el punto en el suelo que se selecciona y el punto donde el eje óptico de la cámara de entrada interseca el suelo. Este valor puede normalizarse dividiendo la distancia por la distancia máxima que se puede medir en la escena.
Criterio de selección: diferencia angular al eje óptico
La diferencia entre los siguientes dos ángulos: el ángulo del eje óptico de la cámara de entrada (generalmente medido con respecto a la perpendicular) y el ángulo del rayo que se proyecta desde la cámara virtual al punto en el suelo que se selecciona (de nuevo, medido generalmente con respecto a la perpendicular). Este valor puede normalizarse dividiendo por 180 grados.
Criterio de selección: distancia a la línea central de la calle más cercana
La distancia entre el punto que se selecciona en el suelo y la línea central de la calle más cercana. Las líneas centrales de la calle pueden obtenerse de archivos de datos vectoriales como archivos TIGER u otros archivos del Sistema de Información Geográfica. Este valor puede normalizarse dividiendo por la distancia máxima que se puede medir en la escena.
Una vez que se ha seleccionado la imagen capturada preferida, se usan las ecuaciones proyectivas para la cámara de la imagen capturada para proyectar desde el suelo hasta la cámara, teniendo en cuenta la elevación del suelo al hacerlo. Esta proyección a través del punto focal y sobre el plano del sensor de la cámara encontrará una fila de píxeles y una columna correspondiente al punto en el suelo. Como esto normalmente no cae en una fila o columna entera, se usa la interpolación bilineal (una fórmula matemática estándar de la industria para encontrar un valor individual desde la proximidad proporcional a los cuatro píxeles circundantes) para encontrar el valor de píxel para el punto correspondiente en el plano del sensor de la cámara.
Este valor de píxel se usa para llenar el píxel en la imagen que corresponde al plano del sensor de la cámara virtual desde el cual se proyectó el rayo original sobre el suelo. Este proceso se repite para algunos o todos los píxeles restantes en el plano del sensor de la cámara virtual, lo que da como resultado una imagen que cubre algo del área o todo el área en el suelo que la cámara virtual 20 puede "ver". Preferiblemente, este proceso se repite para todos los píxeles restantes en el plano del sensor de la cámara virtual, lo que da como resultado una imagen completa que cubre toda el área en el suelo que la cámara virtual 20 puede "ver".
Luego se almacenan la imagen resultante y sus ecuaciones proyectivas correspondientes. La imagen resultante puede almacenarse en cualquier formato, incluyendo uno de los muchos formatos de imagen estándar de la industria, como TIFF, JFIF, TARGA, Windows Bitmap File, PNG o cualquier otro formato estándar de la industria.
Para las ecuaciones proyectivas correspondientes, los siguientes datos deberían, en una realización preferida, almacenarse como metadatos con la imagen resultante, adjuntada al mismo archivo o en otro archivo fácilmente accesible (una práctica estándar de la industria es usar el mismo nombre de archivo pero con una extensión de archivo diferente):
1. La localización de la cámara - en general, la localización de la cámara está especificada por una localización geográfica y altitud (o altura sobre el suelo).
2. La orientación de la cámara - generalmente especificada por tres ángulos: guiñada, cabeceo y alabeo (u omega, phi y kappa).
3. El tamaño del sensor - generalmente especificado como el tamaño total del sensor en milímetros (o por el tamaño de un elemento sensor individual).
4. La distancia focal de la lente - generalmente especificada en milímetros.
5. Opcionalmente, información de distorsión de la lente - generalmente especificada como un desplazamiento del punto principal (desplazamiento entre el eje óptico y el centro del sensor) y como términos de distorsión radial (coeficientes polinómicos que describen la cantidad de distorsión que se produce radialmente fuera del eje óptico).
6. Opcionalmente, un modelo de elevación del suelo - generalmente especificado como una cuadrícula de valores de elevación.
Como se ha tratado anteriormente, la perspectiva relativa de la cámara provoca un efecto conocido como "inclinación de edificios". Aunque la inclinación de edificios se aplica más comúnmente y, por lo tanto se analiza, a edificios, también se aplica a cualquier estructura vertical en el objeto, como torres eléctricas, árboles, automóviles, cabinas telefónicas, buzones, letreros de calles, etc. La inclinación de edificios es un efecto que hace que parezca que los edificios que no están a lo largo del eje óptico de la cámara se "inclinen" lejos del eje óptico - cuanto más lejos del eje óptico, mayor es la inclinación. Esta inclinación es el resultado de la perspectiva, que hace que los objetos que se levantan del suelo aparezcan más "atrás" en la imagen, lejos de la cámara. Por tanto, la parte superior de un edificio aparece más atrás que la parte inferior de un edificio. Cuando esta inclinación corresponde a la perspectiva de la cámara, parece normal. Sin embargo, como parte del proceso de mosaico oblicuo, las imágenes capturadas, cada una con su propia perspectiva, se combinan en la perspectiva de una única cámara virtual.
Esta combinación de diferentes perspectivas se vuelve problemática, especialmente cuando dos imágenes capturadas diferentes desde diferentes puntos de vista aportan valores de píxeles a áreas adyacentes en la imagen del mapa de píxeles de la cámara virtual. Por ejemplo: si una cámara a la izquierda de un edificio proporciona el lado izquierdo de un edificio, entonces esa parte del edificio parecerá inclinarse hacia la derecha (lejos de la cámara). Si una cámara que está localizada a la derecha del edificio proporciona el lado derecho del edificio, entonces esa parte del edificio parecerá inclinarse hacia la izquierda. Como las dos mitades del edificio "se inclinan" entre sí, la imagen combinada resultante tiene un edificio que tiene una apariencia triangular, en lugar de rectangular.
Como la inclinación del edificio solo afecta a las superficies por encima de la superficie del suelo, generalmente es bastante difícil tener en cuenta o corregir estos efectos ya que, para hacerlo, el usuario debe tener conocimiento de la presencia del edificio o estructura. Las características que se encuentran en el suelo no experimentan esta inclinación de edificios ya que el cambio en la perspectiva relativa se revierte cuando se tiene en cuenta la elevación del suelo en las ecuaciones proyectivas. El modelo matemático usado para definir la superficie del suelo durante el proceso proyectivo asegura que se seleccione la localización del suelo correcta. Sin embargo, para los objetos que se elevan por encima de la superficie del suelo y no están representados en el modelo matemático usado para definir la superficie del suelo, este cambio de perspectiva relativo hace que la cámara virtual "vea" la parte superior del edificio en el lugar equivocado, es decir, demasiado atrás de la cámara.
Un método para minimizar los efectos de la inclinación de edificios, como se contempla en la presente, es hacer la transición entre una imagen de cámara de entrada y la siguiente imagen de cámara de entrada sobre un área donde no hay estructuras por encima o por debajo del modelo de elevación del suelo. En una realización, esto se logra colocando la transición en el medio de una calle. Por tanto, al tener un criterio de selección apropiadamente ponderado para la distancia a la línea central de la calle, si hay una calle en el área donde se superponen dos imágenes capturadas, se producirá la transición de píxeles contribuyentes de una imagen capturada a los píxeles contribuyentes de la segunda imagen capturada a lo largo de esta calle, minimizando de este modo los efectos de la inclinación de edificios.
Un método para eliminar la inclinación de edificios por completo, como se contempla en la presente, es proporcionar un modelo de elevación del suelo preciso que tenga en cuenta los edificios y otras estructuras verticales. Por tanto, cada píxel que comprende la imagen del edificio se representa en el modelo matemático del modelo de elevación del suelo y, por lo tanto, se tienen en cuenta el cambio en la perspectiva relativa para el proceso proyectivo. Sin embargo, para que esto funcione bien, el modelo de elevación debe estar altamente correlacionado con las imágenes de entrada. Si hay algún cambio en la localización entre el conjunto de imágenes y el modelo de elevación, entonces los edificios no se proyectarán apropiadamente cuando se crea la imagen de mosaico oblicua 12.
Para superar esta limitación, la metodología preferida es crear el modelo de elevación a partir del propio conjunto de imágenes. Esto se puede hacer usando un proceso estándar de la industria conocido como aerotriangulación, que encuentra la elevación de un punto en el suelo comparando su localización en dos imágenes capturadas superpuestas y usando las ecuaciones proyectivas de sus cámaras correspondientes para triangular su localización y elevación. La repetición de este proceso en toda el área de superposición puede producir un modelo matemático preciso de la superficie no solo del suelo, sino también de la superficie de las estructuras y los objetos dentro de las imágenes. De modo más importante, debido a que este modelo se deriva del propio conjunto de imágenes está, por definición, altamente correlacionado con la imagen de entrada.
Otro método para eliminar la inclinación de los edificios, contemplado para su uso en la presente, es intentar identificar estructuras verticales mediante el uso de un proceso de coincidencia de bordes entre el conjunto de imágenes oblicuo y el correspondientes al nadir. Las estructuras verticales no aparecen en una imagen verdaderamente nadir, y apenas aparecen en una imagen ligeramente fuera del nadir. Por tanto, al comparar una imagen oblicua con su imagen de nadir correspondiente, la diferencia principal entre las estructuras que aparecen en las dos imágenes serán las estructuras verticales. Usando uno o más algoritmos de detección de bordes (como un filtro laplaciano estándar de la industria), es posible identificar las varias estructuras dentro de las dos imágenes y luego aislar los bordes verticales en la imagen oblicua restando las estructuras no verticales que también aparecen en la imagen nadir. Una vez que se han encontrado estas estructuras verticales, los píxeles de esas estructuras verticales pueden desplazarse para eliminar los efectos del cambio en perspectiva relativa. Al cambiar la localización aparente del píxel en la imagen oblicua capturada por la altura relativa sobre el modelo de suelo que se encuentra a través de la medición de los bordes verticales, puede determinarse su localización de suelo adecuada, negando de este modo los efectos de la inclinación del edificio.
Debe entenderse que los procesos descritos anteriormente pueden realizarse con la ayuda de un sistema informático que ejecuta un software de procesamiento de imágenes adaptado para realizar las funciones descritas anteriormente, y las imágenes y los datos resultantes se almacenan en uno o más medios legibles por ordenador. Los ejemplos de un medio legible por ordenador incluyen un dispositivo de almacenamiento óptico, un dispositivo de almacenamiento magnético, un dispositivo de almacenamiento electrónico o similar. El término "sistema informático", como se usa en la presente, significa un sistema o sistemas que pueden incorporar y/o ejecutar la lógica de los procesos descritos en la presente. La lógica incorporada en forma de instrucciones de software o firmware puede ejecutarse en cualquier hardware apropiado que puede ser un sistema o sistemas dedicados, o un sistema informático de propósito general, o un sistema informático de procesamiento distribuido, todo lo cual es bien entendido en la técnica, y una descripción detallada de cómo hacer o usar tales ordenadores no se considera necesaria en la presente. Cuando el sistema informático se usa para ejecutar la lógica de los procesos descritos en la presente, tales ordenadores y/o ejecución pueden realizarse en una misma localización geográfica o en múltiples localizaciones geográficas diferentes. Además, la ejecución de la lógica puede realizarse de forma continua o en múltiples momentos discretos. Además, dicha lógica puede realizarse aproximadamente simultáneamente con la captura de las imágenes, o posteriormente o combinaciones de las mismas.
Aunque la invención anterior se ha descrito con cierto detalle a modo de ilustración y ejemplo con propósitos de claridad de comprensión, será obvio para los expertos en la técnica que pueden ponerse en práctica ciertos cambios y modificaciones sin apartarse del alcance de la misma, como se describe en esta especificación y como se define en las reivindicaciones adjuntas a continuación.

Claims (12)

REIVINDICACIONES
1. Un método para crear una imagen de mosaico oblicua (12) a partir de una pluralidad de imágenes oblicuas de la fuente (16) tomadas a una primera elevación por una cámara real, que comprende los pasos de:
identificar un área geográfica deseada (15) para ser captada en imágenes y recogida en una imagen de mosaico oblicua (12);
crear un modelo matemático de un sensor de una cámara virtual (20), donde la cámara virtual (20) tiene una segunda elevación mayor que una elevación del área a ser captada en imágenes (15), la segunda elevación más alta que la primera elevación, el modelo matemático teniendo un mapa de píxeles de mosaico oblicuo para el sensor del área geográfica deseada (15);
determinar una localización de superficie para cada píxel incluido en el mapa de píxeles de mosaico oblicuo; seleccionar imágenes oblicuas de fuente (16) de la localización de la superficie capturadas en un ángulo oblicuo y dirección de la brújula que son iguales, o casi iguales al ángulo oblicuo y la dirección de la brújula de la cámara virtual (20); y
reproyectar por lo menos un píxel de la imagen oblicua de la fuente del área a ser captada en imágenes (16) para cada píxel incluido en el mapa de píxeles de mosaico oblicuo para crear de este modo una imagen de mosaico oblicua (12) del área geográfica deseada (15).
2. El método de la reivindicación 1, en el que el paso de determinar se define adicionalmente proyectando cada píxel a través de la perspectiva de la cámara virtual (20) para determinar una localización de superficie correspondiente para cada píxel en el mapa de píxeles de mosaico oblicuo.
3. El método de la reivindicación 1, en el que las imágenes oblicuas de múltiples fuentes (16) representan la misma localización de superficie.
4. El método de la reivindicación 3, en el que los píxeles de cada imagen oblicua de la fuente (16) que representan la misma localización de superficie se comparan para determinar qué píxel de la fuente es más representativo de la localización de superficie, el píxel más representativo se incluirá en la imagen de mosaico oblicua (12).
5. El método de la reivindicación 1, en el que el paso de reproyección se define además reproyectando el píxel para que coincida con el tamaño y la forma de la localización de la superficie representada, tomada desde la elevación, la dirección de la brújula y el ángulo oblicuo de la cámara virtual (20).
6. El método de la reivindicación 1, en el que el paso de reproyección se define adicionalmente eliminando los efectos de elevación de las imágenes oblicuas de la fuente (16) antes de la reproyección y luego añadiendo los efectos de elevación a la imagen de mosaico oblicua (12) después de la reproyección.
7. El método de la reivindicación 1, que comprende además el paso de minimizar la inclinación de las estructuras verticales dentro de la imagen de mosaico oblicua (12).
8. El método de la reivindicación 7, en el que el paso de minimizar la inclinación de las estructuras verticales dentro de la imagen de mosaico oblicua (12) se define además como los pasos de crear un modelo de elevación a partir de las imágenes oblicuas de la fuente (16) teniendo en cuenta las estructuras verticales, y reproyectando por lo menos un píxel de la imagen oblicua de la fuente del área a ser captada en imágenes (15).
9. El método de la reivindicación 7, en el que el paso de minimizar la inclinación de las estructuras verticales se define además haciendo coincidir estructuras verticales en múltiples imágenes oblicuas de la fuente (16) y desplazando la localización aparente de píxeles en por lo menos una de las imágenes oblicuas de la fuente (16) por una altura relativa sobre un modelo de suelo.
10. El método de la reivindicación 1, en el que los metadatos se almacenan con la imagen de mosaico oblicua (12).
11. El método de la reivindicación 10, en el que los metadatos comprenden la localización de la cámara, la orientación de la cámara, el tamaño del sensor y la distancia focal de la lente de la cámara.
12. El método de cualquiera de las reivindicaciones 1-11, en el que la imagen de mosaico oblicua (12) está georreferenciada.
ES07814579T 2006-08-30 2007-08-30 Imágenes oblicuas en mosaico y métodos para elaborar y usar las mismas Active ES2787226T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US84099206P 2006-08-30 2006-08-30
PCT/US2007/077242 WO2008028040A2 (en) 2006-08-30 2007-08-30 Mosaic oblique images and methods of making and using same

Publications (1)

Publication Number Publication Date
ES2787226T3 true ES2787226T3 (es) 2020-10-15

Family

ID=39136884

Family Applications (1)

Application Number Title Priority Date Filing Date
ES07814579T Active ES2787226T3 (es) 2006-08-30 2007-08-30 Imágenes oblicuas en mosaico y métodos para elaborar y usar las mismas

Country Status (8)

Country Link
US (9) US7873238B2 (es)
EP (1) EP2057585B1 (es)
JP (1) JP4981135B2 (es)
AU (1) AU2007289120C1 (es)
CA (1) CA2662355C (es)
ES (1) ES2787226T3 (es)
MX (1) MX2009002339A (es)
WO (1) WO2008028040A2 (es)

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7424133B2 (en) 2002-11-08 2008-09-09 Pictometry International Corporation Method and apparatus for capturing, geolocating and measuring oblique images
US7873238B2 (en) 2006-08-30 2011-01-18 Pictometry International Corporation Mosaic oblique images and methods of making and using same
US8090166B2 (en) 2006-09-21 2012-01-03 Surgix Ltd. Medical image analysis
US8565552B2 (en) * 2006-11-14 2013-10-22 Codonics, Inc. Assembling multiple medical images into a single film image
US8593518B2 (en) * 2007-02-01 2013-11-26 Pictometry International Corp. Computer system for continuous oblique panning
US8520079B2 (en) * 2007-02-15 2013-08-27 Pictometry International Corp. Event multiplexer for managing the capture of images
US8078436B2 (en) 2007-04-17 2011-12-13 Eagle View Technologies, Inc. Aerial roof estimation systems and methods
US8145578B2 (en) 2007-04-17 2012-03-27 Eagel View Technologies, Inc. Aerial roof estimation system and method
US8385672B2 (en) * 2007-05-01 2013-02-26 Pictometry International Corp. System for detecting image abnormalities
US9262818B2 (en) 2007-05-01 2016-02-16 Pictometry International Corp. System for detecting image abnormalities
IL184151A0 (en) 2007-06-21 2007-10-31 Diagnostica Imaging Software Ltd X-ray measurement method
US7991226B2 (en) * 2007-10-12 2011-08-02 Pictometry International Corporation System and process for color-balancing a series of oblique images
US8531472B2 (en) 2007-12-03 2013-09-10 Pictometry International Corp. Systems and methods for rapid three-dimensional modeling with real façade texture
US8497905B2 (en) 2008-04-11 2013-07-30 nearmap australia pty ltd. Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
US8675068B2 (en) * 2008-04-11 2014-03-18 Nearmap Australia Pty Ltd Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
EP2310839A4 (en) * 2008-06-18 2011-08-03 Surgix Ltd METHOD AND SYSTEM FOR JOINING MULTIPLE PICTURES TO A PANORAMIC IMAGE
US8588547B2 (en) 2008-08-05 2013-11-19 Pictometry International Corp. Cut-line steering methods for forming a mosaic image of a geographical area
US8311287B2 (en) * 2008-09-25 2012-11-13 Microsoft Corporation Validation and correction of map data using oblique images
US20100085350A1 (en) * 2008-10-02 2010-04-08 Microsoft Corporation Oblique display with additional detail
US8209152B2 (en) 2008-10-31 2012-06-26 Eagleview Technologies, Inc. Concurrent display systems and methods for aerial roof estimation
US8731234B1 (en) 2008-10-31 2014-05-20 Eagle View Technologies, Inc. Automated roof identification systems and methods
US8170840B2 (en) 2008-10-31 2012-05-01 Eagle View Technologies, Inc. Pitch determination systems and methods for aerial roof estimation
US8401222B2 (en) 2009-05-22 2013-03-19 Pictometry International Corp. System and process for roof measurement using aerial imagery
JP5304465B2 (ja) * 2009-06-16 2013-10-02 朝日航洋株式会社 モザイク画像生成方法、装置及びプログラム
JP5288482B2 (ja) * 2009-07-21 2013-09-11 Nec東芝スペースシステム株式会社 撮像装置、撮像方法、撮像回路及びプログラム
US9330494B2 (en) 2009-10-26 2016-05-03 Pictometry International Corp. Method for the automatic material classification and texture simulation for 3D models
US8159524B2 (en) * 2009-11-09 2012-04-17 Google Inc. Orthorectifying stitched oblique imagery to a nadir view, and applications thereof
US8970619B2 (en) 2009-11-24 2015-03-03 Microsoft Technology Licensing, Llc Parallelized generation of substantially seamless image mosaics
FR2953940B1 (fr) * 2009-12-16 2012-02-03 Thales Sa Procede de geo-referencement d'une zone imagee
US20120114229A1 (en) * 2010-01-21 2012-05-10 Guoqing Zhou Orthorectification and mosaic of video flow
CA2801486C (en) 2010-02-01 2018-12-11 Eagle View Technologies, Inc. Geometric correction of rough wireframe models derived from photographs
US9036861B2 (en) * 2010-04-22 2015-05-19 The University Of North Carolina At Charlotte Method and system for remotely inspecting bridges and other structures
US9014415B2 (en) * 2010-04-22 2015-04-21 The University Of North Carolina At Charlotte Spatially integrated aerial photography for bridge, structure, and environmental monitoring
US8477190B2 (en) * 2010-07-07 2013-07-02 Pictometry International Corp. Real-time moving platform management system
US8823732B2 (en) 2010-12-17 2014-09-02 Pictometry International Corp. Systems and methods for processing images with edge detection and snap-to feature
US8505847B2 (en) 2011-03-01 2013-08-13 John Ciampa Lighter-than-air systems, methods, and kits for obtaining aerial images
US8768068B2 (en) * 2011-05-04 2014-07-01 Raytheon Company Automated building detecting
CA2835290C (en) 2011-06-10 2020-09-08 Pictometry International Corp. System and method for forming a video stream containing gis data in real-time
US9639757B2 (en) * 2011-09-23 2017-05-02 Corelogic Solutions, Llc Building footprint extraction apparatus, method and computer program product
CA2843944C (en) 2011-11-29 2020-01-07 Pictometry International Corp. System for automatic structure footprint detection from oblique imagery
US10515414B2 (en) 2012-02-03 2019-12-24 Eagle View Technologies, Inc. Systems and methods for performing a risk management assessment of a property
US8774525B2 (en) 2012-02-03 2014-07-08 Eagle View Technologies, Inc. Systems and methods for estimation of building floor area
US9933257B2 (en) 2012-02-03 2018-04-03 Eagle View Technologies, Inc. Systems and methods for estimation of building wall area
US10663294B2 (en) 2012-02-03 2020-05-26 Eagle View Technologies, Inc. Systems and methods for estimation of building wall area and producing a wall estimation report
US9599466B2 (en) 2012-02-03 2017-03-21 Eagle View Technologies, Inc. Systems and methods for estimation of building wall area
US9501700B2 (en) 2012-02-15 2016-11-22 Xactware Solutions, Inc. System and method for construction estimation using aerial images
US9183538B2 (en) 2012-03-19 2015-11-10 Pictometry International Corp. Method and system for quick square roof reporting
JP6000081B2 (ja) * 2012-11-14 2016-09-28 株式会社日立ソリューションズ 情報処理プログラム及び情報処理装置
US9244272B2 (en) 2013-03-12 2016-01-26 Pictometry International Corp. Lidar system producing multiple scan paths and method of making and using same
US9881163B2 (en) 2013-03-12 2018-01-30 Pictometry International Corp. System and method for performing sensitive geo-spatial processing in non-sensitive operator environments
US10909482B2 (en) 2013-03-15 2021-02-02 Pictometry International Corp. Building materials estimation
US11587176B2 (en) 2013-03-15 2023-02-21 Eagle View Technologies, Inc. Price estimation model
US9753950B2 (en) 2013-03-15 2017-09-05 Pictometry International Corp. Virtual property reporting for automatic structure detection
US9959581B2 (en) 2013-03-15 2018-05-01 Eagle View Technologies, Inc. Property management on a smartphone
US9275080B2 (en) 2013-03-15 2016-03-01 Pictometry International Corp. System and method for early access to captured images
US9058673B2 (en) * 2013-03-15 2015-06-16 Oracle International Corporation Image mosaicking using a virtual grid
KR20200105530A (ko) 2013-05-03 2020-09-07 에어로바이론먼트 인크 수직 이착륙(vtol) 공중 비행체
US9185289B2 (en) 2013-06-10 2015-11-10 International Business Machines Corporation Generating a composite field of view using a plurality of oblique panoramic images of a geographic area
US9031325B2 (en) 2013-07-19 2015-05-12 Digitalglobe, Inc. Automatic extraction of built-up footprints from high resolution overhead imagery through manipulation of alpha-tree data structures
WO2015017855A1 (en) 2013-08-02 2015-02-05 Xactware Solutions, Inc. System and method for detecting features in aerial images using disparity mapping and segmentation techniques
US20150095071A1 (en) 2013-09-29 2015-04-02 Donan Engineering Co., Inc. Systems and Methods for Identifying a Subrogation Opportunity for a Potential Subrogation Claim
US10108755B2 (en) * 2013-11-19 2018-10-23 Aerohive Networks, Inc. RF floor plan building
WO2015105886A1 (en) 2014-01-10 2015-07-16 Pictometry International Corp. Unmanned aircraft structure evaluation system and method
US9292913B2 (en) 2014-01-31 2016-03-22 Pictometry International Corp. Augmented three dimensional point collection of vertical structures
CA2938973A1 (en) 2014-02-08 2015-08-13 Pictometry International Corp. Method and system for displaying room interiors on a floor plan
US9367895B2 (en) * 2014-03-19 2016-06-14 Digitalglobe, Inc. Automated sliver removal in orthomosaic generation
US10089766B2 (en) 2014-03-28 2018-10-02 Konica Minolta Laboratory U.S.A., Inc Method and system of stitching aerial data using information from previous aerial images
US9619711B2 (en) * 2014-09-29 2017-04-11 Digitalglobe, Inc. Multi-spectral image labeling with radiometric attribute vectors of image space representation components
US20160239976A1 (en) 2014-10-22 2016-08-18 Pointivo, Inc. Photogrammetric methods and devices related thereto
WO2016130716A2 (en) 2015-02-11 2016-08-18 Aerovironment, Inc. Geographic survey system for vertical take-off and landing (vtol) unmanned aerial vehicles (uavs)
WO2016130721A2 (en) * 2015-02-11 2016-08-18 Aerovironment, Inc. Survey migration system for vertical take-off and landing (vtol) unmanned aerial vehicles (uavs)
WO2016130797A1 (en) * 2015-02-11 2016-08-18 Aerovironment, Inc. Pod cover system for a vertical take-off and landing (vtol) unmanned aerial vehicle (uav)
US11021266B2 (en) 2015-02-11 2021-06-01 Aerovironment, Inc. Pod operating system for a vertical take-off and landing (VTOL) unmanned aerial vehicle (UAV)
US10336470B2 (en) 2015-02-11 2019-07-02 Aerovironment, Inc. Pod launch and landing system for vertical take-off and landing (VTOL)unmanned aerial vehicles (UAVs)
WO2017024175A1 (en) 2015-08-06 2017-02-09 Digitalglobe, Inc. Choreographing automated and manual processes in support of mosaic generation
AU2016315938B2 (en) 2015-08-31 2022-02-24 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
US10275939B2 (en) 2015-11-05 2019-04-30 Google Llc Determining two-dimensional images using three-dimensional models
US10402676B2 (en) 2016-02-15 2019-09-03 Pictometry International Corp. Automated system and methodology for feature extraction
US10671648B2 (en) 2016-02-22 2020-06-02 Eagle View Technologies, Inc. Integrated centralized property database systems and methods
US10628802B2 (en) 2016-05-19 2020-04-21 Lockheed Martin Corporation Systems and methods for assessing damage to infrastructure assets
US11959751B2 (en) * 2016-05-26 2024-04-16 Apple Inc. Correcting compass view using map data
US10032267B2 (en) 2016-06-09 2018-07-24 Lockheed Martin Corporation Automating the assessment of damage to infrastructure assets
US10521664B2 (en) 2016-11-04 2019-12-31 Loveland Innovations, LLC Systems and methods for autonomous perpendicular imaging of test squares
US9823658B1 (en) 2016-11-04 2017-11-21 Loveland Innovations, LLC Systems and methods for adaptive property analysis via autonomous vehicles
CN108399597A (zh) * 2017-02-07 2018-08-14 深圳前海明磊融创科技有限公司 关键信息处理方法和装置
US10984182B2 (en) 2017-05-12 2021-04-20 Loveland Innovations, LLC Systems and methods for context-rich annotation and report generation for UAV microscan data
US10364027B2 (en) 2017-10-24 2019-07-30 Loveland Innovations, LLC Crisscross boustrophedonic flight patterns for UAV scanning and imaging
US10503843B2 (en) 2017-12-19 2019-12-10 Eagle View Technologies, Inc. Supervised automatic roof modeling
CA3089200A1 (en) * 2018-01-25 2019-08-01 Geomni, Inc. Systems and methods for rapid alignment of digital imagery datasets to models of structures
US10789487B2 (en) * 2018-04-05 2020-09-29 Here Global B.V. Method, apparatus, and system for determining polyline homogeneity
US11148805B2 (en) * 2018-04-10 2021-10-19 Government Of The United States, As Represented By The Secretary Of The Army Enclosure for an unmanned aerial system
US11210514B2 (en) 2018-08-24 2021-12-28 Loveland Innovations, LLC Image analysis and estimation of rooftop solar exposure via solar ray mapping
US10366287B1 (en) 2018-08-24 2019-07-30 Loveland Innovations, LLC Image analysis and estimation of rooftop solar exposure
US11205072B2 (en) 2018-08-24 2021-12-21 Loveland Innovations, LLC Solar ray mapping via divergent beam modeling
WO2020219865A1 (en) * 2019-04-24 2020-10-29 Matthew Walker System and method for real-time camera tracking to form a composite image
DE102019206036A1 (de) * 2019-04-26 2020-10-29 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung der geografischen Position und Orientierung eines Fahrzeugs
US11094113B2 (en) 2019-12-04 2021-08-17 Geomni, Inc. Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs
WO2021207733A1 (en) 2020-04-10 2021-10-14 Cape Analytics, Inc. System and method for geocoding
WO2021247603A1 (en) 2020-06-02 2021-12-09 Cape Analytics, Inc. Method for property feature segmentation
WO2022082007A1 (en) 2020-10-15 2022-04-21 Cape Analytics, Inc. Method and system for automated debris detection
US11532116B2 (en) 2020-10-30 2022-12-20 Loveland Innovations, Inc. Graphical user interface for controlling a solar ray mapping
WO2023283231A1 (en) 2021-07-06 2023-01-12 Cape Analytics, Inc. System and method for property condition analysis
US11676298B1 (en) 2021-12-16 2023-06-13 Cape Analytics, Inc. System and method for change analysis
AU2023208758A1 (en) 2022-01-19 2024-06-20 Cape Analytics, Inc. System and method for object analysis

Family Cites Families (179)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2273876A (en) 1940-02-12 1942-02-24 Frederick W Lutz Apparatus for indicating tilt of cameras
US2791151A (en) * 1953-05-06 1957-05-07 John T Pennington Method of and apparatus for aerotriangulation with convergent photography
US3153784A (en) 1959-12-24 1964-10-20 Us Industries Inc Photo radar ground contour mapping system
US5345086A (en) 1962-11-28 1994-09-06 Eaton Corporation Automatic map compilation system
US3621326A (en) 1968-09-30 1971-11-16 Itek Corp Transformation system
US3594556A (en) 1969-01-08 1971-07-20 Us Navy Optical sight with electronic image stabilization
US3661061A (en) 1969-05-05 1972-05-09 Atomic Energy Commission Picture position finder
US3614410A (en) 1969-06-12 1971-10-19 Knight V Bailey Image rectifier
US3716669A (en) 1971-05-14 1973-02-13 Japan Eng Dev Co Mapping rectifier for generating polarstereographic maps from satellite scan signals
US3725563A (en) 1971-12-23 1973-04-03 Singer Co Method of perspective transformation in scanned raster visual display
US3864513A (en) 1972-09-11 1975-02-04 Grumman Aerospace Corp Computerized polarimetric terrain mapping system
US4015080A (en) 1973-04-30 1977-03-29 Elliott Brothers (London) Limited Display devices
JPS5223975Y2 (es) 1973-05-29 1977-05-31
US3877799A (en) 1974-02-06 1975-04-15 United Kingdom Government Method of recording the first frame in a time index system
DE2510044A1 (de) 1975-03-07 1976-09-16 Siemens Ag Anordnung zum aufzeichnen von zeichen unter verwendung von mosaikschreibwerken
US4707698A (en) 1976-03-04 1987-11-17 Constant James N Coordinate measurement and radar device using image scanner
US4240108A (en) 1977-10-03 1980-12-16 Grumman Aerospace Corporation Vehicle controlled raster display system
JPS5637416Y2 (es) 1977-10-14 1981-09-02
IT1095061B (it) 1978-05-19 1985-08-10 Conte Raffaele Apparecchiatura per la registrazione magnetica di eventi casuali relativi a mezzi mobili
US4396942A (en) 1979-04-19 1983-08-02 Jackson Gates Video surveys
FR2461305B1 (fr) 1979-07-06 1985-12-06 Thomson Csf Systeme indicateur cartographique destine plus particulierement a la navigation aerienne
DE2939681A1 (de) 1979-09-29 1981-04-30 Agfa-Gevaert Ag, 5090 Leverkusen Verfahren und vorrichtung zur ueberwachung der qualitaet bei der herstellung von fotografischen bildern
DE2940871C2 (de) 1979-10-09 1983-11-10 Messerschmitt-Bölkow-Blohm GmbH, 8012 Ottobrunn Photogrammetrisches Verfahren für Fluggeräte und Raumflugkörper zur digitalen Geländedarstellung
US4387056A (en) 1981-04-16 1983-06-07 E. I. Du Pont De Nemours And Company Process for separating zero-valent nickel species from divalent nickel species
US4382678A (en) 1981-06-29 1983-05-10 The United States Of America As Represented By The Secretary Of The Army Measuring of feature for photo interpretation
US4463380A (en) 1981-09-25 1984-07-31 Vought Corporation Image processing system
US4495500A (en) 1982-01-26 1985-01-22 Sri International Topographic data gathering method
US4490742A (en) 1982-04-23 1984-12-25 Vcs, Incorporated Encoding apparatus for a closed circuit television system
US4586138A (en) 1982-07-29 1986-04-29 The United States Of America As Represented By The United States Department Of Energy Route profile analysis system and method
US4491399A (en) 1982-09-27 1985-01-01 Coherent Communications, Inc. Method and apparatus for recording a digital signal on motion picture film
US4527055A (en) 1982-11-15 1985-07-02 Honeywell Inc. Apparatus for selectively viewing either of two scenes of interest
FR2536851B1 (fr) 1982-11-30 1985-06-14 Aerospatiale Systeme de reconnaissance comportant un vehicule aerien tournant autour de son axe longitudinal
US4489322A (en) 1983-01-27 1984-12-18 The United States Of America As Represented By The Secretary Of The Air Force Radar calibration using direct measurement equipment and oblique photometry
US4635136A (en) 1984-02-06 1987-01-06 Rochester Institute Of Technology Method and apparatus for storing a massive inventory of labeled images
US4686474A (en) 1984-04-05 1987-08-11 Deseret Research, Inc. Survey system for collection and real time processing of geophysical data
US4814711A (en) 1984-04-05 1989-03-21 Deseret Research, Inc. Survey system and method for real time collection and processing of geophysicals data using signals from a global positioning satellite network
US4673988A (en) 1985-04-22 1987-06-16 E.I. Du Pont De Nemours And Company Electronic mosaic imaging process
US4653136A (en) 1985-06-21 1987-03-31 Denison James W Wiper for rear view mirror
EP0211623A3 (en) 1985-08-01 1988-09-21 British Aerospace Public Limited Company Identification of ground targets in airborne surveillance radar returns
US4953227A (en) 1986-01-31 1990-08-28 Canon Kabushiki Kaisha Image mosaic-processing method and apparatus
US4653316A (en) 1986-03-14 1987-03-31 Kabushiki Kaisha Komatsu Seisakusho Apparatus mounted on vehicles for detecting road surface conditions
US4688092A (en) 1986-05-06 1987-08-18 Ford Aerospace & Communications Corporation Satellite camera image navigation
US4956872A (en) 1986-10-31 1990-09-11 Canon Kabushiki Kaisha Image processing apparatus capable of random mosaic and/or oil-painting-like processing
JPS63202182A (ja) 1987-02-18 1988-08-22 Olympus Optical Co Ltd 傾斜ドツトパタ−ン形成方法
US4814896A (en) 1987-03-06 1989-03-21 Heitzman Edward F Real time video data acquistion systems
US5164825A (en) 1987-03-30 1992-11-17 Canon Kabushiki Kaisha Image processing method and apparatus for mosaic or similar processing therefor
US4807024A (en) 1987-06-08 1989-02-21 The University Of South Carolina Three-dimensional display methods and apparatus
US4899296A (en) 1987-11-13 1990-02-06 Khattak Anwar S Pavement distress survey system
US4843463A (en) 1988-05-23 1989-06-27 Michetti Joseph A Land vehicle mounted audio-visual trip recorder
GB8826550D0 (en) 1988-11-14 1989-05-17 Smiths Industries Plc Image processing apparatus and methods
US4906198A (en) 1988-12-12 1990-03-06 International Business Machines Corporation Circuit board assembly and contact pin for use therein
JP2765022B2 (ja) 1989-03-24 1998-06-11 キヤノン販売株式会社 立体画像形成装置
US5617224A (en) 1989-05-08 1997-04-01 Canon Kabushiki Kaisha Imae processing apparatus having mosaic processing feature that decreases image resolution without changing image size or the number of pixels
US5086314A (en) 1990-05-21 1992-02-04 Nikon Corporation Exposure control apparatus for camera
JPH0316377A (ja) 1989-06-14 1991-01-24 Kokusai Denshin Denwa Co Ltd <Kdd> 2値画像の縮小方法及び装置
US5166789A (en) 1989-08-25 1992-11-24 Space Island Products & Services, Inc. Geographical surveying using cameras in combination with flight computers to obtain images with overlaid geographical coordinates
JP3147358B2 (ja) 1990-02-23 2001-03-19 ミノルタ株式会社 撮影地データを記録できるカメラ
US5335072A (en) 1990-05-30 1994-08-02 Minolta Camera Kabushiki Kaisha Photographic system capable of storing information on photographed image data
EP0464263A3 (en) 1990-06-27 1992-06-10 Siemens Aktiengesellschaft Device for obstacle detection for pilots of low flying aircrafts
US5191174A (en) 1990-08-01 1993-03-02 International Business Machines Corporation High density circuit board and method of making same
US5200793A (en) 1990-10-24 1993-04-06 Kaman Aerospace Corporation Range finding array camera
US5155597A (en) 1990-11-28 1992-10-13 Recon/Optical, Inc. Electro-optical imaging array with motion compensation
JPH04250436A (ja) 1991-01-11 1992-09-07 Pioneer Electron Corp 撮像装置
US5265173A (en) 1991-03-20 1993-11-23 Hughes Aircraft Company Rectilinear object image matcher
US5369443A (en) 1991-04-12 1994-11-29 Abekas Video Systems, Inc. Digital video effects generator
EP0509822B1 (en) 1991-04-16 1995-08-30 Nec Corporation Image pickup system with an image pickup device for control
US5555018A (en) 1991-04-25 1996-09-10 Von Braun; Heiko S. Large-scale mapping of parameters of multi-dimensional structures in natural environments
US5187754A (en) * 1991-04-30 1993-02-16 General Electric Company Forming, with the aid of an overview image, a composite image from a mosaic of images
US5231435A (en) 1991-07-12 1993-07-27 Blakely Bruce W Aerial camera mounting apparatus
DE69123578T2 (de) 1991-09-05 1997-04-03 Nippon Electric Co Bildaufnahmesystem, das korrekte Bildsignale einer Objektzone erzeugen kann
US5677515A (en) 1991-10-18 1997-10-14 Trw Inc. Shielded multilayer printed wiring board, high frequency, high isolation
US5402170A (en) 1991-12-11 1995-03-28 Eastman Kodak Company Hand-manipulated electronic camera tethered to a personal computer
US5247356A (en) 1992-02-14 1993-09-21 Ciampa John A Method and apparatus for mapping and measuring land
US5270756A (en) 1992-02-18 1993-12-14 Hughes Training, Inc. Method and apparatus for generating high resolution vidicon camera images
US5251037A (en) 1992-02-18 1993-10-05 Hughes Training, Inc. Method and apparatus for generating high resolution CCD camera images
US5506644A (en) 1992-08-18 1996-04-09 Olympus Optical Co., Ltd. Camera
US5481479A (en) 1992-12-10 1996-01-02 Loral Fairchild Corp. Nonlinear scanning to optimize sector scan electro-optic reconnaissance system performance
US5355442A (en) * 1992-12-16 1994-10-11 Loral Aerospace Corp. Terrain visualization by ray tracing a conical height field transformation
US5342999A (en) 1992-12-21 1994-08-30 Motorola, Inc. Apparatus for adapting semiconductor die pads and method therefor
US5414462A (en) 1993-02-11 1995-05-09 Veatch; John W. Method and apparatus for generating a comprehensive survey map
US5508736A (en) 1993-05-14 1996-04-16 Cooper; Roger D. Video signal processing apparatus for producing a composite signal for simultaneous display of data and video information
US5467271A (en) 1993-12-17 1995-11-14 Trw, Inc. Mapping and analysis system for precision farming applications
DE69532126T2 (de) 1994-05-19 2004-07-22 Geospan Corp., Plymouth Verfahren zum sammeln und verarbeiten visueller und räumlicher positionsinformation
US5606627A (en) * 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator
RU2153700C2 (ru) 1995-04-17 2000-07-27 Спейс Системз/Лорал, Инк. Система управления ориентацией и формированием изображения (варианты)
US5604534A (en) 1995-05-24 1997-02-18 Omni Solutions International, Ltd. Direct digital airborne panoramic camera system and method
US5668593A (en) 1995-06-07 1997-09-16 Recon/Optical, Inc. Method and camera system for step frame reconnaissance with motion compensation
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
JP3328478B2 (ja) * 1995-10-18 2002-09-24 日本電信電話株式会社 カメラシステム
US5835133A (en) 1996-01-23 1998-11-10 Silicon Graphics, Inc. Optical system for single camera stereo video
US5894323A (en) 1996-03-22 1999-04-13 Tasc, Inc, Airborne imaging system using global positioning system (GPS) and inertial measurement unit (IMU) data
US5844602A (en) 1996-05-07 1998-12-01 Recon/Optical, Inc. Electro-optical imaging array and camera system with pitch rate image motion compensation which can be used in an airplane in a dive bomb maneuver
US5798786A (en) 1996-05-07 1998-08-25 Recon/Optical, Inc. Electro-optical imaging detector array for a moving vehicle which includes two axis image motion compensation and transfers pixels in row directions and column directions
US5841574A (en) 1996-06-28 1998-11-24 Recon/Optical, Inc. Multi-special decentered catadioptric optical system
US6108032A (en) 1996-11-05 2000-08-22 Lockheed Martin Fairchild Systems System and method for image motion compensation of a CCD image sensor
WO1998020301A1 (en) 1996-11-05 1998-05-14 Lockheed Martin Corporation Electro-optical reconnaissance system with forward motion compensation
RU2127075C1 (ru) 1996-12-11 1999-03-10 Корженевский Александр Владимирович Способ получения томографического изображения тела и электроимпедансный томограф
US6222583B1 (en) * 1997-03-27 2001-04-24 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images
US6597818B2 (en) * 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
US6157747A (en) 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US6097854A (en) 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
WO1999018732A1 (en) * 1997-10-06 1999-04-15 Ciampa John A Digital-image mapping
AU1048399A (en) 1997-11-10 1999-05-31 Gentech Corporation System and method for generating super-resolution-enhanced mosaic images
US5852753A (en) 1997-11-10 1998-12-22 Lo; Allen Kwok Wah Dual-lens camera with shutters for taking dual or single images
US6037945A (en) 1997-12-16 2000-03-14 Xactware, Inc. Graphical method for modeling and estimating construction costs
US6094215A (en) 1998-01-06 2000-07-25 Intel Corporation Method of determining relative camera orientation position to create 3-D visual images
US6130705A (en) 1998-07-10 2000-10-10 Recon/Optical, Inc. Autonomous electro-optical framing camera system with constant ground resolution, unmanned airborne vehicle therefor, and methods of use
JP4245699B2 (ja) 1998-09-16 2009-03-25 オリンパス株式会社 撮像装置
US6434265B1 (en) 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
DE19857667A1 (de) 1998-12-15 2000-08-17 Aerowest Photogrammetrie H Ben Verfahren zur Erzeugung einer drei-dimensionalen Objektbeschreibung
JP3593466B2 (ja) * 1999-01-21 2004-11-24 日本電信電話株式会社 仮想視点画像生成方法およびその装置
US6167300A (en) 1999-03-08 2000-12-26 Tci Incorporated Electric mammograph
DE19922341C2 (de) 1999-05-14 2002-08-29 Zsp Geodaetische Sys Gmbh Verfahren und eine Anordnung zur Bestimmung der räumlichen Koordinaten mindestens eines Objektpunktes
AUPQ056099A0 (en) 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
TW483287B (en) 1999-06-21 2002-04-11 Semiconductor Energy Lab EL display device, driving method thereof, and electronic equipment provided with the EL display device
US6587601B1 (en) * 1999-06-29 2003-07-01 Sarnoff Corporation Method and apparatus for performing geo-spatial registration using a Euclidean representation
US6639596B1 (en) 1999-09-20 2003-10-28 Microsoft Corporation Stereo reconstruction from multiperspective panoramas
JP4685313B2 (ja) 1999-12-29 2011-05-18 ジオスパン コーポレイション 任意の局面の受動的な体積画像の処理方法
US6826539B2 (en) 1999-12-31 2004-11-30 Xactware, Inc. Virtual structure data repository and directory
US6829584B2 (en) 1999-12-31 2004-12-07 Xactware, Inc. Virtual home data repository and directory
US6810383B1 (en) 2000-01-21 2004-10-26 Xactware, Inc. Automated task management and evaluation
AU3047801A (en) 2000-02-03 2001-08-14 Alst Technical Excellence Center Image resolution improvement using a color mosaic sensor
US6711475B2 (en) 2000-03-16 2004-03-23 The Johns Hopkins University Light detection and ranging (LIDAR) mapping system
AU2001259026A1 (en) 2000-03-29 2001-10-08 Astrovision International, Inc. Direct broadcast imaging satellite system apparatus and method for providing real-time, continuous monitoring of earth from geostationary earth orbit and related services
US7184072B1 (en) 2000-06-15 2007-02-27 Power View Company, L.L.C. Airborne inventory and inspection system and apparatus
US6834128B1 (en) 2000-06-16 2004-12-21 Hewlett-Packard Development Company, L.P. Image mosaicing system and method adapted to mass-market hand-held digital cameras
US6484101B1 (en) 2000-08-16 2002-11-19 Imagelinks, Inc. 3-dimensional interactive image modeling system
US7313289B2 (en) * 2000-08-30 2007-12-25 Ricoh Company, Ltd. Image processing method and apparatus and computer-readable storage medium using improved distortion correction
US6421610B1 (en) 2000-09-15 2002-07-16 Ernest A. Carroll Method of preparing and disseminating digitized geospatial data
US6959120B1 (en) 2000-10-27 2005-10-25 Microsoft Corporation Rebinning methods and arrangements for use in compressing image-based rendering (IBR) data
US20020122117A1 (en) 2000-12-26 2002-09-05 Masamichi Nakagawa Camera device, camera system and image processing method
AU2002308651A1 (en) 2001-05-04 2002-11-18 Leberl, Franz, W. Digital camera for and method of obtaining overlapping images
US7046401B2 (en) 2001-06-01 2006-05-16 Hewlett-Packard Development Company, L.P. Camera-based document scanning system using multiple-pass mosaicking
US7509241B2 (en) * 2001-07-06 2009-03-24 Sarnoff Corporation Method and apparatus for automatically generating a site model
US20030059743A1 (en) * 2001-08-29 2003-03-27 The Boeing Company Method and apparatus for automatically generating a terrain model for display during flight simulation
US20030043824A1 (en) 2001-08-31 2003-03-06 Remboski Donald J. Vehicle active network and device
US6747686B1 (en) 2001-10-05 2004-06-08 Recon/Optical, Inc. High aspect stereoscopic mode camera and method
US7262790B2 (en) 2002-01-09 2007-08-28 Charles Adams Bakewell Mobile enforcement platform with aimable violation identification and documentation system for multiple traffic violation types across all lanes in moving traffic, generating composite display images and data to support citation generation, homeland security, and monitoring
TW550521B (en) 2002-02-07 2003-09-01 Univ Nat Central Method for re-building 3D model of house in a semi-automatic manner using edge segments of buildings
US6894809B2 (en) 2002-03-01 2005-05-17 Orasee Corp. Multiple angle display produced from remote optical sensing devices
JP4184703B2 (ja) 2002-04-24 2008-11-19 大日本印刷株式会社 画像修正方法およびシステム
WO2004008744A1 (ja) * 2002-07-12 2004-01-22 Iwane Laboratories, Ltd. 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置
US7725258B2 (en) 2002-09-20 2010-05-25 M7 Visual Intelligence, L.P. Vehicle based data collection and processing system and imaging sensor system and methods thereof
JP2006507483A (ja) * 2002-09-20 2006-03-02 エム7 ビジュアル インテリジェンス,エルピー 移動体によるデータの収集及び処理システム
EP1696204B1 (en) 2002-11-08 2015-01-28 Pictometry International Corp. Method for capturing, geolocating and measuring oblique images
US7424133B2 (en) 2002-11-08 2008-09-09 Pictometry International Corporation Method and apparatus for capturing, geolocating and measuring oblique images
US7065696B1 (en) 2003-04-11 2006-06-20 Broadlogic Network Technologies Inc. Method and system for providing high-speed forward error correction for multi-stream data
US7018050B2 (en) 2003-09-08 2006-03-28 Hewlett-Packard Development Company, L.P. System and method for correcting luminance non-uniformity of obliquely projected images
JP2005151536A (ja) 2003-10-23 2005-06-09 Nippon Dempa Kogyo Co Ltd 水晶発振器
US20050089213A1 (en) * 2003-10-23 2005-04-28 Geng Z. J. Method and apparatus for three-dimensional modeling via an image mosaic system
US7916940B2 (en) 2004-01-31 2011-03-29 Hewlett-Packard Development Company Processing of mosaic digital images
RU2006134306A (ru) * 2004-02-27 2008-04-10 Интергрэф Софтвеа Текнолоджис Кампэни Способ и система обработки изображения и машиночитаемый носитель
US7751651B2 (en) * 2004-04-02 2010-07-06 The Boeing Company Processing architecture for automatic image registration
US20060215935A1 (en) * 2004-04-02 2006-09-28 The Boeing Company System and architecture for automatic image registration
US20060028550A1 (en) 2004-08-06 2006-02-09 Palmer Robert G Jr Surveillance system and method
US7728833B2 (en) 2004-08-18 2010-06-01 Sarnoff Corporation Method for generating a three-dimensional model of a roof structure
US8078396B2 (en) 2004-08-31 2011-12-13 Meadow William D Methods for and apparatus for generating a continuum of three dimensional image data
EP1813113A2 (en) * 2004-10-15 2007-08-01 Ofek Aerial Photography Ltd. Computational solution of an building of three dimensional virtual models from aerial photographs
US7348895B2 (en) 2004-11-03 2008-03-25 Lagassey Paul J Advanced automobile accident detection, data recordation and reporting system
KR100657937B1 (ko) 2004-12-14 2006-12-14 삼성전자주식회사 2차원 선형 데이터의 실시간 3차원 변환 방법 및 장치,그리고 이를 이용한 2차원 선형 데이터의 실시간 3차원시각화 방법 및 장치
US7142984B2 (en) 2005-02-08 2006-11-28 Harris Corporation Method and apparatus for enhancing a digital elevation model (DEM) for topographical modeling
US7466244B2 (en) 2005-04-21 2008-12-16 Microsoft Corporation Virtual earth rooftop overlay and bounding
US7554539B2 (en) * 2005-07-27 2009-06-30 Balfour Technologies Llc System for viewing a collection of oblique imagery in a three or four dimensional virtual scene
US7840032B2 (en) * 2005-10-04 2010-11-23 Microsoft Corporation Street-side maps and paths
US7844499B2 (en) 2005-12-23 2010-11-30 Sharp Electronics Corporation Integrated solar agent business model
US7778491B2 (en) * 2006-04-10 2010-08-17 Microsoft Corporation Oblique image stitching
US7944547B2 (en) * 2006-05-20 2011-05-17 Zheng Wang Method and system of generating 3D images with airborne oblique/vertical imagery, GPS/IMU data, and LIDAR elevation data
US20080158256A1 (en) 2006-06-26 2008-07-03 Lockheed Martin Corporation Method and system for providing a perspective view image by intelligent fusion of a plurality of sensor data
US7831089B2 (en) * 2006-08-24 2010-11-09 Microsoft Corporation Modeling and texturing digital surface models in a mapping application
US7873238B2 (en) 2006-08-30 2011-01-18 Pictometry International Corporation Mosaic oblique images and methods of making and using same
DE102007030781A1 (de) 2006-10-11 2008-04-17 Gta Geoinformatik Gmbh Verfahren zur Texturierung virtueller dreidimensionaler Objekte
IL179344A (en) 2006-11-16 2014-02-27 Rafael Advanced Defense Sys Mobile Platform Tracking Method
US7832267B2 (en) 2007-04-25 2010-11-16 Ecometriks, Llc Method for determining temporal solar irradiance values
US20090177458A1 (en) 2007-06-19 2009-07-09 Ch2M Hill, Inc. Systems and methods for solar mapping, determining a usable area for solar energy production and/or providing solar information
US8417061B2 (en) 2008-02-01 2013-04-09 Sungevity Inc. Methods and systems for provisioning energy systems
US8275194B2 (en) 2008-02-15 2012-09-25 Microsoft Corporation Site modeling using image data fusion
US8538151B2 (en) 2008-04-23 2013-09-17 Pasco Corporation Building roof outline recognizing device, building roof outline recognizing method, and building roof outline recognizing program
US8401222B2 (en) 2009-05-22 2013-03-19 Pictometry International Corp. System and process for roof measurement using aerial imagery
US9183538B2 (en) 2012-03-19 2015-11-10 Pictometry International Corp. Method and system for quick square roof reporting

Also Published As

Publication number Publication date
US20110102461A1 (en) 2011-05-05
US9437029B2 (en) 2016-09-06
JP4981135B2 (ja) 2012-07-18
US20120201478A1 (en) 2012-08-09
US20180047197A1 (en) 2018-02-15
US11080911B2 (en) 2021-08-03
MX2009002339A (es) 2009-03-23
US8660382B2 (en) 2014-02-25
WO2008028040A2 (en) 2008-03-06
US9959653B2 (en) 2018-05-01
EP2057585A2 (en) 2009-05-13
AU2007289120A1 (en) 2008-03-06
US10489953B2 (en) 2019-11-26
US20200090390A1 (en) 2020-03-19
US8452125B2 (en) 2013-05-28
US20130208996A1 (en) 2013-08-15
AU2007289120C1 (en) 2012-09-06
WO2008028040A3 (en) 2008-11-13
EP2057585A4 (en) 2013-03-13
US20080123994A1 (en) 2008-05-29
EP2057585B1 (en) 2020-02-26
US20180247442A1 (en) 2018-08-30
US20140126838A1 (en) 2014-05-08
US8081841B2 (en) 2011-12-20
AU2007289120B2 (en) 2012-04-12
CA2662355A1 (en) 2008-03-06
US20160371869A1 (en) 2016-12-22
JP2010503078A (ja) 2010-01-28
CA2662355C (en) 2014-05-06
US9805489B2 (en) 2017-10-31
US7873238B2 (en) 2011-01-18

Similar Documents

Publication Publication Date Title
ES2787226T3 (es) Imágenes oblicuas en mosaico y métodos para elaborar y usar las mismas
ES2788687T3 (es) Procedimientos de dirección de línea de corte para formar una imagen de mosaico de un área geográfica
EP3452780B1 (en) A method for improving position information associated with a collection of images
AU2012205205B2 (en) Mosaic oblique images and methods of making and using same
TW201117131A (en) Method for creating a mosaic image using masks