CZ309023B6 - Method of using effects arising in images due to the relative movement of the image capture device relative to the scene or part of the scene and the device for this - Google Patents
Method of using effects arising in images due to the relative movement of the image capture device relative to the scene or part of the scene and the device for this Download PDFInfo
- Publication number
- CZ309023B6 CZ309023B6 CZ2020288A CZ2020288A CZ309023B6 CZ 309023 B6 CZ309023 B6 CZ 309023B6 CZ 2020288 A CZ2020288 A CZ 2020288A CZ 2020288 A CZ2020288 A CZ 2020288A CZ 309023 B6 CZ309023 B6 CZ 309023B6
- Authority
- CZ
- Czechia
- Prior art keywords
- camera
- scene
- cameras
- chip
- exposure
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 201
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000000694 effects Effects 0.000 title claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000007667 floating Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 7
- 230000006641 stabilisation Effects 0.000 description 4
- 238000011105 stabilization Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 239000002800 charge carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000011505 plaster Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6815—Motion detection by distinguishing pan or tilt from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/689—Motion occurring during a rolling shutter mode
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30212—Military
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
Description
Způsob využití efektů vzniklých v obrazech v důsledku relativního pohybu zařízení pro snímání obrazů vůči scéně nebo části scény a zařízení pro provádění tohoto způsobuMethod of utilizing effects arising in images due to the relative movement of the image capture device relative to the scene or part of the scene and the device for performing the method
Oblast technikyField of technology
Vynález se týká zařízení pro snímání obrazu s více kamerami a/nebo fotoaparáty s plovoucí závěrkou (anglicky rolling shutter, zkratka RS), například mobilních telefonů, robotických systémů, autonomních aut.The invention relates to a device for capturing images with multiple cameras and / or rolling shutters (RS), for example mobile telephones, robotic systems, autonomous cars.
Dosavadní stav technikyState of the art
Deformace v obraze, které jsou způsobené elektronickou plovoucí závěrkou (zkráceně RS deformace nebo také RS efekt, přičemž pojmy RS deformace a RS efekt používáme v celém textu jako synonyma), jsou všudypřítomným jevem v situacích, kdy je obrazové záznamové zařízení, typicky kamera nebo fotoaparát, v pohybu vůči scéně nebo části scény při nahrávání videa či pořizovaní fotografií.Image distortions that are caused by an electronic floating shutter (abbreviated as RS distortion or RS effect, with the terms RS distortion and RS effect being used throughout the text as synonyms) are a ubiquitous phenomenon in situations where an image recording device, typically a camera or camera , moving toward a scene or part of a scene when recording a video or taking photos.
RS deformace přitom vedou nejen k vizuálnímu znehodnocení obrazu, ale znesnadňují také výpočetní metody počítačového vidění, které ze zdeformovaného obrazu vycházejí. Ze zdeformovaného obrazu se obtížně určují parametry modelu pohybu a polohy a orientace záznamového zařízení vůči scéně, které mohou být samy o sobě důležité pro různé aplikace, jež pro svou činnost vyžadují informace o pohybu zařízení. Příkladem z oblasti herního průmyslu může být, např. hra Pokémon GO, příkladem z oblasti zpracování obrazu, např. stabilizace videa dle reference [11] či odstranění rozmazání obrazu dle reference [12], ale vhodné aplikace jsou i v jiných oborech jako například virtuální a rozšířená realita. Přitom podaří-li se parametry modelu pohybu korektním způsobem získat, lze je využít nejen samy o sobě, ale též k odstranění deformací v obraze vzniklých RS efektem.RS deformations not only lead to visual degradation of the image, but also complicate the computational methods of computer vision, which are based on the distorted image. From the distorted image, it is difficult to determine the motion model parameters and the position and orientation of the recording device relative to the scene, which may be important in themselves for various applications that require device motion information to operate. An example from the game industry can be, for example, the game Pokémon GO, an example from the field of image processing, such as video stabilization according to reference [11] or image blur removal according to reference [12], but suitable applications are also in other fields such as virtual and augmented reality. At the same time, if the parameters of the motion model can be obtained correctly, they can be used not only by themselves, but also to eliminate deformations in the image caused by the RS effect.
Správné zjištění parametrů modelu pohybuje tedy velmi důležité a je provázáno s RS deformacemi dvěma způsoby: RS deformace často brání správnému zjištění parametrů modelu pohybu, ale když se s RS deformacemi podaří vhodně pracovat, lze to využít nejen ke zjištění parametrů modelu pohybu, ale i k odstranění těchto deformací. Odstranění RS deformací způsobených plovoucí závěrkou se doposud nejčastěji řeší pomocí jednoho snímku z jedné kamery nebo pomocí sekvencí více snímků z jedné kamery pořízených v různém čase, mezi kterými se hledají vhodné klíče k popsání pohybu kamery a následnému odzkreslení obrazu, jak je popsáno, např. v publikacích [4, 5,6, 7, 8],Correct determination of model model parameters is therefore very important and is associated with RS deformations in two ways: RS deformation often prevents correct determination of motion model parameters, but when you can work properly with RS deformations, it can be used not only to determine model movement parameters, but also to eliminate these deformations. The removal of RS deformations caused by the floating shutter is still most often solved with a single image from one camera or with sequences of multiple images from one camera taken at different times, between which suitable keys are described to describe camera movement and subsequent image distortion as described, e.g. in publications [4, 5,6, 7, 8],
Uvedené metody jsou zpravidla závislé na obsahu pořízených obrázků, šité na míru konkrétním situacím a pouze některým druhům pohybu nebo vyžadují znalost parametrů kamery, které lze spolehlivě získat pouze náročnou kalibrací.These methods are usually dependent on the content of the captured images, tailored to specific situations and only certain types of movement or require knowledge of camera parameters, which can be reliably obtained only by demanding calibration.
Žádná z uvedených metod neobsahuje kroky, na jejichž základě by bylo možné dostatečně korektně a dostatečně nezávisle na typu scény spočítat parametry modelu pohybu a ty buď využít samy o sobě, nebo na jejich základě docílit vizuálně nerušivého odstranění obrazových deformací a/nebo kvalitně zrekonstruovat 3D hloubkovou mapu scény.None of the mentioned methods contains steps on the basis of which it would be possible to calculate the parameters of the motion model sufficiently correctly and sufficiently independently of the type of scene and either use them on their own or achieve visually undisturbed removal of image distortions and / or reconstruct 3D depth scene map.
Existují i systémy s více kamerami, které se snaží problém řešit. V publikaci [1] je popsán systém dvou kamer s překrývajícím se zorným polem, jejichž vzájemná poloha je známá. Ze dvou obrazů pořízených těmito kamerami pak autoři odhadují pohyb objektu nebo kamer v okamžiku pořízení obrazů a pomoci parametrů tohoto pohybu pak rekonstruují 3D scénu. Polohu jednotlivých 3D bodu scény přitom vypočtou za pomocí dostatečné vzdálenosti mezi kamerami (jde o stereosnímání a za pomoci zjištěných parametrů modelu pohybu. Pomocí zjištěných parametrů pohybu pak dokážou tyto body promítnout do obrazu, jako by byl bez deformací.There are also systems with multiple cameras that try to solve the problem. The publication [1] describes a system of two cameras with an overlapping field of view, the mutual position of which is known. From the two images taken by these cameras, the authors then estimate the movement of the object or cameras at the time the images were taken and, using the parameters of this movement, then reconstruct the 3D scene. They calculate the position of individual 3D points of the scene using a sufficient distance between the cameras (it is a stereo image and using the detected parameters of the motion model. Using the detected motion parameters, they can project these points into the image as if it were without distortions.
-1 CZ 309023 B6-1 CZ 309023 B6
Toto řešení ale v mnoha situacích selhává, například při konstrukčním řešení a nastavení, které je běžné pro mobilní telefony. V mobilních telefonech jsou středy kamer velmi blízko u sebe a kamery mají nastaven stejný směr exponování čipů. Kamery se stejným směrem exponování čipů jsou přitom v publikaci [1] explicitně ukázány, jiné nastavení autoři neuvažují. Za těchto okolností při malé vzdálenosti kamer od sebe není dostatek informací k triangulaci bodů a navržená metoda selže. V případě rovnoměrného translačního pohybu metoda selhává i pro kamery se vzdálenějšími středy.However, this solution fails in many situations, such as the design and setup common to mobile phones. In mobile phones, the centers of the cameras are very close to each other and the cameras have the same direction of chip exposure. Cameras with the same direction of chip exposure are explicitly shown in the publication [1], the authors do not consider other settings. Under these circumstances, at a small distance between the cameras, there is not enough information to triangulate the points and the proposed method will fail. In the case of uniform translational motion, the method also fails for cameras with more distant centers.
Ke správnému zjištění pohybu, 3D rekonstrukci či odkreslení deformací obrázků pro případ obecného pohybu kamer vůči scéně a pro libovolnou konfiguraci kamer včetně konfigurace s kamerami tak blízko u sebe, jak je běžné u mobilních telefonů, je tato metoda nevhodná. Bez výrazně rozdílného směru exponování čipů obou kamer není totiž v případě kamer umístěných blízko sebe možné docílit správného zjištění parametrů pohybu, 3D rekonstrukce scény ani odzkreslení deformací obrazů.This method is unsuitable for the correct detection of motion, 3D reconstruction or distortion of images for the case of general movement of cameras relative to the scene and for any camera configuration, including configuration with cameras as close to each other as is common with mobile phones. Without significantly different exposure directions of the chips of both cameras, it is not possible in the case of cameras located close to each other to achieve the correct determination of motion parameters, 3D scene reconstruction or distortion of image distortions.
V publikaci [2] či v patentovém spisu US 10410372 autoři používají systém více kamer s plovoucí závěrkou pro detekci a sledovaní rychle se pohybujících objektů a výpočet parametrů modelu pohybu kamer. Za tímto účelem však využívají radiální zkreslení čoček kamer, které je pro jejich metodu nezbytné. Jejich řešení používá deset kamer, které mají značně rozdílné umístění a musí být ve stereo párech, tedy s dostatečnou vzdáleností od sebe vzhledem ke scéně. Autoři nenavrhují řešení, které by bylo aplikovatelné na kamery umístěné v malé vzdálenosti od sebe, a už vůbec ne pro kamery, které jsou umístěny těsně u sebe jako například u mobilních telefonů. Autoři také uvádějí, že jejich řešení nebude fungovat dobře pro dvě kamery.In [2] or U.S. Pat. No. 10,410,372, the authors use a multi-camera system with a floating shutter to detect and track fast-moving objects and calculate camera motion model parameters. For this purpose, however, they use the radial distortion of the camera lenses, which is necessary for their method. Their solution uses ten cameras, which have very different locations and must be in stereo pairs, ie with a sufficient distance from each other with respect to the scene. The authors do not propose a solution that would be applicable to cameras located at a short distance from each other, and certainly not to cameras that are located close to each other, such as mobile phones. The authors also state that their solution will not work well for two cameras.
V publikaci [3] jsou popsány kamery otočené vzájemně o 90 stupňů. Účelem této konfigurace je rozšíření úhlu záběru. Metoda umožňuje zjistit parametry modelu pohybu, avšak pro toto zjištění není využito výše popsané vzájemné pootočení kamer, naopak je k tomuto zjištění nutné radiální zkreslení čoček kamer. Metodu nelze aplikovat na některé jiné konfigurace kamer, například na dvojici kamer velmi blízko u sebe jako kamery používané na mobilních telefonech, jak autoři sami uvádějí.The publication [3] describes cameras rotated 90 degrees relative to each other. The purpose of this configuration is to extend the angle of view. The method makes it possible to determine the parameters of the motion model, but the above-described mutual rotation of the cameras is not used for this finding; on the contrary, radial distortion of the camera lenses is necessary for this finding. The method cannot be applied to some other camera configurations, such as a pair of cameras very close to each other as cameras used on mobile phones, as the authors themselves state.
Patentový dokument US 2015271483 popisuje vzájemnou synchronizaci dvou kamer ve směru exponování plovoucí závěrky. Tato synchronizace je pak využita k tomu, aby 2D panorama složené z obrazů obou kamer nebo 3D obraz složený z obrazů obou kamer nebyly rozmazané. V dokumentu ale není popsáno odstranění deformací v jednotlivých nesložených obrazech, ty odstraněny nejsou, pouze je díky synchronizaci závěrek obou kamer zajištěno, že se deformace ve složených 2D panoramatech nebo ve 3D obraze ještě nezhoršují.Patent document US 2015271483 describes the mutual synchronization of two cameras in the direction of exposure of a floating shutter. This synchronization is then used to ensure that a 2D panorama composed of images from both cameras or a 3D image composed of images from both cameras is not blurred. However, the document does not describe the removal of distortions in individual non-composite images, they are not removed, only the synchronization of the shutters of both cameras ensures that the deformations in composite 2D panoramas or 3D images do not worsen.
V patentovém dokumentu US 2016050370 je popsána prostorová konfigurace kamer, jejichž plovoucí závěrky exponují čip v opačném směru. Cílem je, aby se překrývající se část obrazů obou kamer snímala v co nej podobnějších časech, aby artefakty způsobené plovoucí závěrkou byly v obou kamerách podobné a obrázky se dobře spojovaly do panoramat. Ani tento dokument neřeší odstranění deformací obrazu, je zaměřen na spojování snímků do panoramat.U.S. Pat. No. 2016050370 describes the spatial configuration of cameras whose floating shutters expose the chip in the opposite direction. The aim is for the overlapping part of the images of both cameras to be captured at the most similar times possible, so that the artifacts caused by the floating shutter are similar in both cameras and the images combine well into panoramas. Even this document does not address the elimination of image distortion, it focuses on merging images into panoramas.
Z patentového dokumentu US 200915371 je rovněž známo zařízení s dvěma čipy s plovoucí závěrkou, přičemž první směr exponování je opačný než druhý směr exponování. Toto zařízení se používá pro korekci deformací vzniklých v obraze v důsledku pohybu objektu. Navržený způsob korekce deformací, ale nevyužívá modely pohybu, proto je výpočetně náročný. Popsaný způsob také neumožňuje získat hloubkovou mapu. Není navrženo ani zařízení, které by jednoduchou změnou exponování po řádcích na exponování po sloupcích v jedné z kamer umožnilo provádět korekce deformací obrazu.U.S. Pat. No. 200915371 also discloses a device with two floating shutter chips, the first exposure direction being opposite to the second exposure direction. This device is used to correct distortions created in the image due to the movement of the object. The proposed method of deformation correction, but does not use motion models, is therefore computationally demanding. The described method also does not allow to obtain a depth map. Nor is a device designed that would allow image distortion corrections to be made by simply changing line exposure to column exposure in one of the cameras.
Ze stavu techniky není známé žádné zařízení, které by dostatečně efektivně řešilo problém RS deformací například i v mobilních telefonech, kde není možné kamery rozestavovat ve větší vzdálenosti od sebe, a které by bylo aplikovatelné na libovolný typ pohybu.No device is known from the prior art which would sufficiently effectively solve the problem of RS deformations, for example even in mobile phones, where it is not possible to place the cameras at a greater distance from each other, and which would be applicable to any type of movement.
- 2 CZ 309023 B6- 2 CZ 309023 B6
Podstata vynálezuThe essence of the invention
Výše uvedené nedostatky odstraňuje navržený způsob využití efektů vzniklých v obrazech v důsledku relativního pohybu tohoto zařízení vůči scéně nebo části scény a zařízení pro provádění tohoto způsobu. V tomto zařízení jsou obsaženy alespoň dvě kamery s plovoucí závěrkou, přičemž směr exponování prvního čipu první kamery je odlišný od směru exponování druhého čipu druhé kamery. Díky tomuto pootočení a RS efektu je při relativním pohybu zařízení vůči scéně nebo části scény rozdíl v deformacích v obrazech nasnímaných první kamerou oproti deformacím v obrazech nasnímaných druhou kamerou. Když se takto zkonstruovaným zařízením nasnímají obrazy scény, která je v relativním pohybu vůči zařízení, lze uvedené efekty v obrazech důvtipně využít, jak pro zjištění parametrů modelu pohybu zařízení vůči scéně nebo části scény, tak následně například i pro určení poloh a orientací čipů kamer vůči scéně nebo části scény, odstranění RS efektu a vytvoření hloubkové mapy scény, přičemž způsob je aplikovatelný dokonce i na mobilní telefony a na libovolný typ pohybu.The above-mentioned drawbacks are eliminated by the proposed method of utilizing the effects created in the images due to the relative movement of this device with respect to the scene or part of the scene and the device for performing this method. The device includes at least two floating shutter cameras, wherein the exposure direction of the first chip of the first camera is different from the exposure direction of the second chip of the second camera. Due to this rotation and the RS effect, there is a difference in the deformations in the images captured by the first camera compared to the deformations in the images captured by the second camera when the device moves relative to the scene or part of the scene. When such a device captures images of a scene that is in relative motion to the device, these effects in the images can be cleverly used, both to determine the parameters of the device's movement pattern to the scene or part of the scene and subsequently, for example, to determine the positions of scene or part of a scene, removing the RS effect and creating a depth map of the scene, the method being applicable even to mobile phones and any type of movement.
Způsob využití efektů vzniklých v obrazech v důsledku relativního pohybu zařízení pro snímání obrazů vůči scéně nebo části scény podle předkládaného vynálezu se provádí v zařízení, které je osazeno alespoň dvěma kamerami s plovoucí závěrkou, z nichž každá má svůj čip se světlocitlivými elementy. Podstatou tohoto způsobuje, že zahrnuje:The method of using the effects generated in the images due to the relative movement of the image capture device with respect to the scene or part of the scene according to the present invention is performed in a device equipped with at least two floating shutter cameras, each having its own light-sensitive element chip. The essence of this is that it includes:
a) nastavení směrů exponování čipů kamer tak, že směr exponování prvního čipu první kamery je odlišný od směru exponování druhého čipu druhé kamery;a) setting the exposure directions of the camera chips so that the exposure direction of the first chip of the first camera is different from the exposure direction of the second chip of the second camera;
b) snímání obrazů kamerami při relativním pohybu zařízení pro snímání obrazů vůči scéně nebo části scény, kde snímání obrazů zahrnuje exponování čipů, při němž mají první čip první kamery a druhý čip druhé kamery v podstatě neměnnou vzájemnou polohu a v podstatě neměnnou vzájemnou orientaci, a zpracování získaných dat do podoby obrazů, přičemž alespoň část scény v zorném poli první kamery obsahuje alespoň po část doby exponování prvního čipu první kamery alespoň jeden význačný 3D objekt scény, který je během alespoň části doby exponování druhého čipu druhé kamery také v zorném poli druhé kamery a který je také alespoň po část doby exponování čipů v relativním pohybu vůči zařízení pro snímání obrazů;b) capturing images with cameras in relative motion of the image capture device relative to the scene or portion of the scene, wherein capturing the images comprises exposing chips in which the first chip of the first camera and the second chip of the second camera have a substantially constant relative position and orientation. processing the acquired data into images, wherein at least part of the scene in the field of view of the first camera comprises at least one significant 3D object of the scene, which is also in the field of view of the second camera during at least part of the exposure time of the first chip; and which is also in relative motion with respect to the image capture device for at least a portion of the exposure time of the chips;
c) pro alespoň jednu dvojici obrazů nasnímaných kamerou a kamerou na základě exponování čipů těchto kamer proběhlých v alespoň částečně se překrývajícím časovém intervalu • detekování alespoň jedné dvojice navzájem korespondujících oblastí, když každé z těchto dvojic navzájem korespondujících oblastí odpovídá jeden z význačných 3D objektů scény, • zjištění polohy korespondující oblastí v obraze nasnímaném první kamerou a zjištění polohy korespondující oblasti v obraze nasnímaném druhou kamerou a • zjištění alespoň jednoho údaje o čase exponování světlocitlivých elementů prvního čipu, které odpovídají korespondující oblasti v obraze nasnímaném první kamerou a zjištění alespoň jednoho údaje o čase exponování světlocitlivých elementů druhého čipu, které odpovídají korespondující oblasti v obraze nasnímaném druhou kamerou; nebo zjištění alespoň jednoho údaje o vzájemném posunu těchto časů;c) for at least one pair of images captured by the camera and the camera on the basis of exposing the chips of these cameras in at least partially overlapping time interval • detecting at least one pair of corresponding areas when each of these pairs of corresponding areas corresponds to one of the significant 3D objects of the scene, • detecting the position of the corresponding area in the image captured by the first camera and detecting the position of the corresponding area in the image captured by the second camera; exposing the light-sensitive elements of the second chip that correspond to the corresponding areas in the image captured by the second camera; or finding at least one data about the mutual shift of these times;
d) zvolení modelu relativního pohybu zařízení pro snímání obrazů vůči scéně nebo části scény, probíhajícího při exponování prvního čipu první kamery a druhého čipu druhé kamery, a výpočetní určení parametrů tohoto modelu pohybu na základě údajů o polohách korespondujících oblastí a údajů o časech exponování nebo o jejich vzájemném posunu zjištěných v kroku c) a na základě informací o vzájemné poloze a vzájemné orientaci první kamery a druhé kamery a o směrech exponování čipů nastavených v kroku a).d) selecting a model of relative motion of the image capture device with respect to the scene or part of the scene taking place when the first chip of the first camera and the second chip of the second camera are exposed, and calculating the parameters of the motion model based on position data and exposure time data; their mutual displacement determined in step c) and on the basis of information on the mutual position and mutual orientation of the first camera and the second camera and on the exposure directions of the chips set in step a).
-3CZ 309023 B6-3GB 309023 B6
Je výhodné zvolit model pohybu buď z první skupiny modelů pohybu obsahující rotaci, translaci a jejich kombinace, nebo z druhé skupiny modelů pohybu obsahujících údaje o posunech poloh korespondujících oblastí v obrazech nasnímaných kamerami, kde posun polohy je pro každou dvojici navzájem korespondujících oblastí definován jako trajektorie, po které se při předpokládaném typu relativního pohybu kamer vůči scéně nebo části scény musí virtuálně posunout poloha korespondující oblasti v obraze nasnímaném první kamerou tak, aby se kryla s polohou jí odpovídající korespondující oblasti v obraze nasnímaném druhou kamerou.It is advantageous to select a motion model either from the first group of motion models containing rotation, translation and combinations thereof, or from the second group of motion models containing position shift data of corresponding areas in images captured by cameras, where position shift is defined as trajectories for each pair of corresponding areas. , after which the position of the corresponding area in the image captured by the first camera must be virtually shifted with the position of the relative movement of the cameras relative to the scene or part of the scene so as to coincide with the position of its corresponding area in the image captured by the second camera.
Parametry modelu pohybu se mohou použít například k určení poloh a orientací každé z kamer vůči scéně nebo části scény v závislosti na čase během doby exponování čipů.The motion model parameters can be used, for example, to determine the positions and orientations of each of the cameras relative to a scene or part of a scene as a function of time during the chip exposure time.
Parametry modelu pohybu se mohou také použít k odstranění deformací v obraze nasnímaném první kamerou a/nebo v obraze nasnímaném druhou kamerou, kde tyto deformace vznikly relativním pohybem kamer vůči scéně nebo části scény.The motion model parameters can also be used to remove distortions in the image captured by the first camera and / or in the image captured by the second camera, where these distortions were caused by the relative movement of the cameras relative to the scene or part of the scene.
V dalším výhodném provedení se polohy a orientace kamer vůči scéně nebo části scény v závislosti na čase během doby exponování čipů se použijí k odstranění deformací v obraze nasnímaném kamerou a/nebo v obraze nasnímaném kamerou, kde tyto deformace vznikly relativním pohybem kamer vůči scéně nebo části scény.In another preferred embodiment, the positions and orientations of the cameras relative to the scene or part of the scene as a function of time during chip exposure time are used to remove distortions in the image captured by the camera and / or in the image captured by the camera. scenes.
Je rovněž možné provedení, v němž se pro alespoň jednu dvojici obrazů nasnímaných první kamerou a druhou kamerou na základě exponování čipů těchto kamer proběhlých v alespoň částečně se překrývajícím časovém intervalu se vybere alespoň jedna dvojice navzájem korespondujících oblastí v těchto dvou obrazech nasnímaných první a druhou kamerou a pro každou z těchto vybraných dvojic korespondujících oblastí se pomocí parametrů modelu pohybu spočte hloubka toho 3D objektu scény, který jim odpovídá.An embodiment is also possible in which at least one pair of corresponding areas in these two images taken by the first and second cameras is selected for at least one pair of images taken by the first camera and the second camera based on the exposure of the chips of these cameras in at least partially overlapping time intervals. and for each of these selected pairs of corresponding areas, the depth of the 3D object of the scene that corresponds to them is calculated using the parameters of the motion model.
Následně je možné hloubky jednotlivých 3D objektů scény se použít k vytvoření 3D hloubkové mapy scény.Subsequently, the depths of the individual 3D objects of the scene can be used to create a 3D depth map of the scene.
Výhodná jsou provedení, v nichž krok nastavení směru exponování čipů zahrnuje otočení čipu v alespoň jedné z kamer a/nebo změnění pořadí, v jakém jsou exponovány řádky nebo sloupce čipu, v alespoň jedné z kamer a/nebo změnění typu exponování v jedné z kamer z exponování po řádcích na exponování po sloupcích nebo opačně.Preferred are embodiments in which the step of setting the chip exposure direction comprises rotating the chip in at least one of the cameras and / or changing the order in which the rows or columns of the chip are exposed in at least one of the cameras and / or changing the exposure type in one of the cameras. row exposure to column exposure or vice versa.
Nastavení směrů exponování v kroku a) se může s výhodou provést tak, že úhel mezi směrem exponování prvního čipu první kamery a směrem exponování druhého čipu druhé kamery je 90 stupňů ± 5 stupňů.The setting of the exposure directions in step a) can advantageously be performed so that the angle between the exposure direction of the first chip of the first camera and the exposure direction of the second chip of the second camera is 90 degrees ± 5 degrees.
V jiném výhodném provedení se nastavení směrů exponování v kroku a) provede tak, že úhel mezi směrem exponování prvního čipu první kamery a směrem exponování druhého čipu druhé kamery je 180 stupňů ± 5 stupňů.In another preferred embodiment, the exposure directions in step a) are set so that the angle between the exposure direction of the first chip of the first camera and the exposure direction of the second chip of the second camera is 180 degrees ± 5 degrees.
Je výhodné, když jsou optické osy obou kamer navzájem rovnoběžné.It is advantageous if the optical axes of the two cameras are parallel to each other.
Rovněž je výhodné, je-li vzdálenost mezi středy kamer menší než 5 cm.It is also advantageous if the distance between the centers of the cameras is less than 5 cm.
Výhodné je také provedení, v němž model pohybu obsahuje pouze rotaci.An embodiment is also preferred in which the motion model comprises only rotation.
V případě vzdálenosti mezi středy kamer menší než 5 cm a pokud model pohybu obsahuje pouze rotaci, je možné parametry modelu pohybu vypočtené pro kteroukoli dvojici nebo skupinu dvojic navzájem korespondujících oblastí v obrazech nasnímaných první a druhou kamerou použít pro odstranění deformací vzniklých v libovolném bodě nebo v libovolných bodech obrazu kterékoli z kamer, kde tyto deformace vznikly relativním pohybem kamer vůči scéně nebo části scény.If the distance between the camera centers is less than 5 cm and the motion model contains only rotation, the motion model parameters calculated for any pair or group of pairs of corresponding areas in the images captured by the first and second cameras can be used to remove distortions at any point or point. at any point in the image of any of the cameras, where these distortions are caused by the relative movement of the cameras relative to the scene or part of the scene.
-4CZ 309023 B6-4CZ 309023 B6
Je možné rovněž provedení, v němž model pohybu sestává z údajů o posunech poloh navzájem korespondujících oblastí v obrazech nasnímaných kamerami a parametry modelu pohybu sestávají z množiny parametrů definujících trajektorii posunu polohy korespondující oblasti v obraze nasnímaném první kamerou, po které se tato korespondující oblast v obraze nasnímaném kamerou musí posunout pro překrytí s odpovídající korespondující oblastí v obraze nasnímaném druhou kamerou.An embodiment is also possible in which the motion model consists of position shifts of the corresponding areas in the images captured by the cameras and the motion model parameters consist of a set of parameters defining the position shifts of the corresponding area in the image captured by the first camera. captured by the camera must shift to overlap with the corresponding corresponding area in the image captured by the other camera.
V posledně uvedeném provedení je možné pro alespoň jednu dvojici obrazů nasnímaných kamerou a kamerou na základě exponování čipů těchto kamer proběhlých v alespoň částečně se překrývajícím časovém intervalu vybrat dvojice navzájem korespondujících oblastí v těchto obrazech nasnímaných první a druhou kamerou a z parametrů modelu pohybu pro tuto vybranou dvojici navzájem korespondujících oblastí vypočíst korigovanou polohu, která odpovídá témuž význačnému 3D objektu scény jako vybraná dvojice korespondujících oblastí. Tato korigovaná poloha přitom odpovídá poloze projekce tohoto význačného 3D objektu scény v obraze s odstraněnými deformacemi vzniklými relativním pohybem kamer vůči scéně nebo části scény. Následně se proces buď ukončí, nebo se pokračuje výběrem další dvojice navzájem korespondujících oblastí v téže dvojici obrazů nasnímaných první a druhou kamerou pro jiný význačný 3D objekt scény, dokud není zjištěna korigovaná poloha v obraze s odstraněnými deformacemi pro všechny 3D objekty scény, kterým odpovídají vybrané dvojice korespondujících oblastí.In the latter embodiment, for at least one pair of images captured by the camera and the camera, it is possible to select pairs of corresponding areas in these images captured by the first and second cameras and the motion model parameters for this selected pair based on the exposure of these camera chips in at least partially overlapping time intervals. corresponding areas to calculate a corrected position that corresponds to the same significant 3D object of the scene as the selected pair of corresponding areas. This corrected position corresponds to the projection position of this significant 3D scene object in the image with the distortions removed due to the relative movement of the cameras relative to the scene or part of the scene. Subsequently, the process is either terminated or continued by selecting another pair of corresponding areas in the same pair of images captured by the first and second cameras for another significant 3D scene object until a corrected position in the distorted image is found for all 3D scene objects corresponding to the selected pair of corresponding areas.
V předešle uvedeném provedení je výhodné, když výpočet korigované polohy pro vybranou dvojici navzájem korespondujících oblastí v obrazech nasnímaných kamerami sestává z interpolace podél trajektorie definované parametry modelu pohybu pro tuto vybranou dvojici navzájem korespondujících oblastí.In the foregoing embodiment, it is advantageous if the calculation of the corrected position for the selected pair of corresponding areas in the images captured by the cameras consists of interpolation along the trajectory defined by the motion model parameters for this selected pair of corresponding areas.
V jednom výhodném provedení je zařízení pro provádění tohoto způsobu konstruováno tak, že úhel mezi směrem exponování prvního čipu první kamery a směrem exponování druhého čipu druhé kamery je 90 stupňů ± 5 stupňů.In one preferred embodiment, the apparatus for performing this method is designed such that the angle between the exposure direction of the first chip of the first camera and the exposure direction of the second chip of the second camera is 90 degrees ± 5 degrees.
Předkládaný vynález tedy poskytuje možnost využít efektů, speciálně deformací, vzniklých v obrazech v důsledku relativního pohybu zařízení vůči scéně nebo části scény a s tím spojeného RS efektu k získání parametrů modelu relativního pohybu zařízení vůči scéně nebo části scény, na jejichž základě je následně možné například korigovat uvedené deformace v obrazech nebo získat 3D mapu scény, a to i pro systémy kamer umístěných velmi blízko sebe, jak je tomu, např. v mobilních telefonech. Řešení známá ze stavu techniky tyto možnosti nenabízela.Thus, the present invention provides the possibility to use effects, especially distortions, created in images due to the relative movement of the device relative to the scene or part of the scene and the associated RS effect to obtain model parameters of the relative movement of the device relative to the scene or part of the scene. distortions in the images or to obtain a 3D map of the scene, even for camera systems placed very close to each other, as is the case, for example, in mobile phones. Prior art solutions did not offer these possibilities.
Objasnění výkresůClarification of drawings
Příklady provedení předkládaného vynálezu jsou uvedeny v přiložených obrázcích.Exemplary embodiments of the present invention are shown in the accompanying figures.
V obr. la až 1c jsou znázorněny příklady možností různých směrů exponování čipů v mobilním telefonu se dvěma kamerami na stejné straně zařízení.Figures 1a to 1c show examples of the possibilities of different directions of chip exposure in a mobile phone with two cameras on the same side of the device.
V obr. 2 je ilustrace vzniku RS efektu.Fig. 2 is an illustration of the origin of the RS effect.
V obr. 3 je ilustrace modelu pohybu obsahujícího údaje o posunech poloh korespondujících oblastí v obrazech P.10, P.20 nasnímaných kamerami 1, 2.Fig. 3 is an illustration of a motion model containing position shift data of corresponding areas in images P.10, P.20 captured by cameras 1, 2.
V obr. 4 jsou schematicky naznačeny rychlosti exponování čipů 10. 20, vybrané řádky těchto čipů a současně také těmto čipům odpovídající obrazy P.10. P.20 nasnímané kamerami 1, 2, to vše při translačním relativním pohybu soustavy kamer L 2 vůči scéně.Fig. 4 schematically shows the exposure speeds of the chips 10, 20, selected rows of these chips and at the same time also the images P.10 corresponding to these chips. P.20 captured by cameras 1, 2, all during the translational relative movement of the camera system L 2 relative to the scene.
-5CZ 309023 B6-5CZ 309023 B6
Příklady uskutečnění vynálezuExamples of embodiments of the invention
I když j sou níže popsána některé podrobná provedení vynálezu, j e třeba mít na paměti, že j de pouze o příklady, které lze různě modifikovat, přičemž i modifikovaná řešení budou spadat do rozsahu ochrany definovaného přiloženými patentovými nároky. Níže podrobněji popsaná provedení ukazují pouze některá z mnoha možných řešení, která spadají do ochrany vynálezu a ilustrují vynálezeckou myšlenku.Although some detailed embodiments of the invention are described below, it should be borne in mind that these are only examples that can be modified in various ways, and that the modified solutions will also fall within the scope of protection defined by the appended claims. The embodiments described in more detail below show only some of the many possible solutions which fall within the protection of the invention and illustrate the inventive idea.
V následujícím textu budeme používat tyto pojmy a definice:In the following text, we will use the following terms and definitions:
Zařízení pro snímání obrazů - jakékoli zařízení obsahující nějaké součásti schopné snímat obraz, speciálně tím v tomto textu rozumíme soustavu kamer, kterých může být různý počet a mohou být navzájem odlišně konstruované, vysvětlení termínu kamera viz níže.Image capture devices - any device containing some components capable of capturing an image, especially in this text we mean a set of cameras, which can be a different number and can be differently designed, for an explanation of the term camera, see below.
Kamera - zahrnuje zařízení schopné pořizovat jednorázový statický záznam obrazu, typicky fotoaparát v režimu fotografie, či snímat video, typicky videokamera nebo fotoaparát v režimu video. Všechna tato zařízení označujeme souhrnným názvem kamera a mohou být v různých kombinacích osazena do zařízení pro snímání obrazu.Camera - includes a device capable of capturing a single static image, typically a camera in photo mode, or capturing video, typically a camcorder or camera in video mode. All these devices are collectively referred to as cameras and can be fitted in various combinations to image capture devices.
Plovoucí závěrka - termín je používán tak, jak je v oboru běžné, odpovídající anglický termín je rolling shutter, ve zkratce RS.Floating shutter - the term is used as is common in the industry, the corresponding English term is rolling shutter, abbreviated RS.
Cíp - prvek umístěný v kameře obsahující světlocitlivé elementy, typicky polovodičové fotodiody, uspořádané do podélných pravoúhlých bloků, jejichž podélné osy jsou navzájem rovnoběžné. Takovým podélným blokem je typicky řádek nebo skupina řádků světlocitlivých elementů, případně sloupec nebo skupina sloupců světlocitlivých elementů. Kamera s plovoucí závěrkou exponuje různé bloky čipu v různém čase. Uspořádání čipů může být různé, obvykle se jedná o CCD nebo CMOS čipy.Pin - an element placed in a camera containing light-sensitive elements, typically semiconductor photodiodes, arranged in longitudinal rectangular blocks, the longitudinal axes of which are parallel to each other. Such a longitudinal block is typically a row or group of rows of light-sensitive elements, or a column or group of columns of light-sensitive elements. The floating shutter camera exposes different chip blocks at different times. The arrangement of the chips can be different, usually CCD or CMOS chips.
Exponování čipu - v kameře s plovoucí závěrkou je čip exponován tak, že jsou postupně exponovány, tj. vystaveny světlu, jednotlivé bloky světlocitlivých elementů, tj. například řádky nebo sloupce. Ve světlocitlivých elementech typického čipu dochází při expozici ke konverzi světla na nosiče náboje. Kamera s plovoucí závěrkou exponuje různé bloky světlocitlivých elementů v různých časových intervalech, tj. například nejprve první řádek, pak druhý atd. až k poslednímu (nebo obdobně pro sloupce). Každý blok je přitom exponován najednou, tj. exponuje se najednou, např. celý řádek nebo celý sloupec, přičemž po část doby exponování jednoho bloku se už může, ale nemusí, exponovat také následující blok nebo bloky světlocitivých elementů, tzn. exponování jednotlivých bloků se může částečně překrývat v čase. Při snímání videozáznamu jde o periodický proces v čase, kdy se postupuje od prvního bloku světlocitlivých elementů k poslednímu a následně se proces opakuje, a to opět od prvního bloku k poslednímu. Při exponování čipu nemusí být nutně využita celá jeho plocha ani všechny na něm umístěné světlocitlivé elementy. Termínem exponování čipu rozumíme i exponování částečné, tj. exponování pouze vybrané plochy čipu.Chip exposure - in a camera with a floating shutter, the chip is exposed in such a way that individual blocks of light-sensitive elements, ie, for example, rows or columns, are gradually exposed, ie exposed to light. In the light-sensitive elements of a typical chip, light is converted to charge carriers during exposure. The floating shutter camera exposes different blocks of light-sensitive elements at different time intervals, ie first the first row, then the second, etc. up to the last (or similarly for columns). Each block is exposed at once, ie it is exposed at once, eg a whole row or a whole column, while for a part of the exposure time of one block the next block or blocks of light-sensitive elements can, but does not, also be exposed, ie. the exposure of individual blocks may partially overlap in time. When shooting a video, it is a periodic process at the time when it proceeds from the first block of light-sensitive elements to the last and then the process is repeated, again from the first block to the last. When exposing a chip, the entire surface of the chip or all light-sensitive elements placed on it do not necessarily have to be used. By chip exposure we also mean partial exposure, ie exposure of only a selected area of the chip.
Rychlost exponování čipu - udává počet bloků se světlocitlivými elementy čipu, jejichž expozice je zahájena za jednotku času.Chip exposure rate - indicates the number of blocks with light-sensitive elements of the chip, the exposure of which is started per unit time.
Směr exponování čipu dané kamery definujeme jako směr normálového vektoru k podélné ose bloku světlocitlivých elementů, kde tento vektor je orientován ve směru od dříve exponovaného bloku světlocitivých elementů k následně exponovanému bloku světlocitlivých elementů během jedné sekvence exponování využité plochy čipu této kamery. V případě, že mluvíme o směru exponování dvou a více čipů dvou a více kamer, směry exponování čipů všech kamer jsou vyjádřeny vzhledem k jedné souřadné soustavě. V obr. la až 1c jsou uvedeny některé příklady směrů exponování čipů na příkladu schematicky zakreslené stěny mobilního telefonu se dvěma kamerami, a to první kamerou 1 a druhou kamerou 2. První kamera 1 má první čip 10, druhá kamera 2 má druhý čip 20. Směry exponování prvního čipu 10 a druhého čipu 20 jsou v každémThe direction of exposure of a given camera chip is defined as the direction of a normal vector to the longitudinal axis of a block of light-sensitive elements, where this vector is oriented in the direction from a previously exposed block of light-sensitive elements to a subsequently exposed block of light-sensitive elements during one exposure sequence. If we talk about the direction of exposure of two or more chips of two or more cameras, the directions of exposure of the chips of all cameras are expressed with respect to one coordinate system. Figures 1a to 1c show some examples of chip exposure directions on the example of a schematically drawn wall of a mobile phone with two cameras, a first camera 1 and a second camera 2. The first camera 1 has a first chip 10, the second camera 2 has a second chip 20. The exposure directions of the first chip 10 and the second chip 20 are in each
-6CZ 309023 B6 z provedení zakresleny jako navzájem protichůdné, tzn. vektor směru exponování prvního čipu 10, v obrázcích vyznačený šipkou, je otočen o 180° oproti vektoru směru exponování druhého čipu 20, rovněž označenému šipkou. V obr. laje příklad uspořádání, v němž je první čip 10 první kamery 1 exponován po řádcích směrem shora dolů a druhý čip 20 druhé kamery 2 je exponován po řádcích směrem zdola nahoru, v obr. 1b je první čip 10 exponován po řádcích naopak směrem zdola nahoru a druhý čip 20 je exponován po řádcích směrem shora dolů. V obr. 1c je první čip 10 exponován po sloupcích směrem zleva doprava a druhý čip 20 je exponován po sloupcích zprava doleva. Z obrázků la, 1b jsou patrné také příklady některých možných vzájemných uspořádání kamer a čipů, možností je samozřejmě mnohem více.-6CZ 309023 B6 from the design drawn as mutually contradictory, ie. the exposure direction vector of the first chip 10, indicated by an arrow in the figures, is rotated 180 ° relative to the exposure direction vector of the second chip 20, also indicated by the arrow. Fig. 1a is an example of an arrangement in which the first chip 10 of the first camera 1 is exposed line by line from top to bottom and the second chip 20 of the second camera 2 is exposed line by line from bottom to top; in Fig. 1b the first chip 10 is exposed line by line from bottom to top and the second chip 20 is exposed in rows from top to bottom. In Fig. 1c, the first chip 10 is exposed in columns from left to right and the second chip 20 is exposed in columns from right to left. Figures 1a, 1b also show examples of some possible mutual arrangements of cameras and chips, of course there are many more possibilities.
Je zřejmé, že pojmy „sloupec“ a „řádek“ jsou použity jen pro větší jasnost, jinak jsou zaměnitelné podle orientace čipu. Při otočení čipu o 90° kolem osy kolmé na rovinu čipu se z řádků stanou sloupce a naopak. Není přitom ani v nejmenším nutné, aby „řádky“ byly orientovány, např. vodorovně a „sloupce“ svisle.Obviously, the terms "column" and "row" are used for clarity only, otherwise they are interchangeable according to the orientation of the chip. When the chip is rotated 90 ° around an axis perpendicular to the plane of the chip, the rows become columns and vice versa. It is not necessary in the slightest that the "rows" be oriented, eg horizontally and the "columns" vertically.
Protichůdných, tedy navzájem o 180° pootočených směrů exponování lze dosáhnout například těmito dvěma způsoby:Opposite exposure directions of 180 ° can be achieved, for example, in the following two ways:
1) kamery, které mají směr exponování stejný, vzájemně otočíme tak aby směr exponování byl protichůdný,1) cameras that have the same exposure direction are rotated so that the exposure direction is opposite,
2) u kamer, které mají směr exponování stejný, změníme pořadí exponování řádků či sloupců.2) for cameras that have the same exposure direction, change the exposure order of rows or columns.
Obraz nebo nasnímaný obraz - signály ze světlocitivých elementů, které jsou typicky analogové elektrické, se zpracovávají, typicky digitalizují, a takto vzniklý soubor digitalizovaných dat a/nebo převod tohoto souboru dat do podoby viditelné lidským okem (např. na displeji nebo při nějakém typu projekce nazýváme „obraz“, případně „nasnímaný obraz“. Pojmy obraz a nasnímaný obraz jsou používány jako synonyma. Přitom data z jednotlivých bloků světlocitlivých elementů odpovídají blokům pixelů v nasnímaném, obraze. Jeden nasnímaný obraz odpovídá jedné sekvenci exponování využité plochy čipu, tj„ např. sekvenci exponování od prvního po poslední řádek světlocitlivých elementů na využité ploše čipu. Bloky pixelů digitálního obrazu jsou lineárně uspořádané podle času, v němž došlo k exponování jim odpovídajících bloků světlocitlivých elementů na čipu.Image or scanned image - signals from light-sensitive elements, which are typically analog electrical, are processed, typically digitized, and the resulting digitized data set and / or conversion of this data set into a form visible to the human eye (eg on a display or some type of projection) The terms image and captured image are used interchangeably, and the data from the individual blocks of light-sensitive elements correspond to the blocks of pixels in the captured image. The pixel blocks of the digital image are linearly arranged according to the time at which the corresponding blocks of light-sensitive elements on the chip were exposed.
Řádek v obraze je řádek pixelů v obraze nasnímaném některou z kamer 1, 2.The line in the image is a line of pixels in the image captured by one of the cameras 1, 2.
Orientace čipu - je definována jako rotace z globální souřadné soustavy, spojené se scénou nebo částí scény, do souřadné soustavy spojené s čipem. Jako jednoduchý příklad souřadné soustavy spojené s čipem uveďme souřadnou soustavu, která má počátek například v jednom z rohů čipu a j ej í osy j sou zvoleny například tak, že osa z j e kolmá na plochu čipu a míří směrem od osvětlované části čipu, osa x je rovnoběžná s bloky světlocitlivých elementů čipu odpovídajících řádkům v obraze a osa y je položena tak, aby osy tvořily pravotočivou soustavu. Lze však zvolit i jakoukoli jinou souřadnou soustavu spojenou s daným čipem. Pro každý z čipů může být také souřadná soustava spojená s tímto čipem zvolena jiným způsobem, tzn., např. s počátkem v libovolném místě na čipu nebo dokonce i mimo něj nebo s libovolně orientovanými osami. Podstatné je, aby šlo o souřadné soustavy spojené s daným čipem. S jejich pomocí pak provádíme další výpočty a také snáze definujeme některé pojmy. Vzájemnou, tedy vůči sobě navzájem relativní, orientaci čipů 10, 20 kamer J_, 2 definujeme jako rotaci ze souřadné soustavy spojené s prvním čipem JO první kamery 1 do souřadné soustavy spojené s druhým čipem 20 druhé kamery 2. Tato vzájemná orientace prvního čipu 10 a druhého čipu 20 zůstává při provádění způsobu podle předkládaného vynálezu během exponování čipů 10, 20 v podstatě neměnná.Chip orientation - is defined as the rotation from the global coordinate system associated with the scene or part of the scene to the coordinate system associated with the chip. As a simple example of a coordinate system connected to a chip, a coordinate system that originates in one of the corners of the chip and its axes are selected, for example, so that the z axis is perpendicular to the chip surface and points away from the illuminated part of the chip, the x-axis is parallel. with blocks of light-sensitive chip elements corresponding to the lines in the image, and the y-axis is positioned so that the axes form a clockwise system. However, you can select any other coordinate system associated with the chip. For each of the chips, the coordinate system associated with that chip can also be chosen in a different way, i.e., starting at or anywhere outside the chip or with arbitrarily oriented axes. It is important that these are coordinate systems associated with a given chip. With their help, we perform further calculations and also more easily define some terms. The mutual orientation of the chips 10, 20 of the cameras 1, 2 is defined as the rotation from the coordinate system connected to the first chip 10 of the first camera 1 to the coordinate system connected to the second chip 20 of the second camera 2. This mutual orientation of the first chip 10 and of the second chip 20, when performing the method of the present invention, the chips 10, 20 remain substantially unchanged during exposure.
Poloha čipu - je definována jako souřadnice počátku souřadné soustavy spojené s daným čipem, vzhledem ke globální souřadné soustavě. Vzájemnou, tedy vůči sobě navzájem relativní, polohu čipů 10. 20 kamer 1, 2 definujeme jako souřadnice počátku souřadné soustavy spojené s druhýmChip position - is defined as the coordinates of the origin of the coordinate system associated with a given chip, relative to the global coordinate system. We define the mutual, ie relative to each other, position of the chips 10. 20 cameras 1, 2 as the coordinates of the origin of the coordinate system connected to the second
-7 CZ 309023 B6 čipem 20 druhé kamery 2 v souřadné soustavě spojené s prvním čipem 10 první kamery 1. Tato vzájemná poloha prvního čipu 10 a druhého čipu 20 zůstává při provádění způsobu podle předkládaného vynálezu během exponování čipů 10, 20 v podstatě neměnná.This second position of the first chip 10 and the second chip 20 remains substantially unchanged during the exposure of the chips 10, 20 during the exposure of the chips 10, 20.
V podstatě neměnná vzájemná poloha a orientace čipu - vzájemná poloha a vzájemná orientace čipů 10, 20, jsou pokládány za v podstatě neměnné, pokud zůstávají v rámci tolerancí daných pohybem čipů 10, 20 uvnitř zařízení způsobených posuny součástek za pohybu. Za změnu vzájemné polohy ani za změnu vzájemné orientace čipů 10. 20 se také nepokládají případné drobné změny způsobené mechanickou stabilizací obrazu.Substantially unchanged relative position and orientation of the chip - the relative position and relative orientation of the chips 10, 20, are considered substantially unchanged if they remain within the tolerances given by the movement of the chips 10, 20 within the device caused by moving components. Possible minor changes caused by mechanical image stabilization are also not considered to be a change in the mutual position or a change in the mutual orientation of the chips 10. 20.
Orientace kamery - je definována jako rotace z globální souřadné soustavy, spojené se scénou nebo částí scény, do souřadné soustavy spojené s kamerou, kde souřadná soustava spojená s kamerou může mít například počátek v optickém středu kamery, a její osy jsou zvoleny například tak, že osa z je kolmá na plochu čipu a míří směrem od osvětlované části čipu, osa x je rovnoběžná s bloky světlocitlivých elementů čipu odpovídajících řádkům v obraze a osa y je položena tak, aby osy tvořily pravotočivou souřadnou soustavu. Orientace kamery je při takto zvolené souřadné soustavě spojené s kamerou a výše zmíněné volbě souřadné soustavy spojené s čipem shodná s orientací čipu. Orientaci první kamery 1 vůči scéně označujeme Ri a orientaci druhé kamery 2 vůči scéně označujeme R2. Vzájemnou, tedy vůči sobě navzájem relativní, orientaci kamer j_, 2 definujeme jako rotaci ze souřadné soustavy spojené s první kamerou 1 do souřadné soustavy spojené s druhou kamerou 2 a budeme ji označovat Rr. Tato vzájemná orientace Rr první kamery 1 a druhé kamery 2 zůstává při provádění způsobu podle předkládaného vynálezu během exponování čipů 10. 20 v podstatě neměnná. Přitom je třeba mít na paměti, že pro provádění uvedeného způsobu není rozhodující, v jakém bodě zvolíme počátek souřadné soustavy spojené s danou kamerou, ani jak zvolíme polohu a orientaci os této souřadné soustavy. Důležité je jen to, aby šlo o souřadnou soustavu pevně spojenou s danou kamerou. Výpočty jsou ale nejjednodušší pro souřadné soustavy spojené s kamerami zvolené podle výše popsaného příkladu.Camera Orientation - is defined as the rotation from the global coordinate system associated with a scene or part of a scene to the coordinate system associated with the camera, where the coordinate system associated with the camera may originate at the optical center of the camera and its axes are selected such as the z-axis is perpendicular to the surface of the chip and points away from the illuminated part of the chip, the x-axis is parallel to the blocks of light-sensitive elements corresponding to the lines in the image and the y-axis is positioned so that the axes form a clockwise coordinate system. The orientation of the camera is identical to the orientation of the chip with the coordinate system connected to the camera and the above-mentioned selection of the coordinate system connected to the chip. The orientation of the first camera 1 relative to the scene is denoted by R1 and the orientation of the second camera 2 relative to the scene is denoted by R2. We define the mutual, ie relative to each other, orientation of the cameras 1, 2 as the rotation from the coordinate system connected to the first camera 1 to the coordinate system connected to the second camera 2 and we will denote it R r . This mutual orientation R r of the first camera 1 and the second camera 2 remains substantially unchanged when carrying out the method according to the present invention during the exposure of the chips 10, 20. It should be borne in mind that the point at which we select the origin of the coordinate system associated with a given camera or the position and orientation of the axes of this coordinate system is not decisive for the implementation of this method. The only important thing is that it is a coordinate system firmly connected to the camera. However, the calculations are simplest for the coordinate systems associated with the cameras selected according to the example described above.
Poloha středu kamery neboli poloha kamery - je definována jako souřadnice optického středu kamery. V případě souřadné soustavy spojené s kamerou zvolené podle příkladu uvedeného v definici orientace kamery zde výše má optický střed kamery souřadnice počátku souřadné soustavy spojené s danou kamerou vzhledem ke globální souřadné soustavě spojené se scénou nebo částí scény. Polohu středu první kamery J_ označujeme Ci a polohu středu druhé kamery 2 označujeme C2. Vzájemnou, tedy vůči sobě navzájem relativní, polohu kamer 1,2 definujeme jako souřadnice počátku souřadné soustavy druhé kamery 2 v souřadné soustavě první kamery 1 a budeme ji označovat Cr. Tato vzájemná poloha Cr první kamery 1 a druhé kamery 2 zůstává při provádění způsobu podle předkládaného vynálezu během exponování čipů 10, 20 v podstatě neměnná.Camera center position - the position of the camera - is defined as the coordinates of the optical center of the camera. In the case of a coordinate system associated with a camera selected according to the example given in the camera orientation definition above, the optical center of the camera has the coordinates of the origin of the coordinate system associated with that camera relative to the global coordinate system associated with the scene or part of the scene. The position of the center of the first camera J_ is denoted by Ci and the position of the center of the second camera 2 is denoted by C2. We define the mutual, ie relative to each other, position of the cameras 1,2 as the coordinates of the origin of the coordinate system of the second camera 2 in the coordinate system of the first camera 1 and we will denote it C r . This relative position C r of the first camera 1 and the second camera 2 remains substantially unchanged during the implementation of the method according to the present invention during the exposure of the chips 10, 20.
Vzájemná poloha a orientace čipu a kamery - je definována jako transformace ze souřadné soustavy spojené s čipem do souřadné soustavy spojené s jemu příslušnou kamerou, tak jak jsou tyto soustavy definovány výše. Cípy 10 a 20 jsou pevnými součástmi kamer J. a 2 a tudíž polohy a orientace čipů 10 a 20 jsou pevně svázány s polohami a orientacemi kamer 1 a 2 a v průběhu exponování obrazů P.10 a P.20 se vzájemná poloha a orientace čipu a kamery nemění. Díky znalosti vzájemné polohy a orientace čipů a kamer, která je obsažena například v parametrech kamery K, jak je definováno níže, můžeme při znalosti polohy a orientace kamery spočítat také polohu a orientaci čipu a naopak.Mutual position and orientation of the chip and the camera - is defined as the transformation from the coordinate system associated with the chip to the coordinate system associated with its respective camera, as these systems are defined above. Pins 10 and 20 are fixed components of cameras J and 2, and thus the positions and orientations of chips 10 and 20 are firmly related to the positions and orientations of cameras 1 and 2, and during the exposure of images P.10 and P.20, the relative position and orientation of the chip and cameras do not change. Thanks to the knowledge of the mutual position and orientation of chips and cameras, which is contained, for example, in the parameters of camera K, as defined below, we can also calculate the position and orientation of the chip and vice versa.
Korespondující oblast - oblast, které v obraze P.10 nasnímaném první kamerou a v obraze P.20 nasnímaném druhou kamerou odpovídá totožné části scény. Může jít o body, křivky i plochy.Corresponding area - the area that in the P.10 image captured by the first camera and in the P.20 image captured by the second camera corresponds to the same part of the scene. It can be points, curves or areas.
Význačný 3D objekt E, scény - obvykle nějaký snadno rozlišitelný objekt, např. roh domu, roh okna, zrno v omítce, oko. Objekt, který lze v obraze detekovat dostupnými metodami počítačového vidění, například SIFT, SURF, Harris etc.Distinctive 3D object E, scenes - usually some easily distinguishable object, eg corner of a house, corner of a window, grain in plaster, eye. An object that can be detected in an image by available computer vision methods, such as SIFT, SURF, Harris, etc.
-8CZ 309023 B6-8CZ 309023 B6
Relativní pohyb zařízení pro snímání obrazů vůči scéně nebo části scény, někdy zkracujeme jen na relativní pohyb - zahrnuje jak pohyb zařízení pro snímání obrazů vůči statické scéně, např. jedoucí zařízení pro snímání obrazů snímající krajinu, tak pohyb nějaké společně se pohybující části scény vůči zařízení pro snímání obrazů, např. jedoucí vlak před stojící kamerou. Relativní pohyb zařízení pro snímání obrazů vůči scéně nebo části scény navíc zahrnuje i kombinaci výše uvedeného, tzn. že se pohybuje jak zařízení pro snímání obrazů, tak alespoň některé elementy scény, například snímání běžců pohybující se kamerou. Příkladů je samozřejmě velmi mnoho. Rozmanité mohou být také typy pohybů zařízení pro snímání obrazů a/nebo objektů scény, může jít například o pohyby translační, rotační, jejich kombinace i různé další typy pohybů.The relative movement of the imaging device relative to the scene or part of the scene is sometimes abbreviated to relative motion - it includes both the movement of the imaging device relative to the static scene, e.g. a moving landscape imaging device, and for capturing images, eg a moving train in front of a standing camera. In addition, the relative movement of the image capture device relative to the scene or part of the scene includes a combination of the above, i. that both the image capture device and at least some elements of the scene, such as capturing runners with a moving camera, move. There are, of course, many examples. The types of movements of the device for capturing images and / or objects of the scene can also be diverse, for example translational, rotational movements, their combinations and various other types of movements.
Pro úspornost je také někdy v následujícím popise spojení „relativní pohyb vůči scéně nebo části scény“ zestručněn na „relativní pohyb vůči scéně“, což může zahrnovat buď relativní pohyb zařízení vůči celé scéně, nebo jen relativní pohyb zařízení vůči části scény, která jez hlediska snímání zajímavá, např. pohybující se objekt okolním statickém prostředí.For economy, sometimes in the following description, the phrase "relative movement to a scene or part of a scene" is abbreviated to "relative movement to a scene", which may include either relative movement of the device to the whole scene or only relative movement of the device to the part of the scene capture interesting, such as a moving object surrounding a static environment.
Parametry kamery - parametry kamery lze rozdělit, jak je běžně používáno v literatuře, na interní a externí. Interní parametry jsou dané konstrukcí kamery samotné a nemění se v průběhu snímaní. Interní parametry mohou obsahovat například hlavní bod projekce (anglicky principal point), zkosení čipu, ohniskovou vzdálenost a dále parametry zkreslení dané použitými optickými elementy, které se zpravidla dělí na radiální a tangenciální. Tyto interní parametry označujeme souhrnně K. Externí parametry popisují aktuální polohu a orientaci kamery v daném souřadném systému, který může být zvolen, např. jako relativní vůči scéně nebo části scény, a jsou popsány 6 parametry pro 6 stupňů volnosti - 3 pro orientaci a 3 pro polohu. Tyto parametry označujeme souhrnně P.Camera parameters - camera parameters can be divided, as is commonly used in the literature, into internal and external. The internal parameters are determined by the construction of the camera itself and do not change during shooting. Internal parameters can include, for example, the principal point of the projection (chip point), chip chamfer, focal length, and further distortion parameters given by the used optical elements, which are usually divided into radial and tangential. These internal parameters are collectively referred to as K. External parameters describe the current position and orientation of the camera in a given coordinate system, which can be selected, eg as relative to a scene or part of a scene, and 6 parameters are described for 6 degrees of freedom - 3 for orientation and 3 for location. These parameters are collectively referred to as P.
Střed kamery - středem kamery je ve shodě s literaturou označován optický střed kamery.Camera center - in accordance with the literature, the center of the camera is the optical center of the camera.
V předkládaném vynálezu navrhujeme zařízení pro snímání obrazů obsahující soustavu kamer zahrnující alespoň dvě kamery. V této soustavě kamer je obsažena první kamera 1 s plovoucí závěrkou a druhá kamera 2 s plovoucí závěrkou, přičemž každá z těchto dvou kamer 1, 2 má svůj čip se světlocitlivými elementy. Směr exponování prvního čipu 10 první kamery 1 je přitom odlišný od směru exponování druhého čipu 20 druhé kamery 2. Takové zařízení může být osazeno například do mobilního telefonu, do auta s automatickým řízením, do zařízení pro snímání pohybu hlavy, do dronu, robotického systému apod. Při relativním pohybu takového zařízení vůči scéně nebo části scény dochází k deformacím v obrazech nasnímaných jednotlivými kamerami a díky odlišnému směru exponování prvního čipu 10 a druhého čipu 20 jsou tyto deformace v obrazech nasnímaných jednotlivými kamerami rozdílné. Tyto rozdíly se dají využít v následujících výpočtech. Čím je rozdíl mezi směry exponování prvního čipu 10 a druhého čipu 20 větší, tím je větší také rozdíl v deformacích v obrazech nasnímaných první kamerou 1 vůči deformacím v obrazech nasnímaných druhou kamerou 2. Uhel 180° ± 5 stupňů mezi směry exponování prvního čipu 10 a druhého čipu 20 poskytuje nejvyšší poměr signál/šum pro následující výpočty.In the present invention, we propose an image capture apparatus comprising a camera system comprising at least two cameras. In this system of cameras, a first camera 1 with a floating shutter and a second camera 2 with a floating shutter are included, each of these two cameras 1, 2 having its own chip with light-sensitive elements. The direction of exposure of the first chip 10 of the first camera 1 is different from the direction of exposure of the second chip 20 of the second camera 2. During the relative movement of such a device relative to a scene or part of a scene, distortions occur in the images captured by the individual cameras, and due to the different exposure direction of the first chip 10 and the second chip 20, these deformations in the images captured by the individual cameras are different. These differences can be used in the following calculations. The greater the difference between the exposure directions of the first chip 10 and the second chip 20, the greater the difference in distortions in the images taken by the first camera 1 to the deformations in the images taken by the second camera 2. 180 ° ± 5 degrees between the exposure directions of the first chip 10 and of the second chip 20 provides the highest signal-to-noise ratio for subsequent calculations.
Výhodné je také takové provedení zařízení, v němž směr exponování prvního čipu 10 první kamery 1 svírá úhel 90 stupňů ± 5 se směrem exponování druhého čipu 20 druhé kamery 2. Při takovém provedení je poměr signál/šum stále dost vysoký k provedení následujících výpočtů a lze ho jednoduše dosáhnout pomocí změny typu exponování v jedné z kamer z exponování po řádcích na exponování po sloupcích. Další výhodná možnost dosažení tohoto provedení je mechanické otočení čipu jedné z kamer o 90 stupňů ± 5 stupňů, přičemž zmíněná výhoda spočívá ve faktu, že otočený čip zůstává rovnoběžný/kolmý k druhému čipu, což usnadňuje jiné metody zpracování obrazu, a zároveň rovnoběžný/kolmý k ostatním mechanickým částem zařízení, což vede ke snadnější montáži a úspoře prostoru.Also preferred is an embodiment of the device in which the exposure direction of the first chip 10 of the first camera 1 is 90 degrees ± 5 with the exposure direction of the second chip 20 of the second camera 2. In such an embodiment, the signal-to-noise ratio is still high enough to perform the following calculations. simply by changing the exposure type in one of the cameras from line-by-line to column-by-column exposure. Another advantageous possibility of achieving this embodiment is the mechanical rotation of the chip of one of the cameras by 90 degrees ± 5 degrees, said advantage being the fact that the rotated chip remains parallel / perpendicular to the other chip, which facilitates other image processing methods, and parallel / perpendicular to other mechanical parts of the device, which leads to easier assembly and space savings.
Několik možných příkladů takové soustavy kamer je v obr. la, 1b a lc. Vzájemná poloha a vzájemná orientace čipů 10, 20, které jsou v obrázcích vyznačeny, jsou známými parametry zařízení. Mohou být pevné nebo nastavitelné. Během exponování scény se ale tato vzájemnáSeveral possible examples of such a camera system are shown in Figures 1a, 1b and 1c. The relative position and relative orientation of the chips 10, 20, which are indicated in the figures, are known parameters of the device. They can be fixed or adjustable. However, during the exposure of the scene, these are mutual
-9CZ 309023 B6 poloha a ani vzájemná orientace čipů 10. 20 nemění. Směry exponování prvního čipu 10 první kamery 1 a druhého čipu 20 druhé kamery 2 svírají v příkladných provedeních zařízení dle obr. la, 1b, 1c, obr. 2 i dle obr. 4 úhel 180°, což však není pro fungování zařízení podmínkou, zařízení může fungovat i při jiných úhlech či v případě provedení, v němž čipy 10, 20 neleží v jedné rovině a také při jiných úhlech mezi směry exponování.-9EN 309023 B6 neither the position nor the mutual orientation of the chips 10. 20 changes. The exposure directions of the first chip 10 of the first camera 1 and the second chip 20 of the second camera 2 form an angle of 180 ° in exemplary embodiments of the device according to FIGS. 1a, 1b, 1c, 2 and 4. it can also work at other angles or in the case of an embodiment in which the chips 10, 20 do not lie in one plane and also at other angles between the exposure directions.
Ukázka deformací způsobených relativním pohybem zařízení pro snímání obrazu vůči scéně, neboli ukázka RS efektu, je schematicky zakreslena v obr. 2. Snímaná scéna je zde představovaná domem, který je v obrázku symbolicky zakreslen. Tato scénaje během relativního pohybu zařízení pro snímání obrazu vůči ní alespoň po část doby exponování prvního čipu 10 první kamery 1 v zorném poli této první kamery 1 a podobně je snímaná scéna po alespoň část doby exponování druhého čipu 20 druhé kamery 2 v zorném poli této druhé kamery 2. Čipy 10. 20 jsou v tomto příkladném provedení umístěny rovnoběžně s přední stěnou domu, což v obrázku pro jednoduchost není znázorněno, a zařízení pro snímání obrazu osazené kamerami s těmito čipy 10, 20 se pohybuje vodorovným směrem rovnoběžně s přední stěnou domu. Přitom první čip 10 se exponuje shora dolů a druhý čip 20 se exponuje vertikálně zdola nahoru, tyto směry exponování jsou symbolicky naznačeny v levé horní části obrázku. Pod snímanou scénou v podobě domu je naznačen směr relativního pohybu zařízení pro snímání obrazu vůči scéně. V pravé části obr. 2 je pak shora dolů nejprve obraz P.10 nasnímaný první kamerou 1, pod ním obraz P.20 nasnímaný druhou kamerou 2, vpravo dole je pak znázorněn také nedeformovaný obraz 50. Tento nedeformovaný obraz je možné získat pomocí parametrů modelu pohybu zjištěných podle předkládaného vynálezu, jak bude podrobněji vysvětleno níže. Takový nedeformovaný obraz by vznikl také při nasnímání téže scény kamerou s globální závěrkou (anglicky global shutter při dostatečně krátkém čase expozice vůči rychlosti pohybu.An example of the deformations caused by the relative movement of the image capture device relative to the scene, or an example of the RS effect, is schematically drawn in Fig. 2. The captured scene is represented here by a house, which is symbolically drawn in the image. This scene during the relative movement of the image capture device relative to it for at least part of the exposure time of the first chip 10 of the first camera 1 in the field of view of this first camera 1 and the like is scanned for at least part of the exposure time of the second chip 20 of the second camera 2 The chips 10, 20 are in this exemplary embodiment parallel to the front wall of the house, which is not shown in the figure for simplicity, and the image capture device equipped with the cameras 10, 20 moves horizontally parallel to the front wall of the house. Here, the first chip 10 is exposed from top to bottom and the second chip 20 is exposed vertically from bottom to top, these exposure directions being symbolically indicated in the upper left part of the figure. Below the scanned scene in the form of a house, the direction of the relative movement of the image capture device relative to the scene is indicated. In the right part of Fig. 2, the image P.10 captured by the first camera 1 is first from top to bottom, below it the image P.20 captured by the second camera 2, and the undeformed image 50 is also shown at the bottom right. motion found according to the present invention, as will be explained in more detail below. Such an undistorted image would also be created when the same scene is captured by a global shutter camera with a sufficiently short exposure time to the speed of movement.
Ukázka deformací v obrazech P.10. P.20 nasnímaných kamerami J_, 2, či jinak řečeno RS efektu, v obr. 2 je jen jedním možným příkladem pro jednu konfiguraci kamer a jeden typ relativního pohybu zařízení pro snímání obrazů vůči scéně - translační pohyb, v obrázku jde o pohyb ve vodorovném směru rovnoběžném s přední stěnou domu. Je to jeden z mnoha možných příkladů, tento jsme zvolili pro názornou ilustraci.Demonstration of deformations in paintings P.10. P.20 captured by cameras J_, 2, or in other words RS effect, in Fig. 2 is only one possible example for one camera configuration and one type of relative movement of the image capture device to the scene - translational movement, in the picture it is a movement in the horizontal direction parallel to the front wall of the house. This is one of many possible examples, this one we have chosen to illustrate.
Předkládaný vynález navrhuje způsob využití podobných efektů vzniklých v obrazech v důsledku relativního pohybu zařízení pro snímání obrazů vůči scéně nebo části scény, přičemž v uvedeném zařízení jsou umístěny alespoň dvě kamery 1, 2 s plovoucí závěrkou, z nichž každá má svůj čip se světlocitlivými elementy. Způsob podle předkládaného vynálezu zahrnuje:The present invention proposes a method of exploiting similar effects arising in images due to the relative movement of the image capture device relative to the scene or part of the scene, said device having at least two floating shutter cameras 1, 2, each having its own light-sensitive element chip. The method of the present invention comprises:
a) nastavení směrů exponování čipů 10, 20 kamer J_, 2 tak, že směr exponování prvního čipu 10 první kamery J_ je odlišný od směru exponování druhého čipu 20 druhé kamery 2;a) setting the exposure directions of the chips 10, 20 of the cameras 1, 2 so that the exposure direction of the first chip 10 of the first camera 1 is different from the exposure direction of the second chip 20 of the second camera 2;
b) snímání obrazů kamerami J_, 2 při relativním pohybu zařízení pro snímání obrazů vůči scéně nebo části scény, kde snímání obrazů zahrnuje exponování čipů 10, 20, pň němž mají první čip 10 první kamery J. a druhý čip 20 druhé kamery 2 v podstatě neměnnou vzájemnou polohu a v podstatě neměnnou vzájemnou orientaci, a zpracování získaných dat do podoby obrazů, přičemž alespoň část scény v zorném poli první kamery 1 obsahuje alespoň po část doby exponování prvního čipu 10 první kamery alespoň jeden význačný 3D objekt scény, který je během alespoň části doby exponování druhého čipu 20 druhé kamery 2 také v zorném poli druhé kamery 2 a který je také alespoň po část doby exponování čipů 10, 20 v relativním pohybu vůči zařízení pro snímání obrazů;b) capturing images by cameras 1, 2 with relative movement of the image capture device relative to the scene or part of the scene, wherein capturing the images comprises exposing chips 10, 20, wherein the first chip 10 of the first camera J and the second chip 20 of the second camera 2 substantially and processing the obtained data into images, wherein at least a portion of the scene in the field of view of the first camera 1 comprises at least a portion of the first camera chip 10 of the first camera for at least one significant 3D scene object that is at least part of the exposure time of the second chip 20 of the second camera 2 also in the field of view of the second camera 2 and which is also at least part of the exposure time of the chips 10, 20 relative to the image capture device;
c) pro alespoň j ednu dvoj ici obrazů nasnímaných kamerou 1 a kamerou 2 na základě exponování čipů 10, 20 těchto kamer proběhlých v alespoň částečně se překrývajícím časovém intervalu • detekování alespoň jedné dvojice navzájem korespondujících oblastí ef ef kde je korespondující oblast v obraze P.10 nasnímaném první kamerou 1 a ef je korespondujícíc) for at least one pair of images taken by the camera 1 and the camera 2 on the basis of exposing the chips 10, 20 of these cameras in at least partially overlapping time interval • detecting at least one pair of mutually corresponding areas ef ef where the corresponding area is in the image P. 10 captured by the first camera 1 and ef is corresponding
-10CZ 309023 B6 oblast v obraze P.20 nasnímaném druhou kamerou 2, když každé z těchto dvojic navzájem korespondujících oblastí el, el odpovídá jeden z význačných 3D objektů Ei scény, • zjištění polohy korespondující oblastí el v obraze P.10 nasnímaném první kamerou 1 a zjištění polohy korespondující oblasti ef v obraze P.20 nasnímaném druhou kamerou 2 a • zjištění alespoň jednoho údaje o čase exponování světlocitlivých elementů prvního čipu 10, které odpovídají korespondující oblasti e[ v obraze P.10 nasnímaném první kamerou 1 a zjištění alespoň jednoho údaje o čase exponování světlocitlivých elementů druhého čipu 20, které odpovídají korespondující oblasti ef v obraze P.20 nasnímaném druhou kamerou 2, nebo zjištění alespoň jednoho údaje o vzájemném posunu těchto časů;-10GB 309023 B6 area in the picture P.20 taken by the second camera 2, when each of these pairs of mutually corresponding areas el, el corresponds to one of the significant 3D objects Ei of the scene, • finding the position of the corresponding area el in the picture P.10 taken by the first camera 1 and determining the position of the corresponding area ef [in image P.20 taken by the second camera 2 and about the exposure time of the light-sensitive elements of the second chip 20, which correspond to the corresponding area ef in the image P.20 captured by the second camera 2, or the detection of at least one data on the mutual shift of these times;
d) zvolení modelu relativního pohybu zařízení pro snímání obrazů vůči scéně nebo části scény, probíhajícího při exponování prvního čipu 10 první kamery 1 a druhého čipu 20 druhé kamery 2, a výpočetní určení parametrů M tohoto modelu pohybu na základě údajů o polohách korespondujících oblastí a údajů o časech exponování nebo o vzájemném posunu těchto časů zjištěných v kroku c) a na základě informací o vzájemné poloze Cr a vzájemné orientaci Rr první kamery 1 a druhé kamery 2 a o směrech exponování čipů 10. 20 nastavených v kroku a).d) selecting a model of relative motion of the image capture device with respect to the scene or part of the scene taking place when the first chip 10 of the first camera 1 and the second chip 20 of the second camera 2 are exposed and calculating the parameters M of this motion model based on position data of corresponding areas and data on the exposure times or mutual offset of these times determined in step c) and on the basis of the information on the mutual position C r and the mutual orientation R r of the first camera 1 and the second camera 2 and on the exposure directions of the chips 10, 20 set in step a).
Pokud nastavení směrů exponování čipů 10. 20 podle kroku a) nebylo provedeno v rámci továrního nastavení zařízení pro snímání obrazů, krok a nastavení směrů exponování čipů 10, 20 může být provedeno jako otočení čipu v alespoň jedné z kamer 1, 2 a/nebo jako změnění pořadí, v jakém jsou exponovány řádky nebo sloupce čipu v alespoň jedné z kamer 1, 2 a/nebo jako změnění typu exponování v jedné z kamer 1, 2 z exponování po řádcích na exponování po sloupcích nebo opačně. Jaká kombinace těchto operací se provede, závisí na výchozím vzájemném nastavení směrů exponování čipů 10, 20 a požadovaném výsledném vzájemném natočení těchto směrů exponování.If the setting of the exposure directions of the chips 10, 20 according to step a) has not been performed within the factory settings of the image capture device, the step and setting of the exposure directions of the chips 10, 20 may be performed as a chip rotation in at least one of the cameras 1, 2 and / or changing the order in which the rows or columns of the chip are exposed in at least one of the cameras 1, 2 and / or changing the type of exposure in one of the cameras 1, 2 from line-by-line to column-by-column exposure or vice versa. What combination of these operations is performed depends on the initial inter-setting of the exposure directions of the chips 10, 20 and the desired resulting relative rotation of these exposure directions.
Nastavení směrů exponování v kroku a) se může s výhodou provést tak, aby směr exponování prvního čipu 10 první kamery 1 svíral úhel 90 stupňů ± 5 stupňů se směrem exponování druhého čipu 20 druhé kamery 2. V jiném výhodném provedení, které je znázorněno v obr. la až obr. 1c, se nastaví směry exponování tak, že směr exponování prvního čipu 10 první kamery 1 svírá úhel 180 stupňů ± 5 stupňů se směrem exponování druhého čipu 20 druhé kamery 2.The setting of the exposure directions in step a) can advantageously be performed so that the exposure direction of the first chip 10 of the first camera 1 is 90 degrees ± 5 degrees with the exposure direction of the second chip 20 of the second camera 2. In another preferred embodiment shown in FIG. 1a to 1c, the exposure directions are set so that the exposure direction of the first chip 10 of the first camera 1 forms an angle of 180 degrees ± 5 degrees with the exposure direction of the second chip 20 of the second camera 2.
V nej častějším výhodném provedení, které je znázorněno v obr. la až 1c a odpovídá mobilnímu telefonu, j sou optické osy obou kamer 10, 20 navzájem rovnoběžné, případně se osy kamer mohou takto nastavit, což je výhodné pro zjednodušení výpočtů, ale způsob bude fungovat i s nerovnoběžnými osami kamer.In the most common preferred embodiment, which is shown in Figures 1a to 1c and corresponds to a mobile telephone, the optical axes of the two cameras 10, 20 are parallel to each other, or the camera axes can be adjusted in this way, which is advantageous for simplifying calculations. work with non-parallel camera axes.
Příkladem jednoho z význačných 3D objektů Ei scény může být, např. roh domu vyznačený v obr. 2 a v obr. 4. Jemu odpovídající a navzájem korespondující oblasti e[, el jsou v obr. 2 a v obr. 4 rovněž znázorněny, el je oblast v prvním obraze P.10 nasnímaném první kamerou 1, přičemž tato kamera obsahuje první čip 10 a el je oblast v obraze P.20 nasnímaném druhou kamerou 2, kde tato kamera obsahuje druhý čip 20, proto tuto oblast značíme horním indexem 2. Pro způsob podle tohoto vynálezu je v některých provedeních výhodné využít co nejvíce význačných 3D objektů scény, v tom případě bude mít každý takový objekt svůj index i, kde za písmeno i dosadíme pořadové číslo tohoto objektu, analogicky pak pro korespondující oblasti e[, el odpovídající tomuto význačnému 3D objektu Ejscény.An example of one of the significant 3D objects E1 of the scene may be, for example, the corner of the house indicated in Fig. 2 and Fig. 4. Its corresponding areas e [, el 'are also shown in Fig. 2 and Fig. 4, el is the area in the first image P.10 taken by the first camera 1, this camera containing the first chip 10, and e1 is the area in the image P.20 taken by the second camera 2, where this camera contains the second chip 20, therefore this area is indicated by superscript 2. For the method according to the invention, in some embodiments it is advantageous to use as many significant 3D objects of the scene as possible, in which case each such object will have its index i, where after the letter i we substitute the serial number of this object, analogously for the corresponding areas e [, el to this significant 3D object Escene.
V případě, že jde o kontinuální snímání videa, vyberou se v kroku c) vždy takové dvojice obrazů nasnímané kamerami 1, 2, které jsou získány z exponování prvního čipu 10 a druhého čipu 20, proběhlých v alespoň částečně se překrývajícím časovém intervalu. V takových dvojicích obrazů se pak hledají dvojice navzájem korespondujících oblastí e[, el, kde každá z těchto oblastíIn the case of continuous video capture, in pairs c) the pairs of images captured by the cameras 1, 2 which are obtained from the exposure of the first chip 10 and the second chip 20, which take place in at least partially overlapping time intervals, are always selected. In such pairs of images, pairs of corresponding areas e [, el, where each of these areas is then searched for
-11 CZ 309023 B6 odpovídá stejnému význačnému 3D objektu E, scény. Toto lze zopakovat pro všechny dvojice obrazů dané videosekvence a v každé dvojici obrazů pro více 3D objektů E, scény s různým indexem i, a tedy i v každé dvojici obrazů pro více navzájem korespondujících oblastí e[, ef. Tyto korespondující oblasti e}, e? mohou mít podobu oblastí, křivek, přímek či bodů.-11 CZ 309023 B6 corresponds to the same significant 3D object E, scene. This can be repeated for all pairs of images of a given video sequence and in each pair of images for several 3D objects E, scenes with different index i, and thus also in each pair of images for several mutually corresponding areas e [, ef. These corresponding areas e}, e? they can take the form of areas, curves, lines, or points.
Obvykle se korespondující oblasti v každé zvolené dvojici obrazů nasnímaných kamerami 1, 2 aproximují souřadnicemi v obraze. Zjištění polohy korespondující oblasti e? v obraze nasnímaném první kamerou 1 a zjištění polohy korespondujících oblastí er v obraze P.20 nasnímaném druhou kamerou 2 podle kroku c) pak pro každé i znamená přiřazení souřadnic x/ a y? oblasti ei1 v obraze P.10 nasnímaném první kamerou 1 a souřadnic xý a yý oblasti eý, v obraze P.20 nasnímaném druhou kamerou 2, kde x/ a y? odpovídá sloupci, respektive řádku obrazu, kde se nachází oblast ei1 a xí2 a yý odpovídá sloupci, respektive řádku, kde se nachází oblast ei2.Usually, the corresponding areas in each selected pair of images captured by the cameras 1, 2 are approximated by the coordinates in the image. Finding the position of the corresponding area e? in the image captured by the first camera 1 and determining the position of the corresponding areas er in the image P.20 captured by the second camera 2 according to step c) then for each i means the assignment of the coordinates x / ay? area ei 1 in image P.10 taken by the first camera 1 and the coordinates xy and yy of area ey, in image P.20 taken by the second camera 2, where x / ay? corresponds to the column or row of the image where the area ei 1 and xí 2 are located and yý corresponds to the column or row where the area ei 2 is located.
V obr. 4 a v dalším textu také pro jednoduchost budeme značit souřadnice obrazu stejně jako souřadnice čipu. Tedy v kartézské soustavě budou souřadnice korespondující oblasti e/ v obraze P.10 nasnímaném první kamerou 1 značeny x·, yl a stejně, tedy x{, yl, budou značeny i souřadnice světlocitlivého elementu prvního čipu 10 této první kamery jejichž exponováním a následným datovým zpracováním se vytvořila oblast e/ v obraze P.10 nasnímaném první kamerou 1 aproximovaná souřadnicemi xl,yl.In Fig. 4 and in the following text also for simplicity we will mark the coordinates of the image as well as the coordinates of the chip. Thus, in the Cartesian system, the coordinates of the corresponding area e / in the image P.10 captured by the first camera 1 will be marked x ·, yl and the same, i.e. x {, yl, the coordinates of the light-sensitive element of the first chip 10 of this first camera will be marked by their exposure and subsequent data the processing created an area e / in the image P.10 captured by the first camera 1 approximated by the coordinates x1, yl.
Podobné zjednodušení značení využijeme i pro druhou kameru, tedy v kartézské soustavě budou souřadnice pixelů nebo pixelů korespondující oblasti e? v obraze P.20 nasnímaném druhou kamerou 2 značeny xl,yl a stejně, tedy xl,yl, budou značeny i souřadnice světlocitlivého elementu nebo elementů druhého čipu 20 této druhé kamery 2, jejichž exponováním a následným datovým zpracováním se vytvořila oblast eý v obraze P.20 nasnímaném druhou kamerou 2 aproximovaná souřadnicemi x^yf.We will use a similar simplification of marking for the second camera, ie in the Cartesian system the coordinates of pixels or pixels corresponding to the area e? in the image P.20 captured by the second camera 2, the coordinates of the light-sensitive element or elements of the second chip 20 of this second camera 2 will be marked in the same way, i.e. xl, yl, and the area eý in the image P will be created by exposing and subsequent data processing. .20 taken by the second camera 2 approximated by the coordinates x ^ yf.
Mezi sadami souřadnic pro obraz a sadami souřadnic pro čip může být obecně jistý převodní faktor. Obraz většinou není stejně velký jako čip, jednomu pixelů v obraze může odpovídat blok světlocitlivých elementů na čipu a oblast čipu použitá k vytvoření obrazu může být různě posunutá. V dalším textu pro jednoduchost předpokládáme, že souřadnice na čipu byly zvoleny tak, že souřadnice v obraze jsou identické se souřadnicemi na čipu.There may generally be a conversion factor between the coordinate sets for the image and the coordinate sets for the chip. The image is usually not the same size as the chip, one pixel in the image may correspond to a block of light-sensitive elements on the chip, and the area of the chip used to create the image may be shifted differently. In the following text, for simplicity, we assume that the coordinates on the chip were chosen so that the coordinates in the image are identical to the coordinates on the chip.
V obr. 4 jsou v popředí čtyři obdélníčky, z nichž každý znázorňuje jak čip, tak obraz nasnímaný příslušnou kamerou na základě exponování tohoto čipu. Je třeba si uvědomit, že zpracování dat z exponování čipu do nasnímaného obrazu může být v čase libovolně posunutý proces, pro zpracování jsou proto důležité časy exponování jednotlivých řádků čipu, nikoli čas, kdy se z těchto dat vytváří obraz. Nasnímané obrazy, které odpovídají exponovaným řádkům, jsou ale v obr. 4 pro názornost, jak souvisí RS efekt s exponováním jednotlivých řádků čipu, zakresleny přímo do čipů, i když v realitě tomu tak není.In Fig. 4, there are four rectangles in the foreground, each of which shows both the chip and the image captured by the respective camera based on the exposure of this chip. It should be noted that processing the data from the chip exposure to the scanned image can be an arbitrarily shifted process in time, so the exposure times of the individual chip lines are important for processing, not the time when the image is created from this data. However, the captured images, which correspond to the exposed rows, are plotted directly in the chips in Fig. 4 to illustrate how the RS effect is related to the exposure of the individual rows of the chip, although in reality this is not the case.
Zjištění údajů o časech exponování světlocitlivých elementů čipu v kroku c) znamená typicky pro každý z čipů 10, 20 zjištění času, kdy exponování těchto světlocitlivých elementů na daném čipu započne. Je ale možné použít i jiný údaj nebo údaje, který souvisí s časem exponování těchto světlocitlivých elementů, například zjištění času, kdy exponování těchto světlocitlivých elementů na daném čipu skončí. Údaje o čase mohou být i relativní, tzn., např. o jaký čas je posunuto exponování řádku yl na prvním čipu 10 vůči exponování korespondujícího řádku yl na druhém čipu 20.Determining the exposure time data of the light-sensitive elements of the chip in step c) typically means for each of the chips 10, 20 determining the time when the exposure of these light-sensitive elements on the given chip begins. However, it is possible to use other data or data that are related to the exposure time of these light-sensitive elements, for example to find out the time when the exposure of these light-sensitive elements on a given chip ends. The time data may also be relative, i.e., by what time the exposure of line y1 on the first chip 10 is shifted relative to the exposure of the corresponding line y1 on the second chip 20.
Jelikož mezi exponováním čipu po řádcích nebo blocích řádků či sloupcích nebo blocích sloupců není z hlediska principu řešení žádný rozdíl, budeme se dále zabývat pouze případem exponování po řádcích, přitom se bude jednat o řádky značené totožně v čipu i v obraze kamery příslušející k tomuto čipu. Obvykle se takový řádek čipu exponuje tak, že na něj po určitý nenulový časový interval dopadá světlo. Tento nenulový časový interval, po který trvá exponování řádku čipu, býváSince there is no difference between exposing the chip line by line or columns or columns or columns of columns, we will deal only with the case of line exposure, these will be lines marked identically in the chip and in the camera image belonging to this chip. . Usually, such a row of a chip is exposed to light falling on it for a certain non-zero time interval. This non-zero time interval for which the chip line is exposed is usually
-12 CZ 309023 B6 zpravidla, ale nikoli nutně, pro každý řádek čipu stejný. Zjištění údaje o čase exponování těch světlocitlivých elementů prvního čipu 10 první kamery 1, které odpovídají korespondující oblasti e[ v obraze P.10 nasnímaném první kamerou 1, pak typicky znamená zjištění času zahájení exponování řádku y[ prvního čipu 10 první kamery j_, viz obr. 4 a podobně zjištění údaje o čase exponování těch světlocitlivých elementů druhého čipu 20 druhé kamery 2, které odpovídají korespondující oblasti ef v obraze P.20 nasnímaném druhou kamerou 2, pak znamená zjištění času zahájení exponování řádku yf druhého čipu 20 druhé kamery 2, opět viz obr. 4. Je nutné upozornit, že index i u řádků yl,yt čipů 10, 20 neznačí číslo řádku ve smyslu pořadí řádku ve směru, např. shora dolů nebo zdola nahoru, ale že jde o index vztažený k význačnému 3D objektu Ei scény se stejným indexem jako má řádek, přičemž tento index zároveň označuje fakt, že na základě exponování řádku y/ prvního čipu 10 byla zpracováním dat vytvořena korespondující oblast e/ v obraze P.10 nasnímaném první kamerou 1, kde tato oblast e/ odpovídá 3D objektu Ei scény, a že na základě exponování řádku yf druhého čipu 20 byla zpracováním dat vytvořena korespondující oblast ef v obraze P.20 nasnímaném druhou kamerou 2, kde tato oblast ef rovněž odpovídá význačnému 3D objektu Ei scény. Přitom řádek y/ prvního čipu 10, který odpovídá 3D objektu Ei scény, může být na čipu 10 třeba pátý shora, zatímco řádek yf druhého čipu 20, který odpovídá témuž 3D objektu Ei scény, může být třeba patnáctý shora. Pořadová čísla týkající se pořadí řádků shora uvedená v předchozí větě jsou přitom uvedena pouze pro příklad a ilustraci toho, jak je volena indexace řádků a že nesouvisí s pořadím řádků na čipu. Při exponování po řádcích v sobě souřadnice y[,yt nesou informaci o čase zahájení exponování daných řádků, alespoň v relativní časové ose, tj. v takové ose, kdy se časy zahájení exponování řádku y[ prvního čipu 10 měří relativně vůči času zahájení exponování řádku yf se stenými indexem i na druhém čipu 20. Souřadnice řádků yl.yf, což jsou obecně reálná čísla, lze převést pomocí lineární aproximace na pořadová čísla řádků představovaná přirozenými čísly.-12 CZ 309023 B6 usually, but not necessarily, the same for each chip line. Finding the exposure time data of those light-sensitive elements of the first chip 10 of the first camera 1 which correspond to the corresponding area e [in the image P.10 taken by the first camera 1, then typically means finding the exposure start time y [of the first chip 10 of the first camera 1, see FIG. 4 and similarly, finding the exposure time of those light-sensitive elements of the second chip 20 of the second camera 2 that correspond to the corresponding area ef in the image P.20 captured by the second camera 2 then determines the exposure start time yf of the second chip 20 of the second camera 2, again. see Fig. 4. It should be noted that the index i of the lines y1, yt of the chips 10, 20 does not indicate the line number in terms of line order in the direction, e.g. top to bottom or bottom to top, but that it is an index relative to a significant 3D object Ei with the same index as the row, this index also indicating the fact that on the basis of exposing the row y / the first chip 10, the corresponding area e / in the picture P.10 scanned by the first was created by data processing. camera 1, where this area e / corresponds to the 3D object Ei of the scene, and that on the basis of exposing the line yf of the second chip 20 the data processing created a corresponding area ef in the image P.20 taken by the second camera 2, where this area ef also corresponds to a significant 3D object Ei scene. The y / line of the first chip 10, which corresponds to the 3D object E1 of the scene, may be the fifth from above on the chip 10, while the yf line of the second chip 20, which corresponds to the same 3D object E1 of the scene, may be the fifteenth from above. The row order numbers given above in the previous sentence are given only as an example and illustration of how row indexing is chosen and that it is not related to the row order on the chip. When exposing line by line, the coordinates y [, yt] carry information about the exposure time of the given lines, at least in the relative time axis, i.e. in such an axis that the exposure times of line y [of the first chip 10 are measured relative to the line exposure start time yf with wall indexes i on the second chip 20. The coordinates of the lines yl.yf, which are generally real numbers, can be converted by linear approximation to the sequence numbers of the lines represented by natural numbers.
V obr. 4 jsou také vyznačeny rychlost exponování vi prvního čipu 10 a rychlost exponování v2 druhého čipu 20 vč. naznačení směrů exponování. Tyto rychlosti, případně poměr těchto rychlostí vi/v2, jsou známé parametry zařízení, mohou být pevné nebo nastavitelné.Fig. 4 also shows the exposure speed vi of the first chip 10 and the exposure speed v 2 of the second chip 20 incl. indication of exposure directions. These speeds, or the ratio of these speeds vi / v 2 , are known parameters of the device, they can be fixed or adjustable.
Informaci o rychlostech exponování vi, v2, případně o poměru těchto rychlostí, lze spolu s údaji o čase započetí exponování každého z čipů nebo o relativním posunu času exponování jednoho čipu vůči druhému využít pro určení času nebo relativního času exponování kteréhokoliv z řádků, známe-li údaje o souřadnici nebo pořadovém čísle daného řádku.Information about the exposure rates vi, v 2 , or the ratio of these rates, together with data on the exposure start time of each chip or the relative shift of the exposure time of one chip to the other can be used to determine the time or relative exposure time of any of the lines known if the data of the coordinate or serial number of the given line.
Například čas exponování řádku y[ prvního čipu se může určit jako čas započetí exponování prvního čipu 10 + rychlost vi exponování prvního čipu 10 * pořadové číslo řádku y[ * konst. V případě, že obě kamery 1, 2 začnou exponovat své čipy 10. 20 ve stejný čas, stačí k určení časů započetí exponování řádků y[, y[ pouze znalost poměru vi/v2 rychlostí exponování obou čipů.For example, the exposure time of line y [of the first chip may be determined as the start time of exposure of the first chip 10 + the rate vi of exposure of the first chip 10 * the sequence number of line y [* const. In the event that both cameras 1, 2 start exposing their chips 10, 20 at the same time, it is sufficient to determine the exposure times of the rows y [, y [only to know the ratio vi / v 2 of the exposure speeds of both chips.
Počet řádků na každém z čipů 10, 20 je obecně různý. V některých příkladech provedení ale budeme pro jednoduchost pracovat se stejným počtem řádků obou čipů.The number of rows on each of the chips 10, 20 is generally different. In some embodiments, however, we will work with the same number of lines of both chips for simplicity.
Termínem „model pohybu“ v následujícím textu označujeme zkráceně model relativního pohybu zařízení pro snímání obrazů vůči scéně nebo části scény. Značíme ho symbolem M.As used herein, the term "motion model" refers to a model of the relative motion of an image capture device relative to a scene or part of a scene. We mark it with the symbol M.
Model pohybu se může zvolit buď z první skupiny modelů pohybu obsahující rotaci, translaci a jejich kombinace, nebo z druhé skupiny modelů pohybu obsahujících údaje o posunech poloh korespondujících oblastí v obrazech P.10, P.20 nasnímaných kamerami 2, kde posun polohy je pro každou dvojici navzájem korespondujících oblastí definován jako trajektorie p, po které se při předpokládaném typu relativního pohybu kamer 1, 2 vůči scéně musí virtuálně posunout poloha korespondující oblasti v obraze P.10 nasnímaném první kamerou 1 tak, aby se kryla s polohou jí odpovídající korespondující oblasti v obraze P.20 nasnímaném druhou kamerou 2. Model pohybu volí obvykle uživatel.The motion model can be selected either from the first group of motion models containing rotation, translation and combinations thereof, or from the second group of motion models containing position shift data of the corresponding areas in images P.10, P.20 captured by cameras 2, where the position shift is for defined by the trajectory p for each pair of mutually corresponding areas, after which the position of the corresponding area in the image P.10 captured by the first camera 1 must be virtually shifted in the assumed type of relative movement of cameras 1, 2 relative to the scene so as to coincide with the position of its corresponding area in the P.20 image captured by the second camera 2. The motion model is usually selected by the user.
-13 CZ 309023 B6-13 CZ 309023 B6
Ilustrace modelu pohybu z druhé skupiny modelů pohybu je v obr. 3. V tomto případě model pohybu sestává z údajů o posunech poloh navzájem korespondujících oblastí e[, ef v obrazech P.10. P.20 nasnímaných kamerami 1, 2 a parametry M modelu pohybu sestávají z množiny parametrů definujících trajektorii p posunu polohy korespondující oblasti e[ v obraze P.10 nasnímaném první kamerou 1, po které se tato korespondující oblast v obraze nasnímaném kamerou 1 musí posunout pro překrytí s odpovídající korespondující oblastí ef v obraze P.20 nasnímaném druhou kamerou 2. Tvar této trajektorie p je charakteristický pro daný model pohybu. Jsou vyobrazeny dva příklady modelu pohybu, kde se korespondující oblast e? v obraze P.10 nasnímaném první kamerou 1 posunuje po trajektorii p směrem ke korespondující oblasti ei2 v obraze P.20 nasnímaném druhou kamerou 2. Tento pohyb je popsán parametry M modelu pohybu, které definují trajektorii p. V obr. 3. nahoře je trajektorií p přímka, v obr. 3 dole je to křivka. V obou případech lze po určení parametrů křivky trajektorie p spočítat polohu odzkreslené korespondující oblasti Cgi, kde toto odzkreslení znamená odstranění deformací vzniklých v obraze nasnímaném kamerami 1, 2 pohybem zařízení pro snímání obrazu vůči scéně nebo části scény. Možné příklady parametrů trajektorie p, a tedy současně i příklady parametrů M modelu pohybu reprezentovaného touto trajektorií, budou blíže popsány níže.An illustration of the motion model from the second group of motion models is in Fig. 3. In this case, the motion model consists of data on the displacements of the positions of the corresponding areas e [, ef in Figures P.10. The P.20 captured by the cameras 1, 2 and the parameters M of the motion model consist of a set of parameters defining the trajectory p of the position shift of the corresponding area e [in the image P.10 captured by the first camera 1, after which this corresponding area in the image captured by the camera 1 must move for overlap with the corresponding corresponding area ef in the image P.20 captured by the second camera 2. The shape of this trajectory p is characteristic of the given motion model. Are two examples of the motion model shown, where does the corresponding area e? in image P.10 captured by the first camera 1 it moves along the trajectory p towards the corresponding area ei 2 in image P.20 captured by the second camera 2. This movement is described by the parameters M of the motion model, which define the trajectory p. trajectory p is a straight line, in Fig. 3 below it is a curve. In both cases, after determining the parameters of the trajectory curve p, the position of the distorted corresponding area Cgi can be calculated, where this distortion means removing distortions caused in the image captured by cameras 1, 2 by moving the image capture device relative to the scene or part of the scene. Possible examples of the parameters of the trajectory p, and thus at the same time also examples of the parameters M of the motion model represented by this trajectory, will be described in more detail below.
Nyní podrobněji vysvětlíme pojem „parametry modelu pohybu“.We will now explain the term "motion model parameters" in more detail.
Zavedeme-li kartézskou souřadnou soustavu s osami x, y, z, první skupina modelů pohybu může být popsána následujícími parametry:If we introduce a Cartesian coordinate system with x, y, z axes, the first group of motion models can be described by the following parameters:
• V případě translačního pohybu parametry modelu pohybu mohou zahrnovat:• In the case of translational motion, the parameters of the motion model may include:
o Vektor Tv jehož 3 složky Tvx, Tvy, Tvz určují rychlost relativního posunu soustavy kamer vůči scéně nebo části scény v jednotlivých osách.o Vector Tv whose 3 components Tvx, Tvy, Tvz determine the speed of the relative displacement of the camera system relative to the scene or part of the scene in the individual axes.
o Vektor Ta, jehož 3 složky Tax, Tay, Taz určují relativní akceleraci soustavy kamer vůči scéně nebo části scény v jednotlivých osách.o Vector Ta, whose 3 components Tax, Tay, Taz determine the relative acceleration of the camera system relative to the scene or part of the scene in the individual axes.
• V případě rotačního pohybu parametry modelu pohybu mohou zahrnovat:• In the case of rotational motion, the parameters of the motion model may include:
o Vektor Wv jehož 3 složky Wvx, Wvy, Wvz určují rychlost relativní rotace soustavy kamer vůči scéně nebo části scény v jednotlivých osách.o Vector Wv whose 3 components Wvx, Wvy, Wvz determine the speed of relative rotation of the camera system relative to the scene or part of the scene in each axis.
o Vektor Wa, jehož 3 složky Wax, Way, Waz určují relativní akceleraci rotace soustavy kamer vůči scéně nebo části scény v jednotlivých osách.o Vector Wa, whose 3 components Wax, Way, Waz determine the relative acceleration of the rotation of the camera system relative to the scene or part of the scene in the individual axes.
o Interpolace mezi dvěma relativními orientacemi, kde parametry modelu pohybu zahrnují parametry počáteční a koncové relativní orientace, například kvatemiony q 1 a q2, Eulerovy úhly, osa-úhel, Cayleyho parametrizace nebo jiné známé parametrizace rotace.o Interpolation between two relative orientations, where the motion model parameters include initial and final relative orientation parameters, such as quatemions q 1 and q2, Euler angles, axis-angle, Cayley parameterization, or other known rotation parameterizations.
• V případě kombinace translačního a rotačního pohybu parametry modelu pohybu zahrnují:• In the case of a combination of translational and rotational motion, the parameters of the motion model include:
o Vhodnou kombinaci parametrů modelu pohybu pro translační a rotační pohyb.o Appropriate combination of motion model parameters for translational and rotational motion.
• Parametry modelu pohybu mohou také zahrnovat jakýkoliv jiný popis pohybu tělesa s až šesti stupni volnosti, popsaný parametry a_l,...,a_n, kde n je celkový počet parametrů.• The parameters of the motion model can also include any other description of the motion of a body with up to six degrees of freedom, described by the parameters a_l, ..., a_n, where n is the total number of parameters.
Pohyby z druhé skupiny modelů pohybu lze popsat pomocí parametrů libovolných parametrizací trajektorie p v rovině, například:Movements from the second group of motion models can be described using the parameters of any parameterization of the trajectory p in the plane, for example:
-14CZ 309023 B6 • Parametrická rovnice trajektorie p, kde, např. v kartézské souřadnicové soustavě os x, y v rovině platí pro každý z čipů 10, 20: x = x(t) a y = y(t), kde t je čas exponování světlocitlivých elementů čipu. Dosazením t = ti1, což je čas začátku exponování řádku y/ na prvním čipu 10, kde tento řádek odpovídá korespondující oblasti el v obraze P.10 první kamery získáme kartézské souřadnice aproximující korespondující oblast v obraze první kamery E Podobně dosazením t = ti2, což je čas začátku exponování řádku y? na druhém čipu 20, kde tento řádek odpovídá korespondující oblasti e? v obraze P.20 druhé kamery 2, získáme souřadnice korespondující oblasti e? v obraze druhé kamery 2. Parametry této trajektorie p můžeme označit obecně b_l,... ,b_l a tyto parametry jsou současně parametry modelu pohybu.-14EN 309023 B6 • Parametric equation of trajectory p, where, eg in the Cartesian coordinate system of the x, y axes, the plane holds for each of the chips 10, 20: x = x (t) and y = y (t), where t is the exposure time light-sensitive chip elements. Substituting t = ti 1 , which is the exposure time of line y / on the first chip 10, where this line corresponds to the corresponding area el in the image P.10 of the first camera, we obtain Cartesian coordinates approximating the corresponding area in the image of the first camera E Similarly by substituting t = ti 2 which is the start time of line y exposure? on the second chip 20, where this line corresponds to the corresponding area e? in image P.20 of the second camera 2, we obtain the coordinates of the corresponding area e? in the image of the second camera 2. The parameters of this trajectory p can be denoted generally b_l, ..., b_l and these parameters are at the same time the parameters of the motion model.
• Implicitní rovnice trajektorie p, kde F(x,y)= 0, kde pro souřadnice xl a y/ první korespondující oblasti el a pro souřadnice x? a yf druhé korespondující oblasti ef je tato rovnice splněna Parametry touto rovnicí určené křivky můžeme opět označit obecně b_l,... ,b_n. a tyto parametry jsou současně parametry modelu pohybu.• The implicit equation of the trajectory p, where F (x, y) = 0, where for the coordinates xl and y / the first corresponding area el and for the coordinates x? and yf of the second corresponding region ef, this equation is satisfied. The parameters of the curve determined by this equation can again be denoted generally b_l, ..., b_n. and these parameters are also the parameters of the motion model.
• Jiné parametrizace 2D trajektorií jako například Bezierova křivka nebo Spline křivka.• Other parameterizations of 2D trajectories such as Bezier curve or Spline curve.
Každá z dvojic korespondujících oblastí c'. ef nese informaci o orientaci a poloze zařízení pro snímání obrazu ve dvou různých časech, neboť obecně bude daný význačný 3D objekt Ei scény zachycen v obou kamerách 1,2 na různých řádcích příslušných čipů 10, 20 a tedy v různých časech. Při dostatečném množství dvojic korespondujících oblastí e}, e? je pak možné určit parametry M modelu pohybu relativního pohybu zařízení vůči scéně nebo části scény, přičemž množství potřebných dvojic korespondujících oblastí e[, ef a metoda určení parametrů závisí na volbě modelu pohybu. Při jednoduchých modelech pohybu, jako je, např. samotná translace, postačuje znalost jen jedné dvojice korespondujících oblastí.Each of the pairs of corresponding regions c '. ef carries information about the orientation and position of the image capture device at two different times, since in general a given significant 3D object E1 of the scene will be captured in both cameras 1,2 on different rows of the respective chips 10, 20 and thus at different times. With a sufficient number of pairs of corresponding areas e}, e? it is then possible to determine the parameters M of the motion model relative to the movement of the device with respect to the scene or part of the scene, the number of required pairs of corresponding areas e [, ef] and the method of determining the parameters depending on the choice of the motion model. In simple motion models, such as translation itself, knowledge of only one pair of corresponding areas is sufficient.
Když známe polohy korespondujících oblastí e}, e? a časy exponování těmto korespondujícím oblastem odpovídajících světlocitlivých elementů čipů 10,20 těchto kamer 1,2, můžeme přistoupit ke kroku d), tedy ke zvolení modelu relativního pohybu zařízení pro snímání obrazů vůči scéně nebo části scény, probíhajícího při exponování prvního čipu 10 první kamery 1 a druhého čipu 20 druhé kamery 2. Následně se výpočetně určí parametry M tohoto modelu pohybu na základě údajů o polohách korespondujících oblastí e}, e? a údajů o časech exponování odpovídajících každé z těchto korespondujících oblastí nebo o vzájemném posunu těchto časů zjištěných v kroku c) a na základě informací o vzájemné poloze Cr a vzájemné orientaci Rr první kamery 1 a druhé kamery 2. Tato vzájemná poloha Cr a vzájemná orientace Rr kamer 2 se během exponování v podstatě nemění, podobně jako se v podstatě nemění vzájemná poloha a orientace čipů 10, 20 těchto kamer.When we know the positions of the corresponding areas e}, e? and the exposure times of these corresponding areas of the corresponding light-sensitive elements of the chips 10,20 of these cameras 1,2, we can proceed to step d), i.e. to select the model of relative movement of the image capture device with respect to the scene or part of the scene. 1 and the second chip 20 of the second camera 2. Subsequently, the parameters M of this motion model are determined computationally on the basis of the position data of the corresponding areas e}, e? and data on the exposure times corresponding to each of these corresponding areas or on the mutual offset of these times found in step c) and on the basis of the mutual position information C r and the mutual orientation R r of the first camera 1 and the second camera 2. This mutual position C r a the mutual orientation R r of the cameras 2 does not change substantially during the exposure, similarly to the mutual position and orientation of the chips 10, 20 of these cameras.
Během pohybu se ale mění polohy C2, C2 i orientace Rj, R2 kamer 1, 2 vůči scéně v závislosti na čase t, přičemž tyto polohy a orientace kamer 2 vůči scéně závisí také na parametrech M modelu pohybu, což lze výhodně využít právě pro zjištění těchto parametrů M modelu pohybu.However, during movement, the positions C 2 , C 2 and the orientation Rj, R 2 of the cameras 1, 2 with respect to the scene change depending on the time t, while these positions and the orientation of the cameras 2 with respect to the scene also depend on the M parameters of the motion model. just to determine these parameters M of the motion model.
Označme Ck (t, M) průběh polohy k-té kamery vůči scéně v závislosti na čase t a parametrech M modelu pohybu a označme Rk (t, M) průběh orientace k-té kamery vůči scéně v závislosti na čase t a parametrech M modelu pohybu, kde k nabývá pro první kameru hodnoty 1 a pro druhou kameru hodnoty 2.Denote by C k (T, M) of course the position of the kth camera towards the scene in dependence on the time t and the parameter m motion model and denote R k (t, M) The orientation of the kth camera towards the scene in dependence on the time t and the parameter m of the model where k is 1 for the first camera and 2 for the second camera.
Pro vypočtení poloh Ck(t,M) a orientací Rk(t,M) kamer 1, 2 vůči scéně v průběhu exponování lze využít například následující postup. Mějme fúnkci pk, která popisuje projekci význačného 3D objektu Ei scény do korespondující oblasti e^v obraze nasnímaném kamerou k a závisí na externích parametrech Pk a interních parametrech Kk této kamery k tak, že e* =μ^Ε,,ΡΜ (1).For example, the following procedure can be used to calculate the positions C k (t, M) and orientations R k (t, M) of cameras 1, 2 relative to the scene during exposure. Consider the function p k , which describes the projection of a significant 3D object Ei of a scene into the corresponding area e ^ in the image captured by the camera ka, depends on the external parameters P k and the internal parameters K k of this camera k such that e * = μ ^ Ε ,, ΡΜ ( 1).
-15 CZ 309023 B6-15 CZ 309023 B6
Uvažujme nejprve případ, kdy se systém kamer vůči scéně nepohybuje. Externí parametry Pk kamery k lze rozdělit na parametry Ck popisující polohu kamery k vůči scéně a parametry Rk. popisující orientaci kamery k vůči scéně. V případě, kdy se systém kamer vůči scéně nebo části scény nepohybuje, tyto polohy Ck vůči scéně i orientace Rk vůči scéně jsou pro každou z kamer k v čase neměnné a ze stejného důvodu nezávisí ani na parametrech M modelu pohybu. Projekční funkci pk lze potom napsat jako ei = PkCCi>Ck,Rk,Kk) (2)·Let's first consider the case where the camera system does not move relative to the scene. The external parameters P k of the camera k can be divided into the parameters C k describing the position of the camera k relative to the scene and the parameters R k . describing the orientation of the camera toward the scene. If the camera system does not move relative to the scene or part of the scene, these positions C k relative to the scene and the orientation R k relative to the scene are constant for each of the cameras in time and for the same reason do not depend on the parameters M of the motion model. The projection function p k can then be written as e i = PkCCi> C k , R k , K k ) (2) ·
Pro systém dvou spojených kamer lze polohu C2 a orientaci R2 druhé kamery 2 vůči scéně vyjádřit pomocí vzájemné polohy Cr a vzájemné orientace Rr vůči první kameře E Korespondující oblasti e[ a ef, jež jsou v uvedeném pořadí projekcemi význačného 3D objektu Ei do obrazu nasnímaného první kamerou 1 a do obrazu nasnímaného druhou kamerou 2 lze pak vyjádřit jako =p1(Ei,C1,R1,K1) (3)For a system of two connected cameras, the position C2 and the orientation R2 of the second camera 2 relative to the scene can be expressed by the mutual position C r and the mutual orientation R r relative to the first camera E Corresponding areas e [a ef] captured by the first camera 1 and the image captured by the second camera 2 can then be expressed as = p 1 (E i , C 1 , R 1 , K 1 ) (3)
Si = μ2^ί, Rl Cr,Rr, K2) (4).Si = μ 2 ^ ί, Rl C r , R r , K 2 ) (4).
Dále uvažujme soustavu kamer pohybující se oproti scéně. Jak zmíněno výše, poloha Ci a orientace Ri první kamery 1 vůči scéně se budou v průběhu snímání měnit a lze je popsat v závislosti na čase t a na parametrech M modelu pohybu jako polohu C,(t, M) první kamery 1 vůči scéně a orientaci Rj(t,M) první kamery 1 vůči scéně nebo části scény, kde čas t je současně časem započetí exponování právě exponovaného řádku na prvním čipu 10. Obdobně to platí i pro polohu C2(t, M) druhé kamery 2 vůči scéně a orientaci R2(t, M) druhé kamery 2 vůči scéně nebo části scény, které rovněž závisí na čase t a parametrech M modelu pohybu, přičemž čas t je i zde současně časem započetí exponování právě exponovaného řádku na druhém čipu 20.Next, consider a system of cameras moving against a scene. As mentioned above, the position Ci and the orientation Ri of the first camera 1 relative to the scene will change during shooting and can be described depending on the time ta on the parameters M of the motion model as the position C, (t, M) of the first camera 1 relative to the scene and the orientation. Rj (t, M) of the first camera 1 relative to the scene or part of the scene, where time t is also the start time of the exposure of the currently exposed line on the first chip 10. The same is true for the position C 2 (t, M) of the second camera 2 relative to the scene and the orientation R 2 (t, M) of the second camera 2 relative to the scene or part of the scene, which also depends on time t and the parameters M of the motion model, time t also being the start time of the exposure of the currently exposed line on the second chip 20.
Korespondující oblast e[ v obraze první kamery 1 lze pak vyjádřit jako e[ =p1(Ei,C1(t1i,M),R1(t1i,M),K1) (5).The corresponding area e [in the image of the first camera 1 can then be expressed as e [= p 1 (E i , C 1 (t 1 i, M), R1 (t 1 i, M), K 1 ) (5).
Projekce význačného 3D objektu Ei scény do korespondující oblasti e? v obraze druhé kamery 2 nastane při expozici řádku y? a tedy v čase t?, který bude exponován obecně v jiný čas než řádek yl. Tato oblast je pak vyjádřena jako e? = μ^, C^, M), R^, M), Rr, Cr, K2) (6).Projection of a significant 3D object Ei of the scene into the corresponding area e? in the image of the second camera 2 occurs when the y line is exposed? and thus at time t ?, which will generally be exposed at a time other than line y1. This area is then expressed as e? = μ ^, C ^, M), R ^, M), R r , C r , K 2 ) (6).
Uvažujme dále, že máme k dispozici údaje potřebné pro určení časů tj1 a t^ odpovídajících v tomto pořadí započetí exponování řádku yl a započetí exponování řádku y?, a to, např. díky známým časům započetí exponování čipů 10, 20 nebo známým posunům času započetí exponování prvního čipu 10 vůči času započetí exponování druhého čipu 20 díky informacím o rychlostech exponování těchto čipů vi, V2, nebo o poměru V1/V2 těchto rychlostí. Dále známe vzájemné orientace a pozice kamer Rr a Cr. V případě, že jsou rozdíly mezi Cj(t, M) a C2(t, M) aRj(t,M) aR2(t, M) po celou dobu exponování čipů 10, 20 zanedbatelné, můžeme vzájemnou pozici kamer aproximovat jako Rr= I a vzájemnou orientaci kamer aproximovat jako Cr= 0. V následujících příkladech provedení předpokládáme, že jsou známy interní parametry kamer Κι, K2, které mohou být jednoduše zjištěny kalibrací při výrobě a nemění se v čase nebo jsou jejich změny zanedbatelné. Obecně však tyto parametry známé nemusejí být a dají se spočítat zároveň s parametry modelu pohybu. Pro známé Κι, K2 soustava rovnic (1) a (2) obsahuje neznámé pouze parametry M pohybu obsažené v Rj(t,M) a 3D polohy význačného 3D objektu Ei scény vzhledem k soustavě kamer.Let us further consider that we have the data needed to determine the times ie 1 and t 1 corresponding to the start of the exposure of line y1 and the start of exposure of line y?, Respectively, e.g. exposing the first chip 10 to the start time of exposing the second chip 20 due to information about the exposure rates of these chips vi, V2, or about the ratio V1 / V2 of these speeds. We also know the mutual orientations and positions of cameras R r and C r . If the differences between Cj (t, M) and C 2 (t, M) and Rj (t, M) and R 2 (t, M) are negligible throughout the exposure of chips 10, 20, we can approximate the mutual position of the cameras as Approximately R r = I and the mutual orientation of the cameras as C r = 0. In the following examples we assume that the internal parameters of cameras Κι, K2 are known, which can be easily determined by calibration during production and do not change over time or their changes are negligible. In general, however, these parameters may not be known and can be calculated at the same time as the motion model parameters. For the known Κι, K2 the system of equations (1) and (2) contains only the unknown parameters M of motion contained in Rj (t, M) and the 3D position of the significant 3D object Ei of the scene with respect to the system of cameras.
Každá korespondující oblast e* nám dá 2 lineárně nezávislé rovnice pro 2 souřadnice v obraze, dvojice korespondujících oblastí e[ a e? nám projeden význačný 3D objekt Ei scény dá celkem 4 rovnice, a tedy možnost zjištění jednoho parametru M modelu pohybu, jelikož význačný 3D objektEach corresponding region e * gives us 2 linearly independent equations for 2 coordinates in the image, a pair of corresponding regions e [a e? The significant 3D object Ei of the scene gives us a total of 4 equations, and thus the possibility of finding one parameter M of the motion model, because the significant 3D object
-16 CZ 309023 B6-16 CZ 309023 B6
Ei scény má 3 neznámé. Pro zvolený model pohybu lze určit minimální počet dvojic korespondujících oblastí e[, ef potřebných k plnému určení všech parametrů M tohoto modelu pohybu.Ei scene has 3 unknowns. For the selected motion model, the minimum number of pairs of corresponding areas e [, ef needed to fully determine all parameters M of this motion model can be determined.
Příklady provedení:Examples of design:
Uvažujme nyní případ, kdy kamery 1 a 2 jsou umístěny na jedné straně zařízení, například mobilního telefonu, přičemž jejich optické osy jsou už z výroby nastaveny jako navzájem rovnoběžné. Pokud jde o jiné zařízení je výhodné tyto optické osy kamer 1 a 2 jako rovnoběžné nastavit, což zjednoduší potřebné výpočty. Výpočty níže se týkají právě kamer s rovnoběžnými optickými osami. Obdobné, ale složitější výpočty je ale možné provést i pro kamery s optickými osami nerovnoběžnými, bylo by to ale méně přehledné. Dále uvažujme, že interní parametry Kj a K2 kamer 1 a 2 jsou známé a byly použity k odzkreslení obrazu tak, že souřadnice ve výsledném obraze odpovídají kameře s jednotkovou ohniskovou vzdáleností, čtvercovými pixely, nulovým zkosením, optickou osou procházející počátkem souřadného systému kamery a bez zkreslení čočky. Korespondující oblasti e/ a ef lze pak v případě, že se zařízení pro snímání obrazu relativně vůči scéně nebo části scény nepohybuje, vyjádřit jakoLet us now consider the case where the cameras 1 and 2 are located on one side of a device, for example a mobile telephone, their optical axes being set at the factory as parallel to each other. As for other devices, it is advantageous to set these optical axes of cameras 1 and 2 as parallel, which simplifies the necessary calculations. The calculations below apply to cameras with parallel optical axes. However, similar but more complex calculations can be performed for cameras with non-parallel optical axes, but it would be less clear. Let us further consider that the internal parameters Kj and K 2 of cameras 1 and 2 are known and have been used to distort the image so that the coordinates in the resulting image correspond to a camera with unit focal length, square pixels, zero skew, optical axis passing through the origin of the camera coordinate system, and without lens distortion. The corresponding areas e / a ef can then be expressed as if the image capture device does not move relative to the scene or part of the scene.
Kde A- a Aj jsou neznámé skaláry a XL jsou neznámé 3D souřadnice význačného 3D objektu Ei scény. Pokud ztotožníme globální souřadný systém se souřadným systémem kamery 1 a tedy Rj = I, kde I je jednotková matice a C, = [0,0,0]T a orientaci R2 druhé kamery 2 vůči scéně vyjádříme pomocí matice Rr popisující vzájemnou orientaci kamer 1, 2 a polohu C2 druhé kamery 2 vůči scéně, vyjádříme pomocí vektoru Cr popisujícího vzájemnou polohu kamer 1, 2, dostaneme xÍ yiWhere A- and Aj are unknown scalars and X L are unknown 3D coordinates of a significant 3D object Ei of the scene. If we identify the global coordinate system with the coordinate system of camera 1 and thus Rj = I, where I is the unit matrix and C, = [0,0,0] T and the orientation R2 of the second camera 2 to the scene is expressed using the matrix R r describing the mutual orientation of the cameras. 1, 2 and the position C2 of the second camera 2 relative to the scene, we express using the vector C r describing the mutual position of the cameras 1, 2, we get x1 yi
Xi y? = Rr(Xi — ^r) .1.Xi y? = Rr (Xi - ^ r) .1.
(9) (10).(9) (10).
V tomto příkladu se pro jednoduchost budeme soustředit na případ, kdy směry exponování obou čipů 10 a 20 jsou ve směru shora dolů a Rr je rotace o 180 stupňů kolem osy z, čímž dosáhneme toho, že směr exponování prvního čipu 10 první kamery 1 svírá úhel 180 stupňů vůči směru exponování druhého čipu 20 druhé kamery 2.In this example, for simplicity, we will focus on the case where the exposure directions of both chips 10 and 20 are in a top-down direction and R r is a 180-degree rotation about the z-axis, thereby making the exposure direction of the first chip 10 of the first camera 1 an angle of 180 degrees to the exposure direction of the second chip 20 of the second camera 2.
Dále budeme uvažovat, že relativní pohyb zařízení pro snímání obrazu vůči scéně nebo části scény popisujeme kombinací rotačního a translačního pohybu s konstantní úhlovou rychlostí popsanou vektorem Wv a konstantní posuvnou rychlostí popsanou vektorem Tv. Bez újmy na všeobecnosti budeme dále uvažovat, že čipy 10 a 20 exponují obraz po řádcích, mají stejnou rychlost expozice a stejný počet řádků a začaly exponovat obraz ve stejný čas. Poté lze časy t{ a t? reprezentovat řádky y/ a y[ a korespondující oblasti e{ a e[ lze pak vyjádřit jakoWe will further consider that the relative motion of the image capture device relative to a scene or part of a scene is described by a combination of rotational and translational motion with a constant angular velocity described by the vector W v and a constant sliding velocity described by the vector T v . Without prejudice to the generality, we will further assume that chips 10 and 20 expose the image line by line, have the same exposure rate and the same number of lines, and begin to expose the image at the same time. Then the times t {at? represent the lines y / ay [and the corresponding areas e {ae [can then be expressed as
-17 CZ 309023 B6 λ/-17 CZ 309023 B6 λ /
Xi yl .1.Xi yl .1.
= Rw{y1i,wv)xi + Tvy1i λΐ= R w {y 1 i, wv) xi + Tvy 1 i λΐ
Xi' yi .1.Xi 'yi .1.
— Rw(yt> Wv)RrXi + cr + RrTvy?- R w (yt> Wv) R r Xi + c r + R r T v y?
(Π) (12).(Π) (12).
Kde Rw(yt> Wv) je parametrizace rotace vůči scéně nebo části scény závislá na řádku a úhlové rychlosti Wv. V tomto případě máme 6 neznámých parametrů M modelu pohybu Tvx, Tvy, Tvz, Wvx, Wvy, Wvz a neznámé skaláry λ[, Af a 3D souřadnice XL. Rovnice lze upravit tak, že se zbavíme neznámých A-, Xj a XL a zbyde nám 6 neznámých parametrů M modelu pohybu. Vztah popisující závislost 6 neznámých parametrů M modelu pohybu na korespondujících oblastech e[ a e? lze vyjádřit pomocí epipolámí rovnice e-TFe[ = 0Where R w (yt> W v ) is the parameterization of the rotation with respect to the scene or part of the scene depending on the line and the angular velocity W v . In this case we have 6 unknown parameters M of the motion model T vx , T you , T vz , W vx , W you , W vz and unknown scalars λ [, Af and 3D coordinates X L. The equation can be modified by getting rid of the unknown A-, Xj and X L and we are left with 6 unknown parameters M of the motion model. Relation describing the dependence of 6 unknown parameters M of the motion model on the corresponding areas e [ae? can be expressed using the epipolar equation e- T Fe [= 0
Kde F je esenciální matice a T značí transpoziciWhere F is the essential matrix and T is the transposition
F = \T&,y^xR<j^ (13) (14).F = \ T &, y ^ x R <j ^ (13) (14).
Kde R(yt,yi) = RrRwkyi^Rwkyl^vf = yÍRrTv +RrCr-ylR(yl,yr) a [T(y/,yf)] je anti-symetrická matice pro vektor Pro každou dvojici korespondujících oblastí e[ a e? získáme 1 rovnici ve tvaru (13) a tudíž pro nalezení všech 6 parametrů modelu pohybu potřebujeme alespoň 6 dvojic korespondujících oblastí.Wherein R (yt, yi) = RrRwkyi Rwkyl ^ ^ vf = Tv + r YIR RRC -ylR r (yl, y) and [T (y / YF)] e j anti-symmetric matrix for a vector for each pair of corresponding areas e [ae? we get 1 equation in the form (13) and therefore to find all 6 parameters of the motion model we need at least 6 pairs of corresponding areas.
Pokud by směry exponování prvního čipu první kamery byly stejné tak by rozdíly mezi deformacemi v obraze kamery 1 a obraze kamery 2 byly příliš malé nebo žádné a tudíž poměr vstupního signálu k šumu menší a vypočtené parametry modelu pohybu více tímto šumem zatížené, a tudíž méně přesné. Navíc by soustava rovnic by pro určité typy pohybu degenerovala, jak je zmíněno v [1], a nemohli bychom pak parametry pohybu jednoznačně určit.If the exposure directions of the first chip of the first camera were the same, the differences between the distortions in the camera image 1 and the camera image 2 would be too small or none and therefore the input signal to noise ratio smaller and the calculated motion model parameters more loaded by this noise and therefore less accurate . In addition, the set of equations would degenerate for certain types of motion, as mentioned in [1], and we would not be able to unambiguously determine the motion parameters.
Pokud je vzdálenost středů kamer ]_ a 2 velmi malá, speciálně menší než 5 cm, což je typické, např. pro mobilní telefony, můžeme položit Cr = [0,0,0]T a tedy = y-RrTv — ytR^y^yt).If the distance between the centers of the cameras] _ and 2 is very small, especially less than 5 cm, which is typical, for example, for mobile phones, we can put C r = [0,0,0] T and therefore = yR r T v - ytR ^ y ^ yt).
Na tomto příkladu tedy ukážeme další zjednodušení výpočtů, i když výpočet lze ve složitější formě provést i pro kamery s větší vzdáleností středů kamer, případně lze též vzdálenost středů kamer zmenšit. V tomto případě malé vzdálenosti středů kamer, jelikož měřítko scény nelze pozorovat, můžeme translační pohyb parametrizovat pomocí Tv = [Tvx, 1 — Tvx, TVZ]T. Tím se sníží počet neznámých na 5 a můžeme parametry modelu pohybu spočítat z 5 nebo více dvojic korespondujících oblastí.In this example, we will show a further simplification of the calculations, although the calculation can be performed in a more complex form for cameras with a larger distance between the centers of the cameras, or the distance between the centers of the cameras can also be reduced. In this case, the small distances between the centers of the cameras, since the scale of the scene cannot be observed, we can parameterize the translational motion with T v = [T vx , 1 - T vx , T VZ ] T. This reduces the number of unknowns to 5 and we can calculate the parameters of the motion model from 5 or more pairs of corresponding areas.
Pokud dále předpokládáme, že model pohybu obsahuje pouze rotaci, můžeme tento pohyb popsat parametry = Wvx, Wvy, Wvz\ a Tv v tomto případě bude rovno nulovému vektoru Tv = [0,0,0]T. V případě, kdy vzdálenost středů kamer 2 od sebe je zanedbatelná a pohyb pouze rotační, deformace v obrazech nejsou závislé na hloubce scény a vztah mezi korespondujícími oblastmi e[ a e? lze vyjádřit pomocí soustavy rovnicIf we further assume that the model motion comprises rotation only, we describe this motion parameters = W x, W you, mod W \ and T in this case is equal to the zero vector T = [0,0,0] T. In the case where the distance between the centers of the cameras 2 from each other is negligible and the movement is only rotational, the deformations in the images do not depend on the depth of the scene and the relationship between the corresponding areas e [ae? can be expressed using a system of equations
[ef]xRw(y2i, Wv)RrRw(y[, Wvf = 0 (15)[ef] x R w (y2i, W v ) R r R w (y [, W v f = 0 (15)
-18 CZ 309023 B6 z nichž 2 rovnice jsou v obecném případě lineárně nezávislé. Počet neznámých parametrů M modelu pohybu je 3 a tudíž potřebujeme 3 rovnice k jejich spočtení a tím pádem alespoň dvě dvojice korespondujících oblastí e[, ef. Pro urychlení výpočtu můžeme rovnice zjednodušit nahrazením rotačních matic Rw(yi> Wv) aproximací prvního řádu Taylorova rozvoje-18 CZ 309023 B6 of which 2 equations are in the general case linearly independent. The number of unknown parameters M of the motion model is 3 and therefore we need 3 equations to calculate them and thus at least two pairs of corresponding areas e [, ef. To speed up the calculation, we can simplify the equations by replacing the rotation matrices R w (yi> W v ) by a first-order approximation of the Taylor expansion
Rw(yt,Wv) = I + [Wvyj]x, (16), kde I je jednotková matice. Po dosazení (16) do (15) získáme kvadratické rovnice o 3 neznámých, pro něž existuje efektivní řešení, viz, např. reference [9],R w (yt, W v ) = I + [W v yj] x , (16), where I is the unit matrix. Substituting (16) into (15) we obtain quadratic equations of 3 unknowns, for which there is an effective solution, see, eg references [9],
Rovnice (13) - (16) určují parametry M modelu pohybu pro modely pohybu z první skupiny modelů pohybu.Equations (13) - (16) determine the M model parameters of the motion model for the motion models from the first group of motion models.
V dalším příkladu budeme předpokládat, že matice Rr je jednotková matice, tedy že obě kamery mají stejnou orientaci, ale směr exponování prvního čipu 10 první kamery 1 je protichůdný, tj. otočený o 180°, ke směru exponování druhého čipu 20 kamery 2. V případě zvolení modelu pohybu z druhé skupiny modelů pohybu, tj. v případě, že model pohybu vyjádříme jako trajektorii p vedoucí z korespondující oblasti e[ v obraze nasnímaném první kamerou 1 do korespondující oblasti e? v obraze nasnímaném druhou kamerou 2, přičemž pro jednoduchost v tomto příkladě předpokládáme, že trajektorie p je přímka, můžeme parametry trajektorie p a tedy i parametry M modelu pohybu spočítat b = el (17) kde a, b jsou vektory koeficientů parametrického popisu 2D trajektorie p, tedy parametry M modelu pohybu, a xjyl jsou stejně jako výše souřadnice korespondující oblasti e[ v obraze P.10 nasnímaném první kamerou 1 a podobně xj yf jsou souřadnice korespondující oblasti e? v obraze P.20 nasnímaném druhou kamerou 2.In another example, we will assume that the matrix R r is a unit matrix, i.e. that both cameras have the same orientation, but the exposure direction of the first chip 10 of the first camera 1 is opposite, i.e. rotated 180 °, to the exposure direction of the second chip 20 of the camera 2. If a motion model is selected from the second group of motion models, ie if we express the motion model as a trajectory p leading from the corresponding area e [in the image captured by the first camera 1 to the corresponding area e? in the image captured by the second camera 2, while for simplicity in this example we assume that the trajectory p is a straight line, we can calculate the parameters of the trajectory pa and thus the parameters M of the motion model b = el (17) where a, b are vectors of coefficients , i.e. the parameters M of the motion model, and xjyl are the same as the coordinates of the corresponding area e [above] in the image P.10 taken by the first camera 1, and similarly xj yf are the coordinates of the corresponding area e? in the P.20 image captured by the second camera 2.
Parametry M modelu pohybu lze ale získat i pro složitější parametrické popisy trajektorie p než je přímka, například hyperbola nebo splíne.However, the M parameters of the motion model can also be obtained for more complex parametric descriptions of the trajectory p than a straight line, such as a hyperbola or a spline.
Takto získané parametry M modelu pohybu se mohou použít k odstranění deformací v obraze P.10 nasnímaném první kamerou 1 a/nebo v obraze P.20 nasnímaném druhou kamerou 2, kde tyto deformace vznikly relativním pohybem kamer 1, 2 vůči scéně nebo části scény.The motion model parameters M thus obtained can be used to remove distortions in the image P.10 captured by the first camera 1 and / or in the image P.20 captured by the second camera 2, where these deformations were caused by the relative movement of the cameras 1, 2 relative to the scene or part of the scene.
Postup je následující: pro alespoň jednu dvojici obrazů nasnímaných první kamerou 1 a druhou kamerou 2 na základě exponování čipů 10, 20 těchto kamer proběhlých v alespoň částečně se překrývajícím časovém intervalu se vybere dvojice navzájem korespondujících oblastí e[, el v těchto obrazech nasnímaných kamerami 2. Z parametrů M modelu pohybu spočtených pro pro tuto vybranou dvojici navzájem korespondujících oblastí e[, el, se vypočte korigovaná poloha, která odpovídá témuž význačnému 3D objektu Ei scény jako vybraná dvojice korespondujících oblastí e[, el, přičemž tato korigovaná poloha odpovídá poloze projekce tohoto význačného 3D objektu Ej scény v obraze 50 s odstraněnými deformacemi vzniklými relativním pohybem kamer 1, 2 vůči scéně nebo části scény. Poté se proces buď ukončí, nebo se pokračuje výběrem další dvojice navzájem korespondujících oblastí ej, ej v téže dvojici obrazů P.10, P.20 nasnímaných kamerami j_, 2 pro jiný význačný 3D objekt Ej scény, dokud není zjištěna korigovaná poloha v obraze s odstraněnými deformacemi pro všechny 3D objekty, kterým odpovídají vybrané dvojice korespondujících oblastí. Ukázka takové další dvojice navzájem korespondujících oblastí ej, ej aThe procedure is as follows: for at least one pair of images taken by the first camera 1 and the second camera 2 on the basis of exposing chips 10, 20 of these cameras in at least partially overlapping time interval, a pair of corresponding areas e [, el in these images taken by cameras 2 is selected. From the motion model parameters M calculated for this selected pair of corresponding areas e [, el, a corrected position is calculated which corresponds to the same significant 3D object Ei of the scene as the selected pair of corresponding areas e [, el, this corrected position corresponding to the projection position. of this significant 3D object Ej of the scene in the image 50 with the deformations caused by the relative movement of the cameras 1, 2 relative to the scene or part of the scene removed. The process is then either terminated or continued by selecting another pair of corresponding areas ej, ej in the same pair of images P.10, P.20 captured by the cameras j_, 2 for another significant 3D object Ej of the scene until a corrected position in the image s is found. deformations removed for all 3D objects that match the selected pairs of corresponding areas. Example of such another pair of mutually corresponding areas ej, ej and
-19 CZ 309023 B6 dalšího význačného 3D objektu Ej scény je v obr. 2. Parametry modelu pohybu M lze tedy pro každou dvojici navzájem korespondujících oblastí e·, e? spočítat zvlášť, což nám dovolí odstranit deformace například pro 2 auta jedoucí různými směry.-19 CZ 309023 B6 another significant 3D object Ej of the scene is in Fig. 2. The parameters of the motion model M are therefore possible for each pair of mutually corresponding areas e ·, e? calculate separately, which allows us to eliminate deformations, for example, for 2 cars traveling in different directions.
V provedení, v němž jsou parametry M modelu pohybu určeny podle rovnic (17 a (18), výpočet korigované polohy pro vybranou dvojici navzájem korespondujících oblastí e[, ef v obrazech nasnímaných kamerami 1, 2 sestává z interpolace podél trajektorie p definované parametry M modelu pohybu pro tuto vybranou dvojici navzájem korespondujících oblastí e[, ef.In the embodiment in which the M model parameters of the motion model are determined according to equations (17 and (18), calculating the corrected position for the selected pair of mutually corresponding areas e [, ef in the images captured by the cameras 1, 2 consists of interpolation along the trajectory p defined by the M model parameters. motion for this selected pair of mutually corresponding areas e [, ef.
K interpolaci se použije rovnice trajektorie p v závislosti na čase t p(t)=ta + b (19), kde a, b jsou parametry spočtené na základě rovnic (17) a (18). Parametr t této trajektorie odpovídající času určuje polohu bodu na této přímce, přičemž dosazením t = ti1 dostáváme korespondující oblast e- a v obraze první kamery 1 a dosazením t = t2i korespondující oblast ef. v obraze druhé kamery 2. Korigované souřadnice oblasti c.,, v obraze 50 s odstraněnými deformacemi získáme dosazením hodnoty lineárně interpolovaného parametru t = (tý + t2i / 2 do vztahu (19).The time-dependent trajectory equation tp (t) = ta + b (19) is used for interpolation, where a, b are parameters calculated on the basis of equations (17) and (18). The parameter t of this trajectory corresponding to time determines the position of the point on this line, whereby substituting t = ti 1 we get the corresponding area e- and in the image of the first camera 1 and substituting t = t 2 i we get the corresponding area ef. in the second image of the second camera are corrected area c. ,, 50 in the image deformation erased is obtained by substituting the values linearly interpolated parameter t = (t 2 th + I / 2 in equation (19).
Vypočítané parametry M modelu pohybu lze v případě modelů pohybu z první skupiny modelů pohybu použít k odstranění deformací také následujícím způsobem: Nejprve se parametry M modelu pohybu použijí k určení poloh C^t, M\ C2(t, M) každé z kamer j_, 2 vůči scéně nebo části scény a k určení orientací Rj(t,M\ R2(t,M) každé z kamer j_, 2 vůči scéně nebo části scény v závislosti na čase t během doby exponování čipů 10, 20. Polohy a orientace určíme dosazením vypočtených parametrů M modelu pohybu, představovanými v případě, že model pohybu obsahuje translaci i rotaci, tedy je popsán parametry TV,WV.In the case of motion models from the first group of motion models, the calculated parameters M of the motion model can also be used to remove deformations as follows: First, the parameters M of the motion model are used to determine the positions C ^ t, M \ C 2 (t, M) of each of the cameras j_. , 2 to the scene or part of the scene and to determine the orientations Rj (t, M \ R 2 (t, M) of each of the cameras j, 2 to the scene or part of the scene depending on the time t during the exposure time of chips 10, 20. Positions and orientations we determine by substituting the calculated parameters M of the motion model, represented in the case that the motion model contains both translation and rotation, ie the parameters T V , W V are described.
Takto zjištěné polohy C2(t, M) a orientace R](t, M), R2(t, M) kamer 2 vůči scéně nebo části scény v závislosti na čase během doby exponování čipů 10. 20 se mohou použít k odstranění deformací v obraze nasnímaném první kamerou 1 a/nebo v obraze nasnímaném druhou kamerou 2, kde tyto deformace vznikly relativním pohybem kamer vůči scéně nebo části scény.The positions C 2 (t, M) and the orientations R 1 (t, M), R 2 (t, M) of the cameras 2 relative to the scene or part of the scene as a function of time during the exposure time of the chips 10, 20 thus determined can be used to eliminate distortions in the image captured by the first camera 1 and / or in the image captured by the second camera 2, wherein these distortions are caused by the relative movement of the cameras relative to the scene or part of the scene.
Nejprve se pro alespoň jednu dvojici obrazů P.10. P.20 nasnímaných první kamerou 1 a druhou kamerou 2 na základě exponování čipů 10, 20 těchto kamer proběhlých v alespoň částečně se překrývajícím časovém intervalu vybere alespoň jedna dvojice navzájem korespondujících oblastí e[, ef v těchto dvou obrazech P.10, P.20 nasnímaných kamerami 1,2, a pro každou z těchto vybraných dvojic korespondujících oblastí e[, ef se pomocí parametrů M modelu pohybu spočtou metodou triangulace, viz, např. reference [10], 3D souřadnice XL = [Xix, Xiy, Xiz] význačného 3D objektu Ej scény, který jim odpovídá. V těchto souřadnicích je obsažena i hloubka 3D objektu Ei scény, který odpovídá uvedené dvojici korespondujících oblastí e/, ef.First, for at least one pair of P.10 images. P.20 captured by the first camera 1 and the second camera 2, based on the exposure of the chips 10, 20 of these cameras in the at least partially overlapping time interval, selects at least one pair of mutually corresponding areas e [, ef in these two images P.10, P.20 captured by cameras 1,2, and for each of these selected pairs of corresponding areas e [, ef are calculated using the parameters M of the motion model by triangulation method, see, eg reference [10], 3D coordinates X L = [X ix , X iy , X iz ] of a significant 3D object Ej of the scene that corresponds to them. These coordinates also contain the depth of the 3D object Ei of the scene, which corresponds to the said pair of corresponding areas e /, ef.
Získání odzkreslených souřadnic egi korespondujících oblastí e/ a ef, nebo jinak řečeno odstranění deformací v obraze nasnímaném první kamerou 1 a/nebo v obraze nasnímaném druhou kamerou 2, kde tyto deformace vznikly relativním pohybem kamer vůči scéně nebo části scény, provedeme projekcí význačného 3D objektu Ei scény se souřadnicemi Xi = [XiX,Xiy,XiZ] do virtuální kamery, která se nepohybuje a odpovídá kameře s globální závěrkou pomocí rovniceObtaining the distorted coordinates e gi of the corresponding areas e / a ef, or in other words removing distortions in the image captured by the first camera 1 and / or in the image captured by the second camera 2, where these deformations were caused by relative camera movement to the scene or part of the scene, object Ei of the scene with coordinates Xi = [Xi X , Xi y , Xi Z ] to a virtual camera that does not move and corresponds to a camera with a global shutter using the equation
-^IZ-20CZ 309023 B6- ^ IZ-20CZ 309023 B6
Tímto jsme ukázali další z příkladů, jak lze parametry M modelu pohybu použít k odstranění deformací v obraze nasnímaném první kamerou 1 a/nebo v obraze nasnímaném druhou kamerou 2.We have thus shown another example of how the parameters M of the motion model can be used to remove distortions in the image captured by the first camera 1 and / or in the image captured by the second camera 2.
3D souřadnice XL význačného 3D objektu E, scény lze také použít k vytvoření 3D hloubkové mapy scény, a to tak, že souřadnicím egi přiřadíme jako hloubku hodnotu XiZ, kde Xizje třetí souřadnice vypočítaného boduXj. Když toto učiníme pro více význačných 3D objektů Ei scény, vznikne hloubková mapa scény.3D coordinates X L prominent 3D object E, scenes can also be used to create a 3D depth map of the scene, so that the coordinates of e gi assign a depth value Xi Z, where Xizje third coordinate calculated boduXj. When we do this for more significant 3D objects of the Ei scene, a depth map of the scene is created.
Pro model pohybu obsahující pouze rotaci a pro malou vzdálenost mezi středy kamer 10, 20, typicky vzdálenost menší než 5 cm, se parametry M modelu pohybu vypočtené pro kteroukoliv dvojici nebo skupinu dvojic navzájem korespondujících oblastí e{, e2 v obrazech P.10. P.20 nasnímaných kamerami j_, 2 mohou použít pro odstranění deformací vzniklých v libovolném bodě nebo v libovolných bodech obrazu kterékoli z kamer 1, 2. Přitom jde stále o deformace vzniklé relativním pohybem kamer vůči scéně nebo části scény. Konkrétně se to provede, např. tak, že po nalezení parametrů rotace 14^ se provede odstranění deformací v kterémkoliv bodě obrazu, nehledě na to, zda má korespondující oblast a zda tuto korespondující oblast známe, za pomoci transformace určené z parametrů Wv. Pro obrazový bod u- v obraze z kamery 1 použijeme k získání odzkreslených souřadnic ugi následující rovniciFor a motion model containing only rotation and for a small distance between the centers of the cameras 10, 20, typically a distance less than 5 cm, the parameters M of the motion model are calculated for any pair or group of pairs of corresponding areas e {, e 2 in Figures P.10. The P20 captured by the cameras 1, 2 can be used to remove distortions caused at any point or at any point in the image of any of the cameras 1, 2. These are still deformations caused by the relative movement of the cameras relative to the scene or part of the scene. Specifically, this is done, for example, by removing the deformations 14 at any point in the image after finding the rotation parameters 14, whether or not it has a corresponding area, using the transformation determined from the parameters W v . For the pixel u- in the image from camera 1, we use the following equation to obtain the distorted coordinates at gi
Ugt = Rw(yt,wvyul (19) a pro obrazový bod uf z kamery 2 rovniciUgt = R w (yt, w in yul (19) and for the pixel uf from the camera 2 equation
Ugt = Rw(jt/Wv)u2i (22).Ugt = R w (jt / W v ) u 2 i (22).
V tomto případě je tedy možné odstranit deformace z celého obrazu na základě parametrů modelu pohybu zjištěných třeba jen pro dvě dvojice navzájem korespondujících oblastí ef, ef aef, ef v obrazech P.10, P.20 nasnímaných kamerami 2, není tedy nutné zjišťovat parametry M modelu pohybu pro každou dvojici korespondujících oblastí ef, ef, pro něž chceme odzkreslit obraz. Toto lze s výhodou využít u mobilních telefonů, kde je už typicky nastavena z výroby vzdálenost středů kamer menší než 5 cm, případně u jiných zařízení je možné tato zařízení nastavit tak, aby se středy kamer dostaly do vzdálenosti menší než 5 cm.In this case, it is possible to remove deformations from the whole image based on the parameters of the motion model found for only two pairs of corresponding areas ef, ef aef, ef in images P.10, P.20 captured by cameras 2, so it is not necessary to determine the parameters M motion model for each pair of corresponding areas ef, ef, for which we want to distort the image. This can be advantageously used for mobile phones, where the distance between the centers of the cameras is typically set to less than 5 cm, or for other devices it is possible to set these devices so that the centers of the cameras reach a distance of less than 5 cm.
Všechny výše uvedené výpočty se mohou provádět v rámci zařízení pro snímání obrazů, ale i nebo mimo ně. Tzn. je-li nasnímána alespoň jedna dvojice obrazů v zařízení, v němž se nastaví odlišné směry exponování čipů 10, 20, další zpracování těchto obrazů podle předkládaného způsobu může proběhnout v tomto zařízení, částečně v tomto zařízení a částečně mimo toto zařízení, nebo i zcela mimo toto zařízení.All of the above calculations can be performed within or outside the image capture device. Ie. if at least one pair of images is captured in a device in which different exposure directions of the chips 10, 20 are set, further processing of these images according to the present method can take place in this device, partly in this device and partly outside this device, or even completely outside this device.
Je tedy navržen vynález a způsob, který umožní díky nastavení směrů exponování čipů 10, 20, které je hardwarově velmi jednoduché, vypočítat parametry M modelu pohybu a s jejich pomocí případně provádět další užitečné výpočty, přičemž výpočty dle předkládaného vynálezu jsou rychlé a přesné, což umožňuje dosáhnout velmi kvalitních výsledků, např. v oblastech odstranění deformací obrazu, výpočtu 3D hloubkové mapy scény v reálném čase, odstranění rozmazání obrazu, stabilizace videa nebo oblastech virtuální a rozšířené reality.Thus, an invention and method is provided which, by setting the exposure directions of the chips 10, 20, which is very simple in hardware, can calculate the parameters M of the motion model and optionally perform other useful calculations, the calculations of the present invention being fast and accurate Achieve high-quality results, such as image distortion removal, real-time 3D depth map calculation, image blur removal, video stabilization, or virtual and augmented reality.
- 21 CZ 309023 B6- 21 CZ 309023 B6
Průmyslová využitelnostIndustrial applicability
Průmyslová využitelnost je především u mobilních telefonů, které nesou více než jednu kameru na jedné straně, u nichž je možné instalování kamer s rozdílnými směry exponování čipů, nebo HW změna směrů exponování. Využití je ale možné i v jiných vícekamerových systémech, pro příklad uveďme systémy pro navigaci a lokalizaci v robotíce či automobilovém průmyslu, autonomní nebo částečně autonomní vozidla, zařízení pro snímání pohybu hlavy či v drony. Všechny tyto a podobné systémy s kamerami mohou těžit z odlišných směrů exponování čipů těchto kamer podle předkládaného vynálezu, například pomocí způsobu, který je rovněž součástí tohoto vynálezu.Industrial applicability is mainly for mobile phones that carry more than one camera on one side, where it is possible to install cameras with different chip exposure directions, or HW change of exposure directions. However, its use is also possible in other multi-camera systems, for example systems for navigation and localization in the robotics or automotive industry, autonomous or partially autonomous vehicles, devices for sensing the movement of the head or in drones. All of these and similar camera systems can benefit from different directions of exposure of the chips of the cameras of the present invention, for example, by a method that is also part of the present invention.
Citovaná literaturaCited literature
[1] O. Ait-Aider and F. Berry, Structure and kinematics triangulation with a rolling shutter stereo rig, 2009 IEEE 12th International Conference on Computer Vision, Kyoto, 2009, pp. 1835-1840.[1] O. Ait-Aider and F. Berry, Structure and kinematics triangulation with a rolling shutter stereo rig, 2009 IEEE 12th International Conference on Computer Vision, Kyoto, 2009, pp. 1835-1840.
[2] A. Bapat, E. Dunn and J. Frahm, Towards Kilo-Hertz 6-DoF Visual Tracking Using an Egocentric Cluster of Rolling Shutter Cameras, in IEEE Transactions on Visualization and Computer Graphics, vol. 22, no. 11, pp. 2358-2367, Nov. 2016.[2] A. Bapat, E. Dunn and J. Frahm, Towards Kilo-Hertz 6-DoF Visual Tracking Using an Egocentric Cluster of Rolling Shutter Cameras, in IEEE Transactions on Visualization and Computer Graphics, vol. 22, no. 11, pp. 2358-2367, Nov. 2016.
[3] A. Bapat, T. Price and J. Frahm, “Rolling Shutter and Radial Distortion Are Features for High Frame Rate Multi-Camera Tracking”, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018, pp. 4824-4833[3] A. Bapat, T. Price and J. Frahm, “Rolling Shutter and Radial Distortion Are Features for High Frame Rate Multi-Camera Tracking”, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018, pp. 4824-4833
[4] M. Grundmann, V. Kwatra, D. Castro and I. Essa, Calibration-free rolling shutter removal, 2012 IEEE International Conference on Computational Photography (ICCP), Seattle, WA, 2012, pp. 1-8.[4] M. Grundmann, V. Kwatra, D. Castro and I. Essa, Calibration-free rolling shutter removal, 2012 IEEE International Conference on Computational Photography (ICCP), Seattle, WA, 2012, pp. 1-8.
[5] Lao, Yizhen and Omar Ait-Aider. “A Robust Method for Strong Rolling Shutter Effects Correction Using Lines with Automatic Feature Selection.” 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (2018): 4795-4803.[5] Lao, Yizhen and Omar Ait-Aider. “A Robust Method for Strong Rolling Shutter Effects Correction Using Lines with Automatic Feature Selection.” 2018 IEEE / CVF Conference on Computer Vision and Pattern Recognition (2018): 4795-4803.
[6] Vasu, Subeesh, R. Mohan M. MaheshMohanM. and A. N. Rajagopalan. “Occlusion-Aware Rolling Shutter Rectification of 3D Scenes.” 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (2018): 636-645.[6] Vasu, Subeesh, R. Mohan M. MaheshMohanM. and A. N. Rajagopalan. “Occlusion-Aware Rolling Shutter Rectification of 3D Scenes.” 2018 IEEE / CVF Conference on Computer Vision and Pattern Recognition (2018): 636-645.
[7] Rengarajan, Vijay, Yogesh Balaji and A. N. Rajagopalan. “Unrolling the Shutter: CNN to Correct Motion Distortions.” 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR (2017): 2345-2353.[7] Rengarajan, Vijay, Yogesh Balaji and A. N. Rajagopalan. “Unrolling the Shutter: CNN to Correct Motion Distortions.” 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR (2017): 2345-2353.
[8] V. Rengarajan, A. N. Rajagopalan and R. Aravind, From Bows to Arrows: Rolling Shutter Rectification of Urban Scenes, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, 2016, pp. 2773-2781.[8] V. Rengarajan, A. N. Rajagopalan and R. Aravind, From Bows to Arrows: Rolling Shutter Rectification of Urban Scenes, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, 2016, pp. 2773-2781.
[9] Z. Kukelova, J. Heller and A. Fitzgibbon, Efficient Intersection of Three Quadrics and Applications in Computer Vision, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, 2016, pp. 1799-1808.[9] Z. Kukelova, J. Heller and A. Fitzgibbon, Efficient Intersection of Three Quadrics and Applications in Computer Vision, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, 2016, pp. 1799-1808.
[10] Richard Hartley and Andrew Zisserman. 2003. Multiple View Geometry in Computer Vision (2nd. ed.). Cambridge University Press, USA.[10] Richard Hartley and Andrew Zisserman. 2003. Multiple View Geometry in Computer Vision (2nd. Ed.). Cambridge University Press, USA.
[11] J. Mustaniemi, J. Kannala, S. Sárkká, J. Matas and J. Heikkilá. “Fast Motion Deblurring for Feature Detection and Matching Using Inertial Measurements.” 24th International Conference on Pattern Recognition (ICPR), 2018, pp. 3068-3073.[11] J. Mustaniemi, J. Kannala, S. Sarkka, J. Matas and J. Heikkila. “Fast Motion Deblurring for Feature Detection and Matching Using Inertial Measurements.” 24th International Conference on Pattern Recognition (ICPR), 2018, pp. 3068-3073.
- 22 CZ 309023 B6- 22 CZ 309023 B6
[12] E. Ringaby and P.-E. Forssén. “Efficient Video Rectification and Stabilisation for CellPhones.” International Journal of Computer Vision 96, 2011, pp. 335-352.[12] E. Ringaby and P.-E. Forssén. “Efficient Video Rectification and Stabilization for CellPhones.” International Journal of Computer Vision 96, 2011, pp. 335-352.
Claims (18)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CZ2020288A CZ309023B6 (en) | 2020-05-20 | 2020-05-20 | Method of using effects arising in images due to the relative movement of the image capture device relative to the scene or part of the scene and the device for this |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CZ2020288A CZ309023B6 (en) | 2020-05-20 | 2020-05-20 | Method of using effects arising in images due to the relative movement of the image capture device relative to the scene or part of the scene and the device for this |
Publications (2)
Publication Number | Publication Date |
---|---|
CZ2020288A3 CZ2020288A3 (en) | 2021-12-01 |
CZ309023B6 true CZ309023B6 (en) | 2021-12-01 |
Family
ID=78719150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CZ2020288A CZ309023B6 (en) | 2020-05-20 | 2020-05-20 | Method of using effects arising in images due to the relative movement of the image capture device relative to the scene or part of the scene and the device for this |
Country Status (1)
Country | Link |
---|---|
CZ (1) | CZ309023B6 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090153710A1 (en) * | 2007-12-13 | 2009-06-18 | Motorola, Inc. | Digital imager with dual rolling shutters |
US20150271483A1 (en) * | 2014-03-20 | 2015-09-24 | Gopro, Inc. | Target-Less Auto-Alignment Of Image Sensors In A Multi-Camera System |
US20160050370A1 (en) * | 2012-07-03 | 2016-02-18 | Gopro, Inc. | Rolling Shutter Synchronization |
WO2018209103A2 (en) * | 2017-05-10 | 2018-11-15 | Mobileye Vision Technologies Ltd. | Cross field of view for autonomous vehicle systems |
-
2020
- 2020-05-20 CZ CZ2020288A patent/CZ309023B6/en unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090153710A1 (en) * | 2007-12-13 | 2009-06-18 | Motorola, Inc. | Digital imager with dual rolling shutters |
US20160050370A1 (en) * | 2012-07-03 | 2016-02-18 | Gopro, Inc. | Rolling Shutter Synchronization |
US20150271483A1 (en) * | 2014-03-20 | 2015-09-24 | Gopro, Inc. | Target-Less Auto-Alignment Of Image Sensors In A Multi-Camera System |
WO2018209103A2 (en) * | 2017-05-10 | 2018-11-15 | Mobileye Vision Technologies Ltd. | Cross field of view for autonomous vehicle systems |
Also Published As
Publication number | Publication date |
---|---|
CZ2020288A3 (en) | 2021-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108564617B (en) | Three-dimensional reconstruction method and device for multi-view camera, VR camera and panoramic camera | |
CN106355550B (en) | Image stitching system and image stitching method | |
KR101666959B1 (en) | Image processing apparatus having a function for automatically correcting image acquired from the camera and method therefor | |
US9686479B2 (en) | Method for combining multiple image fields | |
Swaminathan et al. | Nonmetric calibration of wide-angle lenses and polycameras | |
EP3028252B1 (en) | Rolling sequential bundle adjustment | |
CN106331527B (en) | A kind of image split-joint method and device | |
US8681230B2 (en) | Picture processing device, picture processing method, program for picture processing, and imaging device | |
WO2021043213A1 (en) | Calibration method, device, aerial photography device, and storage medium | |
Lao et al. | A robust method for strong rolling shutter effects correction using lines with automatic feature selection | |
JP7027064B2 (en) | Image processing equipment and image processing methods, imaging equipment, programs | |
US20190158716A1 (en) | Method and system of geolocation and attitude correction for mobile rolling shutter cameras | |
CN113196007B (en) | Camera system applied to vehicle | |
JP2019510234A (en) | Depth information acquisition method and apparatus, and image acquisition device | |
EP3923241B1 (en) | Aligning digital images | |
CN113221953B (en) | Target attitude identification system and method based on example segmentation and binocular depth estimation | |
Ding et al. | A robust detection method of control points for calibration and measurement with defocused images | |
KR20150002995A (en) | Distortion Center Correction Method Applying 2D Pattern to FOV Distortion Correction Model | |
CN105335959B (en) | Imaging device quick focusing method and its equipment | |
US20200202495A1 (en) | Apparatus and method for dynamically adjusting depth resolution | |
BR112021008558A2 (en) | apparatus, disparity estimation method, and computer program product | |
CN115049548A (en) | Method and apparatus for restoring image obtained from array camera | |
CZ309023B6 (en) | Method of using effects arising in images due to the relative movement of the image capture device relative to the scene or part of the scene and the device for this | |
US10726528B2 (en) | Image processing apparatus and image processing method for image picked up by two cameras | |
KR101923581B1 (en) | Normal vector extraction apparatus and method thereof based on stereo vision for hull underwater inspection using underwater robot |