SE531372C2 - Metod för signalkonditionering - Google Patents
Metod för signalkonditioneringInfo
- Publication number
- SE531372C2 SE531372C2 SE0600892A SE0600892A SE531372C2 SE 531372 C2 SE531372 C2 SE 531372C2 SE 0600892 A SE0600892 A SE 0600892A SE 0600892 A SE0600892 A SE 0600892A SE 531372 C2 SE531372 C2 SE 531372C2
- Authority
- SE
- Sweden
- Prior art keywords
- image
- correlation
- projections
- gradient
- dimensional
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 22
- 230000003750 conditioning effect Effects 0.000 title claims description 8
- 229910052704 radon Inorganic materials 0.000 claims description 10
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 claims description 10
- 230000002596 correlated effect Effects 0.000 claims description 2
- 230000001143 conditioned effect Effects 0.000 claims 1
- 239000013598 vector Substances 0.000 description 9
- 238000009795 derivation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G06T7/206—
-
- G06T7/2066—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H04N7/26771—
-
- H04N7/26813—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Picture Signal Circuits (AREA)
Description
l0 15 20 25 30 531 372 användande av mindre block är relativt känsliga för brus. Metoderna fallerar i regel för scener med låg kontrast där många block då saknar signalinnehåll att korrelera mot.
Ett sätt att minska beräkningsbördan och samtidigt göra rörelseestimering mindre känslig för brus är att använda sig av Radontransfonnen. Radontransforrnen är linjeintegralen genom en viss punkt vid en viss vinkel. Om bara vinklama 0 och 90° används reducerar transformen en tvådimensionell bild till två endimensionella projektioner. Den första projektionsvektom är då bara summan av värdena beräknat kolumn för kolumn och den andra projektionen är summan av värdena beräknat rad för rad. För en tvådimensionell bild med MxN bildpunkter ersätts då problemet att korrelera M*N värden till att bara korrelera M+N data. Detta innebär en mycket drastisk minskning av antalet operationer som behöver göras. Vidare kommer variationer i from av temporalt brus från en bild till en annan i regel inte att ha någon inverkan då summan av en kolumn respektive rad innehåller ett stort antal bildpunkter med inbördes oberoende temporalt brus.
Metoden enligt ovan är sedan länge känd. Ett stort antal varianter av ovannämnda princip finns beskrivna i vetenskapliga publikationer. Exempel på metoder utnyttjande radontransfonnen är bl a beskrivna i publikationema S. Alliney and C. Morandi, ”Digital Image Registration Using Projections”, IEEE Transactions, Pattern Analysis, Machine Intelligence, Vol. 8, No. 2, 1986, p. 222-233, MILANFAR P. ”Model of the effect of image motion in the radon transform domain”, IEEE Transactions on Image Processing, 1999, Vol. 8, nr. 9, p.1276-l28l, ISSN 1057-7149, CRAWFORD A I et al. ”Gradient based dominant motion estimation with integral projections for real time video stabilisation” 2004, Vol. 5, p. 3371-3374, ISBN 0-7803-8554-3, MILANFAR et al. “Efficiency and accuracy tradeoffs in using projections for motion estimation”, Conference Record on 'Ihirty-Fifth Asimolar Conference on Signals, Systems and Computers, 2001, IEEE, Vol. l, p. 545-550, ISBN 0-7803-7l47-X, samt US 6 259 396 Bl.
Ett problem med proj ektiva metoder är att lokala förändringar i scenen, t.ex. när ett eller flera objekt i bilden har en rörelse relativt bakgrunden, kan distordera projektionen. Detta är särskilt tydligt i IR applikationer där rörliga föremål, såsom 10 15 20 25 30 531 3172 personer, bilar, flygplan etc. ofta har en hög temperatur och därmed ger upphov till en hög detektorsignal relativt bakgrunden. Då det enklaste måttet av korrelation d.v.s. vektoravstånd eller summan av de absoluta differensema används, kommer rörelser hos objekt med hög signalstyrka ge stort utslag i korrelationen. Det finns då risk att objektets rörelse beräknas istället för bakgrundens/kamerans, vilket försvårar bildförbättrande temporal filtrering då samma punkt i scenen inte kan identifieras i bilder tagna vid olika tidpunkter.
Ett ändamål med föreliggande uppfinning är att åstadkomma en metod som vid situationer beskrivna i föregående stycke är mindre känslig för påverkan från objekt med rörelse relativt bakgrund.
Uppfinningsändarnålet uppnås med en metod enligt första stycket kännetecknad av att de endimensionella projektionema deriveras för erhållande av projektionemas lutning eller gradient som bas för korreleringen av bilder separerade i tiden och signalkonditionering. Genom derivering av projektionerna görs de oberoende av den absoluta signalstyrkan för de olika delama av scenen. De två endimensionella vektorerna ersätts då med två vektorer som beskriver projektionens lutning (gradient).
Om detektom antas ha linjär respons så skall dessa gradientvärden vara oberoende av 4 signalnivå/offset. Utförda simuleringar visar även att gradienterna är mer robusta då det finns rörliga föremål i scenen.
I de fall då de rörliga föremålen upptar en större del av bildytan kommer det ofta att vara så att även föremålens interna dynamik är högre än för bakgrunden. De rörliga objekten har alltså kraftigare interna gradienter. Problemet med att dessa objekt får ett för storleken oproportionellt stort utslag vid korrelation kvarstår alltså om än i mindre utsträckning. En lösning på detta är att ignorera gradientemas magnitud och övergå till en binär representation av gradienten. Enligt en fördelaktíg vidareutveckling av metoden ignoreras därför magnituden hos projektionemas gradienter och utnyttjas gradienternas teckenvärde för en binär representation som bas för korreleringen av bilder separerade i tiden. 10 15 20 25 30 53"! 372 Enligt ytterligare en iördelaktig vidareutveckling av metoden tilldelas det binära värdet 1 när gradient är positiv och det binära värdet 0 till en negativ gradient och en nollgradient. Genom denna vidareutveckling uppnås att: 1 Algoritmen är oberoende av absolut temperatur/ signalstyrka eller plötsliga globala nivåskillnader i signalstyrka. 2 Algoritrnen är oberoende av globala förändringar i respons hos detektorn. Detta är särskilt värdefullt för icke temperaturstabiliserade IR-system eller system med kraftigt globalt l/f brus. 3 Algoritrnen blir mycket robust mot relativ rörelse hos objekt så länge dessa inte upptar en mycket stor del av den avbildade scenen. Detta för att varje element i de två transformerade och binäriserade endimensionella projektionema får lika stor vikt vid korrelation, vikten 1. När objekten med rörelse relativt bakgrunden blir mycket stora kanske det trots allt är deras rörelse man skall detektera då bakgrunden ändå till stor del täcks. 4 Algoritmen lämpar sig mycket bra för realisering i hårdvara då man i den normalt beräkningskrävande korrelationen nu arbetar med binärt data. Problemet reduceras från korrelation av M*N 16 bitars tal till korrelation av M+N tal om 1 bit vardera.
Detta motsvarar en reduktion av datamängden med en faktor >4000 ggr. För att beräkna rörelsen mellan två bilder måste alla tänkbara förflyttningar i horisontell och vertikal led beaktas och varvid korrelationsberäkningama behöver upprepas ett stort antal gånger. Det sammanlagda antalet operationer som behöver utföras för att beräkna rörelsen är dänned mycket stort och redaktionen som kan uppnås genom att minska datamängden är därför av stor betydelse.
Genom införande av derivering och binärisering av endimensionella projektioner erhållna genom radontransformer bibehålls den ursprungliga fördelen, d.v.s. att metoden är mycket brustålig då man jobbar med mycket stora datauppsättningar där effekterna av godartat normalfórdelat brus i princip tar ut varandra.
Med fördel utförs signalkonditioneringen enligt metoden på videosignaler från IR- detektorer. Metoden utförs vidare i realtid. 10 15 20 25 30 531 372 Uppfinningen kommer nedan att beskrivas ytterligare under hänvisning till bifogade ritningar där: Figur 1 visar ett exempel på en bild och med bilden Sammanhörande horisontell och vertikal projektion.
Figur 2 visar gradienterna för den horisontella och vertikala projektionen enligt figur 1.
Figur 3 visar gradienterna enligt figur 2 binäriserade med endast värden 0 eller 1.
Figur 4 visar i tabellforrn ett exempel på binäriserat data från två bilder med inbördes rörelse samt deras korrelation.
Figur 5 i blockschernafonn schematiskt illustrerar processteg som kan ingå i en metod för si gnalkonditionering enligt uppfinningens principer.
I figur l visas en tvådimensionell bild. Nedanför bilden är den vertikala projektion av bilden inlagd. Vertikalprojektionen är erhållen genom en radontransform för vinkeln 90° bildande en projektionsvektor som är summan av värdena från bilden beräknad kolumn för kolumn. Till höger om bilden är en horisontell projektion av bilden inlagd. Horisontalprojektionen är erhållen genom en radontransform för vinkeln 0° bildande en projektionsvektor som är summan av värden från bilden beräknade rad för rad.
Enligt vår föreslagna metod deriveras två genom radontransform i minst två riktningar (tex. 0 och 90 grader) erhållna projektionsvektorer av det slag som visas i figur l.
Projektionemas gradienter efter derivering visas i figur 2.
Efter derivering binäriseras projektionsvektorema på så sätt att lutningen i en punkt n i den horisontella projektionen och lutningen i en punkt m i den vertikala projektionen tilldelas det binära värdet 1 om lutningen är positiv och det binära värdet 0 om lutningen är negativ eller noll. Resultatet av en binärisering av de deriverade projektionsvektorerna visas i figur 3. 10 15 20 531 372 Tabellen i figur 4 (rad l) visar exempel på hur en horisontell (eller vertikal) projektion i en bild tilldelats de binâra värdena l respektive noll samt (rad 2 i tabellen) motsvarande värden från samma proj ektion ur en bild tagen vid en annan tidpunkt.
Som en effektiv korrelationsoperator används en exklusiv NELLER-operator (XNOR).
I figur 5 illustreras schematiskt i blockschemafonn processteg som kan ingå i metoden för signalkonditionering. I detta fall finns en IR-detektor 1 för bildupptagning. Den av IR-detektom levererade bilden i tvådimensionell form genomgår i blocket 2 en radontransform i två eller eventuellt flera riktningar och exempelvis kan en vertikal och en horisontell projektion erhållas. Projektionema genomgår en derivering i blocket 3. Efter derivering kan i ett ytterligare steg illustrerat genom blocket 4 derivatomas teckenvärden bestämmas och läggas till grund för en binärisering där ett positivt teckenvärde får svara mot binära värdet 1 och ett negativt värde eller nollvärde får svara mot det binära värdet noll. Med framtagna teckenvärden som bas kan i tiden separerade bilder bildkorreleras, vilket illustreras genom blocket 5.
Bildkorreleringsinformationen utnyttjas sedan för att signalkonditionera aktuell bild i blocket 6 för att sedan presenteras, block 7, på exempelvis en display.
Uppfinningen är inte begränsad till de i ovanstående såsom exempel beskrivna utförandena utan kan underkastas modifikationer inom ramen för efterföljande patentkrav.
Claims (5)
1. Metod för si gnalkonditionering av signaler från en tvådimensionell bild genom att beräkna bildens rörelse relativt ett bildplan, varvid bilder korreleras separerade i tiden under användande av radontransfonner (2) beräknade över hela bilden för minst två vinklar för reducering av tvådimensionellt korrelationsproblem till korrelation av minst två endimensionella projektioner, kännetecknad av att de endimensionella projektionema deriveras (3) för erhållande av proj ektionemas lutning eller gradient som bas för korreleringen (5) av bilder separerade i tiden och signalkonditionering (6).
2. Metod enligt patentkravet 1, kännetecknar! av att magnituden hos proj ektionemas gradienter ignoreras och att gradienternas teckenvärde utnyttjas (4) för en binâr representation som bas fór korreleringen av bilder separerade i tiden.
3. Metod enligt patentkravet 2, kännetecknad av att det binära värdet l tilldelas en positiv gradient och det binära värdet 0 tilldelas en negativ gradient och en riollgradient.
4. Metod enligt något av föregående patentkrav, kännetecknad av att videosignaler från lR-detektorer (1) signalkonditioneras.
5. Metod enligt något av föregående patentkrav, kännetecknad av att si gnalkonditioneringen utförs i realtid.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE0600892A SE531372C2 (sv) | 2006-04-25 | 2006-04-25 | Metod för signalkonditionering |
ES07747982T ES2392273T3 (es) | 2006-04-25 | 2007-04-04 | Método para el acondicionamiento de señales |
EP07747982A EP2047426B1 (en) | 2006-04-25 | 2007-04-04 | Method for signal conditioning |
PCT/SE2007/000316 WO2007123453A2 (en) | 2006-04-25 | 2007-04-04 | Method for signal conditioning |
US12/298,557 US8306275B2 (en) | 2006-04-25 | 2007-04-04 | Method for signal conditioning |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE0600892A SE531372C2 (sv) | 2006-04-25 | 2006-04-25 | Metod för signalkonditionering |
Publications (2)
Publication Number | Publication Date |
---|---|
SE0600892L SE0600892L (sv) | 2007-10-26 |
SE531372C2 true SE531372C2 (sv) | 2009-03-17 |
Family
ID=38625439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
SE0600892A SE531372C2 (sv) | 2006-04-25 | 2006-04-25 | Metod för signalkonditionering |
Country Status (5)
Country | Link |
---|---|
US (1) | US8306275B2 (sv) |
EP (1) | EP2047426B1 (sv) |
ES (1) | ES2392273T3 (sv) |
SE (1) | SE531372C2 (sv) |
WO (1) | WO2007123453A2 (sv) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7995859B2 (en) | 2008-04-15 | 2011-08-09 | Flir Systems, Inc. | Scene based non-uniformity correction systems and methods |
US8625005B2 (en) * | 2010-11-05 | 2014-01-07 | Raytheon Company | First-in-first-out (FIFO) buffered median scene non-uniformity correction method |
KR101799144B1 (ko) | 2012-02-06 | 2017-11-17 | 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 | 디지털 이미지 시퀀스 안정화 시스템 및 방법 |
US9282259B2 (en) | 2012-12-10 | 2016-03-08 | Fluke Corporation | Camera and method for thermal image noise reduction using post processing techniques |
US9141851B2 (en) * | 2013-06-28 | 2015-09-22 | Qualcomm Incorporated | Deformable expression detector |
WO2016022374A1 (en) | 2014-08-05 | 2016-02-11 | Seek Thermal, Inc. | Local contrast adjustment for digital images |
US9924116B2 (en) | 2014-08-05 | 2018-03-20 | Seek Thermal, Inc. | Time based offset correction for imaging systems and adaptive calibration control |
US9930324B2 (en) | 2014-08-05 | 2018-03-27 | Seek Thermal, Inc. | Time based offset correction for imaging systems |
WO2016028755A1 (en) | 2014-08-20 | 2016-02-25 | Seek Thermal, Inc. | Adaptive adjustment of operating bias of an imaging system |
US9595934B2 (en) | 2014-08-20 | 2017-03-14 | Seek Thermal, Inc. | Gain calibration for an imaging system |
US9947086B2 (en) | 2014-12-02 | 2018-04-17 | Seek Thermal, Inc. | Image adjustment based on locally flat scenes |
US10467736B2 (en) | 2014-12-02 | 2019-11-05 | Seek Thermal, Inc. | Image adjustment based on locally flat scenes |
US10600164B2 (en) | 2014-12-02 | 2020-03-24 | Seek Thermal, Inc. | Image adjustment based on locally flat scenes |
US9549130B2 (en) | 2015-05-01 | 2017-01-17 | Seek Thermal, Inc. | Compact row column noise filter for an imaging system |
US10867371B2 (en) | 2016-06-28 | 2020-12-15 | Seek Thermal, Inc. | Fixed pattern noise mitigation for a thermal imaging system |
US11113791B2 (en) | 2017-01-03 | 2021-09-07 | Flir Systems, Inc. | Image noise reduction using spectral transforms |
EP3566202B1 (en) | 2017-01-03 | 2023-09-13 | Teledyne Flir, LLC | Image noise reduction using spectral transforms |
US11276152B2 (en) | 2019-05-28 | 2022-03-15 | Seek Thermal, Inc. | Adaptive gain adjustment for histogram equalization in an imaging system |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5291560A (en) | 1991-07-15 | 1994-03-01 | Iri Scan Incorporated | Biometric personal identification system based on iris analysis |
JP3938971B2 (ja) * | 1997-04-30 | 2007-06-27 | 富士通株式会社 | パターンマッチング用データ処理回路 |
US6259396B1 (en) * | 1999-08-26 | 2001-07-10 | Raytheon Company | Target acquisition system and radon transform based method for target azimuth aspect estimation |
WO2004016400A2 (en) * | 2002-08-16 | 2004-02-26 | Evolution Robotics, Inc. | Systems and methods for the automated sensing of motion in a mobile robot using visual data |
US20050271300A1 (en) * | 2004-06-02 | 2005-12-08 | Pina Robert K | Image registration system and method |
GB0423578D0 (en) * | 2004-10-22 | 2004-11-24 | Greenparrotpictures Ltd | Dominant motion estimation for image sequence processing |
-
2006
- 2006-04-25 SE SE0600892A patent/SE531372C2/sv not_active IP Right Cessation
-
2007
- 2007-04-04 US US12/298,557 patent/US8306275B2/en active Active
- 2007-04-04 WO PCT/SE2007/000316 patent/WO2007123453A2/en active Application Filing
- 2007-04-04 EP EP07747982A patent/EP2047426B1/en not_active Not-in-force
- 2007-04-04 ES ES07747982T patent/ES2392273T3/es active Active
Also Published As
Publication number | Publication date |
---|---|
US8306275B2 (en) | 2012-11-06 |
WO2007123453A2 (en) | 2007-11-01 |
WO2007123453A3 (en) | 2007-12-27 |
EP2047426B1 (en) | 2012-08-01 |
EP2047426A2 (en) | 2009-04-15 |
ES2392273T3 (es) | 2012-12-07 |
EP2047426A4 (en) | 2010-09-22 |
US20100034479A1 (en) | 2010-02-11 |
SE0600892L (sv) | 2007-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
SE531372C2 (sv) | Metod för signalkonditionering | |
US10334168B2 (en) | Threshold determination in a RANSAC algorithm | |
KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
JP6338021B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
Jin et al. | A stable vision system for moving vehicles | |
JP4958610B2 (ja) | 画像防振装置、撮像装置及び画像防振方法 | |
US10311595B2 (en) | Image processing device and its control method, imaging apparatus, and storage medium | |
Song et al. | Robust video stabilization based on particle filtering with weighted feature points | |
Clipp et al. | Robust 6dof motion estimation for non-overlapping, multi-camera systems | |
JPH07500470A (ja) | カメラ画像からのスタジオカメラ位置及び移動の導出 | |
CN108449945A (zh) | 信息处理设备、信息处理方法和程序 | |
JPWO2013111229A1 (ja) | カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム | |
KR100951309B1 (ko) | 광학식 모션 캡처 장비를 위한 다중 카메라 보정 방법 | |
Amiaz et al. | Detecting regions of dynamic texture | |
US9865061B2 (en) | Constructing a 3D structure | |
JP6061770B2 (ja) | カメラ姿勢推定装置及びそのプログラム | |
CN107809610A (zh) | 摄像头参数集算出装置、摄像头参数集算出方法以及程序 | |
Wang et al. | Panoramic image mosaic based on SURF algorithm using OpenCV | |
CN104182940A (zh) | 一种模糊图像恢复方法及*** | |
JP6154759B2 (ja) | カメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラム | |
Patras et al. | Probabilistic confidence measures for block matching motion estimation | |
Garro et al. | Fast Metric Acquisition with Mobile Devices. | |
Plakas et al. | Uncalibrated vision for 3-D underwater applications | |
WO2016142965A1 (ja) | 映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体 | |
Shukla et al. | A new composite multi-constrained differential-radon warping approach for digital video affine motion stabilization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
NUG | Patent has lapsed |