JP6936806B2 - 画像処理方法 - Google Patents
画像処理方法 Download PDFInfo
- Publication number
- JP6936806B2 JP6936806B2 JP2018547891A JP2018547891A JP6936806B2 JP 6936806 B2 JP6936806 B2 JP 6936806B2 JP 2018547891 A JP2018547891 A JP 2018547891A JP 2018547891 A JP2018547891 A JP 2018547891A JP 6936806 B2 JP6936806 B2 JP 6936806B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- spatial frequency
- image sensor
- spectral range
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title description 4
- 238000000034 method Methods 0.000 claims description 44
- 230000003595 spectral effect Effects 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000005215 recombination Methods 0.000 claims description 7
- 230000006798 recombination Effects 0.000 claims description 7
- 238000000926 separation method Methods 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004737 colorimetric analysis Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
本発明は、観察される空間における観察される所定の領域の判別分析を目的とした画像処理方法に関する。判別分析は、例えば、脅威検出からなることができる。
オペレーションの分野では、昼間及び、特に夜間の、明度の低い期間に利用可能な光学脅威検出ツール/装置を有することが必要であり得る。
この目的のために、第1のスペクトル範囲をカバーすることが可能な少なくとも1つの画像センサおよび第1のスペクトル範囲とは異なる第2のスペクトル範囲をカバーすることが可能な少なくとも1つの第2の画像センサを含んだ少なくとも1つのケーシングを含む装置を使用して画像を処理する方法であって、第1及び第2の各画像センサが、空間における同一の観察される所定の領域の画像を形成することが可能であり、第1の画像センサが、可視光スペクトルの波長の範囲に属するスペクトル範囲をカバーすることが可能であり、
(a)第1の画像センサによって空間における観察される前記所定の領域の第1の画像I1を取得することと、
(b)第2の画像センサによって空間における観察される前記所定の領域の第2の画像I2を取得することと、
(c)少なくとも1つの色情報及び輝度画像I1Lを得るように第1の画像I1の分離を実行することと、
(d)輝度画像I1Lと第2の画像I2とのデジタル融合から生じる融合画像Ifを得ることと、
(e)融合画像Ifに、又は融合工程(d)の間に、色情報を加えることと、
を伴う方法を提供する。
(i)輝度画像I1L及び第2の画像I2 の、それぞれ
で示される、連続した数nの空間周波数成分と関連した画像、への分解を実行することと、
(ii)数nの空間周波数成分と各々関連した画像
の、少なくともいくつかの、観察される領域における、エネルギー計算を実行することと、
(iii)前の工程で実行された局所分析のエネルギー計算に基づいて、重み付け画像
を、数nの空間周波数成分と関連した画像
毎に計算することと、
(iv)数nの空間周波数成分と関連した画像
毎に、以下の計算を実行することと、
(v)すべての空間周波数成分の画像の融合された融合画像Ifを得るために、数nの空間周波数成分と各々関連したすべての画像F’nの再結合を実行することと、
を伴う。
Sはローパスフィルタを示し、Ieは入力画像
を示す。
において等価である場合には、重み付け演算子は、エネルギーが異なると判明する場合とは異なり、画像の両方を等価に表すことになる。
への分離が実行される。画像I1はモデル画像(RGB)であるので、このモデル画像(RGB)は、3つの成分、すなわち輝度成分及び2つの色差成分を有する色空間を定めたモデルの画像に変換されることを必要とする。各々の画素の値は、R、G、及びBチャンネル毎に0と255との間で変化する。
のダイナミクスを合わせることが可能になる。
は、前のパターンを複製し、入力画像として前のフィルタリングされた画像F 1 を使用することによって得られる。したがって、このフィルタリングされた画像は、前と同じローパスフィルタを使用して再度フィルタリングされ、画像F 2 が差によって得られる:
の領域の少なくともいくつかにおけるエネルギー計算が実行される。観察者に対するデータの瞬時応答を可能にするリアルタイム処理に対応した分析の実行がここで選択される。このため、画像
の各々のエネルギーの比較による分析が実行される。この分析は、分析される画素を中心とした尺度kx×kyのウィンドウにおける局所分散を計算することを伴い、以下の数式がもたらされる:
を数nの空間周波数成分と関連した画像
毎に計算する。この目的のために、これらのエネルギーの差
が計算される:
と融合画像Ifを合計するか又は再合成することによって、色情報は加えられる。
Claims (12)
- 第1のスペクトル範囲をカバーすることが可能な少なくとも1つの第1の画像センサ、および、前記第1のスペクトル範囲とは異なる第2のスペクトル範囲をカバーすることが可能な少なくとも1つの第2の画像センサ、を含んだ、少なくとも1つのケーシング、を含む装置を使用する画像処理の方法(10)であって、
前記第1及び第2の各画像センサが、空間において同一の観察される所定の領域の各画像を形成することが可能であり、
前記第1の画像センサが、可視光スペクトルの波長の範囲に属するスペクトル範囲をカバーすることが可能であり、
前記第2の画像センサが、赤外線の波長の範囲に属する第2のスペクトル範囲をカバーすることが可能であり、
(a)前記第1の画像センサによって、前記空間における前記所定の領域の第1の画像I1を取得する工程(12)と、
(b)前記第2の画像センサによって、前記空間における前記所定の領域の第2の画像I2を取得する工程(14)と、
(c)少なくとも1つの色情報及び輝度画像I1Lを得るように、前記第1の画像I1の分離を実行する工程と、
(d)前記輝度画像I1Lと前記第2の画像I2とのデジタル融合(22)から生じる融合画像Ifを得る工程と、
(e)前記融合画像Ifに、前記色情報を加える工程と、を伴い、
前記デジタル融合が、
(i)前記輝度画像I 1L 及び前記第2の画像I 2 の、それぞれ
で示される、連続した数nの空間周波数成分と関連した画像、への分解を実行する工程と、
(ii)前記数nの空間周波数成分と各々関連した画像
の、少なくともいくつかの、前記所定の領域における、エネルギー計算を実行する工程と、
(iii)前の工程で実行された局所分析のエネルギー計算に基づいて、重み付け画像
を、前記数nの空間周波数成分と関連した画像
毎に、計算する工程と、
(iv)前記数nの空間周波数成分と関連した画像
毎に、以下の計算を実行する工程と、
(v)すべての前記空間周波数成分の画像の融合された融合画像I f を得るために、前記数nの空間周波数成分と各々関連したすべての画像F’ n の、再結合を実行する工程と、
を伴う、
方法。 - 前記工程(c)の前に、前記第1の画像I1及び前記第2の画像I2の最低解像度を有する一方の尺度を、前記第1の画像及び前記第2の画像の他方の尺度に合わせる工程(16)を伴う、
ことを特徴とする、請求項1に記載の方法。 - 前記工程(c)の前に、前記第1の画像I1のダイナミクスを、前記第2の画像I2のダイナミクスに適合させる工程(20)を伴う、
ことを特徴とする、請求項1又は請求項2に記載の方法。 - 前記デジタル融合が、前記輝度画像I1L及び前記第2の画像I2の前記連続した数nの空間周波数成分の画像への分解を実行する工程を含む、
ことを特徴とする、請求項1〜3のうちのいずれか1項に記載の方法。 - 前記第1の画像センサが、0.4μmと1.1μmとの間に属するスペクトル範囲をカバーすることが可能である、
ことを特徴とする、請求項1〜10のうちのいずれか1項に記載の方法。 - 前記第2の画像センサが、7.5μmと14μmとの間に属するスペクトル範囲をカバーすることが可能である、
ことを特徴とする、請求項1〜11のうちのいずれか1項に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1652068 | 2016-03-11 | ||
FR1652068A FR3048800B1 (fr) | 2016-03-11 | 2016-03-11 | Procede de traitement d'images |
PCT/FR2017/050566 WO2017153700A1 (fr) | 2016-03-11 | 2017-03-13 | Procédé de traitement d'images |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019512944A JP2019512944A (ja) | 2019-05-16 |
JP2019512944A5 JP2019512944A5 (ja) | 2020-04-23 |
JP6936806B2 true JP6936806B2 (ja) | 2021-09-22 |
Family
ID=56119522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018547891A Active JP6936806B2 (ja) | 2016-03-11 | 2017-03-13 | 画像処理方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10839486B2 (ja) |
EP (1) | EP3427225B1 (ja) |
JP (1) | JP6936806B2 (ja) |
CN (1) | CN108885788B (ja) |
AU (1) | AU2017229562B2 (ja) |
FR (1) | FR3048800B1 (ja) |
WO (1) | WO2017153700A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116167956B (zh) * | 2023-03-28 | 2023-11-17 | 无锡学院 | 基于非对称多层分解的isar与vis图像融合方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04171484A (ja) * | 1990-11-02 | 1992-06-18 | Nec Corp | 表示出力方式 |
US5187754A (en) * | 1991-04-30 | 1993-02-16 | General Electric Company | Forming, with the aid of an overview image, a composite image from a mosaic of images |
US5325449A (en) * | 1992-05-15 | 1994-06-28 | David Sarnoff Research Center, Inc. | Method for fusing images and apparatus therefor |
US7082218B2 (en) * | 2001-07-27 | 2006-07-25 | Hewlett-Packard Development Company, L.P. | Color correction of images |
US7340099B2 (en) * | 2003-01-17 | 2008-03-04 | University Of New Brunswick | System and method for image fusion |
JP2006072401A (ja) * | 2004-08-31 | 2006-03-16 | Fujitsu Ltd | 画像複合装置および画像複合方法 |
GB2456492B (en) * | 2007-07-05 | 2012-09-26 | Hewlett Packard Development Co | Image processing method, image capture device, and computer readable medium |
US8411938B2 (en) * | 2007-11-29 | 2013-04-02 | Sri International | Multi-scale multi-camera adaptive fusion with contrast normalization |
CN101339653B (zh) * | 2008-01-30 | 2010-06-02 | 西安电子科技大学 | 基于彩色传递及熵信息的红外与彩色可见光图像融合方法 |
WO2009133931A1 (ja) * | 2008-04-30 | 2009-11-05 | コニカミノルタオプト株式会社 | 撮像装置及び撮像素子 |
US8406569B2 (en) * | 2009-01-19 | 2013-03-26 | Sharp Laboratories Of America, Inc. | Methods and systems for enhanced dynamic range images and video from multiple exposures |
CN102742278B (zh) * | 2010-07-08 | 2015-08-12 | 松下电器产业株式会社 | 摄像装置 |
US8836793B1 (en) * | 2010-08-13 | 2014-09-16 | Opto-Knowledge Systems, Inc. | True color night vision (TCNV) fusion |
US9930316B2 (en) * | 2013-08-16 | 2018-03-27 | University Of New Brunswick | Camera imaging systems and methods |
JP6055681B2 (ja) * | 2013-01-10 | 2016-12-27 | 株式会社 日立産業制御ソリューションズ | 撮像装置 |
FR3004882B1 (fr) * | 2013-04-17 | 2015-05-15 | Photonis France | Dispositif d'acquisition d'images bimode |
CN103366353A (zh) * | 2013-05-08 | 2013-10-23 | 北京大学深圳研究生院 | 一种基于显著性区域分割的红外与可见光图像融合方法 |
JP6077391B2 (ja) * | 2013-06-06 | 2017-02-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 撮像表示装置 |
US9300865B2 (en) * | 2014-01-24 | 2016-03-29 | Goodrich Corporation | Random imaging |
CN104683767B (zh) * | 2015-02-10 | 2018-03-06 | 浙江宇视科技有限公司 | 透雾图像生成方法及装置 |
CN105069768B (zh) * | 2015-08-05 | 2017-12-29 | 武汉高德红外股份有限公司 | 一种可见光图像与红外图像融合处理***及融合方法 |
US10186023B2 (en) * | 2016-01-25 | 2019-01-22 | Qualcomm Incorporated | Unified multi-image fusion approach |
-
2016
- 2016-03-11 FR FR1652068A patent/FR3048800B1/fr active Active
-
2017
- 2017-03-13 AU AU2017229562A patent/AU2017229562B2/en active Active
- 2017-03-13 CN CN201780016409.4A patent/CN108885788B/zh active Active
- 2017-03-13 JP JP2018547891A patent/JP6936806B2/ja active Active
- 2017-03-13 EP EP17715226.1A patent/EP3427225B1/fr active Active
- 2017-03-13 WO PCT/FR2017/050566 patent/WO2017153700A1/fr active Application Filing
- 2017-03-13 US US16/083,116 patent/US10839486B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3427225A1 (fr) | 2019-01-16 |
AU2017229562A1 (en) | 2018-09-20 |
EP3427225B1 (fr) | 2023-07-19 |
JP2019512944A (ja) | 2019-05-16 |
US10839486B2 (en) | 2020-11-17 |
AU2017229562B2 (en) | 2022-01-06 |
FR3048800B1 (fr) | 2018-04-06 |
WO2017153700A1 (fr) | 2017-09-14 |
US20190066266A1 (en) | 2019-02-28 |
CN108885788A (zh) | 2018-11-23 |
CN108885788B (zh) | 2022-10-25 |
FR3048800A1 (fr) | 2017-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105009568B (zh) | 用于处理可见光谱图像和红外图像的***、方法及非易失性机器的可读介质 | |
CN107256542B (zh) | 气体可视化布局,设备以及方法 | |
US7936377B2 (en) | Method and system for optimizing an image for improved analysis of material and illumination image features | |
CN109564155B (zh) | 信号处理装置,信号处理方法及程序 | |
CN107976257B (zh) | 一种红外热成像仪的图像显示方法、装置及红外热成像仪 | |
JP2007171033A (ja) | 葉面積指数の間接測定方法および間接測定システム | |
CA3026545C (en) | Information search system and information search program | |
CN106461373A (zh) | 用于涂层预测、施涂和检查的实时数字增强成像 | |
JP5266486B2 (ja) | 緑視率測定装置、方法及びプログラム | |
EP1887785A1 (en) | Method and system for converting at least one first-spectrum image into a second-spectrum image | |
JP5137481B2 (ja) | 画像処理装置、画像処理プログラム、および画像処理方法 | |
JP2019118670A (ja) | 診断支援装置、画像処理方法及びプログラム | |
JP6936806B2 (ja) | 画像処理方法 | |
CA3026633C (en) | Information search system, information search method, and information search program | |
JP6443230B2 (ja) | 処理プログラム、処理方法、及び処理装置 | |
CN107170013B (zh) | 一种rgb相机光谱响应曲线的标定方法 | |
EP3609174A1 (en) | Information processing device, information processing method and program | |
JP2004003878A (ja) | 植物の活性度測定装置およびその方法 | |
JP2019512944A5 (ja) | ||
Shim et al. | Deep u*-and g-band imaging of the spitzer space telescope first look survey field: Observations and source catalogs | |
US11334963B2 (en) | Devices, systems and methods for digital image analysis | |
US11543644B2 (en) | Digital imaging device and method for generating a digital color image | |
JP2009053116A (ja) | 画像処理装置および画像処理プログラム | |
KR20210111578A (ko) | 지상기반 전천 영상자료를 이용한 야간 전운량 산출방법 | |
JP2019079283A (ja) | 画像処理装置、撮像装置、画像処理方法、および、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200312 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200312 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210810 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210827 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6936806 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |