JP7274603B2 - イメージ処理方法 - Google Patents
イメージ処理方法 Download PDFInfo
- Publication number
- JP7274603B2 JP7274603B2 JP2021560013A JP2021560013A JP7274603B2 JP 7274603 B2 JP7274603 B2 JP 7274603B2 JP 2021560013 A JP2021560013 A JP 2021560013A JP 2021560013 A JP2021560013 A JP 2021560013A JP 7274603 B2 JP7274603 B2 JP 7274603B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixels
- pixel
- heating element
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title description 3
- 238000010438 heat treatment Methods 0.000 claims description 54
- 238000000034 method Methods 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 7
- 238000003491 array Methods 0.000 claims description 4
- 238000001429 visible spectrum Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims 1
- 230000002950 deficient Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 239000003302 ferromagnetic material Substances 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B3/00—Ohmic-resistance heating
- H05B3/84—Heating arrangements specially adapted for transparent or reflecting areas, e.g. for demisting or de-icing windows, mirrors or vehicle windshields
- H05B3/86—Heating arrangements specially adapted for transparent or reflecting areas, e.g. for demisting or de-icing windows, mirrors or vehicle windshields the heating conductors being embedded in the transparent or reflecting material
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
Claims (15)
- 車両102のイメージ取得システム100で動作可能なイメージ処理の方法であって、
前記イメージ取得システム100は、前記車両102の周囲環境の一部の視野(FOV:Field Of View)112の連続したイメージ200を撮像するように構成されたカメラ110を備え、前記FOV112は、前記カメラ110の前記FOV112内に見える一つ以上の発熱素子(130-1、130-2、130-n)を備える前記車両102のウインドウと交差し、
前記方法は、
イメージ200を取得すること(1)と、
前記イメージ200内において、一つ以上のピクセル配列が、各発熱素子のイメージに対応しているかどうかを特定すること(2)であって、前記又は各ピクセル配列内の各ピクセルは、それぞれの閾値内の色及び強度を有することと、
前記イメージ200内において、前記又は各ピクセル配列のピクセル値を、発熱素子に対応しないピクセルから導出したピクセル値に置き換えることで、それぞれの発熱素子に対応する前記又は各ピクセル配列を補正すること(3)と、
前記補正されたイメージを表示することと、
を備える方法。 - 前記イメージ及び前記補正されたイメージの一つ又は双方を、ドライバ支援システムに提供することをさらに備える、請求項1に記載の方法。
- 前記イメージ200内の、一つ以上のピクセル配列が、各発熱素子のイメージに対応しているかどうかを特定すること(2)は、
前記又は各発熱素子の形状を特定することと、
前記形状に対応する走査経路に沿って、前記イメージ200内の前記又は各ピクセル配列の走査を行うことと、
を備える、請求項1又は2に記載の方法。 - 前記又は各発熱素子は線形の形状である、請求項1に記載の方法。
- 前記又は各発熱素子のイメージは、前記イメージ200の水平方向X軸に平行な前記イメージの線に沿って延び、且つ、前記イメージ200全長に沿って延びている、請求項4に記載の方法。
- 前記形状に対応する走査経路に沿って、前記イメージ200内の前記又は各ピクセル配列の走査を行うことは、
a)走査経路に沿った、前記又は各ピクセル配列の所与のピクセル[i]及び連続したピクセル[i+n](n≧1)が、前記それぞれの閾値内の色及び強度を有することを特定することに応答して、カウンタを一単位インクリメントすることと、
b)走査経路に沿った複数の連続したピクセルについて、特定するステップ(a)を繰り返すことと、
c)カウンタの最小閾値に達したとき、イメージ200内の一つ以上のピクセル配列が、それぞれの発熱素子のイメージに対応することを特定することと、
を備える、請求項3に記載の方法。 - d)走査経路に沿った前記又は各ピクセル配列の最後のピクセルが、前記それぞれの閾値内の色及び強度を有するようになるまで、ステップ(b)を繰り返すことと、
e)後続の補正のために前記又は各ピクセル配列の各ピクセルにマーキングを行うことと、
をさらに備える、請求項6に記載の方法。 - 前記イメージ200は、カメラ110のFOV112内から選択された関心領域(ROI:Region Of Interest)に対応し、シーンの平坦化された矩形イメージに変換されている、請求項1に記載の方法。
- 前記又は各発熱素子の形状を特定することは、
(i)一定の色を有するシーンのイメージを撮像することと、
(ii)前記一定の色であると認識されていないピクセルを、前記又は各発熱素子のピクセルとしてマーキングすることと、
(iii)前記又は各発熱素子のピクセルの分布に対応して、前記形状を特定することと、
(iv)前記形状をメモリに保存すること、
により、イメージ取得システム100のキャリブレーションを行うことと、
及び/又は、
前記メモリからそれぞれの発熱素子の形状を検索することと、
を備える、請求項3に記載の方法。 - 前記発熱素子に対応しないピクセルは、それぞれの発熱素子のイメージに対応するイメージ200内のピクセルに隣接するピクセルである、請求項1に記載の方法。
- 前記又は各ピクセル配列のピクセル値を、発熱素子に対応しないピクセルから導出したピクセル値に置き換えることは、
それぞれの発熱素子のイメージの両側に位置するピクセルからピクセル値を補間することとであって、補間することは、それぞれの発熱素子の所与のピクセルからの距離にしたがって、補間されるピクセル値に重み付けすること、又は、
それぞれの発熱素子のイメージの両側にあるピクセルからのピクセル値を平均化すること、又は、
それぞれの発熱素子のイメージの片側に位置するピクセルからピクセル値を外挿すること、
を備える、請求項1に記載の方法。 - 請求項1に記載の方法を実行するように構成されたイメージ取得システム。
- カメラ110が、可視及び/又は非可視スペクトルでイメージ200を撮像する、請求項12に記載のイメージ取得システム。
- 請求項12に記載のイメージ取得システムと、カメラ110のFOV112内に見える一つ以上の発熱素子(130-1、130-2、130-n)とを備えるウインドウと、
を備える車両。 - コンピューティングデバイス上で実行された場合に、請求項1に記載の方法を実行するように構成された、非一時的コンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019109748.7 | 2019-04-12 | ||
DE102019109748.7A DE102019109748A1 (de) | 2019-04-12 | 2019-04-12 | Bildverarbeitungsverfahren |
PCT/EP2020/059030 WO2020207850A1 (en) | 2019-04-12 | 2020-03-31 | Image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022527605A JP2022527605A (ja) | 2022-06-02 |
JP7274603B2 true JP7274603B2 (ja) | 2023-05-16 |
Family
ID=70165997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021560013A Active JP7274603B2 (ja) | 2019-04-12 | 2020-03-31 | イメージ処理方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20220169179A1 (ja) |
EP (1) | EP3953895A1 (ja) |
JP (1) | JP7274603B2 (ja) |
KR (1) | KR102564134B1 (ja) |
CN (1) | CN113874908A (ja) |
DE (1) | DE102019109748A1 (ja) |
WO (1) | WO2020207850A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005106538A (ja) | 2003-09-29 | 2005-04-21 | Nissan Motor Co Ltd | 車両用赤外線カメラシステム |
JP2010028203A (ja) | 2008-07-15 | 2010-02-04 | Mitsubishi Electric Corp | 赤外線カメラ |
JP2017139654A (ja) | 2016-02-04 | 2017-08-10 | パナソニックIpマネジメント株式会社 | キャリブレーション装置及び車載カメラシステム |
JP2017213981A (ja) | 2016-05-31 | 2017-12-07 | トヨタ自動車株式会社 | ウィンドウガラス加熱装置 |
US20180061008A1 (en) | 2016-08-31 | 2018-03-01 | Autoliv Asp, Inc. | Imaging system and method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006010672A1 (de) * | 2006-03-08 | 2007-09-13 | Leopold Kostal Gmbh & Co. Kg | Kameraanordnung für ein Kraftfahrzeug |
EP2138352B1 (de) * | 2008-06-24 | 2010-04-07 | SMR PATENTS S.à.r.l. | Optisches System und Verfahren zur Erkennung von optischer Verschleierung in einem Fahrzeug |
US9395538B2 (en) | 2014-09-26 | 2016-07-19 | Delphi Technologies, Inc. | Vehicle imager assembly with localized window defogging |
JP2017092752A (ja) * | 2015-11-12 | 2017-05-25 | トヨタ自動車株式会社 | 撮像システム |
-
2019
- 2019-04-12 DE DE102019109748.7A patent/DE102019109748A1/de active Granted
-
2020
- 2020-03-31 CN CN202080036727.9A patent/CN113874908A/zh active Pending
- 2020-03-31 JP JP2021560013A patent/JP7274603B2/ja active Active
- 2020-03-31 EP EP20716737.0A patent/EP3953895A1/en active Pending
- 2020-03-31 WO PCT/EP2020/059030 patent/WO2020207850A1/en unknown
- 2020-03-31 KR KR1020217032747A patent/KR102564134B1/ko active IP Right Grant
- 2020-03-31 US US17/602,529 patent/US20220169179A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005106538A (ja) | 2003-09-29 | 2005-04-21 | Nissan Motor Co Ltd | 車両用赤外線カメラシステム |
JP2010028203A (ja) | 2008-07-15 | 2010-02-04 | Mitsubishi Electric Corp | 赤外線カメラ |
JP2017139654A (ja) | 2016-02-04 | 2017-08-10 | パナソニックIpマネジメント株式会社 | キャリブレーション装置及び車載カメラシステム |
JP2017213981A (ja) | 2016-05-31 | 2017-12-07 | トヨタ自動車株式会社 | ウィンドウガラス加熱装置 |
US20180061008A1 (en) | 2016-08-31 | 2018-03-01 | Autoliv Asp, Inc. | Imaging system and method |
Also Published As
Publication number | Publication date |
---|---|
DE102019109748A1 (de) | 2020-10-15 |
WO2020207850A1 (en) | 2020-10-15 |
KR102564134B1 (ko) | 2023-08-04 |
EP3953895A1 (en) | 2022-02-16 |
KR20210137534A (ko) | 2021-11-17 |
CN113874908A (zh) | 2021-12-31 |
US20220169179A1 (en) | 2022-06-02 |
JP2022527605A (ja) | 2022-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11756230B2 (en) | Vehicular trailer hitching assist system with determination of location of hitch | |
US11836989B2 (en) | Vehicular vision system that determines distance to an object | |
US10692173B2 (en) | Bowl-shaped imaging system | |
US10504241B2 (en) | Vehicle camera calibration system | |
US20180308282A1 (en) | Shape measuring apparatus and method | |
JP4937030B2 (ja) | 車両用画像処理装置 | |
US20170017848A1 (en) | Vehicle parking assist system with vision-based parking space detection | |
US20240153232A1 (en) | Vehicular trailering assist system | |
US20180281698A1 (en) | Vehicular camera calibration system | |
WO2018226437A1 (en) | Shutterless far infrared (fir) camera for automotive safety and driving systems | |
JP6289681B2 (ja) | 撮像装置及び方法、並びにプログラム及び記録媒体 | |
US20160311374A1 (en) | Vehicle vision system with overlay calibration | |
KR20120008519A (ko) | 감시장치 | |
CN113002531B (zh) | 车辆全景环视方法、***、设备和计算机可读存储介质 | |
CN111462250A (zh) | 校正***及校正方法 | |
JP7274603B2 (ja) | イメージ処理方法 | |
US11323633B2 (en) | Automated creation of a freeform mask for automotive cameras | |
US10957023B2 (en) | Vehicular vision system with reduced windshield blackout opening | |
US11182626B2 (en) | Attached object detection apparatus | |
JP3378476B2 (ja) | 車両認識方法 | |
JP2023134013A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230331 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230501 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7274603 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |