JP2014187495A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2014187495A JP2014187495A JP2013060195A JP2013060195A JP2014187495A JP 2014187495 A JP2014187495 A JP 2014187495A JP 2013060195 A JP2013060195 A JP 2013060195A JP 2013060195 A JP2013060195 A JP 2013060195A JP 2014187495 A JP2014187495 A JP 2014187495A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- range
- frame rate
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 65
- 238000003384 imaging method Methods 0.000 claims description 51
- 230000003287 optical effect Effects 0.000 description 32
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000020169 heat generation Effects 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】撮像手段は、予め設定されたフレームレート毎に予め設定された撮像範囲の撮像画像を取得する。画像処理手段は、撮像手段が撮像した画像の画像データについて画像処理を実行する。第1設定手段(S420)は、撮像手段に、撮像範囲のうち予め設定された第1範囲を、予め設定された第1フレームレートで撮像させる設定を行う。第2設定手段(S430)は、撮像手段に、撮像手段が撮像する撮像範囲の一部であり、第1範囲より狭い第2範囲を、第1フレームレートより高い第2フレームレートで撮像させる設定を行う。判断手段(S420)は、画像処理が実行する処理内容に応じて、第1設定手段及び第2設定手段のうちいずれを選択するかを判断する。
【選択図】 図8
Description
荷を軽減することができる。
[第1実施形態]
[1.全体構成]
図1は、第1実施形態の画像処理装置10の構成を示すブロック図である。
カメラ20は、垂直方向及び水平方向にPD(Photo Diode)を配列した公知のPDアレイからなるCMOSイメージセンサを備えるセンサ部30と、発振器40と、制御部50とを備え、画像処理装置10からのカメラ制御値に基づく制御部50からの指示に従って、露出時間(シャッタースピード)、画像処理装置10へ出力する信号(画素値)のゲ
イン、フレームレート及び撮像範囲等を調整することが可能に構成されている。カメラ20は、撮像した画像の画素毎の輝度(明るさ)を示すデジタル信号を画素値として、該画素値を、画像の垂直・水平同期信号とともに画像処理装置10へ出力する。
具体的には、フレームレートを調整するカメラ制御値として、垂直同期信号をハイ(High)レベルとする期間(垂直同期信号ハイ期間Hvという)及びロー(LOW)レベルとする期間(垂直同期信号ロー期間Lvという)と、水平同期信号をハイレベルとする期間(水平同期信号ハイ期間Hh)及びローレベルとする期間(水平同期信号ロー期間Lh)とが設定される。ただし、垂直同期信号ロー期間Lv、及び水平同期信号ロー期間Lhの長さは、それぞれ、一定時間に設定されている。以下では、必要に応じ、各期間Hv、Lv、Hh、Lhの長さを、これらの記号で表すものとする。
そして、図3(a)に示すように、垂直同期信号ハイ期間Hv1の長さは全画面(全画素数(m×n画素))の画素値を取得するために必要な時間として設定される。垂直同期信号ロー期間Lv1の長さは、所定時間aに設定される。この期間Hv1及び期間Lv1の長さの合計が、垂直同期信号の周期、つまりフレーム周期T1として決定される。
め、切り出し画面は、x方向にm画素及びy方向にp(p<n)画素の画素数m×p(m×p<m×n)からなる矩形の画面とする。
統合ECUが行う各種制御の用途(アプリケーション)に応じた画像処理を行うとともに、その処理結果を統合ECUに出力する。具体的には、統合ECUが実行するアプリケーションとしての警報処理及び操舵処理の実現のために、CPU11は、画像処理として認識対象物(ここでは前方車両)の位置の認識処理を行う。
次に、CPU11が実行する処理(起動時光軸補正処理という)について説明する。CPU11は、カメラ20の光軸のずれを補正する光軸補正処理を実行した後に、統合ECUが実行するアプリケーションとしての警報処理及び操舵処理に応じた画像処理(前方車両認識)を実行する。
以上説明したように、本実施形態の画像処理装置10では、アプリケーションを実現するための画像処理の内容に応じて、高速な動作クロックを用いることなく、カメラ20が画像を取得するフレームレートを変更することができる。ここで、フレームレートが高く設定される場合、必要とされる画像範囲を切り出す処理はカメラ20が行うため、画像処理装置10の処理負荷を軽減することができる。
本実施形態では、カメラ20が撮像手段に相当する。また、S130の処理が画像処理手段としての処理に相当し、S220が判断手段としての処理に相当し、S230の処理が第1設定手段としての処理に相当し、S260の処理が第2設定手段としての処理に相当する。さらにまた、本実施形態における画像処理装置10及びカメラ20からなるカメラシステム1が、画像処理システムに相当する。また、全画面が第1範囲に相当し、切り出し画面が第2範囲に相当し、全画面モードでのフレームレートT1が第1フレームレートに相当し、切り出し画面モードでのフレームレートT2が第2フレームレートに相当する。
第2実施形態について説明する。本実施形態の画像処理装置は、構成は上記実施形態と同様であるが、CPU11が実行する処理内容が異なる。つまり、上記実施形態では、画像処理装置10(CPU11)は、図5に示すように、光軸補正処理(S110)を実行した後に操舵処理等のアプリケーションのための画像処理(S130)を実行したが、本発明は、はじめに光軸を補正する処理を実行することなく、各種アプリケーションに応じた画像処理を実行する場合にも適用できる。
第3実施形態について説明する。本実施形態は、装置構成は上記実施形態と同様であるが、カメラ制御値のパラメータが上記実施形態とは一部異なる。つまり、本実施形態のカメラ制御値のパラメータは、上記実施形態で設定したカメラ制御値パラメータに、カメラ20のピクセルクロックの周波数を設定するクロック周波数パラメータが追加されている。そして、カメラ20は、該クロック周波数パラメータの制御値によって、カメラ20のピクセルクロックの周波数を変更可能な構成となっている。
(1)上記実施形態では、切り出し画面モードで取得した撮像画像についての画像処理(前方車両の認識処理)を用いるアプリケーション(以下、切り出し画面アプリケーションという)として警報処理及び操舵制御を実現するための画像処理装置10について説明したが、画像処理装置の用途(アプリケーション)はこれに限定されるものではない。
処理、自車両の運転内容や運転時の周囲の状況を記録するドライブレコーダや、夜間の視界を確保するナイトビューシステムのための処理等のアプリケーションが挙げられる。
(5)上記実施形態において、通信インタフェース14によるカメラ20と画像処理装置10との間でのデータ伝送は、パラレル伝送方式であっても、シリアル伝送方式であってもよい。
(8)上記実施形態で例示した画像処理装置10の構成要素は、ハードウェアで実現してもよく、ソフトウェアで実現してもよく、ハードウェアとソフトウェアとの組み合わせで実現してもよい。例えば、上述した処理(プログラム)を実行するコンピュータ装置(例えばマイコン)により画像処理装置10の少なくとも一部を構成してもよい。また、これらの構成要素は機能概念的なものであり、その一部又は全部を、機能的又は物理的に分散又は統合してもよい。
Claims (5)
- 予め設定されたフレームレート毎に、予め設定された撮像範囲について撮像手段(20)が撮像した画像を処理する画像処理装置であって、
前記撮像手段が撮像した画像の画像データについて画像処理を実行する画像処理手段(S130、S330)と、
前記撮像手段に、前記撮像範囲のうち予め設定された第1範囲を、予め設定された第1フレームレートで撮像させる設定を行う第1設定手段(S230、S420)と、
前記撮像手段に、前記撮像手段が撮像する撮像範囲の一部であり、前記第1範囲より狭い第2範囲を、前記第1フレームレートより高い第2フレームレートで撮像させる設定を行う第2設定手段(S260、S430)と、
前記画像処理が実行する処理内容に応じて、前記第1設定手段及び前記第2設定手段のうちいずれを選択するかを判断する判断手段(S210、S310)と、
を備えることを特徴とする画像処理装置。 - 前記第1設定手段は、前記第1範囲を、前記撮像範囲の全域とすることを特徴とする請求項1に記載の画像処理装置。
- 前記第2設定手段は、少なくとも一組の前記第2範囲及び前記第2フレームレートを設定することを特徴とする請求項1または2に記載の画像処理装置。
- 前記撮像手段は、前記判断手段での判断にかかわらず、同じ周波数のクロックに従って動作することを特徴とする請求項1から3のいずれか一項に記載の画像処理装置。
- 請求項1から4のいずれか一項に記載の画像処理装置と、前記撮像手段とを備える画像処理システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013060195A JP6003745B2 (ja) | 2013-03-22 | 2013-03-22 | 画像処理装置 |
DE112014001571.7T DE112014001571B4 (de) | 2013-03-22 | 2014-02-18 | Bildverarbeitungsvorrichtung |
US14/778,823 US9967438B2 (en) | 2013-03-22 | 2014-02-18 | Image processing apparatus |
PCT/JP2014/053776 WO2014148175A1 (ja) | 2013-03-22 | 2014-02-18 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013060195A JP6003745B2 (ja) | 2013-03-22 | 2013-03-22 | 画像処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014187495A true JP2014187495A (ja) | 2014-10-02 |
JP2014187495A5 JP2014187495A5 (ja) | 2015-07-23 |
JP6003745B2 JP6003745B2 (ja) | 2016-10-05 |
Family
ID=51579868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013060195A Active JP6003745B2 (ja) | 2013-03-22 | 2013-03-22 | 画像処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9967438B2 (ja) |
JP (1) | JP6003745B2 (ja) |
DE (1) | DE112014001571B4 (ja) |
WO (1) | WO2014148175A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018033103A (ja) * | 2016-08-26 | 2018-03-01 | 富士通株式会社 | フレームレート判定装置、フレームレート判定方法及びフレームレート判定用コンピュータプログラム |
JP7505437B2 (ja) | 2021-04-02 | 2024-06-25 | 株式会社デンソー | 車載カメラシステムの制御装置 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6003745B2 (ja) | 2013-03-22 | 2016-10-05 | 株式会社デンソー | 画像処理装置 |
US9718405B1 (en) | 2015-03-23 | 2017-08-01 | Rosco, Inc. | Collision avoidance and/or pedestrian detection system |
US10999539B2 (en) | 2017-12-26 | 2021-05-04 | Waymo Llc | Adjustable vertical field of view |
JP6896030B2 (ja) * | 2019-08-20 | 2021-06-30 | 三菱電機株式会社 | 車載カメラ装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003333409A (ja) * | 2002-05-10 | 2003-11-21 | Sanyo Electric Co Ltd | ビデオカメラ |
JP2012060371A (ja) * | 2010-09-08 | 2012-03-22 | Pentax Ricoh Imaging Co Ltd | 撮像システムおよび画素信号読出し方法 |
JP2012151714A (ja) * | 2011-01-20 | 2012-08-09 | Mitsutoyo Corp | 画像測定装置 |
JP2013042402A (ja) * | 2011-08-18 | 2013-02-28 | Seiko Epson Corp | 車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004015806A1 (de) | 2004-03-29 | 2005-10-27 | Smiths Heimann Biometrics Gmbh | Verfahren und Anordnung zur Aufnahme interessierender Bereiche von beweglichen Objekten |
US7599521B2 (en) * | 2004-11-30 | 2009-10-06 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
JP4556777B2 (ja) | 2005-06-15 | 2010-10-06 | 株式会社デンソー | 夜間運転視界支援装置 |
JP4737317B2 (ja) | 2009-04-14 | 2011-07-27 | 株式会社デンソー | 車両周辺撮影表示システム |
EP2592838B1 (en) * | 2010-07-08 | 2015-12-16 | Panasonic Intellectual Property Management Co., Ltd. | Image capture device |
JP6003745B2 (ja) | 2013-03-22 | 2016-10-05 | 株式会社デンソー | 画像処理装置 |
-
2013
- 2013-03-22 JP JP2013060195A patent/JP6003745B2/ja active Active
-
2014
- 2014-02-18 US US14/778,823 patent/US9967438B2/en active Active
- 2014-02-18 WO PCT/JP2014/053776 patent/WO2014148175A1/ja active Application Filing
- 2014-02-18 DE DE112014001571.7T patent/DE112014001571B4/de active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003333409A (ja) * | 2002-05-10 | 2003-11-21 | Sanyo Electric Co Ltd | ビデオカメラ |
JP2012060371A (ja) * | 2010-09-08 | 2012-03-22 | Pentax Ricoh Imaging Co Ltd | 撮像システムおよび画素信号読出し方法 |
JP2012151714A (ja) * | 2011-01-20 | 2012-08-09 | Mitsutoyo Corp | 画像測定装置 |
JP2013042402A (ja) * | 2011-08-18 | 2013-02-28 | Seiko Epson Corp | 車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018033103A (ja) * | 2016-08-26 | 2018-03-01 | 富士通株式会社 | フレームレート判定装置、フレームレート判定方法及びフレームレート判定用コンピュータプログラム |
JP7505437B2 (ja) | 2021-04-02 | 2024-06-25 | 株式会社デンソー | 車載カメラシステムの制御装置 |
Also Published As
Publication number | Publication date |
---|---|
US9967438B2 (en) | 2018-05-08 |
JP6003745B2 (ja) | 2016-10-05 |
DE112014001571T5 (de) | 2015-12-10 |
US20160050342A1 (en) | 2016-02-18 |
WO2014148175A1 (ja) | 2014-09-25 |
DE112014001571B4 (de) | 2023-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6003745B2 (ja) | 画像処理装置 | |
US7171027B2 (en) | Vehicular image processing apparatus and related method | |
JP6060282B2 (ja) | 車載カメラ画像処理装置 | |
US9986164B2 (en) | Camera shaking correction device and imaging apparatus with offset correction | |
JP2007257449A (ja) | 道路区画線検出装置 | |
JP6068945B2 (ja) | カメラ映像の反射光除去装置及び方法 | |
JP6739066B2 (ja) | 撮像制御装置、撮像制御方法、プログラムおよびそれを記録した記録媒体 | |
CN109835266B (zh) | 摄像装置模块 | |
JP6299863B2 (ja) | モニタ装置及び表示画像切替用コンピュータプログラム | |
JP2008124728A (ja) | 撮像装置 | |
JP2006140982A (ja) | 車載画像処理装置、および画像処理方法 | |
JP2017139631A (ja) | 撮像装置 | |
JPWO2015129280A1 (ja) | 画像処理装置および画像処理方法 | |
JPWO2015079702A1 (ja) | 撮像設定変更装置、撮像システム、および撮像設定変更方法 | |
JP2013168738A (ja) | 露光制御装置 | |
JP2008143447A (ja) | 車両用安全制御装置 | |
US20180069998A1 (en) | Imaging apparatus, imaging system, and vehicle | |
JPWO2016121406A1 (ja) | 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法 | |
JP2012178639A (ja) | 画像処理装置、駐車制御システム、及び、画像処理方法 | |
JP7070326B2 (ja) | 物体検出装置 | |
JP6314667B2 (ja) | 撮像装置、画像補正プログラムおよび画像処理装置 | |
JP2020102703A (ja) | 電子機器、電子機器の制御方法およびプログラム | |
JP2007156919A (ja) | 道路区画線検出装置 | |
JP2013168737A (ja) | 露光制御装置 | |
JP2020127164A (ja) | 情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150605 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160822 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6003745 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |