JP5132164B2 - 背景画像作成装置 - Google Patents
背景画像作成装置 Download PDFInfo
- Publication number
- JP5132164B2 JP5132164B2 JP2007043024A JP2007043024A JP5132164B2 JP 5132164 B2 JP5132164 B2 JP 5132164B2 JP 2007043024 A JP2007043024 A JP 2007043024A JP 2007043024 A JP2007043024 A JP 2007043024A JP 5132164 B2 JP5132164 B2 JP 5132164B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- image information
- image
- background image
- moving body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
尚、特許文献1の発明は、カメラではなくレーダを使用して車両を検出し、この検出結果に基づいて他の物体との区別を行う発明を開示している。また、特許文献2の発明は、カメラとレーダを使用し、通常はカメラで撮影を行い、例えば荒天等の気象条件によってカメラによる撮影が困難である時、レーダを使用して対象物の抽出処理を行う技術を開示している。
レーダを併用するが、カメラで撮影できない状態の時レーダを使用して対象物の存在位置を特定する構成である。
また、前記移動体非存在領域特定手段によって特定された領域に存在する例外的な移動体の存在を除去する例外画素排除手段を有する構成である。
図1は本実施形態を説明する背景画像作成装置のシステム構成図である。本例の背景画像作成装置は高速道路や一般道路等の検出領域1に自動車やオートバイ等の移動体2が存在する場合でも、その位置をレーダで確認し、その時の状態をカメラで撮像して背景画像を作成するものである。このため、検出領域1の一側端であって、その上方にカメラ3、及びレーダ4を設置し、カメラ3により検出領域1の画像を取得し、レーダ4によって移動体2の有無を確認する。また、移動体2を検出する場合、移動体2の距離と方位を測定する。
(Y)50)に変換される。尚、上記テーブルには他に多くの変換情報が記憶され、それぞれについてレーダ座標系から対応する画像座標系への変換処理が行われる。
また、上記背景画像作成装置は、図11に示すコンピュータを使用しても構成することができる。コンピュータ21は、CPU(中央処理装置)22、ROM(read only memory)23、RAM(random access memory)24等で構成され、例えばROM23には本例の各種処理を実行させるプログラムが記憶されている。また、コンピュータ21には、例えば外部記憶装置25も回線を介して接続され、データの授受を行うことができる。また、媒体駆動装置26は、可搬記録媒体27を駆動し、その記録内容にアクセスする。可搬記録媒体27としては、例えばメモリカード、フロッピー(登録商標)ディスク、CD−ROM(compact disk read only memory )、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。
該移動体検出手段によって検出された前記移動体の位置情報に基づいて、前記測定領域内の前記移動体が存在しない領域を特定する移動体非存在領域特定手段と、
前記移動体検出手段による前記移動体の検出処理に同期して前記測定領域の画像情報を取得する画像情報取得手段と、
該画像情報取得手段によって取得した画像情報と前記移動体非存在領域特定手段によって特定された情報から前記測定領域の背景画像を作成する背景画像作成手段と、
を有することを特徴とする背景画像作成装置。
(付記2)前記背景画像作成手段によって作成された背景画像と、前記画像情報取得手段によって取得された前記測定領域の新たな画像との差分処理を行い、前記測定領域に存在する移動体の抽出を行う移動体抽出手段を有することを特徴とする付記1記載の背景画像作成装置。
(付記3)前記移動体検出手段によって検出される移動体の位置情報は、レーダ座標系から画像座標系に変換された後、前記移動体が存在しない領域を特定する処理に使用されることを特徴とする付記2記載の背景画像作成装置。
(付記5)前記移動体非存在領域特定手段によって特定された領域に存在する例外的な移動体の存在を除去する例外画素排除手段を有することを特徴とする付記1記載の背景画像作成装置。
(付記6)前記背景画像の作成は、同じタイミングで前記移動体検出手段による移動体の検出処理及び画像情報取得手段による画像情報の取得処理を行い、この処理を時間を変えて複数回行った結果得られた複数の画像を合成して得ることを特徴とする付記1記載の背景画像作成装置。
(付記7)前記移動体検出手段は、前記背景画像と前記画像情報取得手段によって取得された新たな撮像画像とをオア加算処理を行うことによって移動体の検出処理を行うことを特徴とする付記2記載の背景画像作成装置。
(付記8)予め定められた測定領域に存在する移動体の位置情報をレーダで検出する移動体検出手段と、
前記移動体検出手段による前記移動体の検出処理に同期して前記測定領域の画像情報を取得する画像情報取得手段と、
前記移動体検出手段によって前記移動体が前記測定領域内で検出されない時、前記画像情報取得手段によって取得した画像情報を背景画像として設定する背景画像設定手段と、
前記背景画像と、前記画像情報取得手段によって取得された前記測定領域内の新たな画像との差分処理を行い、前記測定領域に存在する移動体の抽出を行う移動体抽出手段と、
を有することを特徴とする背景画像作成装置。
(付記9)予め定められた測定領域に存在する移動体の位置情報をレーダで検出する移動体検出処理と、
該移動体検出処理によって検出した前記移動体の位置情報に基づいて、前記測定領域内の前記移動体が存在しない領域を特定する移動体非存在領域特定処理と、
前記移動体検出処理による前記移動体の検出に同期して前記測定領域の画像情報を取得する画像情報取得処理と、
該画像情報取得処理によって取得した画像情報と前記移動体非存在領域特定処理によって特定された画像情報から前記測定領域の背景画像を作成する背景画像作成処理と、
を行うことを特徴とする背景画像作成方法。
(付記10) 前記背景画像作成処理によって作成された背景画像と、前記画像情報取得処理によって取得された前記測定領域の新たな画像情報との差分処理を行い、前記測定領域に存在する移動体の抽出を行う移動体抽出処理を行うことを特徴とする付記9記載の背景画像作成方法。
在する移動体の位置情報を検出する移動体検出処理と、
該処理によって検出された前記移動体の位置情報に基づいて、前記測定領域内の前記移動体が存在しない領域を特定する前記移動体非存在領域特定処理と、
前記移動体検出処理による前記移動体の検出に同期して前記測定領域の画像情報を取得する画像情報取得処理と、
該画像情報取得処理によって取得した画像情報と前記移動体非存在領域特定処理によって特定された画像情報から前記測定領域の背景画像を作成する背景画像作成処理と、
を行うプログラムであって、コンピュータが実行可能なプログラム。
(付記12)前記背景画像作成処理によって作成された背景画像と、前記画像情報取得処理によって取得された前記測定領域の新たな画像情報との差分処理を行い、前記測定領域に存在する移動体の抽出を行う移動体抽出処理を行うことを特徴とする付記11記載のプログラム。
2 移動体
3 カメラ
4 レーダ
5 移動体検出部
6 非存在領域特定部
7 背景画像生成部
8 背景画像記憶部
9 移動体検出部
10 検出結果
12 非存在領域抽出部
13 領域補正部
14 非存在領域画像取得部
15 非存在領域画像
17 背景画像生成部
18 例外画素排除部
19 非存在領域画像合成部
21 情報処理装置
22 CPU(中央処理装置)
23 ROM
24 RAM
25 外部記憶装置
26 媒体駆動装置
27 可搬記録媒体
Claims (6)
- 予め定められた測定領域に存在する移動体の位置情報をレーダで検出する移動体検出手段と、
該移動体検出手段によって検出された前記移動体の位置情報に基づいて、前記測定領域内の前記移動体が存在しない領域を特定する移動体非存在領域特定手段と、
前記移動体検出手段による前記移動体の検出処理に同期して前記測定領域の画像情報を取得する画像情報取得手段と、
該画像情報取得手段によって取得された複数時刻の画像情報と前記移動体非存在領域特定手段によって前記画像情報取得手段によって取得された複数時刻の画像情報に対応する特定された情報から前記測定領域における移動物体の存在しない背景画像を作成する背景画像作成手段と、
を有し、
前記背景画像の作成は、同じタイミングで前記移動体検出手段による移動体の検出処理及び前記画像情報取得手段による画像情報の取得処理を行い、この処理を時間を変えて複数回行った結果得られた複数の画像を合成して得る
ことを特徴とする背景画像作成装置。 - 前記背景画像作成手段によって作成された背景画像と、前記画像情報取得手段によって取得された前記測定領域の新たな画像との差分処理を行い、前記測定領域に存在する移動体の抽出を行う移動体抽出手段を有することを特徴とする請求項1記載の背景画像作成装置。
- 前記移動体非存在領域特定手段は、更に、前記移動体検出手段によって位置情報が検出された移動体が影響を及ぼす該移動体の周囲の範囲を表した情報であって該移動体について予め設定されている情報である、移動体の影響排除マージンの情報に基づいて移動体非存在領域の特定処理を行うことを特徴とする請求項1記載の背景画像作成装置。
- 前記背景画像作成手段は、前記移動体検出手段によって前記移動体が前記測定領域内で検出されない時、前記画像情報取得手段によって取得した画像情報を背景画像とすることを特徴とする請求項1記載の背景画像作成装置。
- 予め定められた測定領域に存在する移動体の位置情報をレーダで検出する移動体検出処理と、
該移動体検出処理によって検出した前記移動体の位置情報に基づいて、前記測定領域内の前記移動体が存在しない領域を特定する移動体非存在領域特定処理と、
前記移動体検出処理による前記移動体の検出に同期して前記測定領域の画像情報を取得する画像情報取得処理と、
該画像情報取得処理によって取得された複数時刻の画像情報と前記移動体非存在領域特定処理によって前記画像情報取得処理によって取得された複数時刻の画像情報に対応する特定された画像情報から前記測定領域における移動物体の存在しない背景画像を作成する背景画像作成処理と、
を行い、
前記背景画像の作成は、同じタイミングで前記移動体検出処理による移動体の検出処理及び前記画像情報取得処理による画像情報の取得処理を行い、この処理を時間を変えて複数回行った結果得られた複数の画像を合成して得る
ことを特徴とする背景画像作成方法。 - レーダによって測定された情報に基づいて、予め定められた測定領域に存在する移動体の位置情報を検出する移動体検出処理と、
該処理によって検出された前記移動体の位置情報に基づいて、前記測定領域内の前記移動体が存在しない領域を特定する前記移動体非存在領域特定処理と、
前記移動体検出処理による前記移動体の検出に同期して前記測定領域の画像情報を取得する画像情報取得処理と、
該画像情報取得処理によって取得された複数時刻の画像情報と前記移動体非存在領域特定処理によって前記画像情報取得処理によって取得された複数時刻の画像情報に対応する特定された画像情報から前記測定領域における移動物体の存在しない背景画像を作成する背景画像作成処理と、
を行うプログラムであり、
前記背景画像の作成は、同じタイミングで前記移動体検出処理による移動体の検出処理及び前記画像情報取得処理による画像情報の取得処理を行い、この処理を時間を変えて複数回行った結果得られた複数の画像を合成して得る
ことを特徴とするコンピュータが実行可能なプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007043024A JP5132164B2 (ja) | 2007-02-22 | 2007-02-22 | 背景画像作成装置 |
DE102008008571A DE102008008571B4 (de) | 2007-02-22 | 2008-02-11 | Hintergrundbilderzeugungsvorrichtung |
US12/034,953 US20080205702A1 (en) | 2007-02-22 | 2008-02-21 | Background image generation apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007043024A JP5132164B2 (ja) | 2007-02-22 | 2007-02-22 | 背景画像作成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008204406A JP2008204406A (ja) | 2008-09-04 |
JP5132164B2 true JP5132164B2 (ja) | 2013-01-30 |
Family
ID=39678150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007043024A Expired - Fee Related JP5132164B2 (ja) | 2007-02-22 | 2007-02-22 | 背景画像作成装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20080205702A1 (ja) |
JP (1) | JP5132164B2 (ja) |
DE (1) | DE102008008571B4 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6024229B2 (ja) * | 2012-06-14 | 2016-11-09 | 富士通株式会社 | 監視装置、監視方法、及びプログラム |
US10678259B1 (en) * | 2012-09-13 | 2020-06-09 | Waymo Llc | Use of a reference image to detect a road obstacle |
JP6679889B2 (ja) * | 2015-11-04 | 2020-04-15 | 住友電気工業株式会社 | センサおよび検知プログラム |
KR20200004840A (ko) * | 2017-05-15 | 2020-01-14 | 아우스터, 인크. | 파노라마 lidar 결과의 컬러 보강 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04148298A (ja) * | 1990-10-08 | 1992-05-21 | Matsushita Electric Ind Co Ltd | 違法駐車検出警告装置 |
JP3263699B2 (ja) * | 1992-12-22 | 2002-03-04 | 三菱電機株式会社 | 走行環境監視装置 |
EP0633546B1 (en) * | 1993-07-02 | 2003-08-27 | Siemens Corporate Research, Inc. | Background recovery in monocular vision |
US6760061B1 (en) * | 1997-04-14 | 2004-07-06 | Nestor Traffic Systems, Inc. | Traffic sensor |
JP2000057323A (ja) * | 1998-08-11 | 2000-02-25 | Sumitomo Electric Ind Ltd | 画像処理装置 |
JP2000090277A (ja) * | 1998-09-10 | 2000-03-31 | Hitachi Denshi Ltd | 基準背景画像更新方法及び侵入物体検出方法並びに侵入物体検出装置 |
JP4308381B2 (ja) * | 1999-09-29 | 2009-08-05 | 富士通テン株式会社 | 周辺監視センサ |
CN100533482C (zh) * | 1999-11-03 | 2009-08-26 | 特许科技有限公司 | 基于视频的交通监控***的图像处理技术及其方法 |
JP2001195699A (ja) * | 2000-01-14 | 2001-07-19 | Yazaki Corp | 車両用周辺監視装置及び、車両用衝突危険判断処理プログラムを記録した記録媒体 |
JP2001216519A (ja) * | 2000-02-04 | 2001-08-10 | Fujitsu Ltd | 交通監視装置 |
JP2002092600A (ja) * | 2000-09-19 | 2002-03-29 | Oki Electric Ind Co Ltd | 道路監視装置 |
JP2003202373A (ja) * | 2002-01-07 | 2003-07-18 | Omron Corp | 移動物体検知装置および移動物体検知方法 |
JP2003299066A (ja) | 2002-04-05 | 2003-10-17 | Matsushita Electric Ind Co Ltd | 画像処理装置およびその方法 |
JP2005173787A (ja) * | 2003-12-09 | 2005-06-30 | Fujitsu Ltd | 移動物体の検出・認識を行う画像処理装置 |
JP2006151125A (ja) * | 2004-11-26 | 2006-06-15 | Omron Corp | 車載用画像処理装置 |
JP4218670B2 (ja) * | 2005-09-27 | 2009-02-04 | オムロン株式会社 | 前方撮影装置 |
-
2007
- 2007-02-22 JP JP2007043024A patent/JP5132164B2/ja not_active Expired - Fee Related
-
2008
- 2008-02-11 DE DE102008008571A patent/DE102008008571B4/de not_active Expired - Fee Related
- 2008-02-21 US US12/034,953 patent/US20080205702A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2008204406A (ja) | 2008-09-04 |
DE102008008571B4 (de) | 2011-12-15 |
DE102008008571A1 (de) | 2008-09-11 |
US20080205702A1 (en) | 2008-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104108392B (zh) | 车道估计装置和方法 | |
CN110799918A (zh) | 车辆用的方法、设备和计算机程序 | |
US9286522B2 (en) | Stereo assist with rolling shutters | |
RU151809U1 (ru) | Видеосистема для обеспечения безопасности транспортных средств | |
CN107005655B (zh) | 图像处理方法 | |
US9077907B2 (en) | Image processing apparatus | |
JP2004112144A (ja) | 前方車両追跡システムおよび前方車両追跡方法 | |
JP2007295525A (ja) | 撮像装置、撮像システム及び撮像方法 | |
JP2006258497A (ja) | 車両用物体認識装置 | |
JP5132164B2 (ja) | 背景画像作成装置 | |
JP3709879B2 (ja) | ステレオ画像処理装置 | |
JP2019028760A (ja) | 画像記録装置、画像記録方法および画像記録プログラム | |
JP2006226965A (ja) | 画像処理装置、コンピュータプログラム、及び画像処理方法 | |
JP4123138B2 (ja) | 車両検知方法及び車両検知装置 | |
JP4882577B2 (ja) | 物体追跡装置およびその制御方法、物体追跡システム、物体追跡プログラム、ならびに該プログラムを記録した記録媒体 | |
JP2009260671A (ja) | 画像処理装置及び撮像装置 | |
KR101420242B1 (ko) | 스테레오 카메라를 이용한 차량 검지 방법 및 장치 | |
JP2008286648A (ja) | 距離計測装置、距離計測システム、距離計測方法 | |
TWI774543B (zh) | 障礙物偵測方法 | |
WO2021124657A1 (ja) | カメラシステム | |
JP2007233487A (ja) | 歩行者検出方法、装置、およびプログラム | |
JP2006012013A (ja) | 移動物体追跡装置 | |
JP2005346381A (ja) | 立体物認識装置及び方法 | |
EP2919191A1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method | |
JP2006139565A (ja) | 移動ベクトル検出装置及びその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110531 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110601 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120131 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120402 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121030 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121106 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151116 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |