JP2015195489A - Collision preventing system, collision preventing method and computer program - Google Patents
Collision preventing system, collision preventing method and computer program Download PDFInfo
- Publication number
- JP2015195489A JP2015195489A JP2014072209A JP2014072209A JP2015195489A JP 2015195489 A JP2015195489 A JP 2015195489A JP 2014072209 A JP2014072209 A JP 2014072209A JP 2014072209 A JP2014072209 A JP 2014072209A JP 2015195489 A JP2015195489 A JP 2015195489A
- Authority
- JP
- Japan
- Prior art keywords
- optical
- image
- region
- imaging
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Regulating Braking Force (AREA)
- Closed-Circuit Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本願は、障害物または人物との衝突を防止する衝突防止システムに関する。 The present application relates to a collision prevention system for preventing a collision with an obstacle or a person.
車の進行方向に向けて取り付けたカメラを利用した車載センシングが知られている。このセンシングによれば、車の進行方向に存在する障害物または人物（以下、「被写体」と称する場合がある。）が撮影画像を解析することによって検出される。例えば、障害物とは、走行中または停止中の車およびバイクである。一方で、ミリ波レーダーを用いた車載センシングが知られている。ミリ波レーダーによって物体間の距離が計測される。カメラを利用した車載センシングには、ミリ波レーダーによる車載センシングでは得られない効果がある。例えば、被写体の形状を認識することが容易であり、被写体の形状から車や人物を認識することができる。 In-vehicle sensing using a camera mounted in the direction of travel of the car is known. According to this sensing, an obstacle or a person (hereinafter sometimes referred to as “subject”) present in the traveling direction of the vehicle is detected by analyzing the captured image. For example, obstacles are cars and motorcycles that are running or stopped. On the other hand, in-vehicle sensing using millimeter wave radar is known. The distance between objects is measured by millimeter wave radar. In-vehicle sensing using a camera has an effect that cannot be obtained by in-vehicle sensing using millimeter wave radar. For example, it is easy to recognize the shape of the subject, and a car or a person can be recognized from the shape of the subject.
被写体までの距離情報は、画像中の被写体の大きさと、画像中の被写体に対応した画素の位置情報とを用いて取得する方法が知られている。カメラの正面に位置する被写体にカメラが近づくと、画像中の被写体のサイズが大きくなるだけでなく、被写体の位置が画像の中央から下方にずれる。この画素の位置情報（画素のずれ量）を画像中の被写体の大きさを示す情報と併せて用いることにより、被写体までの距離を精度よく測定することができる。運転者への警告装置（例えば、ブザー）、またはブレーキ制御システム等に被写体までの距離情報を送信することによって、障害物との衝突を回避することができる。 There is known a method of acquiring distance information to a subject using the size of the subject in the image and the position information of the pixel corresponding to the subject in the image. When the camera approaches a subject located in front of the camera, not only the size of the subject in the image increases, but also the position of the subject shifts downward from the center of the image. By using this pixel position information (pixel shift amount) together with information indicating the size of the subject in the image, the distance to the subject can be accurately measured. A collision with an obstacle can be avoided by transmitting distance information to the subject to a warning device (for example, a buzzer) for a driver or a brake control system.
特許文献１は、ステレオカメラを備えた物体検出装置を開示している。この物体検出装置では、ステレオカメラにより物体を撮像して左右の画像が取得される。この左右の画像から物体の特徴点を取得して、特徴点に基づいて物体の位置が検出される。この特徴点は、画像中の横エッジおよび非横エッジから取得される。
上述した従来の技術では、障害物または人物を検出する精度のさらなる向上が求められていた。本願の、限定的ではない例示的なある実施形態は、障害物または人物を検出する精度を向上させることが可能な衝突防止システムを提供する。 In the above-described conventional technology, further improvement in the accuracy of detecting an obstacle or a person has been demanded. One non-limiting exemplary embodiment of the present application provides an anti-collision system that can improve the accuracy of detecting an obstacle or person.
上記課題を解決するために、本発明の一態様は、障害物または人物を撮影した画像を解析することによって、前記障害物または人物との衝突を防止する衝突防止システムであって、レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号を出力する撮像装置と、前記複数の画像信号の少なくとも１つの画像信号に基づいて、前記画像に含まれる前記障害物または人物を検出し、前記撮像装置と前記障害物または人物との間の距離情報を算出して、前記距離情報に基づいて前記障害物または人物に衝突する危険性を判定する信号処理部とを備えた、衝突防止システムを含む。 In order to solve the above problems, an aspect of the present invention is a collision prevention system that prevents a collision with an obstacle or a person by analyzing an image of the obstacle or the person, the lens, and A lens optical system including at least two optical regions having different optical characteristics, an image pickup device having at least two image pickup regions on which light transmitted through the lens optical system is incident, and between the lens optical system and the image pickup device And an arrayed optical element that causes light that has passed through each optical region of the at least two optical regions to enter each imaging region of the at least two imaging regions corresponding to each optical region. An imaging device having information on light that has passed through each of the optical regions and outputting a plurality of image signals acquired from the imaging regions; and the plurality of images. Based on at least one image signal of the signal, the obstacle or person included in the image is detected, distance information between the imaging device and the obstacle or person is calculated, and based on the distance information And a signal processing unit that determines a risk of collision with the obstacle or the person.
上述の一般的かつ特定の態様は、方法およびコンピュータプログラムを用いて実装され、または方法およびコンピュータプログラムの組み合わせを用いて実現され得る。 The general and specific aspects described above may be implemented using methods and computer programs, or may be realized using a combination of methods and computer programs.
本発明の一態様にかかる衝突防止システムによれば、単一のカメラを用いて、より精度よく障害物または人物を検出することができる。 According to the collision prevention system of one embodiment of the present invention, an obstacle or a person can be detected with higher accuracy using a single camera.
本願発明者は、従来の衝突防止システムの構成を詳細に検討し、以下に示すような問題を見出した。 The inventor of the present application has examined the configuration of a conventional collision prevention system in detail and found the following problems.
車載センシングにおいてはカラー画像を取得してそれを解析することができる。その場合、モノクロ画像を解析する場合と比べて、前方車両のブレーキランプ、道路標識および信号などをより精度よく認識できる。また、色情報を用いて人物をより精度よく認識できる。しかしながら、カラー画像を取得するカメラを用いた撮影では、夜間になると画像の輝度、色情報が減少してしまう。その結果、被写体の検知、認識精度、および被写体までの距離を測定する精度が著しく低下してしまうという問題があった。 In in-vehicle sensing, a color image can be acquired and analyzed. In that case, the brake lamp, road sign, signal, etc. of the preceding vehicle can be recognized more accurately than in the case of analyzing a monochrome image. In addition, a person can be recognized with higher accuracy using color information. However, in photographing using a camera that acquires a color image, the luminance and color information of the image decrease at night. As a result, there has been a problem that the accuracy of detecting the object, recognizing accuracy, and measuring the distance to the object are significantly reduced.
一方、近赤外光を車の進行方向に照射し、夜間に見えにくい歩行者、車、道路などを近赤外光カメラにより撮影して近赤外画像を取得することが実用化されている。これによれば、夜間においても、例えば、カメラから１００ｍ以上離れた人物を検知できる。衣服は近赤外波長に対して比較的高い反射率を有するので、遠距離であっても人物を検知することができる。可視光から赤外光までの波長スペクトルを有するハロゲンライトが車のヘッドライトとして従来から広く用いられている。可視光をカットするフィルタ、または赤外光だけを透過させるフィルタをヘッドライトの一部に設ける。これにより、ヘッドライトの一部は近赤外光を照射する照明として機能する。または、専用の近赤外ＬＥＤをヘッドライトとして車のフロント部分に別途設置することができる。 On the other hand, it is put into practical use to irradiate near-infrared light in the direction of travel of the car and capture near-infrared images by photographing pedestrians, cars, roads, etc. that are difficult to see at night with a near-infrared light camera. . According to this, even at night, for example, a person away from the camera by 100 m or more can be detected. Since clothes have a relatively high reflectance with respect to near-infrared wavelengths, a person can be detected even at a long distance. Halogen lights having a wavelength spectrum from visible light to infrared light have been widely used as car headlights. A filter that cuts visible light or a filter that transmits only infrared light is provided in a part of the headlight. Thereby, a part of headlight functions as illumination which irradiates near infrared light. Alternatively, a dedicated near-infrared LED can be separately installed as a headlight on the front portion of the car.
このように、従来の車載センシングにおいては、昼夜での衝突防止を行うために、カラー画像を取得するカメラと、近赤外画像を取得するカメラとが別々に独立して設ける必要があった。この結果、衝突防止システムの規模が増大してしまう問題があった。 As described above, in the conventional on-vehicle sensing, it is necessary to separately provide a camera for acquiring a color image and a camera for acquiring a near-infrared image in order to prevent a collision at day and night. As a result, there is a problem that the scale of the collision prevention system increases.
また、カメラを利用した車載センシングでは、車を取り巻く周辺環境が大きく変化することが頻繁に起こり得る。例えば、西日や直射日光によってカメラに強い光が入射する。または、トンネルの出口や逆光下など急激に明るさが変化する環境では、画像中の画素が飽和してしまう可能性が高くなり、障害物の検知ができなくなってしまう。従来の衝突防止システムは、撮影環境に対して高いロバスト性を有しているとは言い難い。 Moreover, in vehicle-mounted sensing using a camera, the surrounding environment surrounding the vehicle can frequently change. For example, strong light is incident on the camera due to western sunlight or direct sunlight. Or, in an environment where the brightness changes abruptly, such as at the exit of a tunnel or under backlighting, there is a high possibility that pixels in the image will be saturated, and obstacles will not be detected. It is difficult to say that the conventional collision prevention system has high robustness with respect to the shooting environment.
このような従来技術の課題に鑑み、本願発明者は、新規な構成を有する衝突防止システムに想到した。本発明の一態様の概要は以下のとおりである。 In view of such problems of the prior art, the present inventors have come up with a collision prevention system having a novel configuration. The outline of one embodiment of the present invention is as follows.
本発明の一態様である衝突防止システムは、障害物または人物を撮影した画像を解析することによって、前記障害物または人物との衝突を防止する衝突防止システムであって、レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号を出力する撮像装置と、前記複数の画像信号の少なくとも１つの画像信号に基づいて、前記画像に含まれる前記障害物または人物を検出し、前記撮像装置と前記障害物または人物との間の距離情報を算出して、前記距離情報に基づいて前記障害物または人物に衝突する危険性を判定する信号処理部と、を備える。 A collision prevention system according to one aspect of the present invention is a collision prevention system that prevents a collision with an obstacle or a person by analyzing an image of the obstacle or the person, and includes a lens and different optical characteristics. A lens optical system including at least two optical regions, an image pickup device having at least two image pickup regions on which light transmitted through the lens optical system is incident, and the lens optical system and the image pickup device. An imaging device having an arrayed optical element that causes light that has passed through each optical region of the at least two optical regions to enter each imaging region of the at least two imaging regions corresponding to each optical region, An imaging device having information on light that has passed through each of the optical regions and outputting a plurality of image signals acquired from the imaging regions; and the plurality of image signals. Based on the distance information, the obstacle or person included in the image is detected based on at least one of the image signals, and distance information between the imaging device and the obstacle or person is calculated. A signal processing unit that determines a risk of collision with the obstacle or the person.
ある態様において、前記複数の画像信号は、近赤外光の情報を有する複数の第１の画像信号および可視光の情報を有する複数の第２の画像信号を含み、前記信号処理部は、前記複数の第１の画像信号からいずれか１つの第３の画像信号を選択し、第２の画像信号からいずれか１つの第４の画像信号を選択し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出してもよい。 In one aspect, the plurality of image signals include a plurality of first image signals having near-infrared light information and a plurality of second image signals having visible light information, and the signal processing unit includes the Selecting any one third image signal from a plurality of first image signals, selecting any one fourth image signal from second image signals, and said third and / or fourth image The distance information may be calculated based on the signal.
ある態様において、前記複数の画像信号は、近赤外光の情報を有する複数の第１の画像信号および可視光の情報を有する複数の第２の画像信号を含み、前記信号処理部は、前記複数の第１の画像信号を合成して第３の画像信号を生成し、前記複数の第２の画像信号を合成して第４の画像信号を生成し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出してもよい。 In one aspect, the plurality of image signals include a plurality of first image signals having near-infrared light information and a plurality of second image signals having visible light information, and the signal processing unit includes the A plurality of first image signals are combined to generate a third image signal, a plurality of the second image signals are combined to generate a fourth image signal, and the third and / or fourth The distance information may be calculated based on the image signal.
ある態様において、前記少なくとも２つの光学領域は、第１の透過率特性および近赤外光を透過させて可視光を透過させない第１の分光特性を有する第１の光学領域、前記第１の透過率特性とは異なる第２の透過率特性および前記第１の分光特性を有する第２の光学領域、前記第２の透過率特性および前記可視光を透過させて前記近赤外光を透過させない第２の分光特性を有する第３の光学領域、ならびに前記第１の透過率特性および前記第２の分光特性を有する第４の光学領域を含み、前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、前記信号処理部は、前記第１の撮像領域から取得された第５の画像信号および前記第２の撮像領域から取得された第６の画像信号のいずれか１つの第３の画像信号を選択し、前記第３の撮像領域から取得された第７の画像信号および前記第４の撮像領域から取得された第８の画像信号のいずれか１つの第４の画像信号を選択し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出してもよい。 In one embodiment, the at least two optical regions have a first transmittance characteristic and a first optical region having a first spectral characteristic that transmits near-infrared light and does not transmit visible light, and the first transmission. A second optical region having a second transmission characteristic different from the transmission characteristic and the first spectral characteristic, the second transmission characteristic, and the second transmission characteristic and the first light that transmits the visible light and does not transmit the near-infrared light. A third optical region having a spectral characteristic of 2 and a fourth optical region having the first transmittance characteristic and the second spectral characteristic, wherein the at least two imaging regions are the first optical region A first imaging region corresponding to the region, a second imaging region corresponding to the second optical region, a third imaging region corresponding to the third optical region, and a fourth optical region Including a fourth imaging region, the signal The processing unit selects any one of the third image signal from the fifth image signal acquired from the first imaging region and the sixth image signal acquired from the second imaging region, and A fourth image signal selected from any one of a seventh image signal acquired from a third imaging region and an eighth image signal acquired from the fourth imaging region; and the third and / or The distance information may be calculated based on a fourth image signal.
ある態様において、前記少なくとも２つの光学領域は、第１の透過率特性および近赤外光を透過させて可視光を透過させない第１の分光特性を有する第１の光学領域、前記第１の透過率特性とは異なる第２の透過率特性および前記第１の分光特性を有する第２の光学領域、前記第２の透過率特性および前記可視光を透過させて前記近赤外光を透過させない第２の分光特性を有する第３の光学領域、ならびに前記第１の透過率特性および前記第２の分光特性を有する第４の光学領域を含み、前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、前記信号処理部は、前記第１の撮像領域から取得された第５の画像信号および前記第２の撮像領域から取得された第６の画像信号を合成して第３の画像信号を生成し、前記第３の撮像領域から取得された第７の画像信号および前記第４の撮像領域から取得された第８の画像信号を合成して第４の画像信号を生成し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出してもよい。 In one embodiment, the at least two optical regions have a first transmittance characteristic and a first optical region having a first spectral characteristic that transmits near-infrared light and does not transmit visible light, and the first transmission. A second optical region having a second transmission characteristic different from the transmission characteristic and the first spectral characteristic, the second transmission characteristic, and the second transmission characteristic and the first light that transmits the visible light and does not transmit the near-infrared light. A third optical region having a spectral characteristic of 2 and a fourth optical region having the first transmittance characteristic and the second spectral characteristic, wherein the at least two imaging regions are the first optical region A first imaging region corresponding to the region, a second imaging region corresponding to the second optical region, a third imaging region corresponding to the third optical region, and a fourth optical region Including a fourth imaging region, the signal A processing unit configured to generate a third image signal by combining the fifth image signal acquired from the first imaging region and the sixth image signal acquired from the second imaging region; A seventh image signal acquired from the third imaging region and an eighth image signal acquired from the fourth imaging region to generate a fourth image signal, and the third and / or fourth The distance information may be calculated based on the image signal.
ある態様において、前記少なくとも２つの光学領域は、第１の偏光軸の方向に振動する光を透過させる第１の偏光特性および近赤外光を透過させて可視光を透過させない第１の分光特性を有する第１の光学領域、前記第１の偏光軸の方向とは異なる第２の偏光軸の方向に振動する光を透過させる第２の偏光特性および前記第１の分光特性を有する第２の光学領域、前記第２の偏光特性および前記可視光を透過させて前記近赤外光を透過させない第２の分光特性を有する第３の光学領域、ならびに前記第１の偏光特性および前記第２の分光特性を有する第４の光学領域を含み、前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、前記信号処理部は、前記第１の撮像領域から取得された第５の画像信号または前記第２の撮像領域から取得された第６の画像信号のいずれか１つの第３の画像信号を選択し、前記第３の撮像領域から取得された第７の画像信号または前記第４の撮像領域から取得された第８の画像信号のいずれか１つの第４の画像信号を選択し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出してもよい。 In one embodiment, the at least two optical regions have a first polarization characteristic that transmits light oscillating in the direction of the first polarization axis and a first spectral characteristic that transmits near-infrared light and does not transmit visible light. A first optical region having a second polarization characteristic that transmits light oscillating in a direction of a second polarization axis different from the direction of the first polarization axis, and a second optical characteristic having a first spectral characteristic An optical region, the second polarization property and a third optical region having a second spectral property that transmits the visible light and does not transmit the near-infrared light, and the first polarization property and the second A fourth optical region having spectral characteristics, wherein the at least two imaging regions include a first imaging region corresponding to the first optical region, a second imaging region corresponding to the second optical region, Corresponding to the third optical region. And a fourth imaging region corresponding to the fourth optical region, and the signal processing unit is configured to obtain a fifth image signal acquired from the first imaging region or the second imaging region. Any one of the sixth image signals acquired from the third image signal is selected, and the seventh image signal acquired from the third imaging region or the seventh image signal acquired from the fourth imaging region is selected. The fourth image signal may be selected from any one of the eight image signals, and the distance information may be calculated based on the third and / or fourth image signal.
ある態様において、前記第３および第４の撮像領域では、赤色の光を透過させる第１のフィルタを有する第１の画素と、緑色の光を透過させる第２のフィルタを有する第２の画素と、青色の光を透過させる第３のフィルタを有する第３の画素とがベイヤー配列されていてもよい。 In one aspect, in the third and fourth imaging regions, a first pixel having a first filter that transmits red light, and a second pixel having a second filter that transmits green light; The third pixels having a third filter that transmits blue light may be arranged in a Bayer array.
ある態様において、前記第３および第４の撮像領域は、赤色の光を透過させる第１のフィルタを有する第１の画素から形成されていてもよい。 In one aspect, the third and fourth imaging regions may be formed from first pixels having a first filter that transmits red light.
ある態様において、前記距離情報に応じて、前記障害物または人物に衝突する危険性があることを運転者に警告する警告装置をさらに備えていてもよい。 A certain aspect WHEREIN: You may further provide the warning device which warns a driver | operator that there exists a danger of colliding with the said obstruction or a person according to the said distance information.
ある態様において、速度を減速させるように前記距離情報に応じてブレーキを制御するブレーキ制御部をさらに備えていてもよい。 A certain aspect WHEREIN: You may further provide the brake control part which controls a brake according to the said distance information so that speed may be decelerated.
本発明の他の一態様である衝突防止システムは、障害物または人物を撮影した画像を解析することによって、前記障害物または人物との衝突を防止する衝突防止システムであって、レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する第１および第２の撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から得られる複数の画像信号を出力する第１および第２の撮像装置と、前記第１の撮像装置から出力される前記複数の画像信号の少なくとも１つの画像信号と、前記第２の撮像装置から出力される前記複数の画像信号の少なくとも１つの画像信号とから得られる視差量を用いて、前記撮像装置と前記障害物または人物との間の距離情報を算出する信号処理部とを備える。 A collision prevention system according to another aspect of the present invention is a collision prevention system that prevents a collision with an obstacle or a person by analyzing an image obtained by photographing the obstacle or the person. A lens optical system including at least two optical regions having optical characteristics, an image pickup device having at least two image pickup regions on which light transmitted through the lens optical system is incident, and between the lens optical system and the image pickup device 1st and 2nd imaging device which has an array-like optical element which is arranged and makes the light which passed through each optical field of said at least two optical fields enter into each imaging field of said at least two imaging fields First and second imaging devices having information on light that has passed through each optical region and outputting a plurality of image signals obtained from each imaging region; A parallax amount obtained from at least one image signal of the plurality of image signals output from the imaging device and at least one image signal of the plurality of image signals output from the second imaging device. A signal processing unit that calculates distance information between the imaging device and the obstacle or person.
本発明の他の一態様である方法は、レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号を出力する撮像装置を用いて障害物または人物を撮影した画像を解析することによって、前記障害物または人物との衝突を防止する衝突防止方法であって、前記複数の画像信号の少なくとも１つの画像信号に基づいて、前記画像に含まれる前記障害物または人物を検出し、前記撮像装置と前記障害物または人物との間の距離情報を算出するステップと、前記距離情報に基づいて前記障害物または人物に衝突する危険性を判定するステップとを包含する。 A method according to another aspect of the present invention includes a lens, a lens optical system including at least two optical regions having different optical characteristics, and at least two imaging regions on which light transmitted through the lens optical system is incident. Light that is disposed between the imaging element, the lens optical system, and the imaging element and that has passed through each optical area of the at least two optical areas is each of the at least two imaging areas corresponding to the optical areas. An imaging device having an arrayed optical element that is incident on an imaging region, the imaging device having information on light that has passed through each of the optical regions and outputting a plurality of image signals acquired from the imaging regions A collision prevention method for preventing a collision with the obstacle or person by analyzing an image obtained by photographing the obstacle or the person, wherein a plurality of image signals are reduced. Detecting the obstacle or person included in the image based on one image signal, calculating distance information between the imaging device and the obstacle or person, and based on the distance information Determining a risk of collision with the obstacle or person.
本発明の他の一態様であるコンピュータプログラムは、レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号を出力する撮像装置を用いて障害物または人物を撮影した画像を解析することによって、前記障害物または人物との衝突を防止する衝突防止システムにおいて用いられるコンピュータプログラムであって、前記衝突防止システムのコンピュータに、前記複数の画像信号の少なくとも１つの画像信号に基づいて、前記画像に含まれる前記障害物または人物を検出し、前記撮像装置と前記障害物または人物との間の距離情報を算出するステップと、前記距離情報に基づいて前記障害物または人物に衝突する危険性を判定するステップとを実行させる。 A computer program according to another aspect of the present invention includes a lens, a lens optical system including at least two optical regions having different optical characteristics, and at least two imaging regions into which light transmitted through the lens optical system is incident. An image sensor having the optical system disposed between the lens optical system and the image sensor, and having passed through the optical regions of the at least two optical regions, the light of the at least two image regions corresponding to the optical regions. An imaging apparatus having an arrayed optical element incident on each imaging area, the imaging apparatus having information on light that has passed through each optical area and outputting a plurality of image signals acquired from each imaging area Used in a collision prevention system that prevents a collision with an obstacle or person by analyzing an image of the obstacle or person taken using A computer program for detecting an obstacle or a person included in the image based on at least one image signal of the plurality of image signals, and causing the computer of the collision prevention system to detect the obstacle and the person A step of calculating distance information between the object and the person and a step of determining a risk of colliding with the obstacle or the person based on the distance information.
上記態様による衝突防止システムによれば、光学領域の光学特性を様々に設定することにより、単一の撮像装置を用いて、例えば、互いに露光量が異なる複数のカラー画像および互いに露光量が異なる複数の近赤外画像を同時に取得できる。これらの画像を用いてハイダイナミックレンジ（以降、「ＨＤＲ」と称する。）の画像を取得できる。ＨＤＲの画像を解析することにより、障害物または人物の検出精度を向上させることができる。また、衝突防止システムの規模およびコストの増大を抑制できる。 According to the collision prevention system according to the above aspect, by setting various optical characteristics of the optical region, for example, using a single imaging device, for example, a plurality of color images having different exposure amounts and a plurality of different exposure amounts. Can be obtained simultaneously. Using these images, an image having a high dynamic range (hereinafter referred to as “HDR”) can be acquired. By analyzing the HDR image, the detection accuracy of an obstacle or a person can be improved. Further, an increase in the scale and cost of the collision prevention system can be suppressed.
以下、図面を参照しながら、本発明による衝突防止システムの実施の形態を説明する。 Embodiments of a collision prevention system according to the present invention will be described below with reference to the drawings.
（実施の形態１）
まず、図１〜７を参照して、本実施の形態による衝突防止システム１００の構成および機能を説明する。
(Embodiment 1)
First, with reference to FIGS. 1-7, the structure and function of the
図１は、本実施の形態による衝突防止システム１００の構成図である。衝突防止システム１００は、Ｖを光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、コントローラ１０と、信号処理部２０と、警告装置３０とを備える。衝突防止システム１００は、オプションとして、ブレーキ制御部４０をさらに備えていてもよい。レンズ光学系Ｌと、アレイ状光学素子Ｋと、撮像素子Ｎとによって撮像装置（不図示）が構成される。なお、警告装置３０は、衝突防止システム１００の構成要素でなくてもよく、衝突防止システム１００に接続される外部機器であってもよい。本願明細書では、警告装置３０は、衝突防止システム１００の構成要素の一部であるとして説明する。
FIG. 1 is a configuration diagram of a
撮像素子Ｎは、例えばＣＭＯＳセンサやＣＣＤセンサである。 The image sensor N is, for example, a CMOS sensor or a CCD sensor.
レンズ光学系Ｌは、レンズＬ１、絞りＳおよび光学素子Ｌ２ａおよびＬ２ｂを含む。被写体（不図示）から入射した光束Ｂの光線方向は、レンズＬ１により屈曲され、絞りＳで不要な光線が排除される。レンズＬ１は、一枚のレンズで構成されていてもよいし、複数枚のレンズ（レンズ群）で構成されていてもよい。光学素子Ｌ２ａおよびＬ２ｂは、絞りＳ近傍に配置される。 The lens optical system L includes a lens L1, a diaphragm S, and optical elements L2a and L2b. The direction of the light beam B incident from a subject (not shown) is bent by the lens L1, and the diaphragm S eliminates unnecessary light beams. The lens L1 may be composed of a single lens or a plurality of lenses (lens group). The optical elements L2a and L2b are arranged in the vicinity of the stop S.
図２（ａ）は、光学素子Ｌ２ａを被写体側から見た正面図である。図２（ａ）に示すように絞りＳ近傍に配置している光学素子Ｌ２ａは異なる光学領域Ａ１およびＡ２を有している。光学領域Ａ１およびＡ２は、光軸Ｖに垂直な平面を、光軸Ｖと交わる直線ｌ１によって２分割した領域である。原則として、光学領域Ａ１およびＡ２は、等しい面積を有している。ただし、光学領域Ａ１およびＡ２は異なる面積を有していてもよい。 FIG. 2A is a front view of the optical element L2a viewed from the subject side. As shown in FIG. 2A, the optical element L2a arranged in the vicinity of the stop S has different optical regions A1 and A2. The optical regions A1 and A2 are regions obtained by dividing a plane perpendicular to the optical axis V into two by a straight line l1 intersecting with the optical axis V. In principle, the optical areas A1 and A2 have an equal area. However, the optical regions A1 and A2 may have different areas.
光学素子Ｌ２ａはガラスを基板として形成される。光学領域Ａ１は光線Ｂを略１００％透過させる第１の透過率特性を有している。透過率略２５％のニュートラルデンシティ（ＮＤ）フィルタが光学領域Ａ２には設けられている。光学領域Ａ２は光線Ｂを略２５％透過させ第２の透過率特性を有している。 The optical element L2a is formed using glass as a substrate. The optical region A1 has a first transmittance characteristic that transmits the light beam B approximately 100%. A neutral density (ND) filter having a transmittance of approximately 25% is provided in the optical region A2. The optical region A2 transmits the light beam B by approximately 25% and has a second transmittance characteristic.
図２（ｂ）は、光学素子Ｌ２ｂを被写体側から見た正面図である。図２（ｂ）に示すように、光学素子Ｌ２ｂは異なる光学領域Ｂ１およびＢ２を有している。光学領域Ｂ１およびＢ２は、光軸Ｖに垂直な平面を、光軸Ｖと交わる直線ｌ２によって２分割した領域である。図２（ａ）の直線ｌ１と直線ｌ２とは、光軸Ｖに垂直な平面において、互いに垂直に交わっている。原則として、光学領域Ｂ１およびＢ２は、等しい面積を有している。ただし、光学領域Ｂ１およびＢ２は異なる面積を有していてもよい。 FIG. 2B is a front view of the optical element L2b as viewed from the subject side. As shown in FIG. 2B, the optical element L2b has different optical regions B1 and B2. The optical regions B1 and B2 are regions obtained by dividing a plane perpendicular to the optical axis V into two by a straight line l2 intersecting with the optical axis V. A straight line l1 and a straight line l2 in FIG. 2A intersect each other perpendicularly on a plane perpendicular to the optical axis V. In principle, the optical regions B1 and B2 have an equal area. However, the optical regions B1 and B2 may have different areas.
光学素子Ｌ２ｂはガラスを基板として形成される。光学領域Ｂ１には赤外光（ＩＲ）を透過させて、可視光をカットするフィルタが設けられている。領域Ｂ２には可視光を透過させて、ＩＲをカットするフィルタが設けられている。 The optical element L2b is formed using glass as a substrate. The optical region B1 is provided with a filter that transmits infrared light (IR) and cuts visible light. The region B2 is provided with a filter that transmits visible light and cuts IR.
図３は、光学素子Ｌ２ａおよびＬ２ｂを重ねた状態で被写体側から見たときの光学素子Ｌ２の正面図である。光学素子Ｌ２ａおよびＬ２ｂを重ねることにより、異なる光学特性を有する光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４が形成される。光学領域Ｄ１は、第１の透過率特性（透過率１００％）および近赤外光を透過させて可視光を透過させない第１の分光特性を有する。光学領域Ｄ２は、第２の透過率特性（透過率２５％）および第１の分光特性を有する。光学領域Ｄ３は、第１の透過率特性および可視光を透過させて近赤外光を透過させない第２の分光特性を有する。光学領域Ｄ４は、第２の透過率特性および２第２の分光特性を有する。
FIG. 3 is a front view of the optical element L2 when viewed from the subject side with the optical elements L2a and L2b overlapped. By overlapping the optical elements L2a and L2b, optical regions D1, D2, D3 and D4 having different optical characteristics are formed. The optical region D1 has a first transmittance characteristic (
光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４において、光の透過率は、それぞれ、１００％、２５％、２５％、および１００％である。すなわち、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の透過率の比は、４：１：１：４である。なお、本発明はこれに限定されず、例えば、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の透過率の比は、１６：１：１：１６であってもよい。 In the optical regions D1, D2, D3, and D4, the light transmittances are 100%, 25%, 25%, and 100%, respectively. That is, the transmittance ratio of the optical regions D1, D2, D3, and D4 is 4: 1: 1: 4. In addition, this invention is not limited to this, For example, the ratio of the transmittance | permeability of optical area | region D1, D2, D3, and D4 may be 16: 1: 1: 16.
図４は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光学要素Ｍ２が格子状に配置されている。それぞれの光学要素Ｍ２の断面（縦方向および横方向それぞれの断面）は曲面であり、それぞれの光学要素Ｍ２は、撮像素子Ｎ側に突出している。このように、光学要素Ｍ２はマイクロレンズであり、アレイ状光学素子Ｋは、マイクロレンズアレイとなっている。 FIG. 4 is a perspective view of the arrayed optical element K. FIG. On the surface of the arrayed optical element K on the imaging element N side, optical elements M2 are arranged in a grid pattern. Each optical element M2 has a curved cross section (vertical and horizontal cross sections), and each optical element M2 protrudes toward the image sensor N side. Thus, the optical element M2 is a microlens, and the arrayed optical element K is a microlens array.
図５（ａ）は、アレイ状光学素子Ｋと撮像素子Ｎとを拡大して示す図であり、図５（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、レンズ光学系Ｌの焦点近傍に配置されており、かつ撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。また、撮像面Ｎｉ上の画素ＰにはマイクロレンズＭｓが設けられている。 FIG. 5A is an enlarged view showing the arrayed optical element K and the image sensor N, and FIG. 5B shows the positional relationship between the arrayed optical element K and the pixels on the image sensor N. FIG. The arrayed optical element K is disposed in the vicinity of the focal point of the lens optical system L and is disposed at a position away from the imaging surface Ni by a predetermined distance. Further, the micro lens Ms is provided in the pixel P on the imaging surface Ni.
また、アレイ状光学素子Ｋは、光学要素Ｍ２が形成された面が撮像面Ｎｉ側を向くように配置されている。１つのマイクロレンズＭ２は、撮像面Ｎｉ上の画素Ｐ１〜Ｐ４の４つの画素に対応するように構成されている。 The arrayed optical element K is arranged so that the surface on which the optical element M2 is formed faces the imaging surface Ni side. One microlens M2 is configured to correspond to four pixels P1 to P4 on the imaging surface Ni.
撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは、画素Ｐ１、Ｐ２、Ｐ３およびＰ４に区別できる。上述したマイクロレンズＭ２の構成により、図３に示した光学素子Ｌ２上の光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４をそれぞれ通過した光束の大部分は、図５（ｂ）に示すように、撮像面Ｎｉ上の画素Ｐ１、画素Ｐ２、画素Ｐ３、および画素Ｐ４に到達する。図５（ｂ）において、画素Ｐ１Ａ、Ｐ１Ｂ、・・・は、画素Ｐ１に分類され、第１の撮像領域Ｃ１を形成する。画素Ｐ２Ａ、Ｐ２Ｂ、・・・は、画素Ｐ２に分類され、第２の撮像領域Ｃ２を形成する。画素Ｐ３Ａ、Ｐ３Ｂ、・・・は、画素Ｐ３に分類され、第３の撮像領域Ｃ３を形成する。画素Ｐ４Ａ、Ｐ４Ｂ、・・・は、画素Ｐ４に分類され、第４の撮像領域Ｃ４を形成する。 Pixels P are arranged in a matrix on the imaging surface Ni. Pixel P can be distinguished into pixels P1, P2, P3 and P4. With the configuration of the microlens M2 described above, most of the light beams respectively passing through the optical regions D1, D2, D3, and D4 on the optical element L2 shown in FIG. 3 are imaged as shown in FIG. The pixel P1, the pixel P2, the pixel P3, and the pixel P4 on the surface Ni are reached. In FIG. 5B, the pixels P1A, P1B,... Are classified as the pixel P1, and form the first imaging region C1. Pixels P2A, P2B,... Are classified as pixel P2 and form a second imaging region C2. Pixels P3A, P3B,... Are classified as pixels P3 and form a third imaging region C3. Pixels P4A, P4B,... Are classified as pixel P4, and form a fourth imaging region C4.
アレイ状光学素子Ｋは、光学領域Ｄ１を通過した光を、光学領域Ｄ１に対応した第１の撮像領域Ｃ１内の画素Ｐ１に入射させ、光学領域Ｄ２を通過した光を、光学領域Ｄ２に対応した第２の撮像領域Ｃ２内の画素Ｐ２に入射させ、光学領域Ｄ３を通過した光を、光学領域Ｄ３に対応した第３の撮像領域Ｃ３内の画素Ｐ３に入射させ、光学領域Ｄ４を通過した光を、光学領域Ｄ４に対応した第４の撮像領域Ｃ４内の画素Ｐ４に入射させる。 The arrayed optical element K causes the light that has passed through the optical region D1 to enter the pixel P1 in the first imaging region C1 corresponding to the optical region D1, and the light that has passed through the optical region D2 corresponds to the optical region D2. The light that has entered the pixel P2 in the second imaging region C2 and passed through the optical region D3 is incident on the pixel P3 in the third imaging region C3 corresponding to the optical region D3, and has passed through the optical region D4. The light is incident on the pixel P4 in the fourth imaging region C4 corresponding to the optical region D4.
画素Ｐ１、画素Ｐ２は、ＩＲを透過させるフィルタが設けられた受光部を有する。画素Ｐ１には光学領域Ｄ１を通過したＩＲ光が入射し、画素Ｐ２には光学領域Ｄ２を通過したＩＲ光が入射する。また、画素Ｐ３、画素Ｐ４は、可視光である赤色（Ｒ）の光、緑色（Ｇ）の光および青色（Ｂ）の光のいずれかを透過させるフィルタが設けられている。同じマイクロレンズＭ２に属する画素Ｐ３、画素Ｐ４には、同じ色のカラーフィルタが設けられている。画素Ｐ３には光学領域Ｄ３を通過した赤色の光、緑色の光および青色の光のいずれかが入射し、画素Ｐ４には光学領域Ｄ４を通過した赤色の光、緑色の光および青色の光のいずれかが入射する。 The pixels P1 and P2 have a light receiving portion provided with a filter that transmits IR. IR light that has passed through the optical region D1 is incident on the pixel P1, and IR light that has passed through the optical region D2 is incident on the pixel P2. In addition, the pixel P3 and the pixel P4 are provided with a filter that transmits any of red (R) light, green (G) light, and blue (B) light that is visible light. Color filters of the same color are provided for the pixels P3 and P4 belonging to the same microlens M2. One of red light, green light, and blue light that has passed through the optical region D3 is incident on the pixel P3, and red light, green light, and blue light that has passed through the optical region D4 are incident on the pixel P4. Either is incident.
図５（ｂ）に示すとおり、撮像領域Ｃ３およびＣ４では、赤色の光を透過させるフィルタを有する画素と、緑色の光を透過させるフィルタを有する画素と、青色の光を透過させるフィルタを有する画素とがベイヤー配列されている。 As shown in FIG. 5B, in the imaging regions C3 and C4, a pixel having a filter that transmits red light, a pixel having a filter that transmits green light, and a pixel that has a filter that transmits blue light. And the Bayer array.
撮像素子Ｎは、撮像領域Ｃ１に入射した光の量に応じて第１の画像信号Ｉ１を生成し、第２の撮像領域Ｃ２に入射した光の量に応じて第２の画像信号Ｉ２を生成し、撮像領域Ｃ３に入射した光の量に応じて第３の画像信号Ｉ３を生成し、撮像領域Ｃ４に入射した光の量に応じて第４の画像信号Ｉ４を生成する。撮像素子Ｎは、生成した各画像信号を後段の信号処理部２０に出力する。なお、撮像素子Ｎから出力される画像信号はＲＡＷデータに限らず、輝度および色差データであってもよい。
The imaging element N generates a first image signal I1 according to the amount of light incident on the imaging region C1, and generates a second image signal I2 according to the amount of light incident on the second imaging region C2. Then, the third image signal I3 is generated according to the amount of light incident on the imaging region C3, and the fourth image signal I4 is generated according to the amount of light incident on the imaging region C4. The image sensor N outputs the generated image signals to the
なお、光学領域を４分割にする例を示したが、光学領域は、２分割または８分割にされていてもよい。光学領域の構造は、設計仕様等を考慮して適宜決定することができる。 In addition, although the example which divides an optical area into 4 was shown, the optical area may be divided into 2 or 8 divisions. The structure of the optical region can be appropriately determined in consideration of design specifications and the like.
コントローラ１０は、衝突防止システム１００全体を制御する。コントローラ１０は、半導体素子などにより構成される。コントローラ１０は、典型的にはマイクロコンピュータによって実現される。コントローラ１０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。
The
信号処理部２０は、半導体素子などにより構成される。信号処理部２０は、典型的にはイメージシグナルプロセッサ（ＩＳＰ）によって実現され得る。信号処理部２０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。
The
なお、本実施の形態では、信号処理部２０とコントローラ１０とは、それぞれ独立した回路として、衝突防止システム１００内に実装される例を示すが、本発明はこれに限定されない。例えば、信号処理部２０およびコントローラ１０の機能が、１チップの集積回路に実装されていても構わない。例えば、この集積回路は、汎用のプロセッサによって実現され得る。プロセッサ内部のメモリに、各構成要素の機能を発揮するコンピュータプログラムが実装されており、プロセッサが逐次コンピュータプログラムを実行することにより、各構成要素の機能が実現されてもよい。
In the present embodiment, an example is shown in which the
例えば、撮像装置、コントローラ１０および信号処理部２０は、衝突防止装置として一体的に形成されていてもよい。または、信号処理部２０は、車内のカーナビゲーションシステム（不図示）の装置内に設けられていてもよい。この場合、撮像装置とカーナビゲーションシステムとの間で、有線または無線の通信が双方向で行われる。または、信号処理部２０の機能がスマートフォン（不図示）に実装されており、撮像装置とスマートフォンとの間で、有線または無線の通信が双方向で行われ得る。スマートフォンは警告装置として機能し、スマートフォンの画面上に警告が表示されてもよい。
For example, the imaging device, the
上述したように、画素Ｐ３および画素Ｐ４には、Ｒ、ＧおよびＢの色情報が混在している。また、撮像領域Ｃ３およびＣ４をそれぞれ構成し、Ｒ、ＧおよびＢの各フィルタを有する各画素はベイヤー配列されている。信号処理部２０は、公知の色補間手法を用いて（デモザイク処理により）、第３および第４の画像信号からカラー画像をそれぞれ生成する。
As described above, R, G, and B color information are mixed in the pixel P3 and the pixel P4. In addition, the imaging regions C3 and C4 are configured, and the pixels having R, G, and B filters are arranged in a Bayer array. The
このように、光学素子Ｌ２の光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の光学特性は互いに異なっているので、衝突防止システム１００は、異なる光学特性を示す光の情報を有する４つの画像信号を撮像素子Ｎから同時に取得することができる。具体的には、露光量が互いに異なるカラー画像および露光量が互いに異なる近赤外画像の４つの画像を、画素単位で互いにずれのない画像として取得できる。
As described above, since the optical characteristics of the optical regions D1, D2, D3, and D4 of the optical element L2 are different from each other, the
信号処理部２０は、撮像素子Ｎから出力される複数の画像信号の少なくとも１つの画像信号に基づいて、画像に含まれる障害物または人物を検出し、撮像装置と障害物または人物との間の距離情報を算出する。信号処理部２０は、距離情報に基づいて障害物または人物に衝突する危険性を判定する。具体的には、信号処理部２０は、画素の位置情報および被写体の大きさを示す情報を用いて撮像装置から障害物までの距離情報を算出する。
The
まず、ＨＤＲの画像を解析して被写体までの距離情報を算出する例を説明する。 First, an example of calculating distance information to a subject by analyzing an HDR image will be described.
信号処理部２０は、第１および第２の画像信号を合成して近赤外光の情報を有する合成画像信号を生成し、第３および第４の画像信号を合成して可視光の情報を有する合成画像信号を生成してもよい。信号処理部２０は、近赤外光の情報を有する合成画像信号および／または可視光の情報を有する合成画像信号に基づいて距離情報を算出することができる。
The
例えば、信号処理部２０は、露光量が互いに異なるカラー画像を示す第３の画像信号および第４の画像信号のそれぞれの輝度信号を合成することにより、ＨＤＲの画像情報を生成することができる。画像の合成には、ＨＤＲに関する公知の技術を広く用いることができる。その結果、白飛びや黒潰れが抑制され、適切な輝度情報を有した合成画像情報が得られる。つまり、衝突防止システム１００では、可視光に対してＨＤＲ撮影を行うことが可能となる。
For example, the
また、近赤外画像については、対向車に搭載された近赤外照明などにより、画像が飽和することがあり得る。このような場合、信号処理部２０は、露光の互いに異なる近赤外画像を示す第１の画像信号および第２の画像信号のそれぞれの輝度信号を合成することにより、ＨＤＲの画像情報を生成することができる。その結果、カラー画像と同様に、白飛びや黒潰れが抑制され、適切な輝度情報を有した合成画像情報が得られる。つまり、衝突防止システム１００では、近赤外光に対してもＨＤＲ撮影を行うことが可能となる。
Moreover, about a near-infrared image, an image may be saturated by the near-infrared illumination etc. which were mounted in the oncoming vehicle. In such a case, the
後述する、遠距離にある被写体を認識するときは、信号処理部２０は、近赤外光の情報を有する合成画像信号および可視光の情報を有する合成画像信号に基づいて距離情報を算出することが好ましい。
When recognizing a subject at a long distance, which will be described later, the
次に、取得された画像から条件に合った画像を選択して、その選択画像を解析することにより被写体までの距離情報を算出する例を説明する。 Next, an example will be described in which distance information to a subject is calculated by selecting an image that meets a condition from the acquired image and analyzing the selected image.
信号処理部２０は、第１または第２の画像信号のいずれか１つの画像信号を選択し、第３または第４の画像信号のいずれか１つの画像信号を選択してもよい。信号処理部２０は、選択した両方の画像信号または一方の画像信号に基づいて距離情報を算出することができる。
The
例えば、信号処理部２０は、露光量が互いに異なるカラー画像を示す第３の画像信号または第４の画像信号のいずれかの画像信号を選択する。選択に用いる条件を、例えば、画像中の全画素数に対する所定の条件を満たす画素の数の比率とすることができる。画素値を１２ビットで表すと、所定の条件とは、例えば、画素値が下限値２００から上限値３０００の範囲にあることである。第４の画像信号から構成される画像に白飛びがより多く発生しているような場合、信号処理部２０は、第３の画像信号を選択画像信号として選択すればよい。
For example, the
また、近赤外画像については、対向車に搭載された近赤外照明などにより、画像が飽和することがあり得る。このような場合においても、信号処理部２０は、露光の互いに異なる近赤外画像を示す第１の画像信号または第２の画像信号のいずれか１つを選択画像として選択すればよい。第１の画像信号から構成される画像に白飛びが発生しているような場合、信号処理部２０は、第２の画像信号を選択画像信号として選択すればよい。
Moreover, about a near-infrared image, an image may be saturated by the near-infrared illumination etc. which were mounted in the oncoming vehicle. Even in such a case, the
警告装置３０は、例えば、警告メッセージを表示するモニターおよび／または警告音を発するスピーカから構成され得る。警告装置３０は、距離情報に応じて、障害物または人物に衝突する危険性があることを運転者に警告する。
The
上述したように、衝突防止システム１００は、オプションとして、ブレーキ制御部４０を備えていてもよい。この場合、ブレーキ制御部４０は、速度を減速させるように距離情報に応じてブレーキを制御する。これにより、速度を減速させるためにブレーキを自動制御することが可能となり、障害物との衝突を回避することができる。
As described above, the
本実施の形態の衝突防止システム１００によれば、カラー画像と近赤外画像とは、光学系が共用化されているので、各画像の倍率は同一となり、視差ずれ、画素ずれなく各画像を取得できる。その際に、カラー画像と近赤外画像とにおいて、被写体のサイズ合わせ、位置合わせの補正を行わなくてもよい。従って、同じアルゴリズムを用いて障害物の距離を演算することができる。特に、遠距離にある被写体を認識するときは、カラー画像と近赤外画像とを厳格に合わせ込むことが求められる。このような場合においても、厳格な合わせ込みをしなくてもよい。
According to the
従来、近赤外光は障害物のセンシングに用いるだけでなく、例えば、車に搭載されたディスプレイに人物や車などの近赤外画像を表示し、運転者に視覚的に注意を促すことがなされている。しかしながら、近赤外画像はモノクロであり、目視での視認性が悪かった。 Conventionally, near-infrared light is not only used for sensing obstacles, but for example, a near-infrared image of a person or a car is displayed on the display mounted on the car, and the driver is visually alerted. Has been made. However, the near-infrared image is monochrome, and visual visibility is poor.
夜間であっても、道路環境において可視光を検知できない状況はまれである。車のテールランプは赤く点灯しており、道路標識および信号は夜間でも明るく表示されている。このため、カラー画像と近赤外画像とをディスプレイに重ねて表示すれば、視認性を向上させることができる。これにより、運転者は視覚的に容易に障害物を認識することができる。また、これ以外に、夜間のテールランプ、道路標識、信号を認識するときにカラー画像を利用することが有利であることは言うまでもない。 Even at night, it is rare to see visible light in the road environment. The car's tail lamp is lit red, and road signs and traffic lights are brightly displayed at night. For this reason, if a color image and a near-infrared image are superimposed and displayed on a display, visibility can be improved. As a result, the driver can easily recognize the obstacle visually. In addition to this, it goes without saying that it is advantageous to use a color image when recognizing a night tail lamp, a road sign, or a signal.
また、近赤外光を照射して近赤外画像を取得することは昼間実施しても構わない。近赤外光に対する衣服の反射率が高いので、人物を検知して認識する精度を向上させることができる。 Moreover, you may carry out daytime to irradiate near-infrared light, and to acquire a near-infrared image. Since the reflectance of clothes with respect to near infrared light is high, the accuracy of detecting and recognizing a person can be improved.
本実施の形態の衝突防止システム１００によれば、単体の撮像装置を用いて、互いに光学特性が異なる光の情報を有した画像を当時に取得できる。その結果、システムに搭載するカメラ台数を削減することができる。また、昼夜を問わず、障害物または人物の認識精度が向上する。さらに、ディスプレイ上の表示画像の視認性が向上する。
According to the
図６は、本実施の形態による衝突防止システム１００の処理フローの一例を示している。
FIG. 6 shows an example of a processing flow of the
まず、メモリ（不図示）に保持していた、最新よりも以前に取得したフレーム画像（参照画像）を読み出す（ステップＳ１１）。 First, a frame image (reference image) acquired before the latest, which is held in a memory (not shown), is read (step S11).
次に、信号処理部２０は、撮像装置から最新の画像信号を取得する（ステップＳ１２）。
Next, the
次に、信号処理部２０は、取得した画像信号から画像中の被写体を認識し、その大きさを検出する。例えば、信号処理部２０は、車のタイヤ形状、およびテールの４隅の形状を認識して、障害物が車であることを認識する。信号処理部２０は、車および人物の形状に関するバックデータからパターンマッチング用のテンプレートを作成する。信号処理部２０は、そのテンプレートを用いて車および人物を認識し、その大きさを検出する（ステップＳ１３）。なお、上記の説明は一例であり、障害物および人物の検出には、公知の方法を広く用いることができる。
Next, the
次に、信号処理部２０は、障害物が位置する画像中の画素位置を抽出する（ステップＳ１４）。
Next, the
次に、信号処理部２０は、物体間の距離について予めキャリブレーションをしている基準画素と障害物の画素位置との関係および障害物の大きさの情報から撮像装置から障害物までの距離情報を算出する（ステップＳ１５）。
Next, the
次に、信号処理部２０は、算出した距離情報に基づいて障害物に衝突する危険性を判定する（ステップＳ１６）。信号処理部２０は、衝突する危険性があると判定した場合、その判定結果を警告装置３０に送信する。警告装置３０は、衝突する危険性があることを運転者に警告する。または、ブレーキ制御部４０は、速度を減速させるように距離情報に応じてブレーキを制御してもよい。この結果、障害物との衝突が回避される（ステップＳ１６のＹｅｓ）。
Next, the
信号処理部２０は、衝突する危険性がないと判定した場合、最新のフレーム画像をメモリ内に書き込み、メモリ内の参照画像を更新する（ステップＳ１６のＮｏ）。
If the
このように、昼夜を問わず、カラー画像情報と近赤外画像情報を撮像装置から同時に得ることで、信頼性の高い障害物検知、危険回避が可能となる。 As described above, by obtaining color image information and near-infrared image information simultaneously from the imaging device regardless of day or night, highly reliable obstacle detection and danger avoidance are possible.
次に、本実施の形態の変形例を説明する。 Next, a modification of the present embodiment will be described.
上述した実施の形態では、撮像装置はカラー画像と近赤外画像とを取得する。しかしながら、光の波長帯としては別の組み合わせでもよい。例えば、画素Ｐ３およびＰ４に設けられたフィルタは、Ｒ、ＧおよびＢの３つのカラーフィルタでなくてもよく、Ｒのみフィルタであってもよい。車のテールランプ、道路標識および信号など危険を示すものから取得される画像情報は赤色の光の情報を多く含んでいるためである。テールランプに特定波長の光を発するＬＥＤを用いて、この波長を有する光のみを透過させるフィルタを撮像装置に設けてもよい。 In the embodiment described above, the imaging device acquires a color image and a near-infrared image. However, other combinations may be used for the wavelength band of light. For example, the filters provided in the pixels P3 and P4 may not be the three color filters of R, G, and B, and may be a filter of only R. This is because image information acquired from a vehicle indicating a danger such as a tail lamp, a road sign, and a signal contains a lot of red light information. A filter that transmits only light having this wavelength may be provided in the imaging device using an LED that emits light of a specific wavelength in the tail lamp.
また、上述した実施の形態では、絞りＳと、その近傍の光学素子Ｌ２ａおよびＬ２ｂとは、レンズ光学系Ｌと撮像素子Ｎとの間に配置されている。絞りＳは、レンズ間に配置されていてもよく、絞りＳの位置は特に限定されるものではない。光学素子Ｌ２ａおよびＬ２ｂは光学系Ｌ内に両方配置されていていなくてもよい。光学素子Ｌ２ａおよびＬ２ｂの一方のみが配置されていても構わない。 In the above-described embodiment, the diaphragm S and the optical elements L2a and L2b in the vicinity thereof are arranged between the lens optical system L and the image sensor N. The diaphragm S may be disposed between the lenses, and the position of the diaphragm S is not particularly limited. Both of the optical elements L2a and L2b may not be arranged in the optical system L. Only one of the optical elements L2a and L2b may be arranged.
また、上述した実施の形態では、光学素子Ｌ２ａおよびＬ２ｂをそれぞれ２分割し、それらを重ね合せることによって、光学素子Ｌ２の光学領域を４つに分割する例を示した。本発明は、これに限定されず、例えば、光学素子Ｌ２の光学領域を８分割にしてもよい。特に、光学素子Ｌ２の光学領域を２分割にする場合、マイクロレンズＭ２の代わりにレンチキュラレンズを用いることができる。 Further, in the above-described embodiment, the optical element L2a and L2b are each divided into two parts, and the optical region of the optical element L2 is divided into four parts by superimposing them. For example, the optical region of the optical element L2 may be divided into eight. In particular, when the optical region of the optical element L2 is divided into two, a lenticular lens can be used instead of the microlens M2.
図９は、この変形例によるアレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光軸Ｖに垂直な面内で横方向に細長い複数の光学要素Ｍ１が縦方向に配置されている。それぞれの光学要素Ｍ１の断面（縦方向および横方向それぞれの断面）は、撮像素子Ｎ側に突出した円弧状の形状を有している。このように、アレイ状光学素子Ｋはレンチキュラレンズの構成を有している。 FIG. 9 is a perspective view of an arrayed optical element K according to this modification. On the surface on the imaging element N side of the arrayed optical element K, a plurality of optical elements M1 elongated in the horizontal direction within a plane perpendicular to the optical axis V are arranged in the vertical direction. Each optical element M1 has a cross section (a cross section in the vertical direction and a horizontal direction) having an arc shape protruding toward the image sensor N. Thus, the arrayed optical element K has a lenticular lens configuration.
また、上述した実施の形態では、光学領域がＮＤフィルタとして機能する例を示した。本発明はこれに限定されず、例えば、ＮＤフィルタを偏光フィルタに交換すれば偏光した光の情報を有する画像を簡単に取得することもできる。偏光フィルタを用いた撮像を行うことによって、自車および前方車両のフロントガラスまたはリアガラスでの不要な映り込み、または濡れた路面での反射光をカットすることができる。また、ＮＤフィルタと偏光フィルタとから光学素子Ｌ２を形成することにより、ＨＤＲの画像および偏光した光の情報を有する画像を同時に取得することができる。 In the above-described embodiment, an example in which the optical region functions as an ND filter has been described. The present invention is not limited to this. For example, if an ND filter is replaced with a polarizing filter, an image having information on polarized light can be easily obtained. By performing imaging using a polarizing filter, unnecessary reflection on the windshield or rear glass of the host vehicle and the preceding vehicle, or reflected light on a wet road surface can be cut off. Further, by forming the optical element L2 from the ND filter and the polarizing filter, an HDR image and an image having information on polarized light can be simultaneously acquired.
再び、図２（ａ）を参照する。図２（ａ）に示すＮＤフィルタを偏光フィルタに交換する。その場合、光学領域Ａ１は、第１の偏光軸の方向に振動する光を透過させる第１の偏光特性を有する。第１の偏光軸の方向は、例えば、垂直（鉛直）方向である。また、光学領域Ａ２は、第１の偏光軸の方向とは異なる第２の偏光軸の方向に振動する光を透過させる第２の偏光特性を有する。第２の偏光軸の方向は、例えば、第１の偏光軸の方向に直交する方向、つまり水平方向である。本願明細書では、垂直方向に振動する光の偏光を垂直偏光と称し、水平方向に振動する光の偏光を水平偏光と称する。 Reference is again made to FIG. The ND filter shown in FIG. 2A is replaced with a polarizing filter. In that case, the optical region A1 has a first polarization characteristic that transmits light oscillating in the direction of the first polarization axis. The direction of the first polarization axis is, for example, a vertical (vertical) direction. The optical region A2 has a second polarization characteristic that transmits light that vibrates in the direction of the second polarization axis different from the direction of the first polarization axis. The direction of the second polarization axis is, for example, a direction orthogonal to the direction of the first polarization axis, that is, the horizontal direction. In this specification, the polarization of light that vibrates in the vertical direction is referred to as vertical polarization, and the polarization of light that vibrates in the horizontal direction is referred to as horizontal polarization.
光学素子Ｌ２は、垂直偏光の光を透過させる第１の偏光特性および近赤外光を透過させて可視光を透過させない第１の分光特性を有する光学領域Ｄ１、水平偏光の光を透過させる第２の偏光特性および第１の分光特性を有する光学領域Ｄ２、第２の偏光特性および可視光を透過させて近赤外光を透過させない第２の分光特性を有する光学領域Ｄ４、ならびに第１の偏光特性および第２の分光特性を有する光学領域Ｄ４を含んでいる。 The optical element L2 has an optical region D1 having a first polarization characteristic that transmits vertically polarized light and a first spectral characteristic that transmits near infrared light but does not transmit visible light, and first light that transmits horizontally polarized light. An optical region D2 having a polarization property of 2 and a first spectral property, an optical region D4 having a second polarization property and a second spectral property that transmits visible light but does not transmit near-infrared light, and the first An optical region D4 having polarization characteristics and second spectral characteristics is included.
光学領域Ｄ１を透過した光が撮像領域Ｃ１に入射し、光学領域Ｄ２を透過した光が撮像領域Ｃ２に入射し、光学領域Ｄ３を透過した光が撮像領域Ｃ３に入射し、光学領域Ｄ４を透過した光が撮像領域Ｃ４に入射する。 The light transmitted through the optical region D1 enters the imaging region C1, the light transmitted through the optical region D2 enters the imaging region C2, the light transmitted through the optical region D3 enters the imaging region C3, and passes through the optical region D4. The incident light enters the imaging region C4.
信号処理部２０は、撮像領域Ｃ１から取得された第１の画像信号または撮像領域Ｃ２から取得された第２の画像信号のいずれか１つの画像信号を選択し、撮像領域Ｃ３から取得された第３の画像信号または撮像領域Ｃ４から取得された第４の画像信号のいずれか１つの画像信号を選択する。このように、互いに偏光特性が異なるカラー画像および互いに偏光特性が異なる近赤外画像を同時に取得することができる。信号処理部２０は、互いに偏光特性が異なるカラー画像から画素が飽和していない一方を選択すればよいし、互いに偏光特性が異なる近赤外画像から画素が飽和していない一方を選択すればよい。その選択の条件は、上述したとおりである。
The
信号処理部２０は、それぞれ選択した画像信号の一方に基づいて距離情報を算出する。例えば、テールランプを認識するときは、信号処理部２０は、互いに偏光特性が異なるカラー画像から選択した一方に基づいて距離情報を算出すればよい。また、遠距離にある被写体を認識するときは、信号処理部２０は、選択したカラー画像および近赤外画像に基づいて距離情報を算出することができる。
The
次に、図７（ａ）および（ｂ）を参照しながら、本実施の形態の他の変形例を説明する。 Next, another modification of the present embodiment will be described with reference to FIGS. 7 (a) and 7 (b).
図７（ａ）および（ｂ）は、撮像素子Ｎの撮像面Ｎｉ上に形成されたアレイ状光学素子の断面図である。この変形例は、アレイ状光学素子Ｋ上に形成されたマイクロレンズアレイを撮像素子に形成したという点で、本実施の形態はと異なる。 FIGS. 7A and 7B are cross-sectional views of the arrayed optical element formed on the imaging surface Ni of the imaging element N. FIG. This modification is different from the present embodiment in that a microlens array formed on the arrayed optical element K is formed on the image sensor.
１つのマイクロレンズＭｄが複数の画素Ｐに対応している。このような構成であっても、本実施の形態と同様に、光学素子Ｌ２ａおよびＬ２ｂ上の異なる光学領域を通過した光束を、それぞれの光学領域に対応した撮像領域（画素）に導くことができる。また、図７（ｂ）に示す例では、マイクロレンズＭｄとマイクロレンズＭｓとが積層された構成である。このような構成にすることにより、図７（ａ）に示す構成と比べて光の集光効率を向上させることができる。特に車載においては種々の要因から振動が発生するので、堅牢な撮像装置が求められる。その場合、この変形例の撮像素子Ｎの構成は特に有用である。 One microlens Md corresponds to a plurality of pixels P. Even with such a configuration, similarly to the present embodiment, the light beams that have passed through different optical regions on the optical elements L2a and L2b can be guided to the imaging regions (pixels) corresponding to the respective optical regions. . In the example shown in FIG. 7B, the microlens Md and the microlens Ms are stacked. By adopting such a configuration, the light collection efficiency can be improved as compared with the configuration shown in FIG. In particular, in a vehicle, since vibration is generated due to various factors, a robust imaging device is required. In that case, the configuration of the imaging element N of this modification is particularly useful.
（実施の形態２）
図８を参照しながら、本実施の形態を説明する。
(Embodiment 2)
The present embodiment will be described with reference to FIG.
本実施の形態は、実施の形態１による撮像装置を対にしたステレオカメラを用いて衝突防止システムを構築する点において、実施の形態１とは異なる。 The present embodiment is different from the first embodiment in that a collision prevention system is constructed using a stereo camera in which the imaging device according to the first embodiment is paired.
図８は、本実施の形態による衝突防止システム２００の構成図である。実施の形態１による衝突防止システムの構成要素と同一のものには同じ参照符号を付している。衝突防止システム１００と共通の構成要素については、詳細な説明は省略する。
FIG. 8 is a configuration diagram of the
衝突防止システム２００は、撮像装置２０１および２０２と、画像信号演算部５０と、警告装置３０とを備えている。撮像装置２０１および２０２は、実施の形態１による撮像装置の構成と同じ構成を有している。なお、衝突防止システム２００は、オプションとして、ブレーキ制御部４０をさらに備えていてもよい。
The
撮像装置２０１および２０２は、それぞれの光軸Ｖの間隔を距離Ｄだけ離して衝突防止システム２００内に配置されている。撮像装置２０１および２０２はそれぞれ、互いに露光量が異なる第１および第２の画像信号（カラー画像）と、互いに露光量が異なる第３および第４の画像信号（近赤外画像画像）とを出力する。信号演算部５０は、撮像装置２０１および２０２から出力されたこれらの画像信号を処理する。
The
画像信号演算部５０は、三角測量法等を用いて、撮像装置２０１および２０２によって取得された同一波長の光の情報を有する画像信号から構成される画像間のずれ（視差量）を、両者の画像を比較することにより検出する。
The image
例えば、画像信号演算部５０は、撮像装置２０１から出力された第１の画像信号と撮像装置２０２から出力された第１の画像信号とに基づいて視差量を求め、下記の式１に従って被写体までの距離ｄを演算する。第１の画像信号は、近赤外光を透過させ、光の透過率が１００％である光学領域Ｄ１を通過して得られた光の情報を有している。なお、画像信号演算部５０は、撮像装置２０１から出力された第２の画像信号と撮像装置２０２から出力された第２の画像信号とに基づいて視差量を求めてもよい。画像信号演算部５０は、例えば、画素の飽和が発生していない画像に基づいて処理を行えばよい。
距離：ｄ＝ｌ×ｆ／（ｚ×ｐ） （式１）
ここで、ｌ（ｍｍ）は、Ｄ方向における基線の長さであり、ｆ（ｍｍ）は、レンズ光学系Ｌの焦点距離であり、ｐ（ｍｍ／画素）は、撮像素子Ｎの画素ピッチであり、ｚ（ｍｍ）は、視差量である。被写体までの距離ｄは、検出した視差量に反比例する。
For example, the image
Distance: d = 1 × f / (z × p) (Formula 1)
Here, l (mm) is the length of the base line in the D direction, f (mm) is the focal length of the lens optical system L, and p (mm / pixel) is the pixel pitch of the image sensor N. Yes, z (mm) is the amount of parallax. The distance d to the subject is inversely proportional to the detected amount of parallax.
画像信号演算部５０で得た各画像の距離情報と各画像の情報を用いて障害物検知を行う。
Obstacle detection is performed using the distance information of each image obtained by the image
画像信号演算部５０は、算出した距離情報および各画像情報に基づいて障害物に衝突する危険性を判定する。画像信号演算部５０は、衝突する危険性があると判定した場合、その判定結果を警告装置３０に送信する。警告装置３０は、衝突する危険性があることを運転者に警告する。または、ブレーキ制御部４０は、速度を減速させるように距離情報に応じてブレーキを制御してもよい。この結果、障害物との衝突が回避される。
The image
撮像装置２０１のから取得されるカラー画像と近赤外画像とには画素ずれがない。撮像装置２０２についても同様である。従って、ステレオカメラを用いて視差量を抽出する演算では、カラー画像および近赤外画像の演算アルゴリズムを共有化することができる。また、視差量と絶対距離との相関を確保するために実行するキャリブレーションも同時に行うことができる。
There is no pixel shift between the color image and the near-infrared image acquired from the
従来、ステレオカメラを昼夜で作動させるためには、２つのカラーカメラと、２つの近赤外カメラとが必要であった。 Conventionally, in order to operate a stereo camera day and night, two color cameras and two near-infrared cameras are required.
本実施の形態によれば、衝突防止システムを２つの撮像装置によって構成できるだけでなく、演算処理、キャリブレーションの簡素化が図れる。また、変動するパラメータ数の削減によりロバスト性の高い衝突防止システムを構築することができる。 According to the present embodiment, not only the collision prevention system can be configured by two imaging devices, but also arithmetic processing and calibration can be simplified. In addition, a highly robust anti-collision system can be constructed by reducing the number of fluctuating parameters.
なお、ステレオカメラにおいては近距離の障害物の距離を検知するとき、視差量が大きくなり、その検出精度が高くなる。一方、単一のカメラにおいては、障害物が近づくと、画像中の障害物のサイズ、および画素の位置が短時間で変動してしまう。このため、遠方にある障害物の距離を検知するときには単一のカメラを用いて撮影を行った方がよい。このように、両者は互いに補完し合う関係にある。障害物の距離を検出するときは、単一カメラを用いた撮影とステレオカメラを用いた撮影とを障害物までの距離に応じて切り替えることが好適である。 Note that in a stereo camera, when detecting the distance of a nearby obstacle, the amount of parallax increases and the detection accuracy increases. On the other hand, in the single camera, when the obstacle approaches, the size of the obstacle in the image and the position of the pixel change in a short time. For this reason, when detecting the distance of a distant obstacle, it is better to take a picture using a single camera. Thus, both are in a mutually complementary relationship. When detecting the distance of an obstacle, it is preferable to switch between shooting using a single camera and shooting using a stereo camera according to the distance to the obstacle.
本発明の技術はさらに、上述の衝突の危険性を判定する処理を規定するソフトウェア（プログラム）にも適用され得る。そのようなプログラムに規定される動作は、例えば図６に示すとおりである。このようなプログラムは、可搬型の記録媒体に記録されて提供され得る他、電気通信回線を通じても提供され得る。コンピュータに内蔵されたプロセッサがこのようなプログラムを実行することにより、上記の実施の形態で説明した各種動作を実現することができる。 The technique of the present invention can also be applied to software (program) that defines the above-described process for determining the risk of collision. The operation defined in such a program is, for example, as shown in FIG. Such a program can be provided by being recorded on a portable recording medium or can be provided through a telecommunication line. Various operations described in the above embodiment can be realized by a processor built in the computer executing such a program.
本願に開示された衝突防止システムは、自動車、および電車などの乗り物に搭載されるシステムに利用できる。 The collision prevention system disclosed in the present application can be used for a system mounted on a vehicle such as an automobile and a train.
１０ ：コントローラ
２０ ：信号処理部
３０ ：警告装置
４０ ：ブレーキ制御部
５０ ：画像信号演算部
１００、２００ ：衝突防止システム
２０１，２０１ ：撮像装置
Ｋ ：アレイ状光学素子
Ｌ ：レンズ光学系
Ｌ１ ：レンズ
Ｌ２、Ｌ２ａ、Ｌ２ｂ ：光学素子
Ｍ１、Ｍ２ ：光学要素
Ｍ２Ｉ ：単位領域
Ｍｓ ：マイクロレンズ
Ｎ ：撮像素子
Ｎｉ ：撮像面
Ｐ ：画素
Ｓ ：絞り
Ｖ ：光軸
DESCRIPTION OF SYMBOLS 10: Controller 20: Signal processing part 30: Warning apparatus 40: Brake control part 50: Image
Claims (13)
レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号を出力する撮像装置と、
前記複数の画像信号の少なくとも１つの画像信号に基づいて、前記画像に含まれる前記障害物または人物を検出し、前記撮像装置と前記障害物または人物との間の距離情報を算出して、前記距離情報に基づいて前記障害物または人物に衝突する危険性を判定する信号処理部と、
を備えた、衝突防止システム。 A collision prevention system for preventing a collision with the obstacle or person by analyzing an image of the obstacle or the person,
A lens, a lens optical system including at least two optical regions having different optical characteristics, an image pickup device having at least two image pickup regions on which light transmitted through the lens optical system is incident, the lens optical system, and the image pickup device And an array-like optical element that causes light that has passed through each optical region of the at least two optical regions to enter each imaging region of the at least two imaging regions corresponding to each optical region. An imaging device that has information on light that has passed through each of the optical regions, and that outputs a plurality of image signals acquired from the imaging regions;
Based on at least one image signal of the plurality of image signals, the obstacle or person included in the image is detected, distance information between the imaging device and the obstacle or person is calculated, A signal processing unit for determining a risk of colliding with the obstacle or person based on distance information;
With anti-collision system.
前記信号処理部は、前記複数の第１の画像信号からいずれか１つの第３の画像信号を選択し、第２の画像信号からいずれか１つの第４の画像信号を選択し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出する、請求項１に記載の衝突防止システム。 The plurality of image signals include a plurality of first image signals having near-infrared light information and a plurality of second image signals having visible light information,
The signal processing unit selects any one third image signal from the plurality of first image signals, selects any one fourth image signal from the second image signal, and the third image signal. The collision prevention system according to claim 1, wherein the distance information is calculated based on a fourth image signal.
前記信号処理部は、前記複数の第１の画像信号を合成して第３の画像信号を生成し、前記複数の第２の画像信号を合成して第４の画像信号を生成し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出する、請求項１に記載の衝突防止システム。 The plurality of image signals include a plurality of first image signals having near-infrared light information and a plurality of second image signals having visible light information,
The signal processing unit combines the plurality of first image signals to generate a third image signal, combines the plurality of second image signals to generate a fourth image signal, and The collision prevention system according to claim 1, wherein the distance information is calculated based on 3 and / or a fourth image signal.
前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、
前記信号処理部は、前記第１の撮像領域から取得された第５の画像信号および前記第２の撮像領域から取得された第６の画像信号のいずれか１つの第３の画像信号を選択し、前記第３の撮像領域から取得された第７の画像信号および前記第４の撮像領域から取得された第８の画像信号のいずれか１つの第４の画像信号を選択し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出する、請求項２に記載の衝突防止システム。 The at least two optical regions have a first transmittance characteristic and a first optical region having a first spectral characteristic that transmits near-infrared light and does not transmit visible light; and the first transmittance characteristic Second optical regions having different second transmittance characteristics and the first spectral characteristics, the second transmittance characteristics, and the second spectral characteristics that transmit the visible light and do not transmit the near-infrared light. And a fourth optical region having the first transmittance characteristic and the second spectral characteristic,
The at least two imaging regions include a first imaging region corresponding to the first optical region, a second imaging region corresponding to the second optical region, and a third corresponding to the third optical region. An imaging region, and a fourth imaging region corresponding to the fourth optical region,
The signal processing unit selects a third image signal that is one of a fifth image signal acquired from the first imaging region and a sixth image signal acquired from the second imaging region. A fourth image signal selected from any one of a seventh image signal acquired from the third imaging region and an eighth image signal acquired from the fourth imaging region, and the third and The collision prevention system according to claim 2, wherein the distance information is calculated based on a fourth image signal.
前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、
前記信号処理部は、前記第１の撮像領域から取得された第５の画像信号および前記第２の撮像領域から取得された第６の画像信号を合成して第３の画像信号を生成し、前記第３の撮像領域から取得された第７の画像信号および前記第４の撮像領域から取得された第８の画像信号を合成して第４の画像信号を生成し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出する、請求項３に記載の衝突防止システム。 The at least two optical regions have a first transmittance characteristic and a first optical region having a first spectral characteristic that transmits near-infrared light and does not transmit visible light; and the first transmittance characteristic Second optical regions having different second transmittance characteristics and the first spectral characteristics, the second transmittance characteristics, and the second spectral characteristics that transmit the visible light and do not transmit the near-infrared light. And a fourth optical region having the first transmittance characteristic and the second spectral characteristic,
The at least two imaging regions include a first imaging region corresponding to the first optical region, a second imaging region corresponding to the second optical region, and a third corresponding to the third optical region. An imaging region, and a fourth imaging region corresponding to the fourth optical region,
The signal processing unit generates a third image signal by combining the fifth image signal acquired from the first imaging region and the sixth image signal acquired from the second imaging region, A seventh image signal acquired from the third imaging region and an eighth image signal acquired from the fourth imaging region are combined to generate a fourth image signal, and the third and / or The collision prevention system according to claim 3, wherein the distance information is calculated based on a fourth image signal.
前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、
前記信号処理部は、前記第１の撮像領域から取得された第５の画像信号または前記第２の撮像領域から取得された第６の画像信号のいずれか１つの第３の画像信号を選択し、前記第３の撮像領域から取得された第７の画像信号または前記第４の撮像領域から取得された第８の画像信号のいずれか１つの第４の画像信号を選択し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出する、請求項２に記載の衝突防止システム。 The at least two optical regions have a first polarization characteristic that transmits light oscillating in the direction of the first polarization axis and a first spectral characteristic that transmits near-infrared light and does not transmit visible light. The second optical region having a second polarization characteristic that transmits light oscillating in a direction of a second polarization axis different from the direction of the first polarization axis, and the second optical region having the first spectral characteristic, A third optical region having a second polarization characteristic and a second spectral characteristic which transmits the visible light and does not transmit the near-infrared light; and has the first polarization characteristic and the second spectral characteristic Including a fourth optical region;
The at least two imaging regions include a first imaging region corresponding to the first optical region, a second imaging region corresponding to the second optical region, and a third corresponding to the third optical region. An imaging region, and a fourth imaging region corresponding to the fourth optical region,
The signal processing unit selects a third image signal that is one of a fifth image signal acquired from the first imaging region or a sixth image signal acquired from the second imaging region. A fourth image signal selected from any one of a seventh image signal acquired from the third imaging region or an eighth image signal acquired from the fourth imaging region, and the third and The collision prevention system according to claim 2, wherein the distance information is calculated based on a fourth image signal.
レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する第１および第２の撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から得られる複数の画像信号を出力する第１および第２の撮像装置と、
前記第１の撮像装置から出力される前記複数の画像信号の少なくとも１つの画像信号と、前記第２の撮像装置から出力される前記複数の画像信号の少なくとも１つの画像信号とから得られる視差量を用いて、前記撮像装置と前記障害物または人物との間の距離情報を算出する信号処理部と、
を備えた、衝突防止システム。 A collision prevention system for preventing a collision with the obstacle or person by analyzing an image of the obstacle or the person,
A lens, a lens optical system including at least two optical regions having different optical characteristics, an image pickup device having at least two image pickup regions on which light transmitted through the lens optical system is incident, the lens optical system, and the image pickup device And an array of optical elements that allow light that has passed through the optical regions of the at least two optical regions to enter the imaging regions of the at least two imaging regions. A first and second imaging device having information on light that has passed through each optical region and outputting a plurality of image signals obtained from each imaging region;
The amount of parallax obtained from at least one image signal of the plurality of image signals output from the first imaging device and at least one image signal of the plurality of image signals output from the second imaging device A signal processing unit that calculates distance information between the imaging device and the obstacle or person;
With anti-collision system.
前記複数の画像信号の少なくとも１つの画像信号に基づいて、前記画像に含まれる前記障害物または人物を検出し、前記撮像装置と前記障害物または人物との間の距離情報を算出するステップと、
前記距離情報に基づいて前記障害物または人物に衝突する危険性を判定するステップと
を包含する、衝突防止方法。 A lens, a lens optical system including at least two optical regions having different optical characteristics, an image pickup device having at least two image pickup regions on which light transmitted through the lens optical system is incident, the lens optical system, and the image pickup device And an array-like optical element that causes light that has passed through each optical region of the at least two optical regions to enter each imaging region of the at least two imaging regions corresponding to each optical region. Analyzing an image of an obstacle or a person using an imaging device that has information on light that has passed through each optical region and outputs a plurality of image signals acquired from each imaging region A collision preventing method for preventing a collision with the obstacle or the person,
Detecting the obstacle or person included in the image based on at least one image signal of the plurality of image signals, and calculating distance information between the imaging device and the obstacle or person;
And determining a risk of collision with the obstacle or person based on the distance information.
前記複数の画像信号の少なくとも１つの画像信号に基づいて、前記画像に含まれる前記障害物または人物を検出し、前記撮像装置と前記障害物または人物との間の距離情報を算出するステップと、
前記距離情報に基づいて前記障害物または人物に衝突する危険性を判定するステップと
を実行させるコンピュータプログラム。 A lens, a lens optical system including at least two optical regions having different optical characteristics, an image pickup device having at least two image pickup regions on which light transmitted through the lens optical system is incident, the lens optical system, and the image pickup device And an array-like optical element that causes light that has passed through each optical region of the at least two optical regions to enter each imaging region of the at least two imaging regions corresponding to each optical region. Analyzing an image of an obstacle or a person using an imaging device that has information on light that has passed through each optical region and outputs a plurality of image signals acquired from each imaging region A computer program used in a collision prevention system for preventing a collision with the obstacle or a person, the collision prevention The stem of the computer,
Detecting the obstacle or person included in the image based on at least one image signal of the plurality of image signals, and calculating distance information between the imaging device and the obstacle or person;
And a step of determining a risk of collision with the obstacle or person based on the distance information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014072209A JP2015195489A (en) | 2014-03-31 | 2014-03-31 | Collision preventing system, collision preventing method and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014072209A JP2015195489A (en) | 2014-03-31 | 2014-03-31 | Collision preventing system, collision preventing method and computer program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015195489A true JP2015195489A (en) | 2015-11-05 |
Family
ID=54434177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014072209A Pending JP2015195489A (en) | 2014-03-31 | 2014-03-31 | Collision preventing system, collision preventing method and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015195489A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017167115A (en) * | 2016-03-14 | 2017-09-21 | パナソニックＩｐマネジメント株式会社 | Optical detection device |
| JP2018025528A (en) * | 2016-04-06 | 2018-02-15 | パナソニックＩｐマネジメント株式会社 | Detection device, detection method and detection program |
| JP2018141681A (en) * | 2017-02-27 | 2018-09-13 | アイホン株式会社 | Distance measurement device |
| WO2019039144A1 (en) * | 2017-08-21 | 2019-02-28 | ソニー株式会社 | Image capture device, image capture method, and program |
| WO2020071144A1 (en) * | 2018-10-04 | 2020-04-09 | ソニー株式会社 | Information processing device, information processing method, and program |
-
2014
- 2014-03-31 JP JP2014072209A patent/JP2015195489A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017167115A (en) * | 2016-03-14 | 2017-09-21 | パナソニックＩｐマネジメント株式会社 | Optical detection device |
| JP2018025528A (en) * | 2016-04-06 | 2018-02-15 | パナソニックＩｐマネジメント株式会社 | Detection device, detection method and detection program |
| JP2018141681A (en) * | 2017-02-27 | 2018-09-13 | アイホン株式会社 | Distance measurement device |
| WO2019039144A1 (en) * | 2017-08-21 | 2019-02-28 | ソニー株式会社 | Image capture device, image capture method, and program |
| US11223781B2 (en) | 2017-08-21 | 2022-01-11 | Sony Corporation | Image-capturing apparatus and image-capturing method |
| WO2020071144A1 (en) * | 2018-10-04 | 2020-04-09 | ソニー株式会社 | Information processing device, information processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104512411B (en) | Vehicle control system and imaging sensor | |
| US9424462B2 (en) | Object detection device and object detection method | |
| US11117529B2 (en) | Capturing camera | |
| US9269006B2 (en) | Imaging apparatus, vehicle system, and image-processing method for image magnification and expansion | |
| US20130010106A1 (en) | Ranging camera apparatus | |
| WO2018003532A1 (en) | Object detection and display apparatus, moving body, and object detection and display method | |
| JP2015195489A (en) | Collision preventing system, collision preventing method and computer program | |
| EP3085073A1 (en) | Object detection apparatus, moving body device control system and program thereof | |
| JP2010257282A (en) | Obstacle detection device and vehicle with the device mounted thereon | |
| JP5772714B2 (en) | Light detection device and vehicle control system | |
| CN103370224A (en) | Vehicle having a device for detecting the surroundings of said vehicle | |
| JP2010204059A (en) | Raindrop detection apparatus and on-vehicle monitoring apparatus | |
| JP7098790B2 (en) | Imaging control device and moving object | |
| JP2020057869A (en) | Imaging apparatus | |
| JP2006322795A (en) | Image processing device, image processing method and image processing program | |
| CN104618665B (en) | Multiple imager vehicle optical sensor system | |
| JP5179428B2 (en) | Vehicle periphery monitoring device | |
| JP5839253B2 (en) | Object detection device and in-vehicle device control device including the same | |
| JP2010271143A (en) | Imaging device, distance measuring device, exterior monitoring device, and imaging method | |
| JP2017129543A (en) | Stereo camera device and vehicle | |
| JP6204844B2 (en) | Vehicle stereo camera system | |
| JP2013250694A (en) | Image processing apparatus | |
| JP4795813B2 (en) | Vehicle perimeter monitoring device | |
| JP6266022B2 (en) | Image processing device, alarm device, and image processing method | |
| JP6152646B2 (en) | Compound eye camera device and vehicle equipped with the same |