JP2011007668A - Color-type object display system - Google Patents

Color-type object display system Download PDF

Info

Publication number
JP2011007668A
JP2011007668A JP2009152206A JP2009152206A JP2011007668A JP 2011007668 A JP2011007668 A JP 2011007668A JP 2009152206 A JP2009152206 A JP 2009152206A JP 2009152206 A JP2009152206 A JP 2009152206A JP 2011007668 A JP2011007668 A JP 2011007668A
Authority
JP
Japan
Prior art keywords
color
distance
image
infrared light
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009152206A
Other languages
Japanese (ja)
Inventor
Masatoshi Togashi
正敏 富樫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alps Alpine Co Ltd
Original Assignee
Alps Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alps Electric Co Ltd filed Critical Alps Electric Co Ltd
Priority to JP2009152206A priority Critical patent/JP2011007668A/en
Publication of JP2011007668A publication Critical patent/JP2011007668A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a color-type object display system that displays surrounding objects as color image, and displays it so that it can be recognized instantaneously that the distance to the object is smaller than a predetermined distance.SOLUTION: The color-type object display system includes a color-type CMOS sensor 19 having an R pixel, G pixel and B pixel; a distance determining means 22 for determining whether the distance to the object is located within a set distance range based on infrared light received by the CMOS sensor; an image processing means 23 for alternately generating a color image based on an electric signal of the R pixel, G pixel; and B pixel and a determined result image, based on the determined result of the distance determining means, and a monitor 24 for alternately displaying the color image and the determination result image, at a time interval that allows occurrence of a time-afterimage phenomenon.

Description

本発明は、例えば自動車に搭載可能で、周囲の対象物をカラーで表示可能でき、しかも対象物までの距離が所定の距離より近いことを瞬時に認識できるカラー式対象物表示システムに関する。   The present invention relates to a color object display system that can be mounted on, for example, an automobile, can display surrounding objects in color, and can instantly recognize that the distance to the object is closer than a predetermined distance.

自動車に搭載可能で、周囲の対象物（例えば、人、他の自動車などの障害物）をモニタに表示可能で、しかも自動車から対象物までの距離をモニタに表示可能な対象物表示システムの従来例としては特許文献１に開示されたものがある。
この対象物表示システムは、赤外線撮像装置と、レーザ光を利用した対象物までの距離を測距可能な測距装置と、赤外線撮像装置によって得られた画像および測距装置が取得した距離値（数値）を表示するモニタと、を具備している。
従って、自動車の運転手はモニタを見ることによって、自動車の周囲に位置する対象物及び自動車（赤外線撮像装置）から対象物までの距離を認識できる。 Conventional object display system that can be mounted on an automobile, can display surrounding objects (for example, obstacles such as people and other automobiles) on a monitor, and can display the distance from the automobile to the object on the monitor. An example is disclosed in Patent Document 1.
This object display system includes an infrared imaging device, a distance measuring device capable of measuring a distance to an object using laser light, an image obtained by the infrared imaging device, and a distance value acquired by the distance measuring device ( And a monitor for displaying numerical values).
Accordingly, the driver of the automobile can recognize the object located around the automobile and the distance from the automobile (infrared imaging device) to the object by looking at the monitor.

特開平５−１１０５２号公報Japanese Patent Laid-Open No. 5-11052

しかし特許文献１の対象物表示システムは、自動車から対象物までの距離を数値で表示するため、運転手にとって当該距離が危険な距離であるか否かを瞬時に判断するのが難しい。
さらに、モニタに表示される画像がモノクロ画像であるため、運転手にとって対象物を正確に識別するのが容易でない。 However, since the object display system of Patent Document 1 displays the distance from the automobile to the object as a numerical value, it is difficult for the driver to instantaneously determine whether the distance is a dangerous distance.
Furthermore, since the image displayed on the monitor is a monochrome image, it is not easy for the driver to accurately identify the object.

本発明は、周囲の対象物をカラー画像として表示可能であり、しかも対象物までの距離が所定の距離より近いことを瞬時に認識できるように表示できるカラー式対象物表示システムを提供することを目的とする。   The present invention provides a color object display system capable of displaying surrounding objects as a color image and capable of displaying so that the distance to the object is closer than a predetermined distance can be instantly recognized. Objective.

本発明のカラー式対象物表示システムは、赤外光を対象物に向かって断続的に発する赤外光光源と、多数のＲ画素、Ｇ画素、及び、Ｂ画素を有し、光を受光することにより電気信号を発するＣＭＯＳセンサと、上記各Ｒ画素が上記赤外光を受光したときに、上記赤外光光源が赤外光を発してから各Ｒ画素が該赤外光に基づく電気信号を出すまでの時間差に基づいて、基準位置から上記対象物までの距離を演算する距離演算手段と、上記対象物までの距離が予め設定した少なくとも一つの設定距離範囲に含まれるか否かを、上記距離演算手段の演算結果に基づいて判定する距離判定手段と、上記Ｒ画素、Ｇ画素、及び、Ｂ画素の各電気信号に基づくカラー画像と、上記距離判定手段の判定結果に基づく判定結果画像と、をそれぞれ所定の間隔で生成する画像処理手段と、上記判定結果画像の表示間隔を時間残像現象が生じ得る時間間隔とした上で、上記カラー画像と上記判定結果画像を順次表示するモニタと、を備えることを特徴としている。   The color object display system of the present invention has an infrared light source that intermittently emits infrared light toward the object, a large number of R pixels, G pixels, and B pixels, and receives light. When the R pixel receives the infrared light when the CMOS sensor emits an electric signal, the infrared light source emits the infrared light and then the R pixel outputs the electric signal based on the infrared light. Whether or not the distance calculation means for calculating the distance from the reference position to the target object based on the time difference until the output, and whether the distance to the target object is included in at least one preset distance range, Distance determination means for determining based on the calculation result of the distance calculation means, a color image based on the electrical signals of the R pixel, G pixel, and B pixel, and a determination result image based on the determination result of the distance determination means And at predetermined intervals And a monitor for sequentially displaying the color image and the determination result image after setting the display interval of the determination result image to a time interval at which a time afterimage phenomenon may occur. .

上記判定結果画像は、例えば、上記対象物の外形線に対応する領域または対象物の少なくとも一部に対応する領域に表された特定の色とすることが可能である。   The determination result image can be, for example, a specific color represented in an area corresponding to the outline of the object or an area corresponding to at least a part of the object.

上記設定距離範囲を複数設定し、上記判定結果画像の色を、対応する上記設定距離範囲ごとに異なせてもよい。   A plurality of the set distance ranges may be set, and the color of the determination result image may be different for each corresponding set distance range.

上記赤外光光源、ＣＭＯＳセンサ、距離演算手段、距離判定手段、画像処理手段、及びモニタを自動車に搭載し、かつ、上記赤外光光源及びＣＭＯＳセンサを上記自動車の後部に設けてもよい。   The infrared light source, the CMOS sensor, the distance calculation means, the distance determination means, the image processing means, and the monitor may be mounted on the automobile, and the infrared light source and the CMOS sensor may be provided on the rear part of the automobile.

本発明のカラー式対象物表示システムの撮像素子は、Ｒ画素、Ｇ画素、及び、Ｂ画素を有するＣＭＯＳセンサなので、モニタには対象物をカラー画像として表示できる。そのため、使用者はモニタに表示される対象物を正確に認識できる。
しかも、モニタに表示された対象物までの距離が所定の設定距離範囲にある場合に使用者がモニタを見ると、当該使用者はモニタにカラー画像が表示されている瞬間に判定結果画像（例えば、当該対象物の外形線や対象物全体に重ねて色付けした赤色の表示）を時間残像として同時に認識するので、当該対象物が設定距離範囲にある（所定の基準距離より近くにある）ことを瞬時に認識できる。そのため、本システムを自動車に搭載すれば、運転手は自動車が対象物に接触する危険を未然に防止し易くなる。 Since the image sensor of the color object display system of the present invention is a CMOS sensor having R pixels, G pixels, and B pixels, the object can be displayed as a color image on the monitor. Therefore, the user can accurately recognize the object displayed on the monitor.
Moreover, when the user views the monitor when the distance to the object displayed on the monitor is within a predetermined set distance range, the user sees the determination result image (for example, at the moment when the color image is displayed on the monitor). , The outline of the object and the red display colored over the entire object) are simultaneously recognized as a time afterimage, so that the object is within the set distance range (closer to a predetermined reference distance). It can be recognized instantly. Therefore, if this system is installed in an automobile, the driver can easily prevent the danger of the automobile coming into contact with the object.

本発明のカラー式対象物表示システムを自動車に搭載した一実施形態を示す平面図である。It is a top view which shows one Embodiment which mounted the color type object display system of this invention in the motor vehicle. カラー式対象物表示システムの全体構成を示すブロック図である。It is a block diagram which shows the whole structure of a color type object display system. カラー式対象物表示システムの各構成の動作を示すタイミングチャートである。It is a timing chart which shows operation | movement of each structure of a color type object display system. （ａ）はカラー画像を表示しているときのモニタの正面図であり、（ｂ）は外形線上に色処理を施した赤外線画像を表示しているときのモニタの正面図であり、（ｃ）は運転手や乗客が（ａ）の画像を見ているときに実際に認識する画像である。(A) is a front view of the monitor when displaying a color image, (b) is a front view of the monitor when displaying an infrared image subjected to color processing on the outline, (c) ) Is an image that is actually recognized when the driver or passenger is viewing the image of (a).

以下、添付図面を参照しながら、カラー式対象物表示システム１０を自動車Ｍに搭載した本発明の一実施形態について説明する。
カラー式対象物表示システム１０は図２に示すように大きな構成要素として、カメラユニット１５、演算手段２２、画像処理装置２３、及びモニタ２４を具備している。
自動車Ｍの後端部に固定したカメラユニット１５は、ケース１６と、ケース１６の後端面に後方に露出する態様で固定したレンズ１７及び赤外光光源１８と、ケース１６の内部に固定したレンズ１７の直前に位置するＣＭＯＳセンサ１９と、を備えている。
赤外光光源１８はＬＥＤ（Light Emitting Diode）からなるものであり、周波数を１０ＭＨｚ（メガヘルツ）に変調した赤外光Ｌ（図１、図２参照）を後方に向かって放射状に発射する。
ＣＭＯＳセンサ１９はカラー式の撮像素子であり、その後面に形成された撮像面２０は、緑色の原色フィルタによって表面（後面）を覆った多数のＧ画素（受光素子）と、青色の原色フィルタによって表面を覆った多数のＢ画素（受光素子）と、赤色の原色フィルタによって表面を覆った多数のＲ画素（受光素子）とによって構成してある。撮像面２０の各画素にレンズ１７を通して光（自然光、赤外光Ｌ）が入射すると各画素は撮像動作を行い、対応するフィルタと同じ色の色信号（電気信号）をそれぞれ出力する。図３のタイミングチャートに示すようにＣＭＯＳセンサ１９の動作周波数も１０ＭＨｚであり、その動作タイミングは赤外光光源１８の発光タイミングと同期させてある。 Hereinafter, an embodiment of the present invention in which a color object display system 10 is mounted on an automobile M will be described with reference to the accompanying drawings.
As shown in FIG. 2, the color object display system 10 includes a camera unit 15, a calculation unit 22, an image processing device 23, and a monitor 24 as large components.
The camera unit 15 fixed to the rear end portion of the automobile M includes a case 16, a lens 17 and an infrared light source 18 fixed in a manner exposed to the rear end surface of the case 16, and a lens fixed inside the case 16. 17 and a CMOS sensor 19 located immediately before 17.
The infrared light source 18 is composed of an LED (Light Emitting Diode), and emits infrared light L (see FIGS. 1 and 2) whose frequency is modulated to 10 MHz (megahertz) radially toward the rear.
The CMOS sensor 19 is a color image pickup device. An image pickup surface 20 formed on the rear surface of the CMOS sensor 19 includes a large number of G pixels (light receiving elements) whose surface (rear surface) is covered with a green primary color filter and a blue primary color filter. It is composed of a large number of B pixels (light receiving elements) covering the surface and a large number of R pixels (light receiving elements) covering the surface with a red primary color filter. When light (natural light, infrared light L) is incident on each pixel on the imaging surface 20 through the lens 17, each pixel performs an imaging operation and outputs a color signal (electric signal) of the same color as the corresponding filter. As shown in the timing chart of FIG. 3, the operating frequency of the CMOS sensor 19 is also 10 MHz, and the operation timing is synchronized with the light emission timing of the infrared light source 18.

ＣＭＯＳセンサ１９は、カメラユニット１５とは別体の演算手段２２及び画像処理装置２３とそれぞれ電気的に接続している。さらに、赤外光光源１８は演算手段２２と電気的に接続しており、演算手段２２と画像処理装置２３どうしも電気的に接続している。
赤外光光源１８は赤外光Ｌを４０万回発射する毎に１回ずつ（即ち、１／２５秒（Ｓ）毎に１回ずつ）演算手段（距離演算手段）（距離判定手段）２２に対して第１測距用信号を出す。また、ＣＭＯＳセンサ１９の各Ｒ画素は、赤外光光源１８が第１測距用信号を出すのと同時に発射しかつ自動車Ｍの後方に位置する対象物（障害物）によって反射された赤外光Ｌを受光するタイミングで、演算手段２２に対して第２測距用信号を出力する。図３のタイミングチャートに示すように演算手段２２は、第１測距用信号を受信してから第２測距用信号を受光するまので時間差τ（図３参照）に基づいて、各Ｒ画素（基準位置）から各Ｒ画素に赤外光Ｌを反射した対象物までの距離を１／２５秒間隔で断続的に測距演算する。さらに、演算手段２２に内蔵したメモリには予め３つの基準距離範囲データが記憶してある。第１の基準距離範囲は１ｍ未満の範囲、第２の基準距離範囲は１ｍ以上３ｍ未満の範囲、第３の基準距離範囲は３ｍ以上５ｍ未満の範囲として設定してある。そして演算手段２２は図３のタイミングチャートに示すように、各Ｒ画素が第２測距用信号を出した瞬間における各Ｒ画素から各Ｒ画素が撮像した対象物までの距離が、上記３つの基準距離範囲に入るか否かを上記測距演算と同時に判定する。 The CMOS sensor 19 is electrically connected to the calculation means 22 and the image processing device 23 which are separate from the camera unit 15. Further, the infrared light source 18 is electrically connected to the calculation means 22, and the calculation means 22 and the image processing device 23 are also electrically connected.
The infrared light source 18 calculates the infrared light L once every 400,000 times (that is, once every 1/25 second (S)) calculating means (distance calculating means) (distance determining means) 22 For the first distance measurement signal. In addition, each R pixel of the CMOS sensor 19 emits infrared light simultaneously with the infrared light source 18 outputting a first distance measurement signal and is reflected by an object (obstacle) located behind the automobile M. At the timing when the light L is received, a second ranging signal is output to the computing means 22. As shown in the timing chart of FIG. 3, the calculation means 22 receives each first R ranging signal and receives the second ranging signal until the second ranging signal is received, based on the time difference τ (see FIG. 3). The distance from the (reference position) to the object reflecting the infrared light L to each R pixel is intermittently calculated at intervals of 1/25 seconds. Furthermore, three reference distance range data are stored in advance in a memory built in the calculation means 22. The first reference distance range is set as a range less than 1 m, the second reference distance range is set as a range from 1 m to less than 3 m, and the third reference distance range is set as a range from 3 m to less than 5 m. Then, as shown in the timing chart of FIG. 3, the calculating means 22 has the above three distances from each R pixel to the object imaged by each R pixel at the moment when each R pixel outputs the second distance measurement signal. Whether or not to enter the reference distance range is determined simultaneously with the distance measurement calculation.

ＣＭＯＳセンサ１９が１０ＭＨｚの動作周波数で撮像動作を行うと、画像処理装置２３が各Ｇ画素、Ｂ画素、Ｒ画素からの色信号（電気信号）を４０万回に１回の間隔（１／２５秒間隔）で受信し、画像処理装置２３がすべての色信号に基づくカラー画像を１／２５秒間隔で断続的に生成する。また画像処理装置２３は、各Ｒ画素が第２測距用信号を出すのと同時に出力する赤外光Ｌに基づく色信号（電気信号）を４０万回に１回の間隔（１／２５秒間隔）で受信し、各Ｒ画素からの色信号に基づいて赤外光画像を１／２５断続的に生成する。画像処理手段２３は、これらのタイミング以外でＲ画素、Ｇ画素及びＢ画素から出力される色信号については全て無視し画像処理は行わない。図３に示すように、赤外光画像の生成はカラー画像の生成タイミングとはずれており、演算手段２２の測距演算及び判定演算と同じタイミングで行われる。さらに画像処理装置２３は、赤外光画像の生成と同時に、生成した赤外光画像の外形線に対応する部分を撮像したＲ画素から対象物までの距離（測距結果）に関する演算手段２２による判定結果に基づいて、第１の基準距離範囲に位置する対象物の赤外光画像の外形線部分を「赤色（判定結果画像）」で表示し、第２の基準距離範囲に位置する対象物の赤外光画像の外形線を「黄色（判定結果画像）」で表示し、第３の基準距離範囲に位置する対象物の赤外光画像の外形線を「緑色（判定結果画像）」で表示する。
モニタ２４は車内の前部（例えばハンドルを支持した前面パネル）に運転手や乗客が視認できる態様で固定する。モニタ２４は図３のタイミングチャートに示すように、画像処理装置２３によって生成されたカラー画像と、色付けされた赤外光画像とを、１／２５秒ごとに交互に表示するので、運転手や乗客はモニタ２４に表示された画像を動画として認識する。 When the CMOS sensor 19 performs an imaging operation at an operating frequency of 10 MHz, the image processing device 23 outputs color signals (electric signals) from each G pixel, B pixel, and R pixel once every 400,000 times (1/25 The image processing device 23 intermittently generates color images based on all the color signals at intervals of 1/25 seconds. In addition, the image processing device 23 outputs a color signal (electric signal) based on the infrared light L that is output at the same time as each R pixel outputs the second distance measurement signal at an interval of 1/25 seconds (1/25 seconds). Infrared light images are generated intermittently by 1/25 based on the color signal from each R pixel. The image processing means 23 ignores all the color signals output from the R pixel, G pixel, and B pixel except for these timings and does not perform image processing. As shown in FIG. 3, the generation of the infrared light image deviates from the generation timing of the color image, and is performed at the same timing as the distance measurement calculation and the determination calculation of the calculation means 22. Further, the image processing device 23 uses the calculation unit 22 regarding the distance (ranging result) from the R pixel that captures the portion corresponding to the outline of the generated infrared light image to the object simultaneously with the generation of the infrared light image. Based on the determination result, the outline portion of the infrared image of the object located in the first reference distance range is displayed in “red (determination result image)”, and the object located in the second reference distance range The outline of the infrared light image is displayed in “yellow (judgment result image)”, and the outline of the infrared light image of the object located in the third reference distance range is displayed in “green (judgment result image)”. indicate.
The monitor 24 is fixed to the front part of the vehicle (for example, a front panel that supports the steering wheel) in such a manner that the driver and passengers can visually recognize it. As shown in the timing chart of FIG. 3, the monitor 24 alternately displays the color image generated by the image processing device 23 and the colored infrared light image every 1/25 second. The passenger recognizes the image displayed on the monitor 24 as a moving image.

続いて、自動車Ｍの後方に３つの障害物（バイクＡ、人Ｂ、フェンスＣ）が位置するときのカラー式対象物表示システム１０の動作について説明する。
図１に示すように、バイクＡ、人Ｂ、フェンスＣが自動車Ｍの後方に互いの前後位置が異なる状態で位置するときにカラー式対象物表示システム１０を動作させると、赤外光光源１８が１０ＭＨｚの動作周波数で赤外光Ｌを後方に向けて発射し、ＣＭＯＳセンサ１９が赤外光光源１８の発光タイミングと同期しながら１０ＭＨｚの動作周波数で撮像動作を行う。
図１に示す状態では、バイクＡがＣＭＯＳセンサ１９の撮像面２０（Ｒ画素）から０．８ｍの距離に位置し、人Ｂが２ｍの距離に位置し、フェンスＣが４ｍの距離に位置するので、画像処理装置２３は生成したバイクＡの赤外光画像の外形線上に「赤色」の処理を行い、人Ｂの赤外光画像の外形線上に「黄色」の処理を行い、フェンスＣの赤外光画像の外形線上に「緑色」の処理を行う。
図４（ａ）はモニタ２４にカラー画像が表示されたときの様子を示しており、図４（ｂ）はモニタ２４に色処理を施した赤外光画像が表示されたときの様子を示している。図４（ａ）の画像と図４（ｂ）の画像はモニタ２４に同時に表示されるのではなく１／２５秒ごとに交互に表示されるが、表示時間がそれぞれ１／２５秒という時間残像効果を生じる極めて短い時間であるため、運転手や乗客が図４（ａ）のカラー画像を見ている時、運転手や乗客の目（脳）には図４（ｂ）の赤外光画像が時間残像として残る。そのため、運転手や乗客は図４（ａ）のカラー画像を、図４（ｃ）に示したようにバイクＡの外形線が「赤色」に色処理され、人Ｂの外形線が「黄色」に色処理され、フェンスＣの外形線が「緑色」に色処理されたカラー画像として認識する。そのため運転手は、バイクＡが自動車Ｍから極めて近い距離に位置し、このまま自動車Ｍをバックさせると自動車ＭがバイクＡに接触するおそれがあることを瞬時に認識できるので、自動車ＭがバイクＡに接触する危険を未然に防止できる。
さらに運転手は、人Ｂが自動車Ｍの後部から比較的近い距離に位置し、かつ、フェンスＣまでの距離は比較的長いことを瞬時に認識できる。
なお、バイクＡ、人Ｂ、フェンスＣのいずれかがＣＭＯＳセンサ１９の撮像面２０（Ｒ画素）から５ｍ以上後方に離れた位置にあるときは、モニタ２４に赤外光画像として表示された当該障害物の外形線には上記色処理はされない。この場合、運転手及び乗客はモニタ２４に表示されたカラー画像をそのまま認識する。 Next, the operation of the color object display system 10 when three obstacles (bike A, person B, and fence C) are located behind the automobile M will be described.
As shown in FIG. 1, when the color object display system 10 is operated when the motorcycle A, the person B, and the fence C are located behind the automobile M in a state where the front and rear positions are different, the infrared light source 18 Emits infrared light L backward at an operating frequency of 10 MHz, and the CMOS sensor 19 performs an imaging operation at an operating frequency of 10 MHz while synchronizing with the light emission timing of the infrared light source 18.
In the state shown in FIG. 1, the motorcycle A is located at a distance of 0.8 m from the imaging surface 20 (R pixel) of the CMOS sensor 19, the person B is located at a distance of 2 m, and the fence C is located at a distance of 4 m. Therefore, the image processing device 23 performs the process of “red” on the outline of the infrared image of the generated bike A, performs the process of “yellow” on the outline of the infrared image of the person B, and “Green” processing is performed on the outline of the infrared light image.
4A shows a state when a color image is displayed on the monitor 24, and FIG. 4B shows a state when an infrared light image subjected to color processing is displayed on the monitor 24. FIG. ing. The image of FIG. 4A and the image of FIG. 4B are not displayed on the monitor 24 at the same time, but are displayed alternately every 1/25 seconds. Since it is a very short time for the effect to occur, when the driver or passenger sees the color image of FIG. 4 (a), the driver's or passenger's eyes (brain) have an infrared image of FIG. 4 (b). Remains as an afterimage. For this reason, the driver and passengers color-process the color image of FIG. 4A as shown in FIG. 4C, and the outline of the motorcycle A is colored “red” and the outline of the person B is “yellow”. And the outline of the fence C is recognized as a “green” color image. Therefore, the driver can instantly recognize that the motorcycle A is located at a very close distance from the automobile M and that the automobile M may come into contact with the motorcycle A if the automobile M is kept in the back as it is. The risk of contact can be prevented beforehand.
Furthermore, the driver can instantly recognize that the person B is located at a relatively close distance from the rear part of the automobile M and that the distance to the fence C is relatively long.
When any one of the motorcycle A, the person B, and the fence C is located at a position 5 m or more rearward from the imaging surface 20 (R pixel) of the CMOS sensor 19, the monitor 24 displays the infrared light image. The color processing is not performed on the outline of the obstacle. In this case, the driver and the passenger recognize the color image displayed on the monitor 24 as it is.

以上説明した本実施形態はカラー式対象物表示システム１０を自動車Ｍに搭載した例であるが、カラー式対象物表示システム１０を自動車Ｍ以外のもの、例えばゲーム機器における対象物表示システムとして利用できる。
また、演算手段２２のメモリに記憶させる基準距離範囲を３つとして設定したが、設定する基準距離範囲は一つでも３つ以外の複数であってもよいし、基準距離範囲の設定範囲（距離範囲）は上記の範囲には限定されない。
さらに、赤外線画像に施す判定結果画像は上記のような色処理には限定されない。例えば、対象物の外形線ではなく、対象物全体や対象物の一部に対応する部分に色処理を施してもよい。あるいは、基準距離範囲を一つのみとした上で、当該基準距離範囲にいずれか一つの対象物が位置するときに、赤外光画像を表示しているモニタ全体を特定の色（例えば赤色）で表示してもよい。
モニタ２４による「カラー画像」と「赤外光画像」の表示タイミングは上記のものには限定されず、利用者がモニタ２４に表示されたカラー画像を見たときに赤外光画像が時間残像として利用者の目（脳）に残る時間間隔（例えば１／２４秒より短い時間間隔）であればよい。 The present embodiment described above is an example in which the color type object display system 10 is mounted on the automobile M, but the color type object display system 10 can be used as an object display system other than the automobile M, for example, a game machine. .
Further, although the three reference distance ranges to be stored in the memory of the calculation means 22 are set, the reference distance range to be set may be one or a plurality other than three, or the reference distance range setting range (distance The range is not limited to the above range.
Furthermore, the determination result image applied to the infrared image is not limited to the color processing as described above. For example, color processing may be performed not on the outline of the object but on a part corresponding to the entire object or a part of the object. Alternatively, when there is only one reference distance range, and when any one object is located in the reference distance range, the entire monitor displaying the infrared light image has a specific color (for example, red) May be displayed.
The display timing of the “color image” and the “infrared light image” on the monitor 24 is not limited to the above, and when the user views the color image displayed on the monitor 24, the infrared light image is a time afterimage. As long as it remains in the user's eyes (brain) (for example, a time interval shorter than 1/24 seconds).

また、赤外光光源１８としてＬＥＤ以外の光源を利用してもよい。
さらに、演算手段２２が対象物までの距離を測距するときの基準位置をＲ画素（撮像面２０）以外のもの、例えば赤外光光源１８や自動車Ｍの後端部に設けたバンパーとして実施してもよい。 Further, a light source other than the LED may be used as the infrared light source 18.
Further, the reference position when the calculation means 22 measures the distance to the object is implemented as a bumper provided at a rear end portion other than the R pixel (imaging surface 20), for example, the infrared light source 18 or the automobile M. May be.

１０ カラー式対象物表示システム
１５ カメラユニット
１６ ケース
１７ レンズ
１８ 赤外光光源（ＬＥＤ）
１９ ＣＭＯＳセンサ（撮像素子）
２０ 撮像面
２２ 演算手段（距離演算手段）（距離判定手段）
２３ 画像処理装置
２４ モニタ
Ａ バイク（障害物）（対象物）
Ｂ 人（障害物）（対象物）
Ｃ フェンス（障害物）（対象物）
Ｍ 自動車 10 color object display system 15 camera unit 16 case 17 lens 18 infrared light source (LED)
19 CMOS sensor (imaging device)
20 Imaging surface 22 Calculation means (distance calculation means) (distance determination means)
23 Image processing device 24 Monitor A Bike (obstacle) (object)
B person (obstacle) (object)
C Fence (obstacle) (object)
M car

Claims (4)

赤外光を対象物に向かって断続的に発する赤外光光源と、
多数のＲ画素、Ｇ画素、及び、Ｂ画素を有し、光を受光することにより電気信号を発するＣＭＯＳセンサと、
上記各Ｒ画素が上記赤外光を受光したときに、上記赤外光光源が赤外光を発してから各Ｒ画素が該赤外光に基づく電気信号を出すまでの時間差に基づいて、基準位置から上記対象物までの距離を演算する距離演算手段と、
上記対象物までの距離が予め設定した少なくとも一つの設定距離範囲に含まれるか否かを、上記距離演算手段の演算結果に基づいて判定する距離判定手段と、
上記Ｒ画素、Ｇ画素、及び、Ｂ画素の各電気信号に基づくカラー画像と、上記距離判定手段の判定結果に基づく判定結果画像と、をそれぞれ所定の間隔で生成する画像処理手段と、
上記判定結果画像の表示間隔を時間残像現象が生じ得る時間間隔とした上で、上記カラー画像と上記判定結果画像を順次表示するモニタと、
を備えることを特徴とするカラー式対象物表示システム。 An infrared light source that intermittently emits infrared light toward the object;
A CMOS sensor having a large number of R pixels, G pixels, and B pixels and emitting an electrical signal by receiving light;
When each of the R pixels receives the infrared light, a reference is made based on a time difference from when the infrared light source emits infrared light until each R pixel outputs an electrical signal based on the infrared light. Distance calculating means for calculating the distance from the position to the object;
Distance determining means for determining whether or not the distance to the object is included in at least one set distance range set in advance based on a calculation result of the distance calculating means;
Image processing means for generating a color image based on the electrical signals of the R pixel, G pixel, and B pixel and a determination result image based on the determination result of the distance determination means, respectively, at predetermined intervals;
A monitor that sequentially displays the color image and the determination result image after setting the display interval of the determination result image as a time interval at which a time afterimage phenomenon may occur,
A color object display system characterized by comprising: 請求項１記載のカラー式対象物表示システムにおいて、
上記判定結果画像が、上記対象物の外形線に対応する領域または対象物の少なくとも一部に対応する領域に表された特定の色であるカラー式対象物表示システム。 In the color type object display system according to claim 1,
A color-type object display system in which the determination result image is a specific color represented in an area corresponding to an outline of the object or an area corresponding to at least a part of the object. 請求項２記載のカラー式対象物表示システムにおいて、
上記設定距離範囲を複数設定し、
上記判定結果画像の色を、対応する上記設定距離範囲ごとに異なせたカラー式対象物表示システム。 In the color type object display system according to claim 2,
Set multiple distance ranges above,
A color-type object display system in which the color of the determination result image is changed for each corresponding set distance range. 請求項１から３のいずれか１項記載のカラー式対象物表示システムにおいて、
上記赤外光光源、ＣＭＯＳセンサ、距離演算手段、距離判定手段、画像処理手段、及びモニタを自動車に搭載し、かつ、上記赤外光光源及びＣＭＯＳセンサを上記自動車の後部に設けたカラー式対象物表示システム。 In the color type object display system according to any one of claims 1 to 3,
A color-type object in which the infrared light source, CMOS sensor, distance calculation means, distance determination means, image processing means, and monitor are mounted on an automobile, and the infrared light source and CMOS sensor are provided at the rear of the automobile. Object display system.
JP2009152206A 2009-06-26 2009-06-26 Color-type object display system Withdrawn JP2011007668A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009152206A JP2011007668A (en) 2009-06-26 2009-06-26 Color-type object display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009152206A JP2011007668A (en) 2009-06-26 2009-06-26 Color-type object display system

Publications (1)

Publication Number Publication Date
JP2011007668A true JP2011007668A (en) 2011-01-13

Family

ID=43564509

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009152206A Withdrawn JP2011007668A (en) 2009-06-26 2009-06-26 Color-type object display system

Country Status (1)

Country Link
JP (1) JP2011007668A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017502291A (en) * 2013-12-25 2017-01-19 パナソニックＩｐマネジメント株式会社 Image output apparatus, image output method, and image output system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017502291A (en) * 2013-12-25 2017-01-19 パナソニックＩｐマネジメント株式会社 Image output apparatus, image output method, and image output system

Similar Documents

Publication Publication Date Title
KR102499586B1 (en) imaging device
US9479740B2 (en) Image generating apparatus
US20180308282A1 (en) Shape measuring apparatus and method
JP5783471B2 (en) Image synthesizer
JP4232794B2 (en) Driving support method and driving support device
EP3563177B1 (en) System for characterizing surroundings of a vehicle
KR101888960B1 (en) Apparatus and method for measuring the flatness of the road
KR20150051735A (en) Parking Guide System and the Method
US8660737B2 (en) Vehicle handling assistant apparatus
TWI506601B (en) Vehicle monitoring system and method thereof
WO2021085128A1 (en) Distance measurement device, measurement method, and distance measurement system
WO2018074085A1 (en) Rangefinder and rangefinder control method
US11260794B2 (en) Periphery monitoring device
US20210127051A1 (en) Camera fusion and illumination for an in-cabin monitoring system of a vehicle
JP2021051015A (en) Distance measuring device, distance measuring method, and program
CN213472954U (en) Backing auxiliary system
JP2007506074A (en) Measuring the distance to an object
EP4036617A1 (en) Imaging device
JP4701961B2 (en) Pedestrian detection device
US9082021B2 (en) Obstacle alert device
JP2011007668A (en) Color-type object display system
US9773172B2 (en) Obstacle alert device
JP2020118570A (en) Measuring device and distance measuring device
JP2020106339A (en) Measuring device and distance measuring device
JP5765576B2 (en) Obstacle alarm device

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20120904