JP2011007668A - Color-type object display system - Google Patents
Color-type object display system Download PDFInfo
- Publication number
- JP2011007668A JP2011007668A JP2009152206A JP2009152206A JP2011007668A JP 2011007668 A JP2011007668 A JP 2011007668A JP 2009152206 A JP2009152206 A JP 2009152206A JP 2009152206 A JP2009152206 A JP 2009152206A JP 2011007668 A JP2011007668 A JP 2011007668A
- Authority
- JP
- Japan
- Prior art keywords
- color
- distance
- image
- infrared light
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
本発明は、例えば自動車に搭載可能で、周囲の対象物をカラーで表示可能でき、しかも対象物までの距離が所定の距離より近いことを瞬時に認識できるカラー式対象物表示システムに関する。 The present invention relates to a color object display system that can be mounted on, for example, an automobile, can display surrounding objects in color, and can instantly recognize that the distance to the object is closer than a predetermined distance.
自動車に搭載可能で、周囲の対象物(例えば、人、他の自動車などの障害物)をモニタに表示可能で、しかも自動車から対象物までの距離をモニタに表示可能な対象物表示システムの従来例としては特許文献1に開示されたものがある。
この対象物表示システムは、赤外線撮像装置と、レーザ光を利用した対象物までの距離を測距可能な測距装置と、赤外線撮像装置によって得られた画像および測距装置が取得した距離値(数値)を表示するモニタと、を具備している。
従って、自動車の運転手はモニタを見ることによって、自動車の周囲に位置する対象物及び自動車(赤外線撮像装置)から対象物までの距離を認識できる。
Conventional object display system that can be mounted on an automobile, can display surrounding objects (for example, obstacles such as people and other automobiles) on a monitor, and can display the distance from the automobile to the object on the monitor. An example is disclosed in
This object display system includes an infrared imaging device, a distance measuring device capable of measuring a distance to an object using laser light, an image obtained by the infrared imaging device, and a distance value acquired by the distance measuring device ( And a monitor for displaying numerical values).
Accordingly, the driver of the automobile can recognize the object located around the automobile and the distance from the automobile (infrared imaging device) to the object by looking at the monitor.
しかし特許文献1の対象物表示システムは、自動車から対象物までの距離を数値で表示するため、運転手にとって当該距離が危険な距離であるか否かを瞬時に判断するのが難しい。
さらに、モニタに表示される画像がモノクロ画像であるため、運転手にとって対象物を正確に識別するのが容易でない。
However, since the object display system of
Furthermore, since the image displayed on the monitor is a monochrome image, it is not easy for the driver to accurately identify the object.
本発明は、周囲の対象物をカラー画像として表示可能であり、しかも対象物までの距離が所定の距離より近いことを瞬時に認識できるように表示できるカラー式対象物表示システムを提供することを目的とする。 The present invention provides a color object display system capable of displaying surrounding objects as a color image and capable of displaying so that the distance to the object is closer than a predetermined distance can be instantly recognized. Objective.
本発明のカラー式対象物表示システムは、赤外光を対象物に向かって断続的に発する赤外光光源と、多数のR画素、G画素、及び、B画素を有し、光を受光することにより電気信号を発するCMOSセンサと、上記各R画素が上記赤外光を受光したときに、上記赤外光光源が赤外光を発してから各R画素が該赤外光に基づく電気信号を出すまでの時間差に基づいて、基準位置から上記対象物までの距離を演算する距離演算手段と、上記対象物までの距離が予め設定した少なくとも一つの設定距離範囲に含まれるか否かを、上記距離演算手段の演算結果に基づいて判定する距離判定手段と、上記R画素、G画素、及び、B画素の各電気信号に基づくカラー画像と、上記距離判定手段の判定結果に基づく判定結果画像と、をそれぞれ所定の間隔で生成する画像処理手段と、上記判定結果画像の表示間隔を時間残像現象が生じ得る時間間隔とした上で、上記カラー画像と上記判定結果画像を順次表示するモニタと、を備えることを特徴としている。 The color object display system of the present invention has an infrared light source that intermittently emits infrared light toward the object, a large number of R pixels, G pixels, and B pixels, and receives light. When the R pixel receives the infrared light when the CMOS sensor emits an electric signal, the infrared light source emits the infrared light and then the R pixel outputs the electric signal based on the infrared light. Whether or not the distance calculation means for calculating the distance from the reference position to the target object based on the time difference until the output, and whether the distance to the target object is included in at least one preset distance range, Distance determination means for determining based on the calculation result of the distance calculation means, a color image based on the electrical signals of the R pixel, G pixel, and B pixel, and a determination result image based on the determination result of the distance determination means And at predetermined intervals And a monitor for sequentially displaying the color image and the determination result image after setting the display interval of the determination result image to a time interval at which a time afterimage phenomenon may occur. .
上記判定結果画像は、例えば、上記対象物の外形線に対応する領域または対象物の少なくとも一部に対応する領域に表された特定の色とすることが可能である。 The determination result image can be, for example, a specific color represented in an area corresponding to the outline of the object or an area corresponding to at least a part of the object.
上記設定距離範囲を複数設定し、上記判定結果画像の色を、対応する上記設定距離範囲ごとに異なせてもよい。 A plurality of the set distance ranges may be set, and the color of the determination result image may be different for each corresponding set distance range.
上記赤外光光源、CMOSセンサ、距離演算手段、距離判定手段、画像処理手段、及びモニタを自動車に搭載し、かつ、上記赤外光光源及びCMOSセンサを上記自動車の後部に設けてもよい。 The infrared light source, the CMOS sensor, the distance calculation means, the distance determination means, the image processing means, and the monitor may be mounted on the automobile, and the infrared light source and the CMOS sensor may be provided on the rear part of the automobile.
本発明のカラー式対象物表示システムの撮像素子は、R画素、G画素、及び、B画素を有するCMOSセンサなので、モニタには対象物をカラー画像として表示できる。そのため、使用者はモニタに表示される対象物を正確に認識できる。
しかも、モニタに表示された対象物までの距離が所定の設定距離範囲にある場合に使用者がモニタを見ると、当該使用者はモニタにカラー画像が表示されている瞬間に判定結果画像(例えば、当該対象物の外形線や対象物全体に重ねて色付けした赤色の表示)を時間残像として同時に認識するので、当該対象物が設定距離範囲にある(所定の基準距離より近くにある)ことを瞬時に認識できる。そのため、本システムを自動車に搭載すれば、運転手は自動車が対象物に接触する危険を未然に防止し易くなる。
Since the image sensor of the color object display system of the present invention is a CMOS sensor having R pixels, G pixels, and B pixels, the object can be displayed as a color image on the monitor. Therefore, the user can accurately recognize the object displayed on the monitor.
Moreover, when the user views the monitor when the distance to the object displayed on the monitor is within a predetermined set distance range, the user sees the determination result image (for example, at the moment when the color image is displayed on the monitor). , The outline of the object and the red display colored over the entire object) are simultaneously recognized as a time afterimage, so that the object is within the set distance range (closer to a predetermined reference distance). It can be recognized instantly. Therefore, if this system is installed in an automobile, the driver can easily prevent the danger of the automobile coming into contact with the object.
以下、添付図面を参照しながら、カラー式対象物表示システム10を自動車Mに搭載した本発明の一実施形態について説明する。
カラー式対象物表示システム10は図2に示すように大きな構成要素として、カメラユニット15、演算手段22、画像処理装置23、及びモニタ24を具備している。
自動車Mの後端部に固定したカメラユニット15は、ケース16と、ケース16の後端面に後方に露出する態様で固定したレンズ17及び赤外光光源18と、ケース16の内部に固定したレンズ17の直前に位置するCMOSセンサ19と、を備えている。
赤外光光源18はLED(Light Emitting Diode)からなるものであり、周波数を10MHz(メガヘルツ)に変調した赤外光L(図1、図2参照)を後方に向かって放射状に発射する。
CMOSセンサ19はカラー式の撮像素子であり、その後面に形成された撮像面20は、緑色の原色フィルタによって表面(後面)を覆った多数のG画素(受光素子)と、青色の原色フィルタによって表面を覆った多数のB画素(受光素子)と、赤色の原色フィルタによって表面を覆った多数のR画素(受光素子)とによって構成してある。撮像面20の各画素にレンズ17を通して光(自然光、赤外光L)が入射すると各画素は撮像動作を行い、対応するフィルタと同じ色の色信号(電気信号)をそれぞれ出力する。図3のタイミングチャートに示すようにCMOSセンサ19の動作周波数も10MHzであり、その動作タイミングは赤外光光源18の発光タイミングと同期させてある。
Hereinafter, an embodiment of the present invention in which a color
As shown in FIG. 2, the color
The
The
The
CMOSセンサ19は、カメラユニット15とは別体の演算手段22及び画像処理装置23とそれぞれ電気的に接続している。さらに、赤外光光源18は演算手段22と電気的に接続しており、演算手段22と画像処理装置23どうしも電気的に接続している。
赤外光光源18は赤外光Lを40万回発射する毎に1回ずつ(即ち、1/25秒(S)毎に1回ずつ)演算手段(距離演算手段)(距離判定手段)22に対して第1測距用信号を出す。また、CMOSセンサ19の各R画素は、赤外光光源18が第1測距用信号を出すのと同時に発射しかつ自動車Mの後方に位置する対象物(障害物)によって反射された赤外光Lを受光するタイミングで、演算手段22に対して第2測距用信号を出力する。図3のタイミングチャートに示すように演算手段22は、第1測距用信号を受信してから第2測距用信号を受光するまので時間差τ(図3参照)に基づいて、各R画素(基準位置)から各R画素に赤外光Lを反射した対象物までの距離を1/25秒間隔で断続的に測距演算する。さらに、演算手段22に内蔵したメモリには予め3つの基準距離範囲データが記憶してある。第1の基準距離範囲は1m未満の範囲、第2の基準距離範囲は1m以上3m未満の範囲、第3の基準距離範囲は3m以上5m未満の範囲として設定してある。そして演算手段22は図3のタイミングチャートに示すように、各R画素が第2測距用信号を出した瞬間における各R画素から各R画素が撮像した対象物までの距離が、上記3つの基準距離範囲に入るか否かを上記測距演算と同時に判定する。
The
The
CMOSセンサ19が10MHzの動作周波数で撮像動作を行うと、画像処理装置23が各G画素、B画素、R画素からの色信号(電気信号)を40万回に1回の間隔(1/25秒間隔)で受信し、画像処理装置23がすべての色信号に基づくカラー画像を1/25秒間隔で断続的に生成する。また画像処理装置23は、各R画素が第2測距用信号を出すのと同時に出力する赤外光Lに基づく色信号(電気信号)を40万回に1回の間隔(1/25秒間隔)で受信し、各R画素からの色信号に基づいて赤外光画像を1/25断続的に生成する。画像処理手段23は、これらのタイミング以外でR画素、G画素及びB画素から出力される色信号については全て無視し画像処理は行わない。図3に示すように、赤外光画像の生成はカラー画像の生成タイミングとはずれており、演算手段22の測距演算及び判定演算と同じタイミングで行われる。さらに画像処理装置23は、赤外光画像の生成と同時に、生成した赤外光画像の外形線に対応する部分を撮像したR画素から対象物までの距離(測距結果)に関する演算手段22による判定結果に基づいて、第1の基準距離範囲に位置する対象物の赤外光画像の外形線部分を「赤色(判定結果画像)」で表示し、第2の基準距離範囲に位置する対象物の赤外光画像の外形線を「黄色(判定結果画像)」で表示し、第3の基準距離範囲に位置する対象物の赤外光画像の外形線を「緑色(判定結果画像)」で表示する。
モニタ24は車内の前部(例えばハンドルを支持した前面パネル)に運転手や乗客が視認できる態様で固定する。モニタ24は図3のタイミングチャートに示すように、画像処理装置23によって生成されたカラー画像と、色付けされた赤外光画像とを、1/25秒ごとに交互に表示するので、運転手や乗客はモニタ24に表示された画像を動画として認識する。
When the
The
続いて、自動車Mの後方に3つの障害物(バイクA、人B、フェンスC)が位置するときのカラー式対象物表示システム10の動作について説明する。
図1に示すように、バイクA、人B、フェンスCが自動車Mの後方に互いの前後位置が異なる状態で位置するときにカラー式対象物表示システム10を動作させると、赤外光光源18が10MHzの動作周波数で赤外光Lを後方に向けて発射し、CMOSセンサ19が赤外光光源18の発光タイミングと同期しながら10MHzの動作周波数で撮像動作を行う。
図1に示す状態では、バイクAがCMOSセンサ19の撮像面20(R画素)から0.8mの距離に位置し、人Bが2mの距離に位置し、フェンスCが4mの距離に位置するので、画像処理装置23は生成したバイクAの赤外光画像の外形線上に「赤色」の処理を行い、人Bの赤外光画像の外形線上に「黄色」の処理を行い、フェンスCの赤外光画像の外形線上に「緑色」の処理を行う。
図4(a)はモニタ24にカラー画像が表示されたときの様子を示しており、図4(b)はモニタ24に色処理を施した赤外光画像が表示されたときの様子を示している。図4(a)の画像と図4(b)の画像はモニタ24に同時に表示されるのではなく1/25秒ごとに交互に表示されるが、表示時間がそれぞれ1/25秒という時間残像効果を生じる極めて短い時間であるため、運転手や乗客が図4(a)のカラー画像を見ている時、運転手や乗客の目(脳)には図4(b)の赤外光画像が時間残像として残る。そのため、運転手や乗客は図4(a)のカラー画像を、図4(c)に示したようにバイクAの外形線が「赤色」に色処理され、人Bの外形線が「黄色」に色処理され、フェンスCの外形線が「緑色」に色処理されたカラー画像として認識する。そのため運転手は、バイクAが自動車Mから極めて近い距離に位置し、このまま自動車Mをバックさせると自動車MがバイクAに接触するおそれがあることを瞬時に認識できるので、自動車MがバイクAに接触する危険を未然に防止できる。
さらに運転手は、人Bが自動車Mの後部から比較的近い距離に位置し、かつ、フェンスCまでの距離は比較的長いことを瞬時に認識できる。
なお、バイクA、人B、フェンスCのいずれかがCMOSセンサ19の撮像面20(R画素)から5m以上後方に離れた位置にあるときは、モニタ24に赤外光画像として表示された当該障害物の外形線には上記色処理はされない。この場合、運転手及び乗客はモニタ24に表示されたカラー画像をそのまま認識する。
Next, the operation of the color
As shown in FIG. 1, when the color
In the state shown in FIG. 1, the motorcycle A is located at a distance of 0.8 m from the imaging surface 20 (R pixel) of the
4A shows a state when a color image is displayed on the
Furthermore, the driver can instantly recognize that the person B is located at a relatively close distance from the rear part of the automobile M and that the distance to the fence C is relatively long.
When any one of the motorcycle A, the person B, and the fence C is located at a
以上説明した本実施形態はカラー式対象物表示システム10を自動車Mに搭載した例であるが、カラー式対象物表示システム10を自動車M以外のもの、例えばゲーム機器における対象物表示システムとして利用できる。
また、演算手段22のメモリに記憶させる基準距離範囲を3つとして設定したが、設定する基準距離範囲は一つでも3つ以外の複数であってもよいし、基準距離範囲の設定範囲(距離範囲)は上記の範囲には限定されない。
さらに、赤外線画像に施す判定結果画像は上記のような色処理には限定されない。例えば、対象物の外形線ではなく、対象物全体や対象物の一部に対応する部分に色処理を施してもよい。あるいは、基準距離範囲を一つのみとした上で、当該基準距離範囲にいずれか一つの対象物が位置するときに、赤外光画像を表示しているモニタ全体を特定の色(例えば赤色)で表示してもよい。
モニタ24による「カラー画像」と「赤外光画像」の表示タイミングは上記のものには限定されず、利用者がモニタ24に表示されたカラー画像を見たときに赤外光画像が時間残像として利用者の目(脳)に残る時間間隔(例えば1/24秒より短い時間間隔)であればよい。
The present embodiment described above is an example in which the color type
Further, although the three reference distance ranges to be stored in the memory of the calculation means 22 are set, the reference distance range to be set may be one or a plurality other than three, or the reference distance range setting range (distance The range is not limited to the above range.
Furthermore, the determination result image applied to the infrared image is not limited to the color processing as described above. For example, color processing may be performed not on the outline of the object but on a part corresponding to the entire object or a part of the object. Alternatively, when there is only one reference distance range, and when any one object is located in the reference distance range, the entire monitor displaying the infrared light image has a specific color (for example, red) May be displayed.
The display timing of the “color image” and the “infrared light image” on the
また、赤外光光源18としてLED以外の光源を利用してもよい。
さらに、演算手段22が対象物までの距離を測距するときの基準位置をR画素(撮像面20)以外のもの、例えば赤外光光源18や自動車Mの後端部に設けたバンパーとして実施してもよい。
Further, a light source other than the LED may be used as the infrared
Further, the reference position when the calculation means 22 measures the distance to the object is implemented as a bumper provided at a rear end portion other than the R pixel (imaging surface 20), for example, the infrared
10 カラー式対象物表示システム
15 カメラユニット
16 ケース
17 レンズ
18 赤外光光源(LED)
19 CMOSセンサ(撮像素子)
20 撮像面
22 演算手段(距離演算手段)(距離判定手段)
23 画像処理装置
24 モニタ
A バイク(障害物)(対象物)
B 人(障害物)(対象物)
C フェンス(障害物)(対象物)
M 自動車
10 color
19 CMOS sensor (imaging device)
20
23
B person (obstacle) (object)
C Fence (obstacle) (object)
M car
Claims (4)
多数のR画素、G画素、及び、B画素を有し、光を受光することにより電気信号を発するCMOSセンサと、
上記各R画素が上記赤外光を受光したときに、上記赤外光光源が赤外光を発してから各R画素が該赤外光に基づく電気信号を出すまでの時間差に基づいて、基準位置から上記対象物までの距離を演算する距離演算手段と、
上記対象物までの距離が予め設定した少なくとも一つの設定距離範囲に含まれるか否かを、上記距離演算手段の演算結果に基づいて判定する距離判定手段と、
上記R画素、G画素、及び、B画素の各電気信号に基づくカラー画像と、上記距離判定手段の判定結果に基づく判定結果画像と、をそれぞれ所定の間隔で生成する画像処理手段と、
上記判定結果画像の表示間隔を時間残像現象が生じ得る時間間隔とした上で、上記カラー画像と上記判定結果画像を順次表示するモニタと、
を備えることを特徴とするカラー式対象物表示システム。 An infrared light source that intermittently emits infrared light toward the object;
A CMOS sensor having a large number of R pixels, G pixels, and B pixels and emitting an electrical signal by receiving light;
When each of the R pixels receives the infrared light, a reference is made based on a time difference from when the infrared light source emits infrared light until each R pixel outputs an electrical signal based on the infrared light. Distance calculating means for calculating the distance from the position to the object;
Distance determining means for determining whether or not the distance to the object is included in at least one set distance range set in advance based on a calculation result of the distance calculating means;
Image processing means for generating a color image based on the electrical signals of the R pixel, G pixel, and B pixel and a determination result image based on the determination result of the distance determination means, respectively, at predetermined intervals;
A monitor that sequentially displays the color image and the determination result image after setting the display interval of the determination result image as a time interval at which a time afterimage phenomenon may occur,
A color object display system characterized by comprising:
上記判定結果画像が、上記対象物の外形線に対応する領域または対象物の少なくとも一部に対応する領域に表された特定の色であるカラー式対象物表示システム。 In the color type object display system according to claim 1,
A color-type object display system in which the determination result image is a specific color represented in an area corresponding to an outline of the object or an area corresponding to at least a part of the object.
上記設定距離範囲を複数設定し、
上記判定結果画像の色を、対応する上記設定距離範囲ごとに異なせたカラー式対象物表示システム。 In the color type object display system according to claim 2,
Set multiple distance ranges above,
A color-type object display system in which the color of the determination result image is changed for each corresponding set distance range.
上記赤外光光源、CMOSセンサ、距離演算手段、距離判定手段、画像処理手段、及びモニタを自動車に搭載し、かつ、上記赤外光光源及びCMOSセンサを上記自動車の後部に設けたカラー式対象物表示システム。 In the color type object display system according to any one of claims 1 to 3,
A color-type object in which the infrared light source, CMOS sensor, distance calculation means, distance determination means, image processing means, and monitor are mounted on an automobile, and the infrared light source and CMOS sensor are provided at the rear of the automobile. Object display system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009152206A JP2011007668A (en) | 2009-06-26 | 2009-06-26 | Color-type object display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009152206A JP2011007668A (en) | 2009-06-26 | 2009-06-26 | Color-type object display system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011007668A true JP2011007668A (en) | 2011-01-13 |
Family
ID=43564509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009152206A Withdrawn JP2011007668A (en) | 2009-06-26 | 2009-06-26 | Color-type object display system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011007668A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017502291A (en) * | 2013-12-25 | 2017-01-19 | パナソニックIpマネジメント株式会社 | Image output apparatus, image output method, and image output system |
-
2009
- 2009-06-26 JP JP2009152206A patent/JP2011007668A/en not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017502291A (en) * | 2013-12-25 | 2017-01-19 | パナソニックIpマネジメント株式会社 | Image output apparatus, image output method, and image output system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102499586B1 (en) | imaging device | |
US9479740B2 (en) | Image generating apparatus | |
US20180308282A1 (en) | Shape measuring apparatus and method | |
JP5783471B2 (en) | Image synthesizer | |
JP4232794B2 (en) | Driving support method and driving support device | |
EP3563177B1 (en) | System for characterizing surroundings of a vehicle | |
KR101888960B1 (en) | Apparatus and method for measuring the flatness of the road | |
KR20150051735A (en) | Parking Guide System and the Method | |
US8660737B2 (en) | Vehicle handling assistant apparatus | |
TWI506601B (en) | Vehicle monitoring system and method thereof | |
WO2021085128A1 (en) | Distance measurement device, measurement method, and distance measurement system | |
WO2018074085A1 (en) | Rangefinder and rangefinder control method | |
US11260794B2 (en) | Periphery monitoring device | |
US20210127051A1 (en) | Camera fusion and illumination for an in-cabin monitoring system of a vehicle | |
JP2021051015A (en) | Distance measuring device, distance measuring method, and program | |
CN213472954U (en) | Backing auxiliary system | |
JP2007506074A (en) | Measuring the distance to an object | |
EP4036617A1 (en) | Imaging device | |
JP4701961B2 (en) | Pedestrian detection device | |
US9082021B2 (en) | Obstacle alert device | |
JP2011007668A (en) | Color-type object display system | |
US9773172B2 (en) | Obstacle alert device | |
JP2020118570A (en) | Measuring device and distance measuring device | |
JP2020106339A (en) | Measuring device and distance measuring device | |
JP5765576B2 (en) | Obstacle alarm device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120904 |