JP4992129B2 - Optical communication device - Google Patents
Optical communication device Download PDFInfo
- Publication number
- JP4992129B2 JP4992129B2 JP2007188868A JP2007188868A JP4992129B2 JP 4992129 B2 JP4992129 B2 JP 4992129B2 JP 2007188868 A JP2007188868 A JP 2007188868A JP 2007188868 A JP2007188868 A JP 2007188868A JP 4992129 B2 JP4992129 B2 JP 4992129B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- optical communication
- photoelectric conversion
- output
- conversion element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Optical Communication System (AREA)
Description
本発明は、光通信装置に係り、特に、信号光を受光して光通信を行う光通信装置に関する。 The present invention relates to an optical communication apparatus, and more particularly to an optical communication apparatus that receives signal light and performs optical communication.
従来より、光通信を行うための装置が知られている(例えば、非特許文献1)。非特許文献1に記載の装置では、イメージセンサの画素に対して、イメージセンサ用読み出し線と通信用高速読み出し線とが設けられ、イメージセンサの画素から、通信信号及び画像信号の何れかを切り換えて出力する。
しかしながら、上記の非特許文献1の記載では、同一の画素から、通信信号と画像信号とを同時に出力することができないため、通信信号を出力すると、通信を行っている座標の画像信号は出力されず、画像として歯抜けの状態となり、画像信号により得られる画像の画質が低下してしまう、という問題がある。
However, in the description of Non-Patent
本発明は、上記の問題点を解決するためになされたもので、得られる撮像画像の画質を低下させずに、光通信を行うことができる光通信装置を提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide an optical communication apparatus capable of performing optical communication without degrading the image quality of a captured image obtained.
上記の目的を達成するために本発明に係る光通信装置は、受光量に応じた信号を出力する複数の第1光電変換素子と、受光量に応じた信号を出力し、かつ、前記受光量の変化に対する応答速度が前記第1光電変換素子より速い複数の第2光電変換素子とを備え、前記第1光電変換素子と前記第2光電変換素子とが対となるように前記複数の第1光電変換素子及び前記複数の第2光電変換素子を、一つの基板上に二次元配列した撮像素子と、前記撮像素子の前記複数の第1光電変換素子から出力された信号に基づいて得られた撮像画像から、信号光を受光している前記基板上の領域を抽出する抽出手段と、前記抽出手段によって抽出された前記領域内に位置する前記第2光電変換素子から出力された信号に基づいて、信号光の強度の基準値を設定する基準値設定手段と、前記基準値設定手段によって設定された前記基準値に基づいて、前記抽出手段によって抽出された前記領域内に位置する前記第2光電変換素子から出力された信号をデジタル変換して、前記デジタル変換した信号を前記信号光が表わす光通信信号として出力する光通信出力手段と、前記撮像素子の前記複数の第1光電変換素子から出力された信号に基づいて得られた撮像画像を出力する画像出力手段と、を含んで構成されている。 In order to achieve the above object, an optical communication apparatus according to the present invention outputs a plurality of first photoelectric conversion elements that output a signal corresponding to the amount of received light, a signal corresponding to the amount of received light, and the amount of received light and a second photoelectric conversion element is the response speed of the plurality faster than the first photoelectric conversion element with respect to a change in, the first the first photoelectric conversion element and the second photoelectric conversion element of the plurality such that the pair Obtained based on an image sensor in which a photoelectric conversion element and the plurality of second photoelectric conversion elements are two-dimensionally arranged on one substrate, and a signal output from the plurality of first photoelectric conversion elements of the image sensor Based on a signal output from the second photoelectric conversion element located in the region extracted by the extraction unit and the extraction unit that extracts the region on the substrate receiving the signal light from the captured image And set a reference value for the intensity of the signal light. A reference value setting means for, based on the set the reference value by the reference value setting means, the digital converting a signal output from the second photoelectric conversion elements located has been within the region extracted by said extracting means Then , an optical communication output means for outputting the digitally converted signal as an optical communication signal represented by the signal light, and an imaging obtained based on signals output from the plurality of first photoelectric conversion elements of the imaging element Image output means for outputting an image.
本発明に係る光通信装置によれば、抽出手段によって、撮像素子の複数の第1光電変換素子から出力された信号に基づいて得られた撮像画像から、信号光を受光している基板上の領域を抽出する。 According to the optical communication device of the present invention, on the substrate that receives the signal light from the captured image obtained based on the signals output from the plurality of first photoelectric conversion elements of the imaging element by the extraction unit. Extract regions.
そして、光通信出力手段によって、抽出手段によって抽出された領域内に位置する第2光電変換素子から出力された信号を、信号光が表わす光通信信号として出力し、また、画像出力手段によって、撮像素子の複数の第1光電変換素子から出力された信号に基づいて得られた撮像画像を出力する。 Then, the optical communication output means outputs the signal output from the second photoelectric conversion element located in the region extracted by the extraction means as an optical communication signal represented by the signal light, and the image output means captures the image. A captured image obtained based on signals output from the plurality of first photoelectric conversion elements of the element is output.
このように、複数の第1光電変換素子からの信号に基づいて得られた撮像画像を出力すると共に、第2光電変換素子から出力された信号を、信号光が表わす光通信信号として出力することにより、得られる撮像画像の画質を低下させずに、光通信を行うことができる。 In this manner, the captured image obtained based on the signals from the plurality of first photoelectric conversion elements is output, and the signal output from the second photoelectric conversion element is output as an optical communication signal represented by the signal light. Thus, optical communication can be performed without degrading the image quality of the obtained captured image.
ここで、第2光電変換素子は、受光量の変化に対する応答速度が第1光電変換素子より速く、高速な信号光の変化も捉えることができ、周波数が高い光通信信号であっても、受信することができる。 Here, the second photoelectric conversion element has a faster response speed to the change in the amount of received light than the first photoelectric conversion element, and can capture a high-speed change in signal light. can do.
また、本発明に係る光通信装置は、撮像素子の第1光電変換素子から出力された信号に基づいて、外乱光成分を算出する算出手段を更に含み、光通信出力手段は、抽出手段によって抽出された領域内に位置する第2光電変換素子から出力された信号から、算出手段によって算出された外乱光成分を除去して、信号光が表わす光通信信号を生成し、生成した光通信信号を出力することができる。これによって、外乱光成分を除去して光通信信号を得ることができるため、高精度な光通信を実現することができる。 The optical communication apparatus according to the present invention further includes a calculation unit that calculates a disturbance light component based on a signal output from the first photoelectric conversion element of the imaging element, and the optical communication output unit is extracted by the extraction unit. The disturbance light component calculated by the calculation means is removed from the signal output from the second photoelectric conversion element located in the region thus generated to generate an optical communication signal represented by the signal light, and the generated optical communication signal is Can be output. Thereby, the disturbance light component can be removed and an optical communication signal can be obtained, so that highly accurate optical communication can be realized.
本発明に係る光通信装置は、撮像素子の第1光電変換素子及び第2光電変換素子の少なくとも一方から出力された信号に基づいて、外乱光成分を設定する設定手段を更に含み、光通信出力手段は、抽出手段によって抽出された領域内に位置する第2光電変換素子から出力された信号から、設定手段によって設定された外乱光成分を除去して、信号光が表わす光通信信号を生成し、生成した前記光通信信号を出力することができる。これによって、外乱光成分を除去して光通信信号を得ることができるため、高精度な光通信を実現することができる。 The optical communication apparatus according to the present invention further includes setting means for setting a disturbance light component based on a signal output from at least one of the first photoelectric conversion element and the second photoelectric conversion element of the imaging element, and outputs the optical communication. The means removes the disturbance light component set by the setting means from the signal output from the second photoelectric conversion element located in the region extracted by the extraction means, and generates an optical communication signal represented by the signal light. The generated optical communication signal can be output. Thereby, the disturbance light component can be removed and an optical communication signal can be obtained, so that highly accurate optical communication can be realized.
本発明に係る光通信出力手段は、抽出手段によって抽出された領域内に位置する第2光電変換素子から出力された信号から、所定の周波数帯成分のみを通過させて、外乱光成分を除去するフィルタを備え、フィルタから出力された信号に基づいて、信号光が表わす光通信信号を生成し、生成した光通信信号を出力することができる。これによって、信号光以外の成分を除去して光通信信号を得ることができるため、高精度な光通信を実現することができる。 The optical communication output unit according to the present invention removes the disturbance light component by passing only a predetermined frequency band component from the signal output from the second photoelectric conversion element located in the region extracted by the extraction unit. An optical communication signal represented by the signal light can be generated based on the signal output from the filter, and the generated optical communication signal can be output. Thus, components other than the signal light can be removed to obtain an optical communication signal, so that highly accurate optical communication can be realized.
本発明に係る光通信装置は、抽出手段によって抽出された領域内に位置する第2光電変換素子から出力された信号に基づいて、信号光の強度の基準値を設定する基準値設定手段を更に含み、光通信出力手段は、基準値設定手段によって設定された基準値に基づいて、抽出手段によって抽出された領域内に位置する第2光電変換素子から出力された信号をデジタル変換して、デジタル変換した信号を光通信信号として出力する。これによって、信号光の強度を考慮した基準値に基づいてデジタル変換された光通信信号を得ることができるため、高精度な光通信を実現することができる。 Optical communication apparatus according to the present invention, based on the signal output from the second photoelectric conversion elements located in the region extracted by the Extraction means, reference value setting means for setting a reference value of the intensity of the signal light The optical communication output means digitally converts the signal output from the second photoelectric conversion element located in the region extracted by the extraction means based on the reference value set by the reference value setting means , you output digital converted signal as an optical communication signal. As a result, an optical communication signal digitally converted based on a reference value considering the intensity of the signal light can be obtained, so that highly accurate optical communication can be realized.
上記の前記抽出手段は、所定周期で、前記撮像画像から、信号光を受光している前記基板上の領域を抽出することができる。これによって、信号光を受光している領域を追跡することができる。 The extraction unit can extract a region on the substrate receiving signal light from the captured image at a predetermined period. As a result, it is possible to track the area receiving the signal light.
上記の光通信装置は、前記抽出手段によって過去に抽出された前記領域に基づいて、前記領域の移動量及び移動方向の少なくとも一方を推定する推定手段を更に含み、前記抽出手段は、前記推定手段によって推定された前記移動量及び移動方向の少なくとも一方に基づいて、前記撮像画像から、信号光を受光している前記基板上の領域を抽出することができる。これによって、信号光を受光している領域を容易に抽出することができる。 The optical communication apparatus further includes an estimation unit that estimates at least one of a movement amount and a movement direction of the region based on the region extracted in the past by the extraction unit, and the extraction unit includes the estimation unit. Based on at least one of the movement amount and the movement direction estimated by the above, an area on the substrate that receives the signal light can be extracted from the captured image. As a result, it is possible to easily extract the region receiving the signal light.
上記の第2光電変換素子について、光電変換における電荷蓄積時間を、第1光電変換素子より短くすることができる。これによって、受光量の変化に対する応答速度を速くすることができる。 About said 2nd photoelectric conversion element, the charge storage time in photoelectric conversion can be made shorter than a 1st photoelectric conversion element. Thereby, the response speed with respect to the change in the amount of received light can be increased.
以上説明したように、本発明の光通信装置によれば、複数の第1光電変換素子からの信号に基づいて得られた撮像画像を出力すると共に、第2光電変換素子から出力された信号を、信号光が表わす光通信信号として出力することにより、得られる撮像画像の画質を低下させずに、光通信を行うことができる、という効果が得られる。 As described above, according to the optical communication device of the present invention, the captured image obtained based on the signals from the plurality of first photoelectric conversion elements is output, and the signal output from the second photoelectric conversion element is output. By outputting as an optical communication signal represented by the signal light, there is an effect that optical communication can be performed without degrading the image quality of the obtained captured image.
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、かつ、光通信によって受信した受信データに基づいて運転支援を行なう運転支援システムの光通信装置に本発明を適用した場合を例に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, a case where the present invention is applied to an optical communication device of a driving support system that is mounted on a vehicle and performs driving support based on received data received by optical communication will be described as an example.
図1に示すように、第1の実施の形態に係る運転支援システム10は、車両前方を撮像すると共に、光通信を行う光通信装置12と、光通信装置12によって受信した受信データ及び撮像された撮像画像に基づいて、運転支援を行なう運転支援装置14とを備えている。
As shown in FIG. 1, the driving support system 10 according to the first embodiment captures an image of the front of the vehicle, performs optical communication, and receives and receives data received by the
光通信装置12は、光送信装置16から発光された信号光を受光して、光通信信号を受信する。光送信装置16は、例えば、LEDから構成される発光素子18と、送信データのデータ列に応じて、発光素子18をオンオフさせる通信制御部20とを備えている。
The
光送信装置16の通信制御部20は、搭載車両の車速又は加減速を示す情報を信号光によって送信するように、発光素子18をオンオフさせる。発光素子18は、多量のデータを送信するために、高速にスイッチング(オンオフ)される。
The
光通信装置12は、他の車両に搭載された光送信装置16から光通信によって受信した光通信信号が表わす受信データを、受信データ列として運転支援装置14に出力する。このように、光通信装置12は、有線通信または電波による無線通信に替わる、光による無線通信を実現する。有線通信は、信号伝達のための配線が必要になるため、通信距離が伸びるほど利便性が低下する。また、電波を用いた無線通信は、電波法による帯域の割り当てが障壁となるため、普及の足かせになり、また、電波の送受信機にコストがかかってしまう。一方、本実施の形態で用いられる光通信は、発光素子とカメラとで構成される安価なシステムで実現されている上、法規上の障壁もないため、有線通信や電波を用いた無線通信に比べて優位性を有している。
The
運転支援システム10の運転支援装置14は、光通信装置12で撮像された撮像画像に対して、パターンマッチングなどの画像処理を行って、前方車両の位置を検出し、また、光通信装置12からの受信データから、前方車両の車速又は加速度を取得する。そして、運転支援装置14は、取得した前方車両の位置と車速又は加速度とに基づいて、前方車両との衝突可能性を判定し、判定された衝突可能性に基づいて、運転支援として、警報の提示や運転制御を行なう。
The driving support device 14 of the driving support system 10 performs image processing such as pattern matching on the captured image captured by the
図2に示すように、光通信装置12は、撮像素子24と、撮像素子24の駆動制御を行うと共に所定の画像処理を行う制御装置26とを備えている。
As illustrated in FIG. 2, the
撮像素子24は、図3に示すように、受光量に応じた信号を出力する複数の画像画素用の光電変換素子28Aと複数の光通信画素用の光電変換素子28Bとを一つの基板上に二次元配列した画素アレイ28と、光通信画素用の光電変換素子28Bから出力されるアナログ信号をデジタル信号に変換するデジタル変換部30とを備えている。
As shown in FIG. 3, the
画素アレイ28では、例えば、1ラインごとに、画像画素用の光電変換素子28Aと光通信画素用の光電変換素子28Bとが交互に配置されている。なお、図4に示すように、画像画素用の光電変換素子28Aと光通信画素用の光電変換素子28Bとを格子状に配置してもよく、また、他の配置パターンで配置してもよい。ただし、図3、4に示した2つの具体例のように、画像画素用の光電変換素子28Aと光通信画素用の光電変換素子28Bとが、対(近接構造)となるように配置し、複数の画像画素用の光電変換素子28Aに対する光軸と、複数の光通信画素用の光電変換素子28Bに対する光軸とがほぼ一致することが好ましい。
In the
また、撮像素子24は、レンズ(図示省略)を1枚だけ備えており、複数の画像画素用の光電変換素子28Aと、複数の光通信画素用の光電変換素子28Bとに対する、共通のレンズとして用いられている。
In addition, the
光送信装置16の発光素子18が高速にオンオフされ、画像を撮像するための一般的な光電変換素子では、発光素子18のオンオフの速度に応答できないため、光通信用の光電変換素子28Bとして、光電変換における電荷蓄積時間が短く、高速なオンオフに応答できる光電変換素子が用いられる。
Since the light emitting element 18 of the optical transmission device 16 is turned on and off at high speed and a general photoelectric conversion element for capturing an image cannot respond to the on / off speed of the light emitting element 18, as the
また、画像画素用の光電変換素子28Aから出力された信号が、画像信号として制御装置26に出力され、そして、制御装置26から撮像素子24の画素アレイ28に座標値が入力される。画素アレイ28は、制御装置26から入力された座標値が表わす場所に位置する光通信画素用の光電変換素子28Bに対応するスイッチ(図示省略)をオンし、スイッチがオンされた光電変換素子28Bから出力されるアナログ信号を出力して、デジタル変換部30に入力する。
Further, a signal output from the
デジタル変換部30は、光通信画素用の光電変換素子28Bから入力されたアナログ信号をデジタル信号に変換し、光通信信号として制御装置26に出力する。
The
図5に示すように、デジタル変換部30は、外乱光の成分を削除又は低減するための直流分除去装置34と、微弱な信号を増幅するアンプ36と、アナログ信号をデジタル信号に変換するデジタル変換器38とを備えている。
As shown in FIG. 5, the
直流分除去装置34は、光通信信号に比べて非常に低周波(ほぼ直流)である外乱光(太陽光、街灯など)成分を除去し、高周波に変調された光通信信号だけを取り出す装置である。デジタル変換器38は、例えば、コンパレータを用いて構成され、前段までのアナログ信号を、1bitのデジタル信号に変換して出力する。
The DC
なお、アンプ36は、直流分除去装置34の出力が微弱な場合に備えればよく、信号強度が十分な場合には、アンプ36を備えなくてもよい。また、直流分除去装置34の前段にアンプ36を設けてもよい。
The amplifier 36 may be provided when the output of the DC
直流分除去装置34は、図6に示すように、光通信画素用の光電変換素子28Bから入力されたアナログ信号と、制御装置26から入力された外乱光の強度レベルとの差分を出力する差分回路40を備えている。光通信画素用の光電変換素子28Bによって出力された信号には、信号光以外の太陽光などの外乱光による強度信号が含まれている。そこで、差分回路40では、画像画素用の光電変換素子28Aから出力された画像信号に基づいて算出された外乱光の強度レベルを取得し、図7(A)に示すように、光通信画素用の光電変換素子28Bからの入力信号と外乱光の強度レベルとの差分(光電変換素子28Bからの入力信号−外乱光の強度レベル)をとることにより、図7(B)に示すように、外乱光成分を除去した信号を出力する。
As shown in FIG. 6, the direct current
また、図8(A)に示すようなコンパレータで構成されるデジタル変換器38は、図8(B)に示すように、入力されたアナログ信号のレベルが、入力設定された基準値(閾値)レベルを超えた場合に1を出力し、基準値レベル以下であれば0を出力する。このように、デジタル変換器38は、直流分除去装置34及びアンプ36を介して出力されたアナログ信号を、1bitのデジタル信号に変換して、光通信信号として出力する。
In addition, as shown in FIG. 8B, the digital converter 38 configured by a comparator as shown in FIG. 8A has a reference value (threshold value) in which the level of the input analog signal is set as input. 1 is output when the level is exceeded, and 0 is output when the level is below the reference value level. As described above, the digital converter 38 converts the analog signal output via the DC
また、光通信装置12の制御装置26は、コンピュータで構成され、CPU、後述する光通信処理ルーチンのプログラムを記憶したROM、データ等を記憶するRAM、及びこれらを接続するバスを含んで構成されている。この制御装置26をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図9に示すように、複数の画像画素用の光電変換素子28Aの各々から画像信号を入力する画像信号入力部44と、画像信号入力部44によって入力された複数の画像信号に基づいて得られる撮像画像から、光送信装置16からの信号光を受光している基板上の領域を抽出し、抽出された領域内の座標値を画素アレイ28へ出力する光抽出部46と、画像信号入力部44によって入力された画像信号に基づいて、外乱光の強度レベルを算出する外乱レベル算出部48と、画像信号入力部44によって入力された複数の画像信号に基づいて得られる撮像画像を外部へ出力する画像出力部50と、デジタル変換部30から出力された光通信信号を入力し、外部へ出力する光通信信号入出力部52と、画像信号入力部44によって入力された画像信号に基づいて、光通信信号にデジタル変換するときに用いられる基準値レベルを決定する基準値決定部54とを備えている。
The
光送信装置16の発光素子18からの信号光が、光通信装置12の撮像素子24に対して正面から直接入射された場合、受光した光の強度が大きいため、信号光を受光した画像画素用の光電変換素子28Aにおいて、過剰な光入射によるオーバーフロー(飽和)が発生し、撮像画像の信号光を受光した領域だけ真っ白に写る。そこで、光抽出部46は、画像信号に基づいて得られる撮像画像のうち、飽和している領域を手がかりとして、信号光を受光している基板上の領域を抽出する。また、光抽出部46は、抽出した領域内の座標値を画素アレイ28に出力して、抽出した領域内の座標値が表わす場所に位置する光通信画素用の光電変換素子28Bに、受光した光に応じた信号を出力させる。
When the signal light from the light emitting element 18 of the optical transmission device 16 is directly incident on the
また、光抽出部46は、所定周期で、信号光を受光している基板上の領域を繰り返し抽出することにより、信号光を受光している領域を追跡する。また、撮像画像内において、信号光を受光している領域が短時間で大きく移動しないことを利用して、光抽出部46は、信号光を受光している領域を、前回抽出された領域の近傍から優先的に探索する。これによって、画像信号から得られる撮像画像全体から、信号光を受光している領域を毎回探索して抽出する場合に比べて、処理効率を向上させ、計算コストを低減することができる。
In addition, the
また、光抽出部46は、信号光を受光している領域を追跡するときに、図10に示すように、画像処理によって、信号光を受光している領域の移動量及び移動方向を観測し、観測した移動量及び移動方向に基づいて、次のタイミングでの移動先を推定し、信号光を受光している領域を、推定された移動先の領域から優先的に探索する。これによって、更に処理効率を向上させる。なお、受光している領域の移動量及び移動方向の何れか一方だけを観測し、観測された移動量及び移動方向の何れか一方に基づいて、次のタイミングの移動先を推定するようにしてもよい。
Further, when tracing the region receiving the signal light, the
外乱レベル算出部48は、画像信号入力部44によって入力された画像信号を用いて、以下に説明するように、光通信画素用の光電変換素子28Bから出力される信号に含まれる外乱光成分の強度レベルを算出する。
The disturbance
画像画素用の光電変換素子28Aから出力された画像信号が、太陽光などの外乱光成分の強度レベルを表わしているが、画像画素用の光電変換素子28Aと光通信画素用の光電変換素子28Bとは構造が異なるため、同じ光量を当てても、出力される信号強度が異なる。そこで、同じ光を入射したときに2種の光電変換素子28A、28Bの各々から出力される信号の強度を予め計測し、2種の光電変換素子28A、28Bの各々の出力信号の強度を同じにするための変換係数αを求めておく。そして、以下に示す式によって、光通信画素用の光電変換素子28Bから出力される信号に含まれる外乱光成分の強度レベルを算出する。
外乱光成分の強度レベル=α×画像信号の強度レベル
基準値決定部54は、画像信号入力部44によって入力された画像信号に基づいて得られる撮像画像の信号光を受光している領域の明るさに基づいて、信号光の強度レベルを算出し、信号光の強度レベルに応じて、デジタル変換器38に入力される基準値のレベルを決定する。
The image signal output from the
The intensity level of the disturbance light component = α × the intensity level of the image signal. The reference
画像信号に基づく外乱光成分の除去を行った場合、図11(A)に示すように、基準値を任意に設定する必要がある。例えば、入射する信号光が十分強いとき(飽和時)の基準値を図11(A)に示すように設定した場合、図11(B)に示すように、信号光の強度が弱くなると、デジタル変換することが不可能になる。そこで、基準値決定部54は、画像信号に基づいて得られる撮像画像によって、受光する信号光の強度(明るさ)を監視し、図12に示すように、受光する信号光の強度に応じて、動的に基準値のレベルを可変させることにより、信号光の強度が弱まった場合であっても、光通信画素用の光電変換素子28Bからのアナログ信号が、正確にデジタル変換されるように制御する。
When the disturbance light component based on the image signal is removed, it is necessary to arbitrarily set the reference value as shown in FIG. For example, when the reference value when the incident signal light is sufficiently strong (saturated) is set as shown in FIG. 11A, if the intensity of the signal light becomes weak as shown in FIG. It becomes impossible to convert. Therefore, the reference
次に、第1の実施の形態に係る運転支援システム10の作用について説明する。以下では、運転支援システム10を搭載した自車両が走行しているときに、前方車両に搭載された光送信装置16から信号光が発光された場合を例に説明する。 Next, the operation of the driving support system 10 according to the first embodiment will be described. Hereinafter, a case where signal light is emitted from the light transmission device 16 mounted on the preceding vehicle when the host vehicle on which the driving support system 10 is mounted is traveling will be described as an example.
運転支援システム10の光通信装置12において、図13に示す光通信処理ルーチンが実行される。まず、ステップ100において、撮像画像を出力してからの経過時間を示す変数tに初期値として0を設定し、ステップ102において、複数の画像画素用の光電変換素子28Aの各々から出力された画像信号を取得する。
In the
そして、ステップ104において、上記ステップ102で取得された画像信号に基づいて得られる前方車両を表わす撮像画像を運転支援装置14に出力し、次のステップ106で、上記ステップ102で取得された画像信号に基づいて、光通信画素用の光電変換素子28Bから出力される信号に含まれる外乱光の強度レベルを算出し、算出した外乱光の強度レベルをデジタル変換部30に入力する。
In
そして、ステップ108において、上記ステップ102で取得された画像信号に基づいて得られる撮像画像から、光送信装置16からの信号光を受光している基板上の領域を抽出し、ステップ109において、撮像画像の上記ステップ108で抽出された領域から、受光している信号光の強度を算出し、算出された信号光の強度に応じて、デジタル変換の基準値レベルを決定し、デジタル変換器38の基準値レベルとして、決定した基準値レベルを入力設定する。
In
そして、ステップ110で、上記ステップ108で抽出された基板上の領域内の座標値を画素アレイ28に出力して、抽出された領域内の座標値が表わす場所に位置する光通信画素用の光電変換素子28Bから信号を出力するように指示する。これによって、指示された座標値が表わす場所に位置する光電変換素子28Bから出力された信号が、アナログ信号としてデジタル変換部30に入力され、上記ステップ106で入力された外乱光レベルの外乱光成分が除去されると共に、デジタル信号に変換されて、光通信信号として撮像素子24から出力される。
In
次のステップ112では、デジタル変換部30から光通信信号を取得し、ステップ114において、取得した光通信信号を受信データとして運転支援装置14に出力する。そして、ステップ116において、経過時間を表わす変数tをインクリメントし、ステップ118で、経過時間tが、予め定められた撮像画像出力レートに相当する時間F未満であるか否かを判定し、経過時間が、撮像画像出力レートに相当する時間に到達していない場合には、ステップ112へ戻り、次のタイミングの光通信信号を取得するが、一方、経過時間が、撮像画像出力レートに相当する時間に到達した場合には、ステップ120へ移行する。なお、撮像画像出力レートに相当する時間として、例えば、33ms(30fps)や16ms(60fps)を設定すればよい。
In the
ステップ120では、過去に抽出された信号光を受光している領域の移動量及び移動方向に基づいて、信号光の受光している領域の移動先を推定して、ステップ100へ戻り、再び画像信号を取得する。また、ステップ108では、上記ステップ120で推定された移動先から優先的に探索し、信号光を受光している領域を抽出する。
In
上記の光通信処理ルーチンを実行することにより、撮像画像出力レートの周期と同じ周期で、信号光を受光している領域が追跡され、追跡された領域内の座標に位置する光電変換素子28Bから、光通信信号を取得すると共に、光通信信号が表わす受信データ列が運転支援装置14に出力される。また、撮像画像出力レートの周期で取得した画像信号に基づいて得られる撮像画像の各々が運転支援装置14に出力される。
By executing the optical communication processing routine described above, the region receiving the signal light is tracked at the same cycle as the cycle of the captured image output rate, and the
そして、運転支援装置14は、受信データ列が表わす前方車両の車速又は加速度と、撮像画像から検出される前方車両の位置とに基づいて、前方車両との衝突可能性を判定し、判定された衝突可能性に基づいて、運転支援として、警報の提示や運転制御を行なう。 Then, the driving support device 14 determines the possibility of collision with the preceding vehicle based on the vehicle speed or acceleration of the preceding vehicle represented by the received data string and the position of the preceding vehicle detected from the captured image. Based on the possibility of collision, an alarm is presented and driving control is performed as driving assistance.
以上説明したように、第1の実施の形態に係る運転支援システムの光通信装置によれば、複数の画像画素用の光電変換素子からの信号に基づいて得られた撮像画像を出力すると共に、光通信画素用の光電変換素子から出力された信号を、信号光が表わす光通信信号として出力することにより、得られる撮像画像の画質を低下させずに、光通信を行うことができる。 As described above, according to the optical communication device of the driving support system according to the first embodiment, the captured image obtained based on the signals from the photoelectric conversion elements for a plurality of image pixels is output, By outputting the signal output from the photoelectric conversion element for the optical communication pixel as an optical communication signal represented by the signal light, optical communication can be performed without degrading the image quality of the obtained captured image.
また、撮像画像の画質を目指した構成の画像画素用の光電変換素子と、高速な応答を目指した構成の光通信画素用の光電変換素子とによって、撮像画像の画質を向上させると共に、高精度に光通信を行うことができる。 In addition, the photoelectric conversion element for the image pixel configured to aim at the image quality of the captured image and the photoelectric conversion element for the optical communication pixel configured to achieve a high-speed response improve the image quality of the captured image and achieve high accuracy. Optical communication can be performed.
また、撮像画像から信号光を受光している領域を抽出し、領域内に位置する光通信画素用の光電変換素子から出力される信号に基づいて、光通信信号を取得することにより、光通信信号を精度よく受信することができる。 In addition, by extracting a region receiving signal light from the captured image and acquiring an optical communication signal based on a signal output from the photoelectric conversion element for the optical communication pixel located in the region, optical communication is performed. The signal can be received with high accuracy.
また、光通信画素用の光電変換素子からの信号から、画像信号に基づいて算出される外乱光成分を除去して、光通信信号を得ることができるため、画像信号を用いて高精度な光通信を実現することができる。また、撮像画像から得られる信号光の強度を考慮してデジタル変換された光通信信号を得ることができるため、撮像画像を用いて、高精度な光通信を実現することができる。 In addition, since the disturbance light component calculated based on the image signal can be removed from the signal from the photoelectric conversion element for the optical communication pixel to obtain an optical communication signal, high-precision light can be obtained using the image signal. Communication can be realized. In addition, since an optical communication signal digitally converted in consideration of the intensity of signal light obtained from the captured image can be obtained, high-accuracy optical communication can be realized using the captured image.
また、過去に抽出された受光領域に基づいて、信号光を受光している領域の移動先を推定することにより、次のタイミングで信号光を受光している領域を容易に抽出することができる。 Further, by estimating the movement destination of the region receiving the signal light based on the light receiving region extracted in the past, it is possible to easily extract the region receiving the signal light at the next timing. .
なお、上記の実施の形態では、運転支援として、衝突危険性に応じた警告提示や運転制御を行う場合を例に説明したが、これに限定されるものではなく、撮像画像や受信データに基づいて、白線検出による車線維持支援(レーン・キーピング・アシスト)や歩行者検出などを行なうようにしてもよい。 In the above embodiment, the case where warning presentation or driving control according to collision risk is performed as driving assistance has been described as an example. However, the present invention is not limited to this, and is based on captured images and received data. Thus, lane maintenance assistance (lane keeping assistance) or pedestrian detection by white line detection may be performed.
また、光通信装置では、撮像素子と制御装置とが別々に設けられている場合を例に説明したが、制御装置を撮像素子内に設けるようにしてもよい。 In the optical communication device, the case where the image sensor and the control device are separately provided has been described as an example. However, the control device may be provided in the image sensor.
また、光通信画素用の光電変換素子から出力された信号をデジタル変換して、光通信信号として出力する場合を例に説明したが、光通信画素用の光電変換素子から出力された信号を、アナログ信号のまま光通信信号として外部に出力するようにしてもよい。 Moreover, although the case where the signal output from the photoelectric conversion element for optical communication pixels was digitally converted and output as an optical communication signal was described as an example, the signal output from the photoelectric conversion element for optical communication pixels was You may make it output outside as an optical communication signal with an analog signal.
次に、第2の実施の形態について説明する。なお、第1の実施の形態と同様の構成となっている部分については、同一符号を付して説明を省略する。 Next, a second embodiment will be described. In addition, about the part which becomes the structure similar to 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
第2の実施の形態では、光通信画素用の光電変換素子から出力されたアナログ信号の低周波成分を除去することにより、外乱光成分を除去している点が主に第1の実施の形態と異なっている。 In the second embodiment, the disturbance light component is mainly removed by removing the low frequency component of the analog signal output from the photoelectric conversion element for the optical communication pixel. Is different.
図14に示すように、第2の実施の形態に係る撮像素子のデジタル変換部の直流除去装置234は、ハイパスフィルタ240を備えている。
As illustrated in FIG. 14, the
光通信画素用の光電変換素子28Bから出力された信号には、信号光以外の太陽光などの外乱光による強度信号が含まれており、外乱光による強度信号は、光通信信号に比べて、周波数が低い。そこで、ハイパスフィルタ240によって、図15(A)、(B)に示すように、光通信画素用の光電変換素子28Bから出力された信号から低周波成分を除去することにより、外乱光成分を除去する。
The signal output from the
ハイパスフィルタ240は、入力された信号のうち、入力設定された通過帯域設定パラメータが表わす周波数よりも周波数の高い成分のみを通過させる。例えば入射される信号光の変調周波数が1MHzであると既知の場合、通過帯設定パラメータを500kHzに設定して、500kHz以上の周波数成分のみを通過させることによって、外乱光成分などの光通信とは関係のない成分を除去する。
The high-
このように、ハイパスフィルタを用いて、光通信画素用の光電変換素子から出力された信号から外乱光成分などの低周波成分を除去することによって、デジタル変換するときの基準値レベルを0に設定すれば済む。 In this way, the reference value level for digital conversion is set to 0 by removing low-frequency components such as disturbance light components from the signal output from the photoelectric conversion element for optical communication pixels using a high-pass filter. You can do it.
なお、上記の実施の形態では、直流除去装置としてハイパスフィルタを用いた場合を例に説明したが、バンドパスフィルタを用いてもよい。この場合には、ある任意の幅の周波数帯域を表わす通過帯域設定パラメータをバンドパスフィルタに入力設定して、バンドパスフィルタによって、ある任意の幅の周波数帯域の成分のみを通過させる。例えば、入射する信号光の変調周波数が1MHzと既知の場合、500kHz〜1.5MHzの周波数帯域を表わす通過帯域設定パラメータを入力設定して、500kHz〜1.5MHzの範囲内の周波数を持つ成分のみを通過させて、外乱光成分などの通信に必要ない信号を除去する。 In the above embodiment, the case where a high-pass filter is used as the direct current removing device has been described as an example, but a band-pass filter may be used. In this case, a pass band setting parameter representing a frequency band of an arbitrary width is input and set to the band pass filter, and only the component of the frequency band of an arbitrary width is passed by the band pass filter. For example, when the modulation frequency of the incident signal light is known as 1 MHz, only a component having a frequency in the range of 500 kHz to 1.5 MHz is set by inputting a passband setting parameter representing a frequency band of 500 kHz to 1.5 MHz. To remove signals that are not necessary for communication, such as disturbance light components.
次に、第3の実施の形態について説明する。なお、第1の実施の形態と同様の構成となっている部分については、同一符号を付して説明を省略する。 Next, a third embodiment will be described. In addition, about the part which becomes the structure similar to 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
第3の実施の形態では、光通信画素用の光電変換素子から出力されたアナログ信号を、多ビットのデジタル信号にデジタル変換している点が主に第1の実施の形態と異なっている。 The third embodiment is mainly different from the first embodiment in that an analog signal output from a photoelectric conversion element for an optical communication pixel is digitally converted into a multi-bit digital signal.
第3の実施の形態に係る光通信装置12では、デジタル変換器38が、A/Dコンバータで構成されている。図16に示すように、光送信装置によって、オンオフだけでなく、オン時の明るさに応じた情報(例えば、0〜4までの5段階の情報)を示す光通信信号を送信する場合には、受信する信号が多値となるため、A/Dコンバータを用いて、アナログ信号を多ビットのデジタル信号にデジタル変換する。
In the
画像画素用の光電変換素子からの信号に基づいて得られる撮像画像、又は光通信画素用の光電変換素子からの信号に基づいて、複数種類の基準値レベルを算出し、算出された複数種類の基準値レベルが、A/Dコンバータに設定される。そして、A/Dコンバータは、設定された複数種類の基準値レベルに基づいて、アナログ信号を多ビットのデジタル信号にデジタル変換する。 A plurality of types of reference value levels are calculated based on a captured image obtained based on a signal from a photoelectric conversion element for an image pixel or a signal from a photoelectric conversion element for an optical communication pixel. The reference value level is set in the A / D converter. The A / D converter digitally converts an analog signal into a multi-bit digital signal based on a plurality of types of set reference value levels.
これによって、1ビットに比べて、明るさの段階数に応じた多量のデータを受信することができる。 As a result, it is possible to receive a large amount of data corresponding to the number of steps of brightness compared to 1 bit.
次に、第4の実施の形態について説明する。なお、第4の実施の形態に係る運転支援システムの構成は、第1の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。 Next, a fourth embodiment will be described. In addition, since the structure of the driving assistance system which concerns on 4th Embodiment is the structure similar to 1st Embodiment, it attaches | subjects the same code | symbol and abbreviate | omits description.
第4の実施の形態では、撮像画像に対してパターンマッチングを行なって、信号光を受光している領域を抽出している点が主に第1の実施の形態と異なっている。 The fourth embodiment is mainly different from the first embodiment in that pattern matching is performed on a captured image and a region receiving signal light is extracted.
第4の実施の形態に係る光通信装置12の制御装置26では、光抽出部46によって、画像画素用の光電変換素子28Aからの信号に基づいて得られる撮像画像内で、円形状のパターンを探索し、探索されたパターンを表わす領域を、信号光を受光している領域として抽出する。撮像画像上において、光送信装置16の発光素子18は、ある明るさを持った円形として撮像されるため、撮像画像内で探索された円形状のパターンを表わす領域が、信号光を受光している領域となる。
In the
これによって、発光素子18が遠距離に存在している場合であっても、パターンマッチングによる領域抽出によって、信号光を受光している領域を抽出することができる。 Thereby, even if the light emitting element 18 exists at a long distance, the region receiving the signal light can be extracted by extracting the region by pattern matching.
なお、上記の実施の形態では、撮像画像から円形状のパターンを表わす領域を抽出する場合を例に説明したが、これに限定されるものではなく、撮像画像から車両や信号機を検出し、検出された車両や信号機を表わす領域の中から、円形状のパターンを表わす領域を抽出するようにしてもよい。これによって、撮像画像から、街灯などを表わす一定以上の明るさを持つ円形状のパターンをすべて抽出してしまうことを防止でき、信号光を受光している領域を精度良く抽出することができる。 In the above embodiment, the case where a region representing a circular pattern is extracted from a captured image has been described as an example. However, the present invention is not limited to this, and a vehicle or a traffic light is detected from the captured image and detected. An area representing a circular pattern may be extracted from the areas representing the vehicles and traffic lights. Accordingly, it is possible to prevent the extraction of all circular patterns having a certain level of brightness representing street lamps or the like from the captured image, and it is possible to accurately extract the region receiving the signal light.
また、送信側の発光素子が複数配置されている場合であって、その配置が光通信装置側で既知の場合には、撮像画像から、円形状のパターンマッチングによって、発光素子からの信号光の受光領域の候補を抽出し、抽出された受光領域の候補から、さらに配置のパターンマッチングを行なって、信号光を受光している領域を抽出してもよい。例えば、図17に示すように、車両のテールランプ内に通信用の発光素子をある決まった配置で複数個並べられている場合には、光通信装置において、この配置のパターンマッチングを行なって、撮像画像から信号光を受光している領域を抽出する。これによって、信号光を受光している領域を更に精度良く抽出することができる。 In the case where a plurality of light emitting elements on the transmission side are arranged and the arrangement is known on the optical communication apparatus side, the signal light from the light emitting elements is extracted from the captured image by circular pattern matching. Light receiving region candidates may be extracted, and pattern matching of the arrangement may be further performed from the extracted light receiving region candidates to extract regions that receive signal light. For example, as shown in FIG. 17, when a plurality of communication light emitting elements are arranged in a certain arrangement in the tail lamp of a vehicle, the optical communication apparatus performs pattern matching of this arrangement to perform imaging. A region receiving signal light is extracted from the image. As a result, the region receiving the signal light can be extracted with higher accuracy.
次に、第5の実施の形態について説明する。なお、第5の実施の形態に係る運転支援システムの構成は、第1の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。 Next, a fifth embodiment will be described. In addition, since the structure of the driving assistance system which concerns on 5th Embodiment is the structure similar to 1st Embodiment, it attaches | subjects the same code | symbol and abbreviate | omits description.
第5の実施の形態では、画像画素用の光電変換素子が、光通信画素用の光電変換素子を内包するように基板上に配列されている点が主に第1の実施の形態と異なっている。 The fifth embodiment is different from the first embodiment mainly in that the photoelectric conversion elements for image pixels are arranged on the substrate so as to enclose the photoelectric conversion elements for optical communication pixels. Yes.
図18(A)に示すように、画素アレイ28には、画像画素用の光電変換素子28Aが、光通信画素用の光電変換素子28Bを内包するように配置されて、複数の画像画素用の光電変換素子28Aと複数の光通信画素用の光電変換素子28Bとを一つの基板上に配列されている。
As shown in FIG. 18A, in the
これによって、複数の画像画素用の光電変換素子における光軸と複数の光通信画素用の光電変換素子28における光軸とのずれをほぼ一致させることができる。
Thereby, the deviation between the optical axis of the photoelectric conversion elements for the plurality of image pixels and the optical axis of the
なお、画像画素用の光電変換素子が、光通信画素用の光電変換素子を内包するように基板上に配列されている場合を例に説明したが、光通信画素用の光電変換素子が、画像画素用の光電変換素子を内包するように基板上に配置されていてもよい。 Although the case where the photoelectric conversion elements for image pixels are arranged on the substrate so as to enclose the photoelectric conversion elements for optical communication pixels has been described as an example, the photoelectric conversion elements for optical communication pixels are You may arrange | position on a board | substrate so that the photoelectric conversion element for pixels may be included.
また、上記の実施の形態では、画像画素用の光電変換素子のサイズと光通信画素用の光電変換素子のサイズとが同じ場合を例に説明したが、図18(B)のように、画像画素用の光電変換素子のサイズと光通信画素用の光電変換素子のサイズとが異なっていてもよく、例えば、光通信画素用の光電変換素子のサイズが、画像画素用の光電変換素子のサイズより小さくなっていてもよい。 In the above embodiment, the case where the size of the photoelectric conversion element for the image pixel is the same as the size of the photoelectric conversion element for the optical communication pixel is described as an example. However, as shown in FIG. The size of the photoelectric conversion element for the pixel and the size of the photoelectric conversion element for the optical communication pixel may be different. For example, the size of the photoelectric conversion element for the optical communication pixel is the size of the photoelectric conversion element for the image pixel. It may be smaller.
次に、第6の実施の形態について説明する。なお、第1の実施の形態と同様の構成となっている部分については、同一符号を付して説明を省略する。 Next, a sixth embodiment will be described. In addition, about the part which becomes the structure similar to 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
第6の実施の形態では、光通信画素用の光電変換素子からの信号に基づいて、外乱光の強度レベルを設定している点と、光通信画素用の光電変換素子からの信号に基づいて、デジタル変換の基準値レベルを設定している点とが主に第1の実施の形態と異なっている。 In the sixth embodiment, the intensity level of disturbance light is set based on the signal from the photoelectric conversion element for the optical communication pixel, and the signal from the photoelectric conversion element for the optical communication pixel. The difference from the first embodiment is that a reference value level for digital conversion is set.
第6の実施の形態では、画素アレイ28の光通信画素用の光電変換素子28Bから出力された信号が、図19に示す制御装置626に入力されるようになっている。
In the sixth embodiment, a signal output from the
制御装置626は、画像信号入力部44と、画像信号入力部44によって入力された複数の画像信号に基づいて得られる撮像画像から、光送信装置16からの信号光を受光している基板上の領域を抽出し、抽出された領域内の座標値を画素アレイ28へ出力すると共に、抽出された領域外の座標値を画素アレイ28へ出力する光抽出部646と、光通信画素用の光電変換素子28Bから出力された信号に基づいて、外乱光の強度レベルを設定する外乱レベル設定部648と、画像出力部50と、光通信信号入出力部52と、光通信画素用の光電変換素子28Bから出力された信号に基づいて、光通信信号にデジタル変換するときに用いられる基準値レベルを設定する基準値設定部654とを備えている。
The
外乱レベル設定部648は、光抽出部646によって抽出された領域外の座標値に対応する光通信画素用の光電変換素子28Bから出力された信号を用いて、光通信画素用の光電変換素子28Bから出力される信号に含まれる外乱光成分の強度レベルを算出し、差分回路40に対して、初期設定として、算出した外乱光の強度レベルを設定する。
The disturbance
基準値決定部654は、光抽出部646によって抽出された領域内の座標値に対応する光通信画素用の光電変換素子28Bから出力された信号を用いて、信号光の強度レベルを算出し、信号光の強度レベルに応じて、デジタル変換の基準値のレベルを決定し、デジタル変換器38に対して、初期設定として、決定した基準値のレベルを設定する。
The reference
次に、第6の実施の形態に係る運転支援システムの作用について説明する。なお、第1の実施の形態と同様の処理については、同一符合を付して詳細な説明を省略する。まず、運転支援システムの光通信装置において、図20に示す初期設定処理ルーチンが実行される。ステップ102において、複数の画像画素用の光電変換素子28Aの各々から出力された画像信号を取得し、ステップ108において、上記ステップ102で取得された画像信号に基づいて得られる撮像画像から、光送信装置16からの信号光を受光している基板上の領域を抽出し、そして、ステップ110で、上記ステップ108で抽出された基板上の領域内の座標値を画素アレイ28に出力して、抽出された領域内の座標値が表わす場所に位置する光通信画素用の光電変換素子28Bから信号を出力するように指示する。
Next, the operation of the driving support system according to the sixth embodiment will be described. In addition, about the process similar to 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted. First, in the optical communication device of the driving support system, an initial setting process routine shown in FIG. 20 is executed. In
次のステップ670において、抽出された領域内の座標値が表わす場所に位置する光通信画素用の光電変換素子28Bから出力された信号を取得し、ステップ672において、上記ステップ670で取得された信号に基づいて、信号光の基準値レベルを決定し、デジタル変換器38に対して基準値レベルを設定する。
In the
そして、ステップ674において、上記ステップ108で抽出された基板上の領域外の座標値を画素アレイ28に出力して、抽出された領域外の座標値が表わす場所に位置する光通信画素用の光電変換素子28Bから信号を出力するように指示する。次のステップ676では、抽出された領域外の座標値が表わす場所に位置する光通信画素用の光電変換素子28Bから出力された信号を取得し、そして、ステップ678において、上記ステップ676で取得された信号に基づいて、外乱光の強度レベルを算出して、差分回路40に対して、算出した外乱光の強度レベルを設定して、初期設定処理ルーチンを終了する。
In
そして、光通信装置において、図21に示す光通信処理ルーチンが実行される。まず、ステップ100において、経過時間を示す変数tに初期値として0を設定し、ステップ102において、複数の画像画素用の光電変換素子28Aの各々から出力された画像信号を取得する。そして、ステップ104において、上記ステップ102で取得された画像信号に基づいて得られる撮像画像を運転支援装置14に出力する。
Then, the optical communication processing routine shown in FIG. 21 is executed in the optical communication apparatus. First, in
そして、ステップ108において、上記ステップ102で取得された画像信号に基づいて得られる撮像画像から、信号光を受光している基板上の領域を抽出し、ステップ110で、上記ステップ108で抽出された基板上の領域内の座標値を画素アレイ28に出力する。次のステップ112では、デジタル変換部30から光通信信号を取得し、ステップ114において、取得した光通信信号を受信データとして運転支援装置14に出力する。
In
そして、ステップ116において、経過時間を表わす変数tをインクリメントし、ステップ118で、経過時間tが、予め定められた撮像画像出力レートに相当する時間F未満であるか否かを判定し、経過時間が、撮像画像出力レートに相当する時間に到達していない場合には、ステップ112へ戻るが、一方、経過時間が、撮像画像出力レートに相当する時間に到達した場合には、ステップ120へ移行する。
In
ステップ120では、過去に抽出された信号光を受光している領域の移動量及び移動方向に基づいて、信号光の受光している領域の移動先を推定して、ステップ100へ戻り、再び画像信号を取得する。
In
以上説明したように、第6の実施の形態に係る運転支援システムの光通信装置によれば、光通信画素用の光電変換素子からの信号に基づいて設定される外乱光成分を、光通信画素用の光電変換素子からの信号からを除去して、光通信信号を得ることができるため、高精度な光通信を実現することができる。また、光通信画素用の光電変換素子からの信号から得られる信号光の強度を考慮して基準値レベルを設定し、設定された基準値レベルに基づいてデジタル変換された光通信信号を得ることができるため、高精度な光通信を実現することができる。 As described above, according to the optical communication device of the driving support system according to the sixth embodiment, the disturbance light component set based on the signal from the photoelectric conversion element for the optical communication pixel is converted into the optical communication pixel. Since the optical communication signal can be obtained by removing the signal from the photoelectric conversion element for use, high-accuracy optical communication can be realized. In addition, a reference value level is set in consideration of the intensity of signal light obtained from a signal from a photoelectric conversion element for an optical communication pixel, and an optical communication signal that is digitally converted based on the set reference value level is obtained. Therefore, highly accurate optical communication can be realized.
なお、上記の実施の形態では、光通信画素用の光電変換素子からの信号に基づいて、外乱光成分を設定する場合を例に説明したが、光通信画素用の光電変換素子からの信号と、画像信号に基づいて得られる撮像画像とに基づいて、外乱光成分を設定するようにしてもよい。この場合には、例えば、光通信画素用の光電変換素子からの信号に基づいて、外乱光成分を算出すると共に、上記の第1の実施の形態と同様に撮像画像を用いて外乱光成分を算出し、算出された双方の外乱光成分を平均して、外乱光成分の平均値を差分回路に対して設定するようにしてもよい。 In the above embodiment, the case where the disturbance light component is set based on the signal from the photoelectric conversion element for the optical communication pixel is described as an example, but the signal from the photoelectric conversion element for the optical communication pixel is The disturbance light component may be set based on the captured image obtained based on the image signal. In this case, for example, the disturbance light component is calculated based on the signal from the photoelectric conversion element for the optical communication pixel, and the disturbance light component is calculated using the captured image in the same manner as in the first embodiment. The calculated disturbance light components may be averaged, and the average value of the disturbance light components may be set for the difference circuit.
また、光通信画素用の光電変換素子からの信号に基づいて、デジタル変換の基準値レベルを設定する場合を例に説明したが、光通信画素用の光電変換素子からの信号と、画像信号に基づいて得られる撮像画像とに基づいて、基準値レベルを設定するようにしてもよい。この場合には、例えば、光通信画素用の光電変換素子からの信号に基づいて、基準値レベルを決定すると共に、上記の第1の実施の形態と同様に撮像画像を用いて基準値レベルを決定し、決定された双方の基準値レベルを平均して、基準値レベルの平均値をデジタル変換器に設定するようにしてもよい。 In addition, the case where the reference value level for digital conversion is set based on the signal from the photoelectric conversion element for the optical communication pixel has been described as an example, but the signal from the photoelectric conversion element for the optical communication pixel and the image signal are The reference value level may be set based on the captured image obtained based on the image. In this case, for example, the reference value level is determined based on the signal from the photoelectric conversion element for the optical communication pixel, and the reference value level is set using the captured image as in the first embodiment. It is also possible to determine the average value of both of the determined reference value levels and set the average value of the reference value levels in the digital converter.
また、光通信装置を車両に搭載した場合を例に説明したが、これに限定されるものではなく、例えば、信号機などに光通信装置を搭載してもよい。 Further, the case where the optical communication device is mounted on the vehicle has been described as an example. However, the present invention is not limited to this. For example, the optical communication device may be mounted on a traffic light or the like.
また、光通信画素用の光電変換素子として、光電変換における電荷蓄積時間が短い光電変換素子を用いた場合を例に説明したが、これに限定されるものではなく、受光量の変化に対する応答速度が、画像画素用の光電変換素子よりも速い光電変換素子を用いればよい。例えば、受光量に応じた信号を電荷として蓄積せずに(電荷蓄積時間がゼロ)、受光量に応じた信号をそのまま出力する光電変換素子を、光通信画素用の光電変換素子として用いてもよい。 In addition, the case where a photoelectric conversion element with a short charge accumulation time in photoelectric conversion is used as the photoelectric conversion element for the optical communication pixel is described as an example, but the present invention is not limited to this. However, a photoelectric conversion element that is faster than the photoelectric conversion element for image pixels may be used. For example, a photoelectric conversion element that outputs a signal according to the amount of received light as it is without accumulating a signal according to the amount of received light (charge accumulation time is zero) may be used as a photoelectric conversion element for an optical communication pixel. Good.
10 運転支援システム
12 光通信装置
14 運転支援装置
16 光送信装置
18 発光素子
24 撮像素子
26、626 制御装置
28 画素アレイ
28A 画像画素用の光電変換素子
28B 光通信画素用の光電変換素子
30 デジタル変換部
34、234 直流分除去装置
38 デジタル変換器
40 差分回路
46、646 光抽出部
48、648 外乱レベル算出部
50 画像出力部
52 光通信信号入出力部
54、654 基準値決定部
240 ハイパスフィルタ
DESCRIPTION OF SYMBOLS 10
Claims (5)
前記撮像素子の前記複数の第1光電変換素子から出力された信号に基づいて得られた撮像画像から、信号光を受光している前記基板上の領域を抽出する抽出手段と、
前記抽出手段によって抽出された前記領域内に位置する前記第2光電変換素子から出力された信号に基づいて、信号光の強度の基準値を設定する基準値設定手段と、
前記基準値設定手段によって設定された前記基準値に基づいて、前記抽出手段によって抽出された前記領域内に位置する前記第2光電変換素子から出力された信号をデジタル変換して、前記デジタル変換した信号を前記信号光が表わす光通信信号として出力する光通信出力手段と、
前記撮像素子の前記複数の第1光電変換素子から出力された信号に基づいて得られた撮像画像を出力する画像出力手段と、
を含む光通信装置。 A plurality of first photoelectric conversion elements that output a signal according to the amount of received light, and a plurality of first photoelectric conversion elements that output a signal according to the amount of received light and have a response speed with respect to a change in the amount of received light that is faster than that of the first photoelectric conversion element. and a second photoelectric conversion element, the first photoelectric conversion element and the second photoelectric conversion element and the plurality of first photoelectric conversion elements and the plurality of second photoelectric conversion element so that the pairs, one substrate An image sensor two-dimensionally arranged on top;
Extraction means for extracting a region on the substrate receiving signal light from a captured image obtained based on signals output from the plurality of first photoelectric conversion elements of the imaging element;
Reference value setting means for setting a reference value of the intensity of the signal light based on the signal output from the second photoelectric conversion element located in the region extracted by the extraction means;
Based on the reference value set by the reference value setting means, wherein a signal output from the second photoelectric conversion elements located on the extracted within the region by the extracting means to digital conversion, said digital conversion optical communication output means for outputting a signal as an optical communication signal represented by the signal light,
Image output means for outputting a captured image obtained based on signals output from the plurality of first photoelectric conversion elements of the image sensor;
An optical communication device including:
前記光通信出力手段は、前記抽出手段によって抽出された前記領域内に位置する前記第2光電変換素子から出力された信号から、前記算出手段によって算出された外乱光成分を除去して、前記信号光が表わす光通信信号を生成し、前記生成した前記光通信信号を出力する請求項1記載の光通信装置。 A calculation means for calculating a disturbance light component based on a signal output from the first photoelectric conversion element of the imaging element;
The optical communication output means removes the disturbance light component calculated by the calculation means from the signal output from the second photoelectric conversion element located in the region extracted by the extraction means, and the signal The optical communication apparatus according to claim 1, wherein an optical communication signal represented by light is generated, and the generated optical communication signal is output.
前記光通信出力手段は、前記抽出手段によって抽出された前記領域内に位置する前記第2光電変換素子から出力された信号から、前記設定手段によって設定された外乱光成分を除去して、前記信号光が表わす光通信信号を生成し、前記生成した前記光通信信号を出力する請求項1記載の光通信装置。 Further comprising setting means for setting a disturbance light component based on a signal output from at least one of the first photoelectric conversion element and the second photoelectric conversion element of the imaging element;
The optical communication output means removes the disturbance light component set by the setting means from the signal output from the second photoelectric conversion element located in the region extracted by the extraction means, and the signal The optical communication apparatus according to claim 1, wherein an optical communication signal represented by light is generated, and the generated optical communication signal is output.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007188868A JP4992129B2 (en) | 2007-07-19 | 2007-07-19 | Optical communication device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007188868A JP4992129B2 (en) | 2007-07-19 | 2007-07-19 | Optical communication device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009027480A JP2009027480A (en) | 2009-02-05 |
JP4992129B2 true JP4992129B2 (en) | 2012-08-08 |
Family
ID=40398858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007188868A Expired - Fee Related JP4992129B2 (en) | 2007-07-19 | 2007-07-19 | Optical communication device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4992129B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5017204B2 (en) * | 2008-07-25 | 2012-09-05 | 本田技研工業株式会社 | Optical receiver |
JP5846554B2 (en) | 2011-07-29 | 2016-01-20 | 国立大学法人静岡大学 | Solid-state imaging device and pixel |
GB2496379A (en) | 2011-11-04 | 2013-05-15 | Univ Edinburgh | A freespace optical communication system which exploits the rolling shutter mechanism of a CMOS camera |
JP7515271B2 (en) | 2020-02-28 | 2024-07-12 | キヤノン株式会社 | Image processing device and image processing method |
JP7492361B2 (en) | 2020-04-03 | 2024-05-29 | 株式会社Subaru | Information Transmission System |
JP7270197B1 (en) * | 2022-03-30 | 2023-05-10 | 池上通信機株式会社 | Method for detecting brightness level of light from high brightness light source |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6040223B2 (en) * | 1980-07-02 | 1985-09-10 | 松下電器産業株式会社 | Automatic threshold control method for optical communication receiving system |
JPH0993197A (en) * | 1995-09-25 | 1997-04-04 | Sharp Corp | Optical space transmitter |
JP2006166373A (en) * | 2004-12-10 | 2006-06-22 | Victor Co Of Japan Ltd | Communication information terminal |
JP2007049456A (en) * | 2005-08-10 | 2007-02-22 | Toshiba Corp | Optical receiving device, and optical communication system |
JP2007067354A (en) * | 2005-09-02 | 2007-03-15 | Sharp Corp | Infrared communication device |
JP2007151143A (en) * | 2006-12-18 | 2007-06-14 | Nec Corp | Imaging device, imaging module and mobile terminal |
-
2007
- 2007-07-19 JP JP2007188868A patent/JP4992129B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009027480A (en) | 2009-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4992129B2 (en) | Optical communication device | |
JP6198113B2 (en) | Object recognition apparatus, device control system, vehicle, object recognition method, and object recognition program | |
JP5482259B2 (en) | Optical communication device | |
US20070222877A1 (en) | Image sensing apparatus, image sensing system, and image sensing method | |
US9077907B2 (en) | Image processing apparatus | |
US9171215B2 (en) | Image processing device | |
JP4568637B2 (en) | Road recognition device | |
US20100110193A1 (en) | Lane recognition device, vehicle, lane recognition method, and lane recognition program | |
WO2007111220A1 (en) | Road division line detector | |
KR101971370B1 (en) | Method and apparatus for estimating location of vehicle using optical camera communication | |
JP2012226513A (en) | Detection device and detection method | |
JP5260696B2 (en) | Edge point extraction device, lane detection device, and program | |
US20190362479A1 (en) | Image generation device, image generation method, program and recording medium | |
JP2013167624A (en) | Imaging device, vehicle system equipped with the same, and image processing method | |
JP2013250907A (en) | Parallax calculation device, parallax calculation method and parallax calculation program | |
JP2013258596A (en) | Image pick-up device | |
JP2015148887A (en) | Image processing device, object recognition device, moving body instrument control system and object recognition program | |
JP5849942B2 (en) | In-vehicle image processing device | |
JP6375911B2 (en) | Curve mirror detector | |
JP2014026396A (en) | Movable surface boundary line recognition device, movable body having movable surface boundary line recognition device, movable surface boundary line recognition method, and movable surface boundary line recognition program | |
CN110611772B (en) | Image capturing device for vehicle and exposure parameter setting method thereof | |
CA2605837A1 (en) | Vehicle and lane mark recognizer | |
JP6405765B2 (en) | Imaging apparatus and determination method | |
JP2008028478A (en) | Obstacle detection system, and obstacle detecting method | |
JP5674130B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100713 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111025 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120321 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120417 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |