JP4992129B2 - Optical communication device - Google Patents

Description

本発明は、光通信装置に係り、特に、信号光を受光して光通信を行う光通信装置に関する。   The present invention relates to an optical communication apparatus, and more particularly to an optical communication apparatus that receives signal light and performs optical communication.

従来より、光通信を行うための装置が知られている（例えば、非特許文献１）。非特許文献１に記載の装置では、イメージセンサの画素に対して、イメージセンサ用読み出し線と通信用高速読み出し線とが設けられ、イメージセンサの画素から、通信信号及び画像信号の何れかを切り換えて出力する。
香川景一郎、西村智博、平井隆夫、太田淳、布下正宏、山嵜康司、山田雅司、杉下正蔵、渡辺國寛、「ＢｉＣＭＯＳプロセスを用いた光無線ＬＡＮ用ビジョンチップの開発」、映像情報メディア学会 情報センシング・コンシューマエレクトロニクス研究会、ＩＴＥ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ２６（２６）、ｐｐ．３５−４０（２００２） Conventionally, an apparatus for performing optical communication is known (for example, Non-Patent Document 1). In the apparatus described in Non-Patent Document 1, an image sensor readout line and a communication high-speed readout line are provided for the image sensor pixel, and either a communication signal or an image signal is switched from the image sensor pixel. Output.
Keiichiro Kagawa, Tomohiro Nishimura, Takao Hirai, Atsushi Ota, Masahiro Nushita, Koji Yamazaki, Masaji Yamada, Shozo Sugishita, Kunihiro Watanabe, “Development of Vision Chip for Optical Wireless LAN Using BiCMOS Process”, Institute of Image Information and Television Engineers Information Sensing Consumer Electronics Study Group, ITE Technical Report 26 (26), pp. 35-40 (2002)

しかしながら、上記の非特許文献１の記載では、同一の画素から、通信信号と画像信号とを同時に出力することができないため、通信信号を出力すると、通信を行っている座標の画像信号は出力されず、画像として歯抜けの状態となり、画像信号により得られる画像の画質が低下してしまう、という問題がある。   However, in the description of Non-Patent Document 1 described above, since a communication signal and an image signal cannot be output simultaneously from the same pixel, when a communication signal is output, an image signal of coordinates at which communication is performed is output. However, there is a problem in that the image is missing and the image quality obtained from the image signal is degraded.

本発明は、上記の問題点を解決するためになされたもので、得られる撮像画像の画質を低下させずに、光通信を行うことができる光通信装置を提供することを目的とする。   The present invention has been made to solve the above-described problems, and an object of the present invention is to provide an optical communication apparatus capable of performing optical communication without degrading the image quality of a captured image obtained.

上記の目的を達成するために本発明に係る光通信装置は、受光量に応じた信号を出力する複数の第１光電変換素子と、受光量に応じた信号を出力し、かつ、前記受光量の変化に対する応答速度が前記第１光電変換素子より速い複数の第２光電変換素子とを備え、前記第１光電変換素子と前記第２光電変換素子とが対となるように前記複数の第１光電変換素子及び前記複数の第２光電変換素子を、一つの基板上に二次元配列した撮像素子と、前記撮像素子の前記複数の第１光電変換素子から出力された信号に基づいて得られた撮像画像から、信号光を受光している前記基板上の領域を抽出する抽出手段と、前記抽出手段によって抽出された前記領域内に位置する前記第２光電変換素子から出力された信号に基づいて、信号光の強度の基準値を設定する基準値設定手段と、前記基準値設定手段によって設定された前記基準値に基づいて、前記抽出手段によって抽出された前記領域内に位置する前記第２光電変換素子から出力された信号をデジタル変換して、前記デジタル変換した信号を前記信号光が表わす光通信信号として出力する光通信出力手段と、前記撮像素子の前記複数の第１光電変換素子から出力された信号に基づいて得られた撮像画像を出力する画像出力手段と、を含んで構成されている。 In order to achieve the above object, an optical communication apparatus according to the present invention outputs a plurality of first photoelectric conversion elements that output a signal corresponding to the amount of received light, a signal corresponding to the amount of received light, and the amount of received light and a second photoelectric conversion element is the response speed of the plurality faster than the first photoelectric conversion element with respect to a change in, the first the first photoelectric conversion element and the second photoelectric conversion element of the plurality such that the pair Obtained based on an image sensor in which a photoelectric conversion element and the plurality of second photoelectric conversion elements are two-dimensionally arranged on one substrate, and a signal output from the plurality of first photoelectric conversion elements of the image sensor Based on a signal output from the second photoelectric conversion element located in the region extracted by the extraction unit and the extraction unit that extracts the region on the substrate receiving the signal light from the captured image And set a reference value for the intensity of the signal light. A reference value setting means for, based on the set the reference value by the reference value setting means, the digital converting a signal output from the second photoelectric conversion elements located has been within the region extracted by said extracting means Then , an optical communication output means for outputting the digitally converted signal as an optical communication signal represented by the signal light, and an imaging obtained based on signals output from the plurality of first photoelectric conversion elements of the imaging element Image output means for outputting an image.

本発明に係る光通信装置によれば、抽出手段によって、撮像素子の複数の第１光電変換素子から出力された信号に基づいて得られた撮像画像から、信号光を受光している基板上の領域を抽出する。   According to the optical communication device of the present invention, on the substrate that receives the signal light from the captured image obtained based on the signals output from the plurality of first photoelectric conversion elements of the imaging element by the extraction unit. Extract regions.

そして、光通信出力手段によって、抽出手段によって抽出された領域内に位置する第２光電変換素子から出力された信号を、信号光が表わす光通信信号として出力し、また、画像出力手段によって、撮像素子の複数の第１光電変換素子から出力された信号に基づいて得られた撮像画像を出力する。   Then, the optical communication output means outputs the signal output from the second photoelectric conversion element located in the region extracted by the extraction means as an optical communication signal represented by the signal light, and the image output means captures the image. A captured image obtained based on signals output from the plurality of first photoelectric conversion elements of the element is output.

このように、複数の第１光電変換素子からの信号に基づいて得られた撮像画像を出力すると共に、第２光電変換素子から出力された信号を、信号光が表わす光通信信号として出力することにより、得られる撮像画像の画質を低下させずに、光通信を行うことができる。   In this manner, the captured image obtained based on the signals from the plurality of first photoelectric conversion elements is output, and the signal output from the second photoelectric conversion element is output as an optical communication signal represented by the signal light. Thus, optical communication can be performed without degrading the image quality of the obtained captured image.

ここで、第２光電変換素子は、受光量の変化に対する応答速度が第１光電変換素子より速く、高速な信号光の変化も捉えることができ、周波数が高い光通信信号であっても、受信することができる。   Here, the second photoelectric conversion element has a faster response speed to the change in the amount of received light than the first photoelectric conversion element, and can capture a high-speed change in signal light. can do.

また、本発明に係る光通信装置は、撮像素子の第１光電変換素子から出力された信号に基づいて、外乱光成分を算出する算出手段を更に含み、光通信出力手段は、抽出手段によって抽出された領域内に位置する第２光電変換素子から出力された信号から、算出手段によって算出された外乱光成分を除去して、信号光が表わす光通信信号を生成し、生成した光通信信号を出力することができる。これによって、外乱光成分を除去して光通信信号を得ることができるため、高精度な光通信を実現することができる。   The optical communication apparatus according to the present invention further includes a calculation unit that calculates a disturbance light component based on a signal output from the first photoelectric conversion element of the imaging element, and the optical communication output unit is extracted by the extraction unit. The disturbance light component calculated by the calculation means is removed from the signal output from the second photoelectric conversion element located in the region thus generated to generate an optical communication signal represented by the signal light, and the generated optical communication signal is Can be output. Thereby, the disturbance light component can be removed and an optical communication signal can be obtained, so that highly accurate optical communication can be realized.

本発明に係る光通信装置は、撮像素子の第１光電変換素子及び第２光電変換素子の少なくとも一方から出力された信号に基づいて、外乱光成分を設定する設定手段を更に含み、光通信出力手段は、抽出手段によって抽出された領域内に位置する第２光電変換素子から出力された信号から、設定手段によって設定された外乱光成分を除去して、信号光が表わす光通信信号を生成し、生成した前記光通信信号を出力することができる。これによって、外乱光成分を除去して光通信信号を得ることができるため、高精度な光通信を実現することができる。   The optical communication apparatus according to the present invention further includes setting means for setting a disturbance light component based on a signal output from at least one of the first photoelectric conversion element and the second photoelectric conversion element of the imaging element, and outputs the optical communication. The means removes the disturbance light component set by the setting means from the signal output from the second photoelectric conversion element located in the region extracted by the extraction means, and generates an optical communication signal represented by the signal light. The generated optical communication signal can be output. Thereby, the disturbance light component can be removed and an optical communication signal can be obtained, so that highly accurate optical communication can be realized.

本発明に係る光通信出力手段は、抽出手段によって抽出された領域内に位置する第２光電変換素子から出力された信号から、所定の周波数帯成分のみを通過させて、外乱光成分を除去するフィルタを備え、フィルタから出力された信号に基づいて、信号光が表わす光通信信号を生成し、生成した光通信信号を出力することができる。これによって、信号光以外の成分を除去して光通信信号を得ることができるため、高精度な光通信を実現することができる。   The optical communication output unit according to the present invention removes the disturbance light component by passing only a predetermined frequency band component from the signal output from the second photoelectric conversion element located in the region extracted by the extraction unit. An optical communication signal represented by the signal light can be generated based on the signal output from the filter, and the generated optical communication signal can be output. Thus, components other than the signal light can be removed to obtain an optical communication signal, so that highly accurate optical communication can be realized.

本発明に係る光通信装置は、抽出手段によって抽出された領域内に位置する第２光電変換素子から出力された信号に基づいて、信号光の強度の基準値を設定する基準値設定手段を更に含み、光通信出力手段は、基準値設定手段によって設定された基準値に基づいて、抽出手段によって抽出された領域内に位置する第２光電変換素子から出力された信号をデジタル変換して、デジタル変換した信号を光通信信号として出力する。これによって、信号光の強度を考慮した基準値に基づいてデジタル変換された光通信信号を得ることができるため、高精度な光通信を実現することができる。 Optical communication apparatus according to the present invention, based on the signal output from the second photoelectric conversion elements located in the region extracted by the Extraction means, reference value setting means for setting a reference value of the intensity of the signal light The optical communication output means digitally converts the signal output from the second photoelectric conversion element located in the region extracted by the extraction means based on the reference value set by the reference value setting means , you output digital converted signal as an optical communication signal. As a result, an optical communication signal digitally converted based on a reference value considering the intensity of the signal light can be obtained, so that highly accurate optical communication can be realized.

上記の前記抽出手段は、所定周期で、前記撮像画像から、信号光を受光している前記基板上の領域を抽出することができる。これによって、信号光を受光している領域を追跡することができる。   The extraction unit can extract a region on the substrate receiving signal light from the captured image at a predetermined period. As a result, it is possible to track the area receiving the signal light.

上記の光通信装置は、前記抽出手段によって過去に抽出された前記領域に基づいて、前記領域の移動量及び移動方向の少なくとも一方を推定する推定手段を更に含み、前記抽出手段は、前記推定手段によって推定された前記移動量及び移動方向の少なくとも一方に基づいて、前記撮像画像から、信号光を受光している前記基板上の領域を抽出することができる。これによって、信号光を受光している領域を容易に抽出することができる。   The optical communication apparatus further includes an estimation unit that estimates at least one of a movement amount and a movement direction of the region based on the region extracted in the past by the extraction unit, and the extraction unit includes the estimation unit. Based on at least one of the movement amount and the movement direction estimated by the above, an area on the substrate that receives the signal light can be extracted from the captured image. As a result, it is possible to easily extract the region receiving the signal light.

上記の第２光電変換素子について、光電変換における電荷蓄積時間を、第１光電変換素子より短くすることができる。これによって、受光量の変化に対する応答速度を速くすることができる。   About said 2nd photoelectric conversion element, the charge storage time in photoelectric conversion can be made shorter than a 1st photoelectric conversion element. Thereby, the response speed with respect to the change in the amount of received light can be increased.

以上説明したように、本発明の光通信装置によれば、複数の第１光電変換素子からの信号に基づいて得られた撮像画像を出力すると共に、第２光電変換素子から出力された信号を、信号光が表わす光通信信号として出力することにより、得られる撮像画像の画質を低下させずに、光通信を行うことができる、という効果が得られる。   As described above, according to the optical communication device of the present invention, the captured image obtained based on the signals from the plurality of first photoelectric conversion elements is output, and the signal output from the second photoelectric conversion element is output. By outputting as an optical communication signal represented by the signal light, there is an effect that optical communication can be performed without degrading the image quality of the obtained captured image.

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、かつ、光通信によって受信した受信データに基づいて運転支援を行なう運転支援システムの光通信装置に本発明を適用した場合を例に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, a case where the present invention is applied to an optical communication device of a driving support system that is mounted on a vehicle and performs driving support based on received data received by optical communication will be described as an example.

図１に示すように、第１の実施の形態に係る運転支援システム１０は、車両前方を撮像すると共に、光通信を行う光通信装置１２と、光通信装置１２によって受信した受信データ及び撮像された撮像画像に基づいて、運転支援を行なう運転支援装置１４とを備えている。   As shown in FIG. 1, the driving support system 10 according to the first embodiment captures an image of the front of the vehicle, performs optical communication, and receives and receives data received by the optical communication device 12. And a driving support device 14 that performs driving support based on the captured image.

光通信装置１２は、光送信装置１６から発光された信号光を受光して、光通信信号を受信する。光送信装置１６は、例えば、ＬＥＤから構成される発光素子１８と、送信データのデータ列に応じて、発光素子１８をオンオフさせる通信制御部２０とを備えている。   The optical communication device 12 receives the signal light emitted from the optical transmission device 16 and receives the optical communication signal. The optical transmission device 16 includes, for example, a light emitting element 18 composed of LEDs, and a communication control unit 20 that turns on and off the light emitting element 18 in accordance with a data string of transmission data.

光送信装置１６の通信制御部２０は、搭載車両の車速又は加減速を示す情報を信号光によって送信するように、発光素子１８をオンオフさせる。発光素子１８は、多量のデータを送信するために、高速にスイッチング（オンオフ）される。   The communication control unit 20 of the optical transmission device 16 turns on and off the light emitting element 18 so that information indicating the vehicle speed or acceleration / deceleration of the mounted vehicle is transmitted by signal light. The light emitting element 18 is switched (on / off) at a high speed in order to transmit a large amount of data.

光通信装置１２は、他の車両に搭載された光送信装置１６から光通信によって受信した光通信信号が表わす受信データを、受信データ列として運転支援装置１４に出力する。このように、光通信装置１２は、有線通信または電波による無線通信に替わる、光による無線通信を実現する。有線通信は、信号伝達のための配線が必要になるため、通信距離が伸びるほど利便性が低下する。また、電波を用いた無線通信は、電波法による帯域の割り当てが障壁となるため、普及の足かせになり、また、電波の送受信機にコストがかかってしまう。一方、本実施の形態で用いられる光通信は、発光素子とカメラとで構成される安価なシステムで実現されている上、法規上の障壁もないため、有線通信や電波を用いた無線通信に比べて優位性を有している。   The optical communication device 12 outputs the reception data represented by the optical communication signal received by optical communication from the optical transmission device 16 mounted on another vehicle to the driving support device 14 as a reception data string. In this way, the optical communication device 12 realizes wireless communication using light instead of wired communication or wireless communication using radio waves. Since wired communication requires wiring for signal transmission, convenience decreases as the communication distance increases. In addition, wireless communication using radio waves is a barrier to the allocation of bands according to the Radio Law, and the use of radio waves increases the cost of radio transceivers. On the other hand, the optical communication used in this embodiment is realized by an inexpensive system composed of a light emitting element and a camera, and has no legal barrier, so it can be used for wired communication or wireless communication using radio waves. Has superiority.

運転支援システム１０の運転支援装置１４は、光通信装置１２で撮像された撮像画像に対して、パターンマッチングなどの画像処理を行って、前方車両の位置を検出し、また、光通信装置１２からの受信データから、前方車両の車速又は加速度を取得する。そして、運転支援装置１４は、取得した前方車両の位置と車速又は加速度とに基づいて、前方車両との衝突可能性を判定し、判定された衝突可能性に基づいて、運転支援として、警報の提示や運転制御を行なう。   The driving support device 14 of the driving support system 10 performs image processing such as pattern matching on the captured image captured by the optical communication device 12 to detect the position of the vehicle ahead, and from the optical communication device 12. The vehicle speed or acceleration of the preceding vehicle is acquired from the received data. Then, the driving support device 14 determines the possibility of collision with the preceding vehicle based on the acquired position of the preceding vehicle and the vehicle speed or acceleration, and based on the determined possibility of collision, Present and control driving.

図２に示すように、光通信装置１２は、撮像素子２４と、撮像素子２４の駆動制御を行うと共に所定の画像処理を行う制御装置２６とを備えている。   As illustrated in FIG. 2, the optical communication device 12 includes an image sensor 24 and a control device 26 that performs drive control of the image sensor 24 and performs predetermined image processing.

撮像素子２４は、図３に示すように、受光量に応じた信号を出力する複数の画像画素用の光電変換素子２８Ａと複数の光通信画素用の光電変換素子２８Ｂとを一つの基板上に二次元配列した画素アレイ２８と、光通信画素用の光電変換素子２８Ｂから出力されるアナログ信号をデジタル信号に変換するデジタル変換部３０とを備えている。   As shown in FIG. 3, the image sensor 24 has a plurality of photoelectric conversion elements 28 </ b> A for image pixels and a plurality of photoelectric conversion elements 28 </ b> B for optical communication pixels that output signals according to the amount of received light on a single substrate. A two-dimensionally arranged pixel array 28 and a digital conversion unit 30 that converts an analog signal output from the photoelectric conversion element 28B for the optical communication pixel into a digital signal are provided.

画素アレイ２８では、例えば、１ラインごとに、画像画素用の光電変換素子２８Ａと光通信画素用の光電変換素子２８Ｂとが交互に配置されている。なお、図４に示すように、画像画素用の光電変換素子２８Ａと光通信画素用の光電変換素子２８Ｂとを格子状に配置してもよく、また、他の配置パターンで配置してもよい。ただし、図３、４に示した２つの具体例のように、画像画素用の光電変換素子２８Ａと光通信画素用の光電変換素子２８Ｂとが、対（近接構造）となるように配置し、複数の画像画素用の光電変換素子２８Ａに対する光軸と、複数の光通信画素用の光電変換素子２８Ｂに対する光軸とがほぼ一致することが好ましい。   In the pixel array 28, for example, photoelectric conversion elements 28A for image pixels and photoelectric conversion elements 28B for optical communication pixels are alternately arranged for each line. As shown in FIG. 4, the photoelectric conversion elements 28 </ b> A for image pixels and the photoelectric conversion elements 28 </ b> B for optical communication pixels may be arranged in a lattice pattern, or may be arranged in other arrangement patterns. . However, as in the two specific examples shown in FIGS. 3 and 4, the photoelectric conversion element 28 </ b> A for the image pixel and the photoelectric conversion element 28 </ b> B for the optical communication pixel are arranged in a pair (proximity structure), It is preferable that the optical axis for the photoelectric conversion elements 28A for the plurality of image pixels and the optical axis for the photoelectric conversion elements 28B for the plurality of optical communication pixels substantially coincide.

また、撮像素子２４は、レンズ（図示省略）を１枚だけ備えており、複数の画像画素用の光電変換素子２８Ａと、複数の光通信画素用の光電変換素子２８Ｂとに対する、共通のレンズとして用いられている。   In addition, the imaging device 24 includes only one lens (not shown) as a common lens for the photoelectric conversion elements 28A for a plurality of image pixels and the photoelectric conversion elements 28B for a plurality of optical communication pixels. It is used.

光送信装置１６の発光素子１８が高速にオンオフされ、画像を撮像するための一般的な光電変換素子では、発光素子１８のオンオフの速度に応答できないため、光通信用の光電変換素子２８Ｂとして、光電変換における電荷蓄積時間が短く、高速なオンオフに応答できる光電変換素子が用いられる。   Since the light emitting element 18 of the optical transmission device 16 is turned on and off at high speed and a general photoelectric conversion element for capturing an image cannot respond to the on / off speed of the light emitting element 18, as the photoelectric conversion element 28 </ b> B for optical communication, A photoelectric conversion element that has a short charge accumulation time in photoelectric conversion and can respond to high-speed on / off is used.

また、画像画素用の光電変換素子２８Ａから出力された信号が、画像信号として制御装置２６に出力され、そして、制御装置２６から撮像素子２４の画素アレイ２８に座標値が入力される。画素アレイ２８は、制御装置２６から入力された座標値が表わす場所に位置する光通信画素用の光電変換素子２８Ｂに対応するスイッチ（図示省略）をオンし、スイッチがオンされた光電変換素子２８Ｂから出力されるアナログ信号を出力して、デジタル変換部３０に入力する。   Further, a signal output from the photoelectric conversion element 28 </ b> A for image pixels is output as an image signal to the control device 26, and a coordinate value is input from the control device 26 to the pixel array 28 of the image sensor 24. The pixel array 28 turns on a switch (not shown) corresponding to the photoelectric conversion element 28B for the optical communication pixel located at the position represented by the coordinate value input from the control device 26, and the photoelectric conversion element 28B with the switch turned on. The analog signal output from is output to the digital conversion unit 30.

デジタル変換部３０は、光通信画素用の光電変換素子２８Ｂから入力されたアナログ信号をデジタル信号に変換し、光通信信号として制御装置２６に出力する。   The digital conversion unit 30 converts the analog signal input from the photoelectric conversion element 28B for the optical communication pixel into a digital signal, and outputs the digital signal to the control device 26 as an optical communication signal.

図５に示すように、デジタル変換部３０は、外乱光の成分を削除又は低減するための直流分除去装置３４と、微弱な信号を増幅するアンプ３６と、アナログ信号をデジタル信号に変換するデジタル変換器３８とを備えている。   As shown in FIG. 5, the digital conversion unit 30 includes a DC component removing device 34 for deleting or reducing disturbance light components, an amplifier 36 for amplifying a weak signal, and a digital signal for converting an analog signal into a digital signal. And a converter 38.

直流分除去装置３４は、光通信信号に比べて非常に低周波（ほぼ直流）である外乱光（太陽光、街灯など）成分を除去し、高周波に変調された光通信信号だけを取り出す装置である。デジタル変換器３８は、例えば、コンパレータを用いて構成され、前段までのアナログ信号を、１ｂｉｔのデジタル信号に変換して出力する。   The DC component removing device 34 is a device that removes disturbance light (sunlight, streetlight, etc.) components that are very low frequency (substantially DC) compared to the optical communication signal, and extracts only the optical communication signal modulated to a high frequency. is there. The digital converter 38 is configured using, for example, a comparator, converts the analog signal up to the previous stage into a 1-bit digital signal, and outputs the digital signal.

なお、アンプ３６は、直流分除去装置３４の出力が微弱な場合に備えればよく、信号強度が十分な場合には、アンプ３６を備えなくてもよい。また、直流分除去装置３４の前段にアンプ３６を設けてもよい。   The amplifier 36 may be provided when the output of the DC component removing device 34 is weak, and may not be provided when the signal intensity is sufficient. Further, an amplifier 36 may be provided in the previous stage of the DC component removing device 34.

直流分除去装置３４は、図６に示すように、光通信画素用の光電変換素子２８Ｂから入力されたアナログ信号と、制御装置２６から入力された外乱光の強度レベルとの差分を出力する差分回路４０を備えている。光通信画素用の光電変換素子２８Ｂによって出力された信号には、信号光以外の太陽光などの外乱光による強度信号が含まれている。そこで、差分回路４０では、画像画素用の光電変換素子２８Ａから出力された画像信号に基づいて算出された外乱光の強度レベルを取得し、図７（Ａ）に示すように、光通信画素用の光電変換素子２８Ｂからの入力信号と外乱光の強度レベルとの差分（光電変換素子２８Ｂからの入力信号−外乱光の強度レベル）をとることにより、図７（Ｂ）に示すように、外乱光成分を除去した信号を出力する。   As shown in FIG. 6, the direct current component removing device 34 outputs a difference between the analog signal input from the photoelectric conversion element 28 </ b> B for the optical communication pixel and the intensity level of the disturbance light input from the control device 26. A circuit 40 is provided. The signal output from the photoelectric conversion element 28B for the optical communication pixel includes an intensity signal due to disturbance light such as sunlight other than the signal light. Therefore, the difference circuit 40 obtains the intensity level of the disturbance light calculated based on the image signal output from the photoelectric conversion element 28A for the image pixel, and as shown in FIG. The difference between the input signal from the photoelectric conversion element 28B and the intensity level of the disturbance light (input signal from the photoelectric conversion element 28B-intensity level of the disturbance light) is taken, as shown in FIG. A signal from which the light component has been removed is output.

また、図８（Ａ）に示すようなコンパレータで構成されるデジタル変換器３８は、図８（Ｂ）に示すように、入力されたアナログ信号のレベルが、入力設定された基準値（閾値）レベルを超えた場合に１を出力し、基準値レベル以下であれば０を出力する。このように、デジタル変換器３８は、直流分除去装置３４及びアンプ３６を介して出力されたアナログ信号を、１ｂｉｔのデジタル信号に変換して、光通信信号として出力する。   In addition, as shown in FIG. 8B, the digital converter 38 configured by a comparator as shown in FIG. 8A has a reference value (threshold value) in which the level of the input analog signal is set as input. 1 is output when the level is exceeded, and 0 is output when the level is below the reference value level. As described above, the digital converter 38 converts the analog signal output via the DC component removing device 34 and the amplifier 36 into a 1-bit digital signal and outputs it as an optical communication signal.

また、光通信装置１２の制御装置２６は、コンピュータで構成され、ＣＰＵ、後述する光通信処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。この制御装置２６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図９に示すように、複数の画像画素用の光電変換素子２８Ａの各々から画像信号を入力する画像信号入力部４４と、画像信号入力部４４によって入力された複数の画像信号に基づいて得られる撮像画像から、光送信装置１６からの信号光を受光している基板上の領域を抽出し、抽出された領域内の座標値を画素アレイ２８へ出力する光抽出部４６と、画像信号入力部４４によって入力された画像信号に基づいて、外乱光の強度レベルを算出する外乱レベル算出部４８と、画像信号入力部４４によって入力された複数の画像信号に基づいて得られる撮像画像を外部へ出力する画像出力部５０と、デジタル変換部３０から出力された光通信信号を入力し、外部へ出力する光通信信号入出力部５２と、画像信号入力部４４によって入力された画像信号に基づいて、光通信信号にデジタル変換するときに用いられる基準値レベルを決定する基準値決定部５４とを備えている。   The control device 26 of the optical communication device 12 is configured by a computer and includes a CPU, a ROM that stores a program of an optical communication processing routine described later, a RAM that stores data, and a bus that connects these. ing. The control device 26 will be described in terms of functional blocks divided for each function realization means determined based on hardware and software. As shown in FIG. 9, the image signal is output from each of the photoelectric conversion elements 28A for a plurality of image pixels. The region on the substrate that receives the signal light from the optical transmitter 16 from the image signal input unit 44 that inputs the signal light and the captured image obtained based on the plurality of image signals input by the image signal input unit 44. A light extraction unit 46 that extracts and outputs coordinate values in the extracted region to the pixel array 28, and a disturbance level calculation that calculates the intensity level of disturbance light based on the image signal input by the image signal input unit 44 Unit 48, an image output unit 50 that outputs a captured image obtained based on the plurality of image signals input by the image signal input unit 44, and the digital conversion unit 30. The optical communication signal input / output unit 52 that inputs the input optical communication signal and outputs it to the outside, and the reference used when digitally converting the optical communication signal into an optical communication signal based on the image signal input by the image signal input unit 44 And a reference value determination unit 54 for determining a value level.

光送信装置１６の発光素子１８からの信号光が、光通信装置１２の撮像素子２４に対して正面から直接入射された場合、受光した光の強度が大きいため、信号光を受光した画像画素用の光電変換素子２８Ａにおいて、過剰な光入射によるオーバーフロー（飽和）が発生し、撮像画像の信号光を受光した領域だけ真っ白に写る。そこで、光抽出部４６は、画像信号に基づいて得られる撮像画像のうち、飽和している領域を手がかりとして、信号光を受光している基板上の領域を抽出する。また、光抽出部４６は、抽出した領域内の座標値を画素アレイ２８に出力して、抽出した領域内の座標値が表わす場所に位置する光通信画素用の光電変換素子２８Ｂに、受光した光に応じた信号を出力させる。   When the signal light from the light emitting element 18 of the optical transmission device 16 is directly incident on the image pickup device 24 of the optical communication device 12 from the front, the intensity of the received light is large, so In the photoelectric conversion element 28A, overflow (saturation) due to excessive light incidence occurs, and only the region where the signal light of the captured image is received appears in white. Therefore, the light extraction unit 46 extracts a region on the substrate that receives the signal light from the captured image obtained based on the image signal, using a saturated region as a clue. In addition, the light extraction unit 46 outputs the coordinate value in the extracted area to the pixel array 28, and the light extraction unit 46 receives the light in the photoelectric conversion element 28B for the optical communication pixel located at the position represented by the coordinate value in the extracted area. A signal corresponding to the light is output.

また、光抽出部４６は、所定周期で、信号光を受光している基板上の領域を繰り返し抽出することにより、信号光を受光している領域を追跡する。また、撮像画像内において、信号光を受光している領域が短時間で大きく移動しないことを利用して、光抽出部４６は、信号光を受光している領域を、前回抽出された領域の近傍から優先的に探索する。これによって、画像信号から得られる撮像画像全体から、信号光を受光している領域を毎回探索して抽出する場合に比べて、処理効率を向上させ、計算コストを低減することができる。   In addition, the light extraction unit 46 tracks the region receiving the signal light by repeatedly extracting the region on the substrate receiving the signal light at a predetermined period. In addition, in the captured image, by utilizing the fact that the region receiving the signal light does not move greatly in a short time, the light extraction unit 46 determines the region receiving the signal light as the region extracted last time. Search preferentially from the vicinity. As a result, the processing efficiency can be improved and the calculation cost can be reduced as compared with the case where a region receiving the signal light is searched and extracted from the entire captured image obtained from the image signal each time.

また、光抽出部４６は、信号光を受光している領域を追跡するときに、図１０に示すように、画像処理によって、信号光を受光している領域の移動量及び移動方向を観測し、観測した移動量及び移動方向に基づいて、次のタイミングでの移動先を推定し、信号光を受光している領域を、推定された移動先の領域から優先的に探索する。これによって、更に処理効率を向上させる。なお、受光している領域の移動量及び移動方向の何れか一方だけを観測し、観測された移動量及び移動方向の何れか一方に基づいて、次のタイミングの移動先を推定するようにしてもよい。   Further, when tracing the region receiving the signal light, the light extraction unit 46 observes the movement amount and the moving direction of the region receiving the signal light by image processing as shown in FIG. Based on the observed movement amount and movement direction, the movement destination at the next timing is estimated, and the area receiving the signal light is preferentially searched from the estimated movement destination area. This further improves the processing efficiency. Note that only one of the movement amount and the movement direction of the light receiving area is observed, and the movement destination at the next timing is estimated based on either the observed movement amount or the movement direction. Also good.

外乱レベル算出部４８は、画像信号入力部４４によって入力された画像信号を用いて、以下に説明するように、光通信画素用の光電変換素子２８Ｂから出力される信号に含まれる外乱光成分の強度レベルを算出する。   The disturbance level calculation unit 48 uses the image signal input by the image signal input unit 44 and, as will be described below, the disturbance light component included in the signal output from the photoelectric conversion element 28B for the optical communication pixel. Calculate the intensity level.

画像画素用の光電変換素子２８Ａから出力された画像信号が、太陽光などの外乱光成分の強度レベルを表わしているが、画像画素用の光電変換素子２８Ａと光通信画素用の光電変換素子２８Ｂとは構造が異なるため、同じ光量を当てても、出力される信号強度が異なる。そこで、同じ光を入射したときに２種の光電変換素子２８Ａ、２８Ｂの各々から出力される信号の強度を予め計測し、２種の光電変換素子２８Ａ、２８Ｂの各々の出力信号の強度を同じにするための変換係数αを求めておく。そして、以下に示す式によって、光通信画素用の光電変換素子２８Ｂから出力される信号に含まれる外乱光成分の強度レベルを算出する。
外乱光成分の強度レベル＝α×画像信号の強度レベル
基準値決定部５４は、画像信号入力部４４によって入力された画像信号に基づいて得られる撮像画像の信号光を受光している領域の明るさに基づいて、信号光の強度レベルを算出し、信号光の強度レベルに応じて、デジタル変換器３８に入力される基準値のレベルを決定する。 The image signal output from the photoelectric conversion element 28A for the image pixel represents the intensity level of disturbance light components such as sunlight, but the photoelectric conversion element 28A for the image pixel and the photoelectric conversion element 28B for the optical communication pixel. Since the structure is different from, the output signal intensity differs even when the same amount of light is applied. Therefore, the intensity of the signal output from each of the two types of photoelectric conversion elements 28A and 28B when the same light is incident is measured in advance, and the intensity of the output signal of each of the two types of photoelectric conversion elements 28A and 28B is the same. A conversion coefficient α for obtaining the above is obtained. And the intensity level of the disturbance light component contained in the signal output from the photoelectric conversion element 28B for optical communication pixels is calculated by the following equation.
The intensity level of the disturbance light component = α × the intensity level of the image signal. The reference value determination unit 54 receives the signal light of the picked-up image obtained based on the image signal input by the image signal input unit 44. Based on this, the intensity level of the signal light is calculated, and the level of the reference value input to the digital converter 38 is determined according to the intensity level of the signal light.

画像信号に基づく外乱光成分の除去を行った場合、図１１（Ａ）に示すように、基準値を任意に設定する必要がある。例えば、入射する信号光が十分強いとき（飽和時）の基準値を図１１（Ａ）に示すように設定した場合、図１１（Ｂ）に示すように、信号光の強度が弱くなると、デジタル変換することが不可能になる。そこで、基準値決定部５４は、画像信号に基づいて得られる撮像画像によって、受光する信号光の強度（明るさ）を監視し、図１２に示すように、受光する信号光の強度に応じて、動的に基準値のレベルを可変させることにより、信号光の強度が弱まった場合であっても、光通信画素用の光電変換素子２８Ｂからのアナログ信号が、正確にデジタル変換されるように制御する。   When the disturbance light component based on the image signal is removed, it is necessary to arbitrarily set the reference value as shown in FIG. For example, when the reference value when the incident signal light is sufficiently strong (saturated) is set as shown in FIG. 11A, if the intensity of the signal light becomes weak as shown in FIG. It becomes impossible to convert. Therefore, the reference value determination unit 54 monitors the intensity (brightness) of the received signal light from the captured image obtained based on the image signal, and according to the intensity of the received signal light as shown in FIG. Even if the intensity of the signal light is weakened by dynamically changing the level of the reference value, the analog signal from the photoelectric conversion element 28B for the optical communication pixel is accurately converted into a digital signal. Control.

次に、第１の実施の形態に係る運転支援システム１０の作用について説明する。以下では、運転支援システム１０を搭載した自車両が走行しているときに、前方車両に搭載された光送信装置１６から信号光が発光された場合を例に説明する。   Next, the operation of the driving support system 10 according to the first embodiment will be described. Hereinafter, a case where signal light is emitted from the light transmission device 16 mounted on the preceding vehicle when the host vehicle on which the driving support system 10 is mounted is traveling will be described as an example.

運転支援システム１０の光通信装置１２において、図１３に示す光通信処理ルーチンが実行される。まず、ステップ１００において、撮像画像を出力してからの経過時間を示す変数ｔに初期値として０を設定し、ステップ１０２において、複数の画像画素用の光電変換素子２８Ａの各々から出力された画像信号を取得する。   In the optical communication device 12 of the driving support system 10, the optical communication processing routine shown in FIG. 13 is executed. First, in step 100, 0 is set as an initial value to a variable t indicating an elapsed time after outputting the captured image, and in step 102, the image output from each of the photoelectric conversion elements 28A for the plurality of image pixels. Get the signal.

そして、ステップ１０４において、上記ステップ１０２で取得された画像信号に基づいて得られる前方車両を表わす撮像画像を運転支援装置１４に出力し、次のステップ１０６で、上記ステップ１０２で取得された画像信号に基づいて、光通信画素用の光電変換素子２８Ｂから出力される信号に含まれる外乱光の強度レベルを算出し、算出した外乱光の強度レベルをデジタル変換部３０に入力する。   In step 104, the captured image representing the preceding vehicle obtained based on the image signal acquired in step 102 is output to the driving support device 14, and in the next step 106, the image signal acquired in step 102 is output. The disturbance light intensity level included in the signal output from the photoelectric conversion element 28B for the optical communication pixel is calculated, and the calculated disturbance light intensity level is input to the digital conversion unit 30.

そして、ステップ１０８において、上記ステップ１０２で取得された画像信号に基づいて得られる撮像画像から、光送信装置１６からの信号光を受光している基板上の領域を抽出し、ステップ１０９において、撮像画像の上記ステップ１０８で抽出された領域から、受光している信号光の強度を算出し、算出された信号光の強度に応じて、デジタル変換の基準値レベルを決定し、デジタル変換器３８の基準値レベルとして、決定した基準値レベルを入力設定する。   In step 108, an area on the substrate receiving the signal light from the optical transmitter 16 is extracted from the captured image obtained based on the image signal acquired in step 102. In step 109, the image is captured. The intensity of the received signal light is calculated from the region extracted in step 108 of the image, the reference value level for digital conversion is determined according to the calculated intensity of the signal light, and the digital converter 38 The determined reference value level is input and set as the reference value level.

そして、ステップ１１０で、上記ステップ１０８で抽出された基板上の領域内の座標値を画素アレイ２８に出力して、抽出された領域内の座標値が表わす場所に位置する光通信画素用の光電変換素子２８Ｂから信号を出力するように指示する。これによって、指示された座標値が表わす場所に位置する光電変換素子２８Ｂから出力された信号が、アナログ信号としてデジタル変換部３０に入力され、上記ステップ１０６で入力された外乱光レベルの外乱光成分が除去されると共に、デジタル信号に変換されて、光通信信号として撮像素子２４から出力される。   In step 110, the coordinate value in the region on the substrate extracted in step 108 is output to the pixel array 28, and the photoelectric signal for the optical communication pixel located at the position represented by the coordinate value in the extracted region is output. The conversion element 28B is instructed to output a signal. As a result, the signal output from the photoelectric conversion element 28B located at the location represented by the designated coordinate value is input to the digital conversion unit 30 as an analog signal, and the disturbance light component of the disturbance light level input in step 106 is input. Are removed, converted into a digital signal, and output from the image sensor 24 as an optical communication signal.

次のステップ１１２では、デジタル変換部３０から光通信信号を取得し、ステップ１１４において、取得した光通信信号を受信データとして運転支援装置１４に出力する。そして、ステップ１１６において、経過時間を表わす変数ｔをインクリメントし、ステップ１１８で、経過時間ｔが、予め定められた撮像画像出力レートに相当する時間Ｆ未満であるか否かを判定し、経過時間が、撮像画像出力レートに相当する時間に到達していない場合には、ステップ１１２へ戻り、次のタイミングの光通信信号を取得するが、一方、経過時間が、撮像画像出力レートに相当する時間に到達した場合には、ステップ１２０へ移行する。なお、撮像画像出力レートに相当する時間として、例えば、３３ｍｓ（３０ｆｐｓ）や１６ｍｓ（６０ｆｐｓ）を設定すればよい。   In the next step 112, an optical communication signal is acquired from the digital conversion unit 30, and in step 114, the acquired optical communication signal is output to the driving support device 14 as reception data. In step 116, the variable t representing the elapsed time is incremented. In step 118, it is determined whether the elapsed time t is less than the time F corresponding to a predetermined captured image output rate. However, if the time corresponding to the captured image output rate has not been reached, the process returns to step 112 to acquire the optical communication signal at the next timing, while the elapsed time is the time corresponding to the captured image output rate. If it reaches, step 120 is entered. For example, 33 ms (30 fps) or 16 ms (60 fps) may be set as the time corresponding to the captured image output rate.

ステップ１２０では、過去に抽出された信号光を受光している領域の移動量及び移動方向に基づいて、信号光の受光している領域の移動先を推定して、ステップ１００へ戻り、再び画像信号を取得する。また、ステップ１０８では、上記ステップ１２０で推定された移動先から優先的に探索し、信号光を受光している領域を抽出する。   In step 120, based on the movement amount and movement direction of the region receiving the signal light extracted in the past, the movement destination of the region receiving the signal light is estimated, and the process returns to step 100, and the image is again displayed. Get the signal. Further, in step 108, the search is preferentially performed from the movement destination estimated in step 120, and the region receiving the signal light is extracted.

上記の光通信処理ルーチンを実行することにより、撮像画像出力レートの周期と同じ周期で、信号光を受光している領域が追跡され、追跡された領域内の座標に位置する光電変換素子２８Ｂから、光通信信号を取得すると共に、光通信信号が表わす受信データ列が運転支援装置１４に出力される。また、撮像画像出力レートの周期で取得した画像信号に基づいて得られる撮像画像の各々が運転支援装置１４に出力される。   By executing the optical communication processing routine described above, the region receiving the signal light is tracked at the same cycle as the cycle of the captured image output rate, and the photoelectric conversion element 28B positioned at the coordinates in the tracked region. The optical communication signal is acquired, and a received data string represented by the optical communication signal is output to the driving support device 14. In addition, each of the captured images obtained based on the image signal acquired at the cycle of the captured image output rate is output to the driving support device 14.

そして、運転支援装置１４は、受信データ列が表わす前方車両の車速又は加速度と、撮像画像から検出される前方車両の位置とに基づいて、前方車両との衝突可能性を判定し、判定された衝突可能性に基づいて、運転支援として、警報の提示や運転制御を行なう。   Then, the driving support device 14 determines the possibility of collision with the preceding vehicle based on the vehicle speed or acceleration of the preceding vehicle represented by the received data string and the position of the preceding vehicle detected from the captured image. Based on the possibility of collision, an alarm is presented and driving control is performed as driving assistance.

以上説明したように、第１の実施の形態に係る運転支援システムの光通信装置によれば、複数の画像画素用の光電変換素子からの信号に基づいて得られた撮像画像を出力すると共に、光通信画素用の光電変換素子から出力された信号を、信号光が表わす光通信信号として出力することにより、得られる撮像画像の画質を低下させずに、光通信を行うことができる。   As described above, according to the optical communication device of the driving support system according to the first embodiment, the captured image obtained based on the signals from the photoelectric conversion elements for a plurality of image pixels is output, By outputting the signal output from the photoelectric conversion element for the optical communication pixel as an optical communication signal represented by the signal light, optical communication can be performed without degrading the image quality of the obtained captured image.

また、撮像画像の画質を目指した構成の画像画素用の光電変換素子と、高速な応答を目指した構成の光通信画素用の光電変換素子とによって、撮像画像の画質を向上させると共に、高精度に光通信を行うことができる。   In addition, the photoelectric conversion element for the image pixel configured to aim at the image quality of the captured image and the photoelectric conversion element for the optical communication pixel configured to achieve a high-speed response improve the image quality of the captured image and achieve high accuracy. Optical communication can be performed.

また、撮像画像から信号光を受光している領域を抽出し、領域内に位置する光通信画素用の光電変換素子から出力される信号に基づいて、光通信信号を取得することにより、光通信信号を精度よく受信することができる。   In addition, by extracting a region receiving signal light from the captured image and acquiring an optical communication signal based on a signal output from the photoelectric conversion element for the optical communication pixel located in the region, optical communication is performed. The signal can be received with high accuracy.

また、光通信画素用の光電変換素子からの信号から、画像信号に基づいて算出される外乱光成分を除去して、光通信信号を得ることができるため、画像信号を用いて高精度な光通信を実現することができる。また、撮像画像から得られる信号光の強度を考慮してデジタル変換された光通信信号を得ることができるため、撮像画像を用いて、高精度な光通信を実現することができる。   In addition, since the disturbance light component calculated based on the image signal can be removed from the signal from the photoelectric conversion element for the optical communication pixel to obtain an optical communication signal, high-precision light can be obtained using the image signal. Communication can be realized. In addition, since an optical communication signal digitally converted in consideration of the intensity of signal light obtained from the captured image can be obtained, high-accuracy optical communication can be realized using the captured image.

また、過去に抽出された受光領域に基づいて、信号光を受光している領域の移動先を推定することにより、次のタイミングで信号光を受光している領域を容易に抽出することができる。   Further, by estimating the movement destination of the region receiving the signal light based on the light receiving region extracted in the past, it is possible to easily extract the region receiving the signal light at the next timing. .

なお、上記の実施の形態では、運転支援として、衝突危険性に応じた警告提示や運転制御を行う場合を例に説明したが、これに限定されるものではなく、撮像画像や受信データに基づいて、白線検出による車線維持支援（レーン・キーピング・アシスト）や歩行者検出などを行なうようにしてもよい。   In the above embodiment, the case where warning presentation or driving control according to collision risk is performed as driving assistance has been described as an example. However, the present invention is not limited to this, and is based on captured images and received data. Thus, lane maintenance assistance (lane keeping assistance) or pedestrian detection by white line detection may be performed.

また、光通信装置では、撮像素子と制御装置とが別々に設けられている場合を例に説明したが、制御装置を撮像素子内に設けるようにしてもよい。   In the optical communication device, the case where the image sensor and the control device are separately provided has been described as an example. However, the control device may be provided in the image sensor.

また、光通信画素用の光電変換素子から出力された信号をデジタル変換して、光通信信号として出力する場合を例に説明したが、光通信画素用の光電変換素子から出力された信号を、アナログ信号のまま光通信信号として外部に出力するようにしてもよい。   Moreover, although the case where the signal output from the photoelectric conversion element for optical communication pixels was digitally converted and output as an optical communication signal was described as an example, the signal output from the photoelectric conversion element for optical communication pixels was You may make it output outside as an optical communication signal with an analog signal.

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となっている部分については、同一符号を付して説明を省略する。   Next, a second embodiment will be described. In addition, about the part which becomes the structure similar to 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.

第２の実施の形態では、光通信画素用の光電変換素子から出力されたアナログ信号の低周波成分を除去することにより、外乱光成分を除去している点が主に第１の実施の形態と異なっている。   In the second embodiment, the disturbance light component is mainly removed by removing the low frequency component of the analog signal output from the photoelectric conversion element for the optical communication pixel. Is different.

図１４に示すように、第２の実施の形態に係る撮像素子のデジタル変換部の直流除去装置２３４は、ハイパスフィルタ２４０を備えている。   As illustrated in FIG. 14, the DC removal device 234 of the digital conversion unit of the image sensor according to the second embodiment includes a high-pass filter 240.

光通信画素用の光電変換素子２８Ｂから出力された信号には、信号光以外の太陽光などの外乱光による強度信号が含まれており、外乱光による強度信号は、光通信信号に比べて、周波数が低い。そこで、ハイパスフィルタ２４０によって、図１５（Ａ）、（Ｂ）に示すように、光通信画素用の光電変換素子２８Ｂから出力された信号から低周波成分を除去することにより、外乱光成分を除去する。   The signal output from the photoelectric conversion element 28B for the optical communication pixel includes an intensity signal due to disturbance light such as sunlight other than the signal light, and the intensity signal due to disturbance light is compared to the optical communication signal. The frequency is low. Therefore, as shown in FIGS. 15A and 15B, the disturbance light component is removed by removing the low-frequency component from the signal output from the photoelectric conversion element 28B for the optical communication pixel by the high-pass filter 240. To do.

ハイパスフィルタ２４０は、入力された信号のうち、入力設定された通過帯域設定パラメータが表わす周波数よりも周波数の高い成分のみを通過させる。例えば入射される信号光の変調周波数が１ＭＨｚであると既知の場合、通過帯設定パラメータを５００ｋＨｚに設定して、５００ｋＨｚ以上の周波数成分のみを通過させることによって、外乱光成分などの光通信とは関係のない成分を除去する。   The high-pass filter 240 passes only components having a frequency higher than the frequency represented by the input passband setting parameter in the input signal. For example, when it is known that the modulation frequency of incident signal light is 1 MHz, by setting only the frequency component of 500 kHz or higher by setting the passband setting parameter to 500 kHz, optical communication such as disturbance light components Remove unrelated components.

このように、ハイパスフィルタを用いて、光通信画素用の光電変換素子から出力された信号から外乱光成分などの低周波成分を除去することによって、デジタル変換するときの基準値レベルを０に設定すれば済む。   In this way, the reference value level for digital conversion is set to 0 by removing low-frequency components such as disturbance light components from the signal output from the photoelectric conversion element for optical communication pixels using a high-pass filter. You can do it.

なお、上記の実施の形態では、直流除去装置としてハイパスフィルタを用いた場合を例に説明したが、バンドパスフィルタを用いてもよい。この場合には、ある任意の幅の周波数帯域を表わす通過帯域設定パラメータをバンドパスフィルタに入力設定して、バンドパスフィルタによって、ある任意の幅の周波数帯域の成分のみを通過させる。例えば、入射する信号光の変調周波数が１ＭＨｚと既知の場合、５００ｋＨｚ〜１．５ＭＨｚの周波数帯域を表わす通過帯域設定パラメータを入力設定して、５００ｋＨｚ〜１.５ＭＨｚの範囲内の周波数を持つ成分のみを通過させて、外乱光成分などの通信に必要ない信号を除去する。   In the above embodiment, the case where a high-pass filter is used as the direct current removing device has been described as an example, but a band-pass filter may be used. In this case, a pass band setting parameter representing a frequency band of an arbitrary width is input and set to the band pass filter, and only the component of the frequency band of an arbitrary width is passed by the band pass filter. For example, when the modulation frequency of the incident signal light is known as 1 MHz, only a component having a frequency in the range of 500 kHz to 1.5 MHz is set by inputting a passband setting parameter representing a frequency band of 500 kHz to 1.5 MHz. To remove signals that are not necessary for communication, such as disturbance light components.

次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成となっている部分については、同一符号を付して説明を省略する。   Next, a third embodiment will be described. In addition, about the part which becomes the structure similar to 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.

第３の実施の形態では、光通信画素用の光電変換素子から出力されたアナログ信号を、多ビットのデジタル信号にデジタル変換している点が主に第１の実施の形態と異なっている。   The third embodiment is mainly different from the first embodiment in that an analog signal output from a photoelectric conversion element for an optical communication pixel is digitally converted into a multi-bit digital signal.

第３の実施の形態に係る光通信装置１２では、デジタル変換器３８が、Ａ／Ｄコンバータで構成されている。図１６に示すように、光送信装置によって、オンオフだけでなく、オン時の明るさに応じた情報（例えば、０〜４までの５段階の情報）を示す光通信信号を送信する場合には、受信する信号が多値となるため、Ａ／Ｄコンバータを用いて、アナログ信号を多ビットのデジタル信号にデジタル変換する。   In the optical communication device 12 according to the third embodiment, the digital converter 38 is configured by an A / D converter. As shown in FIG. 16, in the case of transmitting an optical communication signal indicating information (for example, five levels of information from 0 to 4) according to the brightness at the time of on-off as well as on-off by the optical transmission device. Since the received signal is multi-valued, the analog signal is digitally converted into a multi-bit digital signal using an A / D converter.

画像画素用の光電変換素子からの信号に基づいて得られる撮像画像、又は光通信画素用の光電変換素子からの信号に基づいて、複数種類の基準値レベルを算出し、算出された複数種類の基準値レベルが、Ａ／Ｄコンバータに設定される。そして、Ａ／Ｄコンバータは、設定された複数種類の基準値レベルに基づいて、アナログ信号を多ビットのデジタル信号にデジタル変換する。   A plurality of types of reference value levels are calculated based on a captured image obtained based on a signal from a photoelectric conversion element for an image pixel or a signal from a photoelectric conversion element for an optical communication pixel. The reference value level is set in the A / D converter. The A / D converter digitally converts an analog signal into a multi-bit digital signal based on a plurality of types of set reference value levels.

これによって、１ビットに比べて、明るさの段階数に応じた多量のデータを受信することができる。   As a result, it is possible to receive a large amount of data corresponding to the number of steps of brightness compared to 1 bit.

次に、第４の実施の形態について説明する。なお、第４の実施の形態に係る運転支援システムの構成は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。   Next, a fourth embodiment will be described. In addition, since the structure of the driving assistance system which concerns on 4th Embodiment is the structure similar to 1st Embodiment, it attaches | subjects the same code | symbol and abbreviate | omits description.

第４の実施の形態では、撮像画像に対してパターンマッチングを行なって、信号光を受光している領域を抽出している点が主に第１の実施の形態と異なっている。   The fourth embodiment is mainly different from the first embodiment in that pattern matching is performed on a captured image and a region receiving signal light is extracted.

第４の実施の形態に係る光通信装置１２の制御装置２６では、光抽出部４６によって、画像画素用の光電変換素子２８Ａからの信号に基づいて得られる撮像画像内で、円形状のパターンを探索し、探索されたパターンを表わす領域を、信号光を受光している領域として抽出する。撮像画像上において、光送信装置１６の発光素子１８は、ある明るさを持った円形として撮像されるため、撮像画像内で探索された円形状のパターンを表わす領域が、信号光を受光している領域となる。   In the control device 26 of the optical communication device 12 according to the fourth embodiment, a circular pattern is formed in a captured image obtained by the light extraction unit 46 based on a signal from the photoelectric conversion element 28A for image pixels. Searching is performed, and a region representing the searched pattern is extracted as a region receiving signal light. Since the light emitting element 18 of the optical transmission device 16 is imaged as a circle having a certain brightness on the captured image, the region representing the circular pattern searched for in the captured image receives the signal light. It becomes an area.

これによって、発光素子１８が遠距離に存在している場合であっても、パターンマッチングによる領域抽出によって、信号光を受光している領域を抽出することができる。   Thereby, even if the light emitting element 18 exists at a long distance, the region receiving the signal light can be extracted by extracting the region by pattern matching.

なお、上記の実施の形態では、撮像画像から円形状のパターンを表わす領域を抽出する場合を例に説明したが、これに限定されるものではなく、撮像画像から車両や信号機を検出し、検出された車両や信号機を表わす領域の中から、円形状のパターンを表わす領域を抽出するようにしてもよい。これによって、撮像画像から、街灯などを表わす一定以上の明るさを持つ円形状のパターンをすべて抽出してしまうことを防止でき、信号光を受光している領域を精度良く抽出することができる。   In the above embodiment, the case where a region representing a circular pattern is extracted from a captured image has been described as an example. However, the present invention is not limited to this, and a vehicle or a traffic light is detected from the captured image and detected. An area representing a circular pattern may be extracted from the areas representing the vehicles and traffic lights. Accordingly, it is possible to prevent the extraction of all circular patterns having a certain level of brightness representing street lamps or the like from the captured image, and it is possible to accurately extract the region receiving the signal light.

また、送信側の発光素子が複数配置されている場合であって、その配置が光通信装置側で既知の場合には、撮像画像から、円形状のパターンマッチングによって、発光素子からの信号光の受光領域の候補を抽出し、抽出された受光領域の候補から、さらに配置のパターンマッチングを行なって、信号光を受光している領域を抽出してもよい。例えば、図１７に示すように、車両のテールランプ内に通信用の発光素子をある決まった配置で複数個並べられている場合には、光通信装置において、この配置のパターンマッチングを行なって、撮像画像から信号光を受光している領域を抽出する。これによって、信号光を受光している領域を更に精度良く抽出することができる。   In the case where a plurality of light emitting elements on the transmission side are arranged and the arrangement is known on the optical communication apparatus side, the signal light from the light emitting elements is extracted from the captured image by circular pattern matching. Light receiving region candidates may be extracted, and pattern matching of the arrangement may be further performed from the extracted light receiving region candidates to extract regions that receive signal light. For example, as shown in FIG. 17, when a plurality of communication light emitting elements are arranged in a certain arrangement in the tail lamp of a vehicle, the optical communication apparatus performs pattern matching of this arrangement to perform imaging. A region receiving signal light is extracted from the image. As a result, the region receiving the signal light can be extracted with higher accuracy.

次に、第５の実施の形態について説明する。なお、第５の実施の形態に係る運転支援システムの構成は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。   Next, a fifth embodiment will be described. In addition, since the structure of the driving assistance system which concerns on 5th Embodiment is the structure similar to 1st Embodiment, it attaches | subjects the same code | symbol and abbreviate | omits description.

第５の実施の形態では、画像画素用の光電変換素子が、光通信画素用の光電変換素子を内包するように基板上に配列されている点が主に第１の実施の形態と異なっている。   The fifth embodiment is different from the first embodiment mainly in that the photoelectric conversion elements for image pixels are arranged on the substrate so as to enclose the photoelectric conversion elements for optical communication pixels. Yes.

図１８（Ａ）に示すように、画素アレイ２８には、画像画素用の光電変換素子２８Ａが、光通信画素用の光電変換素子２８Ｂを内包するように配置されて、複数の画像画素用の光電変換素子２８Ａと複数の光通信画素用の光電変換素子２８Ｂとを一つの基板上に配列されている。   As shown in FIG. 18A, in the pixel array 28, photoelectric conversion elements 28A for image pixels are arranged so as to enclose photoelectric conversion elements 28B for optical communication pixels, and a plurality of image pixel photoelectric conversion elements 28A are arranged. The photoelectric conversion element 28A and the photoelectric conversion elements 28B for a plurality of optical communication pixels are arranged on one substrate.

これによって、複数の画像画素用の光電変換素子における光軸と複数の光通信画素用の光電変換素子２８における光軸とのずれをほぼ一致させることができる。   Thereby, the deviation between the optical axis of the photoelectric conversion elements for the plurality of image pixels and the optical axis of the photoelectric conversion elements 28 for the plurality of optical communication pixels can be substantially matched.

なお、画像画素用の光電変換素子が、光通信画素用の光電変換素子を内包するように基板上に配列されている場合を例に説明したが、光通信画素用の光電変換素子が、画像画素用の光電変換素子を内包するように基板上に配置されていてもよい。   Although the case where the photoelectric conversion elements for image pixels are arranged on the substrate so as to enclose the photoelectric conversion elements for optical communication pixels has been described as an example, the photoelectric conversion elements for optical communication pixels are You may arrange | position on a board | substrate so that the photoelectric conversion element for pixels may be included.

また、上記の実施の形態では、画像画素用の光電変換素子のサイズと光通信画素用の光電変換素子のサイズとが同じ場合を例に説明したが、図１８（Ｂ）のように、画像画素用の光電変換素子のサイズと光通信画素用の光電変換素子のサイズとが異なっていてもよく、例えば、光通信画素用の光電変換素子のサイズが、画像画素用の光電変換素子のサイズより小さくなっていてもよい。   In the above embodiment, the case where the size of the photoelectric conversion element for the image pixel is the same as the size of the photoelectric conversion element for the optical communication pixel is described as an example. However, as shown in FIG. The size of the photoelectric conversion element for the pixel and the size of the photoelectric conversion element for the optical communication pixel may be different. For example, the size of the photoelectric conversion element for the optical communication pixel is the size of the photoelectric conversion element for the image pixel. It may be smaller.

次に、第６の実施の形態について説明する。なお、第１の実施の形態と同様の構成となっている部分については、同一符号を付して説明を省略する。   Next, a sixth embodiment will be described. In addition, about the part which becomes the structure similar to 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.

第６の実施の形態では、光通信画素用の光電変換素子からの信号に基づいて、外乱光の強度レベルを設定している点と、光通信画素用の光電変換素子からの信号に基づいて、デジタル変換の基準値レベルを設定している点とが主に第１の実施の形態と異なっている。   In the sixth embodiment, the intensity level of disturbance light is set based on the signal from the photoelectric conversion element for the optical communication pixel, and the signal from the photoelectric conversion element for the optical communication pixel. The difference from the first embodiment is that a reference value level for digital conversion is set.

第６の実施の形態では、画素アレイ２８の光通信画素用の光電変換素子２８Ｂから出力された信号が、図１９に示す制御装置６２６に入力されるようになっている。   In the sixth embodiment, a signal output from the photoelectric conversion element 28B for the optical communication pixel of the pixel array 28 is input to the control device 626 shown in FIG.

制御装置６２６は、画像信号入力部４４と、画像信号入力部４４によって入力された複数の画像信号に基づいて得られる撮像画像から、光送信装置１６からの信号光を受光している基板上の領域を抽出し、抽出された領域内の座標値を画素アレイ２８へ出力すると共に、抽出された領域外の座標値を画素アレイ２８へ出力する光抽出部６４６と、光通信画素用の光電変換素子２８Ｂから出力された信号に基づいて、外乱光の強度レベルを設定する外乱レベル設定部６４８と、画像出力部５０と、光通信信号入出力部５２と、光通信画素用の光電変換素子２８Ｂから出力された信号に基づいて、光通信信号にデジタル変換するときに用いられる基準値レベルを設定する基準値設定部６５４とを備えている。   The control device 626 is on the substrate that receives the signal light from the optical transmission device 16 from the image signal input unit 44 and a captured image obtained based on the plurality of image signals input by the image signal input unit 44. A light extraction unit 646 that extracts a region, outputs coordinate values in the extracted region to the pixel array 28, and outputs coordinate values outside the extracted region to the pixel array 28, and photoelectric conversion for the optical communication pixel A disturbance level setting unit 648 for setting the intensity level of disturbance light based on the signal output from the element 28B, an image output unit 50, an optical communication signal input / output unit 52, and a photoelectric conversion element 28B for an optical communication pixel. And a reference value setting unit 654 for setting a reference value level used when digitally converting to an optical communication signal based on a signal output from.

外乱レベル設定部６４８は、光抽出部６４６によって抽出された領域外の座標値に対応する光通信画素用の光電変換素子２８Ｂから出力された信号を用いて、光通信画素用の光電変換素子２８Ｂから出力される信号に含まれる外乱光成分の強度レベルを算出し、差分回路４０に対して、初期設定として、算出した外乱光の強度レベルを設定する。   The disturbance level setting unit 648 uses the signal output from the photoelectric conversion element 28B for the optical communication pixel corresponding to the coordinate value outside the region extracted by the light extraction unit 646, and the photoelectric conversion element 28B for the optical communication pixel. The intensity level of the disturbance light component included in the signal output from is calculated, and the calculated intensity level of the disturbance light is set as an initial setting for the difference circuit 40.

基準値決定部６５４は、光抽出部６４６によって抽出された領域内の座標値に対応する光通信画素用の光電変換素子２８Ｂから出力された信号を用いて、信号光の強度レベルを算出し、信号光の強度レベルに応じて、デジタル変換の基準値のレベルを決定し、デジタル変換器３８に対して、初期設定として、決定した基準値のレベルを設定する。   The reference value determination unit 654 calculates the intensity level of the signal light using the signal output from the photoelectric conversion element 28B for the optical communication pixel corresponding to the coordinate value in the region extracted by the light extraction unit 646, A reference value level for digital conversion is determined according to the intensity level of the signal light, and the determined reference value level is set as an initial setting for the digital converter 38.

次に、第６の実施の形態に係る運転支援システムの作用について説明する。なお、第１の実施の形態と同様の処理については、同一符合を付して詳細な説明を省略する。まず、運転支援システムの光通信装置において、図２０に示す初期設定処理ルーチンが実行される。ステップ１０２において、複数の画像画素用の光電変換素子２８Ａの各々から出力された画像信号を取得し、ステップ１０８において、上記ステップ１０２で取得された画像信号に基づいて得られる撮像画像から、光送信装置１６からの信号光を受光している基板上の領域を抽出し、そして、ステップ１１０で、上記ステップ１０８で抽出された基板上の領域内の座標値を画素アレイ２８に出力して、抽出された領域内の座標値が表わす場所に位置する光通信画素用の光電変換素子２８Ｂから信号を出力するように指示する。   Next, the operation of the driving support system according to the sixth embodiment will be described. In addition, about the process similar to 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted. First, in the optical communication device of the driving support system, an initial setting process routine shown in FIG. 20 is executed. In step 102, an image signal output from each of the photoelectric conversion elements 28A for the plurality of image pixels is acquired, and in step 108, optical transmission is performed from the captured image obtained based on the image signal acquired in step 102. A region on the substrate receiving the signal light from the device 16 is extracted, and in step 110, the coordinate value in the region on the substrate extracted in step 108 is output to the pixel array 28 for extraction. An instruction is given to output a signal from the photoelectric conversion element 28B for the optical communication pixel located at the position represented by the coordinate value in the area.

次のステップ６７０において、抽出された領域内の座標値が表わす場所に位置する光通信画素用の光電変換素子２８Ｂから出力された信号を取得し、ステップ６７２において、上記ステップ６７０で取得された信号に基づいて、信号光の基準値レベルを決定し、デジタル変換器３８に対して基準値レベルを設定する。   In the next step 670, the signal output from the photoelectric conversion element 28B for the optical communication pixel located at the position represented by the coordinate value in the extracted region is acquired. In step 672, the signal acquired in the step 670 is acquired. The reference value level of the signal light is determined based on the above, and the reference value level is set for the digital converter 38.

そして、ステップ６７４において、上記ステップ１０８で抽出された基板上の領域外の座標値を画素アレイ２８に出力して、抽出された領域外の座標値が表わす場所に位置する光通信画素用の光電変換素子２８Ｂから信号を出力するように指示する。次のステップ６７６では、抽出された領域外の座標値が表わす場所に位置する光通信画素用の光電変換素子２８Ｂから出力された信号を取得し、そして、ステップ６７８において、上記ステップ６７６で取得された信号に基づいて、外乱光の強度レベルを算出して、差分回路４０に対して、算出した外乱光の強度レベルを設定して、初期設定処理ルーチンを終了する。   In step 674, the coordinate value outside the region on the substrate extracted in step 108 is output to the pixel array 28, and the photoelectric signal for the optical communication pixel located at the location represented by the coordinate value outside the extracted region is output. The conversion element 28B is instructed to output a signal. In the next step 676, the signal output from the photoelectric conversion element 28B for the optical communication pixel located at the location represented by the coordinate value outside the extracted area is acquired, and in step 678, the signal is acquired in step 676. Based on the received signal, the intensity level of disturbance light is calculated, the calculated intensity level of disturbance light is set in the difference circuit 40, and the initial setting processing routine is terminated.

そして、光通信装置において、図２１に示す光通信処理ルーチンが実行される。まず、ステップ１００において、経過時間を示す変数ｔに初期値として０を設定し、ステップ１０２において、複数の画像画素用の光電変換素子２８Ａの各々から出力された画像信号を取得する。そして、ステップ１０４において、上記ステップ１０２で取得された画像信号に基づいて得られる撮像画像を運転支援装置１４に出力する。   Then, the optical communication processing routine shown in FIG. 21 is executed in the optical communication apparatus. First, in step 100, 0 is set as an initial value for a variable t indicating elapsed time. In step 102, an image signal output from each of the plurality of image pixel photoelectric conversion elements 28A is acquired. In step 104, the captured image obtained based on the image signal acquired in step 102 is output to the driving support device 14.

そして、ステップ１０８において、上記ステップ１０２で取得された画像信号に基づいて得られる撮像画像から、信号光を受光している基板上の領域を抽出し、ステップ１１０で、上記ステップ１０８で抽出された基板上の領域内の座標値を画素アレイ２８に出力する。次のステップ１１２では、デジタル変換部３０から光通信信号を取得し、ステップ１１４において、取得した光通信信号を受信データとして運転支援装置１４に出力する。   In step 108, a region on the substrate receiving the signal light is extracted from the captured image obtained based on the image signal acquired in step 102. In step 110, the region extracted in step 108 is extracted. The coordinate value in the area on the substrate is output to the pixel array 28. In the next step 112, an optical communication signal is acquired from the digital conversion unit 30, and in step 114, the acquired optical communication signal is output to the driving support device 14 as reception data.

そして、ステップ１１６において、経過時間を表わす変数ｔをインクリメントし、ステップ１１８で、経過時間ｔが、予め定められた撮像画像出力レートに相当する時間Ｆ未満であるか否かを判定し、経過時間が、撮像画像出力レートに相当する時間に到達していない場合には、ステップ１１２へ戻るが、一方、経過時間が、撮像画像出力レートに相当する時間に到達した場合には、ステップ１２０へ移行する。   In step 116, the variable t representing the elapsed time is incremented. In step 118, it is determined whether the elapsed time t is less than the time F corresponding to a predetermined captured image output rate. However, when the time corresponding to the captured image output rate has not been reached, the process returns to step 112. On the other hand, when the elapsed time reaches the time corresponding to the captured image output rate, the process proceeds to step 120. To do.

ステップ１２０では、過去に抽出された信号光を受光している領域の移動量及び移動方向に基づいて、信号光の受光している領域の移動先を推定して、ステップ１００へ戻り、再び画像信号を取得する。   In step 120, based on the movement amount and movement direction of the region receiving the signal light extracted in the past, the movement destination of the region receiving the signal light is estimated, and the process returns to step 100, and the image is again displayed. Get the signal.

以上説明したように、第６の実施の形態に係る運転支援システムの光通信装置によれば、光通信画素用の光電変換素子からの信号に基づいて設定される外乱光成分を、光通信画素用の光電変換素子からの信号からを除去して、光通信信号を得ることができるため、高精度な光通信を実現することができる。また、光通信画素用の光電変換素子からの信号から得られる信号光の強度を考慮して基準値レベルを設定し、設定された基準値レベルに基づいてデジタル変換された光通信信号を得ることができるため、高精度な光通信を実現することができる。   As described above, according to the optical communication device of the driving support system according to the sixth embodiment, the disturbance light component set based on the signal from the photoelectric conversion element for the optical communication pixel is converted into the optical communication pixel. Since the optical communication signal can be obtained by removing the signal from the photoelectric conversion element for use, high-accuracy optical communication can be realized. In addition, a reference value level is set in consideration of the intensity of signal light obtained from a signal from a photoelectric conversion element for an optical communication pixel, and an optical communication signal that is digitally converted based on the set reference value level is obtained. Therefore, highly accurate optical communication can be realized.

なお、上記の実施の形態では、光通信画素用の光電変換素子からの信号に基づいて、外乱光成分を設定する場合を例に説明したが、光通信画素用の光電変換素子からの信号と、画像信号に基づいて得られる撮像画像とに基づいて、外乱光成分を設定するようにしてもよい。この場合には、例えば、光通信画素用の光電変換素子からの信号に基づいて、外乱光成分を算出すると共に、上記の第１の実施の形態と同様に撮像画像を用いて外乱光成分を算出し、算出された双方の外乱光成分を平均して、外乱光成分の平均値を差分回路に対して設定するようにしてもよい。   In the above embodiment, the case where the disturbance light component is set based on the signal from the photoelectric conversion element for the optical communication pixel is described as an example, but the signal from the photoelectric conversion element for the optical communication pixel is The disturbance light component may be set based on the captured image obtained based on the image signal. In this case, for example, the disturbance light component is calculated based on the signal from the photoelectric conversion element for the optical communication pixel, and the disturbance light component is calculated using the captured image in the same manner as in the first embodiment. The calculated disturbance light components may be averaged, and the average value of the disturbance light components may be set for the difference circuit.

また、光通信画素用の光電変換素子からの信号に基づいて、デジタル変換の基準値レベルを設定する場合を例に説明したが、光通信画素用の光電変換素子からの信号と、画像信号に基づいて得られる撮像画像とに基づいて、基準値レベルを設定するようにしてもよい。この場合には、例えば、光通信画素用の光電変換素子からの信号に基づいて、基準値レベルを決定すると共に、上記の第１の実施の形態と同様に撮像画像を用いて基準値レベルを決定し、決定された双方の基準値レベルを平均して、基準値レベルの平均値をデジタル変換器に設定するようにしてもよい。   In addition, the case where the reference value level for digital conversion is set based on the signal from the photoelectric conversion element for the optical communication pixel has been described as an example, but the signal from the photoelectric conversion element for the optical communication pixel and the image signal are The reference value level may be set based on the captured image obtained based on the image. In this case, for example, the reference value level is determined based on the signal from the photoelectric conversion element for the optical communication pixel, and the reference value level is set using the captured image as in the first embodiment. It is also possible to determine the average value of both of the determined reference value levels and set the average value of the reference value levels in the digital converter.

また、光通信装置を車両に搭載した場合を例に説明したが、これに限定されるものではなく、例えば、信号機などに光通信装置を搭載してもよい。   Further, the case where the optical communication device is mounted on the vehicle has been described as an example. However, the present invention is not limited to this. For example, the optical communication device may be mounted on a traffic light or the like.

また、光通信画素用の光電変換素子として、光電変換における電荷蓄積時間が短い光電変換素子を用いた場合を例に説明したが、これに限定されるものではなく、受光量の変化に対する応答速度が、画像画素用の光電変換素子よりも速い光電変換素子を用いればよい。例えば、受光量に応じた信号を電荷として蓄積せずに（電荷蓄積時間がゼロ）、受光量に応じた信号をそのまま出力する光電変換素子を、光通信画素用の光電変換素子として用いてもよい。   In addition, the case where a photoelectric conversion element with a short charge accumulation time in photoelectric conversion is used as the photoelectric conversion element for the optical communication pixel is described as an example, but the present invention is not limited to this. However, a photoelectric conversion element that is faster than the photoelectric conversion element for image pixels may be used. For example, a photoelectric conversion element that outputs a signal according to the amount of received light as it is without accumulating a signal according to the amount of received light (charge accumulation time is zero) may be used as a photoelectric conversion element for an optical communication pixel. Good.

本発明の第１の実施の形態に係る運転支援システム及び光送信装置の構成を示す概略図である。It is the schematic which shows the structure of the driving assistance system which concerns on the 1st Embodiment of this invention, and an optical transmitter. 本発明の第１の実施の形態に係る光通信装置の構成を示すブロック図である。It is a block diagram which shows the structure of the optical communication apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施の形態に係る光通信装置の画素アレイの光電変換素子の配置を示すイメージ図である。It is an image figure which shows arrangement | positioning of the photoelectric conversion element of the pixel array of the optical communication apparatus which concerns on the 1st Embodiment of this invention. 画素アレイの光電変換素子の配置の他の例を示すイメージ図である。It is an image figure which shows the other example of arrangement | positioning of the photoelectric conversion element of a pixel array. 本発明の第１の実施の形態に係る光通信装置のデジタル変換部の構成を示すブロック図である。It is a block diagram which shows the structure of the digital conversion part of the optical communication apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施の形態に係る光通信装置の直流除去装置の構成を示すブロック図である。It is a block diagram which shows the structure of the direct current | flow removal apparatus of the optical communication apparatus which concerns on the 1st Embodiment of this invention. （Ａ）入力された信号の変化を示すグラフ、及び（Ｂ）外乱光成分を除去した信号の変化を示すグラフである。(A) The graph which shows the change of the input signal, (B) The graph which shows the change of the signal which removed the disturbance light component. （Ａ）デジタル変換器のコンパレータを示す図、及び（Ｂ）アナログ信号をデジタル変換する様子を示すグラフである。(A) The figure which shows the comparator of a digital converter, (B) It is a graph which shows a mode that an analog signal is digitally converted. 本発明の第１の実施の形態に係る光通信装置の制御装置の構成を示すブロック図である。It is a block diagram which shows the structure of the control apparatus of the optical communication apparatus which concerns on the 1st Embodiment of this invention. 受光領域の移動量及び移動方向に基づいて、受光領域の移動先を推定する様子を示すイメージ図である。It is an image figure which shows a mode that the movement destination of a light reception area | region is estimated based on the movement amount and movement direction of a light reception area | region. （Ａ）入射する信号光が十分強いときに、基準値に基づいてデジタル変換する様子を示すグラフ、及び（Ｂ）信号光の強度が弱くなったときに、基準値に基づいてデジタル変換する様子を示すグラフである。(A) A graph showing a state of digital conversion based on the reference value when the incident signal light is sufficiently strong, and (B) a state of digital conversion based on the reference value when the intensity of the signal light becomes weak. It is a graph which shows. 受光する信号光の強度に応じて、動的に基準値のレベルを可変させる様子を示すグラフである。It is a graph which shows a mode that the level of a reference value is changed dynamically according to the intensity | strength of the signal light to receive. 本発明の第１の実施の形態に係る光通信装置の制御装置における光通信処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the optical communication processing routine in the control apparatus of the optical communication apparatus which concerns on the 1st Embodiment of this invention. 本発明の第２の実施の形態に係る光通信装置の直流除去装置の構成を示すブロック図である。It is a block diagram which shows the structure of the direct current | flow removal apparatus of the optical communication apparatus which concerns on the 2nd Embodiment of this invention. （Ａ）入力された信号の変化を示すグラフ、及び（Ｂ）外乱光成分を除去した信号の変化を示すグラフである。(A) The graph which shows the change of the input signal, (B) The graph which shows the change of the signal which removed the disturbance light component. 多ビットの光通信信号にデジタル変換する様子を示すイメージ図である。It is an image figure which shows a mode that it converts into a multibit optical communication signal digitally. 複数の通信用の発光素子が配置されたテールランプを示すイメージ図である。It is an image figure which shows the tail lamp by which the several light emitting element for communication is arrange | positioned. （Ａ）画素アレイの光電変換素子の他の配置パターンを示すイメージ図、及び（Ｂ）画素アレイの光電変換素子の他の配置パターンを示すイメージ図である。(A) The image figure which shows the other arrangement pattern of the photoelectric conversion element of a pixel array, (B) The image figure which shows the other arrangement pattern of the photoelectric conversion element of a pixel array. 本発明の第６の実施の形態に係る光通信装置の制御装置の構成を示すブロック図である。It is a block diagram which shows the structure of the control apparatus of the optical communication apparatus which concerns on the 6th Embodiment of this invention. 本発明の第６の実施の形態に係る光通信装置の制御装置における初期設定処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the initialization process routine in the control apparatus of the optical communication apparatus which concerns on the 6th Embodiment of this invention. 本発明の第６の実施の形態に係る光通信装置の制御装置における光通信処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the optical communication processing routine in the control apparatus of the optical communication apparatus which concerns on the 6th Embodiment of this invention.

符号の説明Explanation of symbols

１０ 運転支援システム
１２ 光通信装置
１４ 運転支援装置
１６ 光送信装置
１８ 発光素子
２４ 撮像素子
２６、６２６ 制御装置
２８ 画素アレイ
２８Ａ 画像画素用の光電変換素子
２８Ｂ 光通信画素用の光電変換素子
３０ デジタル変換部
３４、２３４ 直流分除去装置
３８ デジタル変換器
４０ 差分回路
４６、６４６ 光抽出部
４８、６４８ 外乱レベル算出部
５０ 画像出力部
５２ 光通信信号入出力部
５４、６５４ 基準値決定部
２４０ ハイパスフィルタ DESCRIPTION OF SYMBOLS 10 Driving support system 12 Optical communication apparatus 14 Driving support apparatus 16 Optical transmission apparatus 18 Light emitting element 24 Imaging element 26,626 Control apparatus 28 Pixel array 28A Photoelectric conversion element 28B for image pixels Photoelectric conversion element 30 for optical communication pixels Digital conversion Units 34, 234 DC component removal device 38 digital converter 40 difference circuit 46, 646 light extraction unit 48, 648 disturbance level calculation unit 50 image output unit 52 optical communication signal input / output units 54, 654 reference value determination unit 240 high pass filter

Claims (5)

受光量に応じた信号を出力する複数の第１光電変換素子と、受光量に応じた信号を出力し、かつ、前記受光量の変化に対する応答速度が前記第１光電変換素子より速い複数の第２光電変換素子とを備え、前記第１光電変換素子と前記第２光電変換素子とが対となるように前記複数の第１光電変換素子及び前記複数の第２光電変換素子を、一つの基板上に二次元配列した撮像素子と、
前記撮像素子の前記複数の第１光電変換素子から出力された信号に基づいて得られた撮像画像から、信号光を受光している前記基板上の領域を抽出する抽出手段と、
前記抽出手段によって抽出された前記領域内に位置する前記第２光電変換素子から出力された信号に基づいて、信号光の強度の基準値を設定する基準値設定手段と、
前記基準値設定手段によって設定された前記基準値に基づいて、前記抽出手段によって抽出された前記領域内に位置する前記第２光電変換素子から出力された信号をデジタル変換して、前記デジタル変換した信号を前記信号光が表わす光通信信号として出力する光通信出力手段と、
前記撮像素子の前記複数の第１光電変換素子から出力された信号に基づいて得られた撮像画像を出力する画像出力手段と、
を含む光通信装置。 A plurality of first photoelectric conversion elements that output a signal according to the amount of received light, and a plurality of first photoelectric conversion elements that output a signal according to the amount of received light and have a response speed with respect to a change in the amount of received light that is faster than that of the first photoelectric conversion element. and a second photoelectric conversion element, the first photoelectric conversion element and the second photoelectric conversion element and the plurality of first photoelectric conversion elements and the plurality of second photoelectric conversion element so that the pairs, one substrate An image sensor two-dimensionally arranged on top;
Extraction means for extracting a region on the substrate receiving signal light from a captured image obtained based on signals output from the plurality of first photoelectric conversion elements of the imaging element;
Reference value setting means for setting a reference value of the intensity of the signal light based on the signal output from the second photoelectric conversion element located in the region extracted by the extraction means;
Based on the reference value set by the reference value setting means, wherein a signal output from the second photoelectric conversion elements located on the extracted within the region by the extracting means to digital conversion, said digital conversion optical communication output means for outputting a signal as an optical communication signal represented by the signal light,
Image output means for outputting a captured image obtained based on signals output from the plurality of first photoelectric conversion elements of the image sensor;
An optical communication device including: 前記撮像素子の前記第１光電変換素子から出力された信号に基づいて、外乱光成分を算出する算出手段を更に含み、
前記光通信出力手段は、前記抽出手段によって抽出された前記領域内に位置する前記第２光電変換素子から出力された信号から、前記算出手段によって算出された外乱光成分を除去して、前記信号光が表わす光通信信号を生成し、前記生成した前記光通信信号を出力する請求項１記載の光通信装置。 A calculation means for calculating a disturbance light component based on a signal output from the first photoelectric conversion element of the imaging element;
The optical communication output means removes the disturbance light component calculated by the calculation means from the signal output from the second photoelectric conversion element located in the region extracted by the extraction means, and the signal The optical communication apparatus according to claim 1, wherein an optical communication signal represented by light is generated, and the generated optical communication signal is output. 前記撮像素子の前記第１光電変換素子及び前記第２光電変換素子の少なくとも一方から出力された信号に基づいて、外乱光成分を設定する設定手段を更に含み、
前記光通信出力手段は、前記抽出手段によって抽出された前記領域内に位置する前記第２光電変換素子から出力された信号から、前記設定手段によって設定された外乱光成分を除去して、前記信号光が表わす光通信信号を生成し、前記生成した前記光通信信号を出力する請求項１記載の光通信装置。 Further comprising setting means for setting a disturbance light component based on a signal output from at least one of the first photoelectric conversion element and the second photoelectric conversion element of the imaging element;
The optical communication output means removes the disturbance light component set by the setting means from the signal output from the second photoelectric conversion element located in the region extracted by the extraction means, and the signal The optical communication apparatus according to claim 1, wherein an optical communication signal represented by light is generated, and the generated optical communication signal is output. 前記光通信出力手段は、前記抽出手段によって抽出された前記領域内に位置する前記第２光電変換素子から出力された信号から、所定の周波数帯成分のみを通過させて、外乱光成分を除去するフィルタを備え、前記フィルタから出力された信号に基づいて、前記信号光が表わす光通信信号を生成し、前記生成した前記光通信信号を出力する請求項１記載の光通信装置。   The optical communication output means passes only a predetermined frequency band component from the signal output from the second photoelectric conversion element located in the region extracted by the extraction means, and removes the disturbance light component. The optical communication apparatus according to claim 1, further comprising: a filter, generating an optical communication signal represented by the signal light based on a signal output from the filter, and outputting the generated optical communication signal. 前記第２光電変換素子は、光電変換における電荷蓄積時間が前記第１光電変換素子より短い請求項１〜請求項４の何れか１項記載の光通信装置。 The second photoelectric conversion element, the optical communication apparatus according to any one of the photoelectric claim charge accumulation time in the conversion shorter than the first photoelectric conversion element 1 to claim 4.

Images