JP4992129B2

JP4992129B2 - 光通信装置

Info

Publication number: JP4992129B2
Application number: JP2007188868A
Authority: JP
Inventors: 勇高井; 道則安藤; 芳樹二宮; 祥二川人
Original assignee: Shizuoka University NUC; Toyota Central R&D Labs Inc
Current assignee: Shizuoka University NUC; Toyota Central R&D Labs Inc
Priority date: 2007-07-19
Filing date: 2007-07-19
Publication date: 2012-08-08
Anticipated expiration: 2027-07-19
Also published as: JP2009027480A

Description

本発明は、光通信装置に係り、特に、信号光を受光して光通信を行う光通信装置に関する。

従来より、光通信を行うための装置が知られている（例えば、非特許文献１）。非特許文献１に記載の装置では、イメージセンサの画素に対して、イメージセンサ用読み出し線と通信用高速読み出し線とが設けられ、イメージセンサの画素から、通信信号及び画像信号の何れかを切り換えて出力する。
香川景一郎、西村智博、平井隆夫、太田淳、布下正宏、山嵜康司、山田雅司、杉下正蔵、渡辺國寛、「ＢｉＣＭＯＳプロセスを用いた光無線ＬＡＮ用ビジョンチップの開発」、映像情報メディア学会情報センシング・コンシューマエレクトロニクス研究会、ＩＴＥＴｅｃｈｎｉｃａｌＲｅｐｏｒｔ２６（２６）、ｐｐ．３５−４０（２００２）

しかしながら、上記の非特許文献１の記載では、同一の画素から、通信信号と画像信号とを同時に出力することができないため、通信信号を出力すると、通信を行っている座標の画像信号は出力されず、画像として歯抜けの状態となり、画像信号により得られる画像の画質が低下してしまう、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、得られる撮像画像の画質を低下させずに、光通信を行うことができる光通信装置を提供することを目的とする。

上記の目的を達成するために本発明に係る光通信装置は、受光量に応じた信号を出力する複数の第１光電変換素子と、受光量に応じた信号を出力し、かつ、前記受光量の変化に対する応答速度が前記第１光電変換素子より速い複数の第２光電変換素子とを備え、前記第１光電変換素子と前記第２光電変換素子とが対となるように前記複数の第１光電変換素子及び前記複数の第２光電変換素子を、一つの基板上に二次元配列した撮像素子と、前記撮像素子の前記複数の第１光電変換素子から出力された信号に基づいて得られた撮像画像から、信号光を受光している前記基板上の領域を抽出する抽出手段と、前記抽出手段によって抽出された前記領域内に位置する前記第２光電変換素子から出力された信号に基づいて、信号光の強度の基準値を設定する基準値設定手段と、前記基準値設定手段によって設定された前記基準値に基づいて、前記抽出手段によって抽出された前記領域内に位置する前記第２光電変換素子から出力された信号をデジタル変換して、前記デジタル変換した信号を前記信号光が表わす光通信信号として出力する光通信出力手段と、前記撮像素子の前記複数の第１光電変換素子から出力された信号に基づいて得られた撮像画像を出力する画像出力手段と、を含んで構成されている。

本発明に係る光通信装置によれば、抽出手段によって、撮像素子の複数の第１光電変換素子から出力された信号に基づいて得られた撮像画像から、信号光を受光している基板上の領域を抽出する。

そして、光通信出力手段によって、抽出手段によって抽出された領域内に位置する第２光電変換素子から出力された信号を、信号光が表わす光通信信号として出力し、また、画像出力手段によって、撮像素子の複数の第１光電変換素子から出力された信号に基づいて得られた撮像画像を出力する。

このように、複数の第１光電変換素子からの信号に基づいて得られた撮像画像を出力すると共に、第２光電変換素子から出力された信号を、信号光が表わす光通信信号として出力することにより、得られる撮像画像の画質を低下させずに、光通信を行うことができる。

ここで、第２光電変換素子は、受光量の変化に対する応答速度が第１光電変換素子より速く、高速な信号光の変化も捉えることができ、周波数が高い光通信信号であっても、受信することができる。

また、本発明に係る光通信装置は、撮像素子の第１光電変換素子から出力された信号に基づいて、外乱光成分を算出する算出手段を更に含み、光通信出力手段は、抽出手段によって抽出された領域内に位置する第２光電変換素子から出力された信号から、算出手段によって算出された外乱光成分を除去して、信号光が表わす光通信信号を生成し、生成した光通信信号を出力することができる。これによって、外乱光成分を除去して光通信信号を得ることができるため、高精度な光通信を実現することができる。

本発明に係る光通信装置は、撮像素子の第１光電変換素子及び第２光電変換素子の少なくとも一方から出力された信号に基づいて、外乱光成分を設定する設定手段を更に含み、光通信出力手段は、抽出手段によって抽出された領域内に位置する第２光電変換素子から出力された信号から、設定手段によって設定された外乱光成分を除去して、信号光が表わす光通信信号を生成し、生成した前記光通信信号を出力することができる。これによって、外乱光成分を除去して光通信信号を得ることができるため、高精度な光通信を実現することができる。

本発明に係る光通信出力手段は、抽出手段によって抽出された領域内に位置する第２光電変換素子から出力された信号から、所定の周波数帯成分のみを通過させて、外乱光成分を除去するフィルタを備え、フィルタから出力された信号に基づいて、信号光が表わす光通信信号を生成し、生成した光通信信号を出力することができる。これによって、信号光以外の成分を除去して光通信信号を得ることができるため、高精度な光通信を実現することができる。

本発明に係る光通信装置は、抽出手段によって抽出された領域内に位置する第２光電変換素子から出力された信号に基づいて、信号光の強度の基準値を設定する基準値設定手段を更に含み、光通信出力手段は、基準値設定手段によって設定された基準値に基づいて、抽出手段によって抽出された領域内に位置する第２光電変換素子から出力された信号をデジタル変換して、デジタル変換した信号を光通信信号として出力する。これによって、信号光の強度を考慮した基準値に基づいてデジタル変換された光通信信号を得ることができるため、高精度な光通信を実現することができる。

上記の前記抽出手段は、所定周期で、前記撮像画像から、信号光を受光している前記基板上の領域を抽出することができる。これによって、信号光を受光している領域を追跡することができる。

上記の光通信装置は、前記抽出手段によって過去に抽出された前記領域に基づいて、前記領域の移動量及び移動方向の少なくとも一方を推定する推定手段を更に含み、前記抽出手段は、前記推定手段によって推定された前記移動量及び移動方向の少なくとも一方に基づいて、前記撮像画像から、信号光を受光している前記基板上の領域を抽出することができる。これによって、信号光を受光している領域を容易に抽出することができる。

上記の第２光電変換素子について、光電変換における電荷蓄積時間を、第１光電変換素子より短くすることができる。これによって、受光量の変化に対する応答速度を速くすることができる。

以上説明したように、本発明の光通信装置によれば、複数の第１光電変換素子からの信号に基づいて得られた撮像画像を出力すると共に、第２光電変換素子から出力された信号を、信号光が表わす光通信信号として出力することにより、得られる撮像画像の画質を低下させずに、光通信を行うことができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、かつ、光通信によって受信した受信データに基づいて運転支援を行なう運転支援システムの光通信装置に本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る運転支援システム１０は、車両前方を撮像すると共に、光通信を行う光通信装置１２と、光通信装置１２によって受信した受信データ及び撮像された撮像画像に基づいて、運転支援を行なう運転支援装置１４とを備えている。

光通信装置１２は、光送信装置１６から発光された信号光を受光して、光通信信号を受信する。光送信装置１６は、例えば、ＬＥＤから構成される発光素子１８と、送信データのデータ列に応じて、発光素子１８をオンオフさせる通信制御部２０とを備えている。

光送信装置１６の通信制御部２０は、搭載車両の車速又は加減速を示す情報を信号光によって送信するように、発光素子１８をオンオフさせる。発光素子１８は、多量のデータを送信するために、高速にスイッチング（オンオフ）される。

光通信装置１２は、他の車両に搭載された光送信装置１６から光通信によって受信した光通信信号が表わす受信データを、受信データ列として運転支援装置１４に出力する。このように、光通信装置１２は、有線通信または電波による無線通信に替わる、光による無線通信を実現する。有線通信は、信号伝達のための配線が必要になるため、通信距離が伸びるほど利便性が低下する。また、電波を用いた無線通信は、電波法による帯域の割り当てが障壁となるため、普及の足かせになり、また、電波の送受信機にコストがかかってしまう。一方、本実施の形態で用いられる光通信は、発光素子とカメラとで構成される安価なシステムで実現されている上、法規上の障壁もないため、有線通信や電波を用いた無線通信に比べて優位性を有している。

運転支援システム１０の運転支援装置１４は、光通信装置１２で撮像された撮像画像に対して、パターンマッチングなどの画像処理を行って、前方車両の位置を検出し、また、光通信装置１２からの受信データから、前方車両の車速又は加速度を取得する。そして、運転支援装置１４は、取得した前方車両の位置と車速又は加速度とに基づいて、前方車両との衝突可能性を判定し、判定された衝突可能性に基づいて、運転支援として、警報の提示や運転制御を行なう。

図２に示すように、光通信装置１２は、撮像素子２４と、撮像素子２４の駆動制御を行うと共に所定の画像処理を行う制御装置２６とを備えている。

撮像素子２４は、図３に示すように、受光量に応じた信号を出力する複数の画像画素用の光電変換素子２８Ａと複数の光通信画素用の光電変換素子２８Ｂとを一つの基板上に二次元配列した画素アレイ２８と、光通信画素用の光電変換素子２８Ｂから出力されるアナログ信号をデジタル信号に変換するデジタル変換部３０とを備えている。

画素アレイ２８では、例えば、１ラインごとに、画像画素用の光電変換素子２８Ａと光通信画素用の光電変換素子２８Ｂとが交互に配置されている。なお、図４に示すように、画像画素用の光電変換素子２８Ａと光通信画素用の光電変換素子２８Ｂとを格子状に配置してもよく、また、他の配置パターンで配置してもよい。ただし、図３、４に示した２つの具体例のように、画像画素用の光電変換素子２８Ａと光通信画素用の光電変換素子２８Ｂとが、対（近接構造）となるように配置し、複数の画像画素用の光電変換素子２８Ａに対する光軸と、複数の光通信画素用の光電変換素子２８Ｂに対する光軸とがほぼ一致することが好ましい。

また、撮像素子２４は、レンズ（図示省略）を１枚だけ備えており、複数の画像画素用の光電変換素子２８Ａと、複数の光通信画素用の光電変換素子２８Ｂとに対する、共通のレンズとして用いられている。

光送信装置１６の発光素子１８が高速にオンオフされ、画像を撮像するための一般的な光電変換素子では、発光素子１８のオンオフの速度に応答できないため、光通信用の光電変換素子２８Ｂとして、光電変換における電荷蓄積時間が短く、高速なオンオフに応答できる光電変換素子が用いられる。

また、画像画素用の光電変換素子２８Ａから出力された信号が、画像信号として制御装置２６に出力され、そして、制御装置２６から撮像素子２４の画素アレイ２８に座標値が入力される。画素アレイ２８は、制御装置２６から入力された座標値が表わす場所に位置する光通信画素用の光電変換素子２８Ｂに対応するスイッチ（図示省略）をオンし、スイッチがオンされた光電変換素子２８Ｂから出力されるアナログ信号を出力して、デジタル変換部３０に入力する。

デジタル変換部３０は、光通信画素用の光電変換素子２８Ｂから入力されたアナログ信号をデジタル信号に変換し、光通信信号として制御装置２６に出力する。

図５に示すように、デジタル変換部３０は、外乱光の成分を削除又は低減するための直流分除去装置３４と、微弱な信号を増幅するアンプ３６と、アナログ信号をデジタル信号に変換するデジタル変換器３８とを備えている。

直流分除去装置３４は、光通信信号に比べて非常に低周波（ほぼ直流）である外乱光（太陽光、街灯など）成分を除去し、高周波に変調された光通信信号だけを取り出す装置である。デジタル変換器３８は、例えば、コンパレータを用いて構成され、前段までのアナログ信号を、１ｂｉｔのデジタル信号に変換して出力する。

なお、アンプ３６は、直流分除去装置３４の出力が微弱な場合に備えればよく、信号強度が十分な場合には、アンプ３６を備えなくてもよい。また、直流分除去装置３４の前段にアンプ３６を設けてもよい。

直流分除去装置３４は、図６に示すように、光通信画素用の光電変換素子２８Ｂから入力されたアナログ信号と、制御装置２６から入力された外乱光の強度レベルとの差分を出力する差分回路４０を備えている。光通信画素用の光電変換素子２８Ｂによって出力された信号には、信号光以外の太陽光などの外乱光による強度信号が含まれている。そこで、差分回路４０では、画像画素用の光電変換素子２８Ａから出力された画像信号に基づいて算出された外乱光の強度レベルを取得し、図７（Ａ）に示すように、光通信画素用の光電変換素子２８Ｂからの入力信号と外乱光の強度レベルとの差分（光電変換素子２８Ｂからの入力信号−外乱光の強度レベル）をとることにより、図７（Ｂ）に示すように、外乱光成分を除去した信号を出力する。

また、図８（Ａ）に示すようなコンパレータで構成されるデジタル変換器３８は、図８（Ｂ）に示すように、入力されたアナログ信号のレベルが、入力設定された基準値（閾値）レベルを超えた場合に１を出力し、基準値レベル以下であれば０を出力する。このように、デジタル変換器３８は、直流分除去装置３４及びアンプ３６を介して出力されたアナログ信号を、１ｂｉｔのデジタル信号に変換して、光通信信号として出力する。

また、光通信装置１２の制御装置２６は、コンピュータで構成され、ＣＰＵ、後述する光通信処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。この制御装置２６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図９に示すように、複数の画像画素用の光電変換素子２８Ａの各々から画像信号を入力する画像信号入力部４４と、画像信号入力部４４によって入力された複数の画像信号に基づいて得られる撮像画像から、光送信装置１６からの信号光を受光している基板上の領域を抽出し、抽出された領域内の座標値を画素アレイ２８へ出力する光抽出部４６と、画像信号入力部４４によって入力された画像信号に基づいて、外乱光の強度レベルを算出する外乱レベル算出部４８と、画像信号入力部４４によって入力された複数の画像信号に基づいて得られる撮像画像を外部へ出力する画像出力部５０と、デジタル変換部３０から出力された光通信信号を入力し、外部へ出力する光通信信号入出力部５２と、画像信号入力部４４によって入力された画像信号に基づいて、光通信信号にデジタル変換するときに用いられる基準値レベルを決定する基準値決定部５４とを備えている。

光送信装置１６の発光素子１８からの信号光が、光通信装置１２の撮像素子２４に対して正面から直接入射された場合、受光した光の強度が大きいため、信号光を受光した画像画素用の光電変換素子２８Ａにおいて、過剰な光入射によるオーバーフロー（飽和）が発生し、撮像画像の信号光を受光した領域だけ真っ白に写る。そこで、光抽出部４６は、画像信号に基づいて得られる撮像画像のうち、飽和している領域を手がかりとして、信号光を受光している基板上の領域を抽出する。また、光抽出部４６は、抽出した領域内の座標値を画素アレイ２８に出力して、抽出した領域内の座標値が表わす場所に位置する光通信画素用の光電変換素子２８Ｂに、受光した光に応じた信号を出力させる。

また、光抽出部４６は、所定周期で、信号光を受光している基板上の領域を繰り返し抽出することにより、信号光を受光している領域を追跡する。また、撮像画像内において、信号光を受光している領域が短時間で大きく移動しないことを利用して、光抽出部４６は、信号光を受光している領域を、前回抽出された領域の近傍から優先的に探索する。これによって、画像信号から得られる撮像画像全体から、信号光を受光している領域を毎回探索して抽出する場合に比べて、処理効率を向上させ、計算コストを低減することができる。

また、光抽出部４６は、信号光を受光している領域を追跡するときに、図１０に示すように、画像処理によって、信号光を受光している領域の移動量及び移動方向を観測し、観測した移動量及び移動方向に基づいて、次のタイミングでの移動先を推定し、信号光を受光している領域を、推定された移動先の領域から優先的に探索する。これによって、更に処理効率を向上させる。なお、受光している領域の移動量及び移動方向の何れか一方だけを観測し、観測された移動量及び移動方向の何れか一方に基づいて、次のタイミングの移動先を推定するようにしてもよい。

外乱レベル算出部４８は、画像信号入力部４４によって入力された画像信号を用いて、以下に説明するように、光通信画素用の光電変換素子２８Ｂから出力される信号に含まれる外乱光成分の強度レベルを算出する。

画像画素用の光電変換素子２８Ａから出力された画像信号が、太陽光などの外乱光成分の強度レベルを表わしているが、画像画素用の光電変換素子２８Ａと光通信画素用の光電変換素子２８Ｂとは構造が異なるため、同じ光量を当てても、出力される信号強度が異なる。そこで、同じ光を入射したときに２種の光電変換素子２８Ａ、２８Ｂの各々から出力される信号の強度を予め計測し、２種の光電変換素子２８Ａ、２８Ｂの各々の出力信号の強度を同じにするための変換係数αを求めておく。そして、以下に示す式によって、光通信画素用の光電変換素子２８Ｂから出力される信号に含まれる外乱光成分の強度レベルを算出する。
外乱光成分の強度レベル＝α×画像信号の強度レベル
基準値決定部５４は、画像信号入力部４４によって入力された画像信号に基づいて得られる撮像画像の信号光を受光している領域の明るさに基づいて、信号光の強度レベルを算出し、信号光の強度レベルに応じて、デジタル変換器３８に入力される基準値のレベルを決定する。

画像信号に基づく外乱光成分の除去を行った場合、図１１（Ａ）に示すように、基準値を任意に設定する必要がある。例えば、入射する信号光が十分強いとき（飽和時）の基準値を図１１（Ａ）に示すように設定した場合、図１１（Ｂ）に示すように、信号光の強度が弱くなると、デジタル変換することが不可能になる。そこで、基準値決定部５４は、画像信号に基づいて得られる撮像画像によって、受光する信号光の強度（明るさ）を監視し、図１２に示すように、受光する信号光の強度に応じて、動的に基準値のレベルを可変させることにより、信号光の強度が弱まった場合であっても、光通信画素用の光電変換素子２８Ｂからのアナログ信号が、正確にデジタル変換されるように制御する。

次に、第１の実施の形態に係る運転支援システム１０の作用について説明する。以下では、運転支援システム１０を搭載した自車両が走行しているときに、前方車両に搭載された光送信装置１６から信号光が発光された場合を例に説明する。

運転支援システム１０の光通信装置１２において、図１３に示す光通信処理ルーチンが実行される。まず、ステップ１００において、撮像画像を出力してからの経過時間を示す変数ｔに初期値として０を設定し、ステップ１０２において、複数の画像画素用の光電変換素子２８Ａの各々から出力された画像信号を取得する。

そして、ステップ１０４において、上記ステップ１０２で取得された画像信号に基づいて得られる前方車両を表わす撮像画像を運転支援装置１４に出力し、次のステップ１０６で、上記ステップ１０２で取得された画像信号に基づいて、光通信画素用の光電変換素子２８Ｂから出力される信号に含まれる外乱光の強度レベルを算出し、算出した外乱光の強度レベルをデジタル変換部３０に入力する。

そして、ステップ１０８において、上記ステップ１０２で取得された画像信号に基づいて得られる撮像画像から、光送信装置１６からの信号光を受光している基板上の領域を抽出し、ステップ１０９において、撮像画像の上記ステップ１０８で抽出された領域から、受光している信号光の強度を算出し、算出された信号光の強度に応じて、デジタル変換の基準値レベルを決定し、デジタル変換器３８の基準値レベルとして、決定した基準値レベルを入力設定する。

そして、ステップ１１０で、上記ステップ１０８で抽出された基板上の領域内の座標値を画素アレイ２８に出力して、抽出された領域内の座標値が表わす場所に位置する光通信画素用の光電変換素子２８Ｂから信号を出力するように指示する。これによって、指示された座標値が表わす場所に位置する光電変換素子２８Ｂから出力された信号が、アナログ信号としてデジタル変換部３０に入力され、上記ステップ１０６で入力された外乱光レベルの外乱光成分が除去されると共に、デジタル信号に変換されて、光通信信号として撮像素子２４から出力される。

次のステップ１１２では、デジタル変換部３０から光通信信号を取得し、ステップ１１４において、取得した光通信信号を受信データとして運転支援装置１４に出力する。そして、ステップ１１６において、経過時間を表わす変数ｔをインクリメントし、ステップ１１８で、経過時間ｔが、予め定められた撮像画像出力レートに相当する時間Ｆ未満であるか否かを判定し、経過時間が、撮像画像出力レートに相当する時間に到達していない場合には、ステップ１１２へ戻り、次のタイミングの光通信信号を取得するが、一方、経過時間が、撮像画像出力レートに相当する時間に到達した場合には、ステップ１２０へ移行する。なお、撮像画像出力レートに相当する時間として、例えば、３３ｍｓ（３０ｆｐｓ）や１６ｍｓ（６０ｆｐｓ）を設定すればよい。

ステップ１２０では、過去に抽出された信号光を受光している領域の移動量及び移動方向に基づいて、信号光の受光している領域の移動先を推定して、ステップ１００へ戻り、再び画像信号を取得する。また、ステップ１０８では、上記ステップ１２０で推定された移動先から優先的に探索し、信号光を受光している領域を抽出する。

上記の光通信処理ルーチンを実行することにより、撮像画像出力レートの周期と同じ周期で、信号光を受光している領域が追跡され、追跡された領域内の座標に位置する光電変換素子２８Ｂから、光通信信号を取得すると共に、光通信信号が表わす受信データ列が運転支援装置１４に出力される。また、撮像画像出力レートの周期で取得した画像信号に基づいて得られる撮像画像の各々が運転支援装置１４に出力される。

そして、運転支援装置１４は、受信データ列が表わす前方車両の車速又は加速度と、撮像画像から検出される前方車両の位置とに基づいて、前方車両との衝突可能性を判定し、判定された衝突可能性に基づいて、運転支援として、警報の提示や運転制御を行なう。

以上説明したように、第１の実施の形態に係る運転支援システムの光通信装置によれば、複数の画像画素用の光電変換素子からの信号に基づいて得られた撮像画像を出力すると共に、光通信画素用の光電変換素子から出力された信号を、信号光が表わす光通信信号として出力することにより、得られる撮像画像の画質を低下させずに、光通信を行うことができる。

また、撮像画像の画質を目指した構成の画像画素用の光電変換素子と、高速な応答を目指した構成の光通信画素用の光電変換素子とによって、撮像画像の画質を向上させると共に、高精度に光通信を行うことができる。

また、撮像画像から信号光を受光している領域を抽出し、領域内に位置する光通信画素用の光電変換素子から出力される信号に基づいて、光通信信号を取得することにより、光通信信号を精度よく受信することができる。

また、光通信画素用の光電変換素子からの信号から、画像信号に基づいて算出される外乱光成分を除去して、光通信信号を得ることができるため、画像信号を用いて高精度な光通信を実現することができる。また、撮像画像から得られる信号光の強度を考慮してデジタル変換された光通信信号を得ることができるため、撮像画像を用いて、高精度な光通信を実現することができる。

また、過去に抽出された受光領域に基づいて、信号光を受光している領域の移動先を推定することにより、次のタイミングで信号光を受光している領域を容易に抽出することができる。

なお、上記の実施の形態では、運転支援として、衝突危険性に応じた警告提示や運転制御を行う場合を例に説明したが、これに限定されるものではなく、撮像画像や受信データに基づいて、白線検出による車線維持支援（レーン・キーピング・アシスト）や歩行者検出などを行なうようにしてもよい。

また、光通信装置では、撮像素子と制御装置とが別々に設けられている場合を例に説明したが、制御装置を撮像素子内に設けるようにしてもよい。

また、光通信画素用の光電変換素子から出力された信号をデジタル変換して、光通信信号として出力する場合を例に説明したが、光通信画素用の光電変換素子から出力された信号を、アナログ信号のまま光通信信号として外部に出力するようにしてもよい。

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となっている部分については、同一符号を付して説明を省略する。

第２の実施の形態では、光通信画素用の光電変換素子から出力されたアナログ信号の低周波成分を除去することにより、外乱光成分を除去している点が主に第１の実施の形態と異なっている。

図１４に示すように、第２の実施の形態に係る撮像素子のデジタル変換部の直流除去装置２３４は、ハイパスフィルタ２４０を備えている。

光通信画素用の光電変換素子２８Ｂから出力された信号には、信号光以外の太陽光などの外乱光による強度信号が含まれており、外乱光による強度信号は、光通信信号に比べて、周波数が低い。そこで、ハイパスフィルタ２４０によって、図１５（Ａ）、（Ｂ）に示すように、光通信画素用の光電変換素子２８Ｂから出力された信号から低周波成分を除去することにより、外乱光成分を除去する。

ハイパスフィルタ２４０は、入力された信号のうち、入力設定された通過帯域設定パラメータが表わす周波数よりも周波数の高い成分のみを通過させる。例えば入射される信号光の変調周波数が１ＭＨｚであると既知の場合、通過帯設定パラメータを５００ｋＨｚに設定して、５００ｋＨｚ以上の周波数成分のみを通過させることによって、外乱光成分などの光通信とは関係のない成分を除去する。

このように、ハイパスフィルタを用いて、光通信画素用の光電変換素子から出力された信号から外乱光成分などの低周波成分を除去することによって、デジタル変換するときの基準値レベルを０に設定すれば済む。

なお、上記の実施の形態では、直流除去装置としてハイパスフィルタを用いた場合を例に説明したが、バンドパスフィルタを用いてもよい。この場合には、ある任意の幅の周波数帯域を表わす通過帯域設定パラメータをバンドパスフィルタに入力設定して、バンドパスフィルタによって、ある任意の幅の周波数帯域の成分のみを通過させる。例えば、入射する信号光の変調周波数が１ＭＨｚと既知の場合、５００ｋＨｚ〜１．５ＭＨｚの周波数帯域を表わす通過帯域設定パラメータを入力設定して、５００ｋＨｚ〜１.５ＭＨｚの範囲内の周波数を持つ成分のみを通過させて、外乱光成分などの通信に必要ない信号を除去する。

次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成となっている部分については、同一符号を付して説明を省略する。

第３の実施の形態では、光通信画素用の光電変換素子から出力されたアナログ信号を、多ビットのデジタル信号にデジタル変換している点が主に第１の実施の形態と異なっている。

第３の実施の形態に係る光通信装置１２では、デジタル変換器３８が、Ａ／Ｄコンバータで構成されている。図１６に示すように、光送信装置によって、オンオフだけでなく、オン時の明るさに応じた情報（例えば、０〜４までの５段階の情報）を示す光通信信号を送信する場合には、受信する信号が多値となるため、Ａ／Ｄコンバータを用いて、アナログ信号を多ビットのデジタル信号にデジタル変換する。

画像画素用の光電変換素子からの信号に基づいて得られる撮像画像、又は光通信画素用の光電変換素子からの信号に基づいて、複数種類の基準値レベルを算出し、算出された複数種類の基準値レベルが、Ａ／Ｄコンバータに設定される。そして、Ａ／Ｄコンバータは、設定された複数種類の基準値レベルに基づいて、アナログ信号を多ビットのデジタル信号にデジタル変換する。

これによって、１ビットに比べて、明るさの段階数に応じた多量のデータを受信することができる。

次に、第４の実施の形態について説明する。なお、第４の実施の形態に係る運転支援システムの構成は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。

第４の実施の形態では、撮像画像に対してパターンマッチングを行なって、信号光を受光している領域を抽出している点が主に第１の実施の形態と異なっている。

第４の実施の形態に係る光通信装置１２の制御装置２６では、光抽出部４６によって、画像画素用の光電変換素子２８Ａからの信号に基づいて得られる撮像画像内で、円形状のパターンを探索し、探索されたパターンを表わす領域を、信号光を受光している領域として抽出する。撮像画像上において、光送信装置１６の発光素子１８は、ある明るさを持った円形として撮像されるため、撮像画像内で探索された円形状のパターンを表わす領域が、信号光を受光している領域となる。

これによって、発光素子１８が遠距離に存在している場合であっても、パターンマッチングによる領域抽出によって、信号光を受光している領域を抽出することができる。

なお、上記の実施の形態では、撮像画像から円形状のパターンを表わす領域を抽出する場合を例に説明したが、これに限定されるものではなく、撮像画像から車両や信号機を検出し、検出された車両や信号機を表わす領域の中から、円形状のパターンを表わす領域を抽出するようにしてもよい。これによって、撮像画像から、街灯などを表わす一定以上の明るさを持つ円形状のパターンをすべて抽出してしまうことを防止でき、信号光を受光している領域を精度良く抽出することができる。

また、送信側の発光素子が複数配置されている場合であって、その配置が光通信装置側で既知の場合には、撮像画像から、円形状のパターンマッチングによって、発光素子からの信号光の受光領域の候補を抽出し、抽出された受光領域の候補から、さらに配置のパターンマッチングを行なって、信号光を受光している領域を抽出してもよい。例えば、図１７に示すように、車両のテールランプ内に通信用の発光素子をある決まった配置で複数個並べられている場合には、光通信装置において、この配置のパターンマッチングを行なって、撮像画像から信号光を受光している領域を抽出する。これによって、信号光を受光している領域を更に精度良く抽出することができる。

次に、第５の実施の形態について説明する。なお、第５の実施の形態に係る運転支援システムの構成は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。

第５の実施の形態では、画像画素用の光電変換素子が、光通信画素用の光電変換素子を内包するように基板上に配列されている点が主に第１の実施の形態と異なっている。

図１８（Ａ）に示すように、画素アレイ２８には、画像画素用の光電変換素子２８Ａが、光通信画素用の光電変換素子２８Ｂを内包するように配置されて、複数の画像画素用の光電変換素子２８Ａと複数の光通信画素用の光電変換素子２８Ｂとを一つの基板上に配列されている。

これによって、複数の画像画素用の光電変換素子における光軸と複数の光通信画素用の光電変換素子２８における光軸とのずれをほぼ一致させることができる。

なお、画像画素用の光電変換素子が、光通信画素用の光電変換素子を内包するように基板上に配列されている場合を例に説明したが、光通信画素用の光電変換素子が、画像画素用の光電変換素子を内包するように基板上に配置されていてもよい。

また、上記の実施の形態では、画像画素用の光電変換素子のサイズと光通信画素用の光電変換素子のサイズとが同じ場合を例に説明したが、図１８（Ｂ）のように、画像画素用の光電変換素子のサイズと光通信画素用の光電変換素子のサイズとが異なっていてもよく、例えば、光通信画素用の光電変換素子のサイズが、画像画素用の光電変換素子のサイズより小さくなっていてもよい。

次に、第６の実施の形態について説明する。なお、第１の実施の形態と同様の構成となっている部分については、同一符号を付して説明を省略する。

第６の実施の形態では、光通信画素用の光電変換素子からの信号に基づいて、外乱光の強度レベルを設定している点と、光通信画素用の光電変換素子からの信号に基づいて、デジタル変換の基準値レベルを設定している点とが主に第１の実施の形態と異なっている。

第６の実施の形態では、画素アレイ２８の光通信画素用の光電変換素子２８Ｂから出力された信号が、図１９に示す制御装置６２６に入力されるようになっている。

制御装置６２６は、画像信号入力部４４と、画像信号入力部４４によって入力された複数の画像信号に基づいて得られる撮像画像から、光送信装置１６からの信号光を受光している基板上の領域を抽出し、抽出された領域内の座標値を画素アレイ２８へ出力すると共に、抽出された領域外の座標値を画素アレイ２８へ出力する光抽出部６４６と、光通信画素用の光電変換素子２８Ｂから出力された信号に基づいて、外乱光の強度レベルを設定する外乱レベル設定部６４８と、画像出力部５０と、光通信信号入出力部５２と、光通信画素用の光電変換素子２８Ｂから出力された信号に基づいて、光通信信号にデジタル変換するときに用いられる基準値レベルを設定する基準値設定部６５４とを備えている。

外乱レベル設定部６４８は、光抽出部６４６によって抽出された領域外の座標値に対応する光通信画素用の光電変換素子２８Ｂから出力された信号を用いて、光通信画素用の光電変換素子２８Ｂから出力される信号に含まれる外乱光成分の強度レベルを算出し、差分回路４０に対して、初期設定として、算出した外乱光の強度レベルを設定する。

基準値決定部６５４は、光抽出部６４６によって抽出された領域内の座標値に対応する光通信画素用の光電変換素子２８Ｂから出力された信号を用いて、信号光の強度レベルを算出し、信号光の強度レベルに応じて、デジタル変換の基準値のレベルを決定し、デジタル変換器３８に対して、初期設定として、決定した基準値のレベルを設定する。

次に、第６の実施の形態に係る運転支援システムの作用について説明する。なお、第１の実施の形態と同様の処理については、同一符合を付して詳細な説明を省略する。まず、運転支援システムの光通信装置において、図２０に示す初期設定処理ルーチンが実行される。ステップ１０２において、複数の画像画素用の光電変換素子２８Ａの各々から出力された画像信号を取得し、ステップ１０８において、上記ステップ１０２で取得された画像信号に基づいて得られる撮像画像から、光送信装置１６からの信号光を受光している基板上の領域を抽出し、そして、ステップ１１０で、上記ステップ１０８で抽出された基板上の領域内の座標値を画素アレイ２８に出力して、抽出された領域内の座標値が表わす場所に位置する光通信画素用の光電変換素子２８Ｂから信号を出力するように指示する。

次のステップ６７０において、抽出された領域内の座標値が表わす場所に位置する光通信画素用の光電変換素子２８Ｂから出力された信号を取得し、ステップ６７２において、上記ステップ６７０で取得された信号に基づいて、信号光の基準値レベルを決定し、デジタル変換器３８に対して基準値レベルを設定する。

そして、ステップ６７４において、上記ステップ１０８で抽出された基板上の領域外の座標値を画素アレイ２８に出力して、抽出された領域外の座標値が表わす場所に位置する光通信画素用の光電変換素子２８Ｂから信号を出力するように指示する。次のステップ６７６では、抽出された領域外の座標値が表わす場所に位置する光通信画素用の光電変換素子２８Ｂから出力された信号を取得し、そして、ステップ６７８において、上記ステップ６７６で取得された信号に基づいて、外乱光の強度レベルを算出して、差分回路４０に対して、算出した外乱光の強度レベルを設定して、初期設定処理ルーチンを終了する。

そして、光通信装置において、図２１に示す光通信処理ルーチンが実行される。まず、ステップ１００において、経過時間を示す変数ｔに初期値として０を設定し、ステップ１０２において、複数の画像画素用の光電変換素子２８Ａの各々から出力された画像信号を取得する。そして、ステップ１０４において、上記ステップ１０２で取得された画像信号に基づいて得られる撮像画像を運転支援装置１４に出力する。

そして、ステップ１０８において、上記ステップ１０２で取得された画像信号に基づいて得られる撮像画像から、信号光を受光している基板上の領域を抽出し、ステップ１１０で、上記ステップ１０８で抽出された基板上の領域内の座標値を画素アレイ２８に出力する。次のステップ１１２では、デジタル変換部３０から光通信信号を取得し、ステップ１１４において、取得した光通信信号を受信データとして運転支援装置１４に出力する。

そして、ステップ１１６において、経過時間を表わす変数ｔをインクリメントし、ステップ１１８で、経過時間ｔが、予め定められた撮像画像出力レートに相当する時間Ｆ未満であるか否かを判定し、経過時間が、撮像画像出力レートに相当する時間に到達していない場合には、ステップ１１２へ戻るが、一方、経過時間が、撮像画像出力レートに相当する時間に到達した場合には、ステップ１２０へ移行する。

ステップ１２０では、過去に抽出された信号光を受光している領域の移動量及び移動方向に基づいて、信号光の受光している領域の移動先を推定して、ステップ１００へ戻り、再び画像信号を取得する。

以上説明したように、第６の実施の形態に係る運転支援システムの光通信装置によれば、光通信画素用の光電変換素子からの信号に基づいて設定される外乱光成分を、光通信画素用の光電変換素子からの信号からを除去して、光通信信号を得ることができるため、高精度な光通信を実現することができる。また、光通信画素用の光電変換素子からの信号から得られる信号光の強度を考慮して基準値レベルを設定し、設定された基準値レベルに基づいてデジタル変換された光通信信号を得ることができるため、高精度な光通信を実現することができる。

なお、上記の実施の形態では、光通信画素用の光電変換素子からの信号に基づいて、外乱光成分を設定する場合を例に説明したが、光通信画素用の光電変換素子からの信号と、画像信号に基づいて得られる撮像画像とに基づいて、外乱光成分を設定するようにしてもよい。この場合には、例えば、光通信画素用の光電変換素子からの信号に基づいて、外乱光成分を算出すると共に、上記の第１の実施の形態と同様に撮像画像を用いて外乱光成分を算出し、算出された双方の外乱光成分を平均して、外乱光成分の平均値を差分回路に対して設定するようにしてもよい。

また、光通信画素用の光電変換素子からの信号に基づいて、デジタル変換の基準値レベルを設定する場合を例に説明したが、光通信画素用の光電変換素子からの信号と、画像信号に基づいて得られる撮像画像とに基づいて、基準値レベルを設定するようにしてもよい。この場合には、例えば、光通信画素用の光電変換素子からの信号に基づいて、基準値レベルを決定すると共に、上記の第１の実施の形態と同様に撮像画像を用いて基準値レベルを決定し、決定された双方の基準値レベルを平均して、基準値レベルの平均値をデジタル変換器に設定するようにしてもよい。

また、光通信装置を車両に搭載した場合を例に説明したが、これに限定されるものではなく、例えば、信号機などに光通信装置を搭載してもよい。

また、光通信画素用の光電変換素子として、光電変換における電荷蓄積時間が短い光電変換素子を用いた場合を例に説明したが、これに限定されるものではなく、受光量の変化に対する応答速度が、画像画素用の光電変換素子よりも速い光電変換素子を用いればよい。例えば、受光量に応じた信号を電荷として蓄積せずに（電荷蓄積時間がゼロ）、受光量に応じた信号をそのまま出力する光電変換素子を、光通信画素用の光電変換素子として用いてもよい。

本発明の第１の実施の形態に係る運転支援システム及び光送信装置の構成を示す概略図である。本発明の第１の実施の形態に係る光通信装置の構成を示すブロック図である。本発明の第１の実施の形態に係る光通信装置の画素アレイの光電変換素子の配置を示すイメージ図である。画素アレイの光電変換素子の配置の他の例を示すイメージ図である。本発明の第１の実施の形態に係る光通信装置のデジタル変換部の構成を示すブロック図である。本発明の第１の実施の形態に係る光通信装置の直流除去装置の構成を示すブロック図である。（Ａ）入力された信号の変化を示すグラフ、及び（Ｂ）外乱光成分を除去した信号の変化を示すグラフである。（Ａ）デジタル変換器のコンパレータを示す図、及び（Ｂ）アナログ信号をデジタル変換する様子を示すグラフである。本発明の第１の実施の形態に係る光通信装置の制御装置の構成を示すブロック図である。受光領域の移動量及び移動方向に基づいて、受光領域の移動先を推定する様子を示すイメージ図である。（Ａ）入射する信号光が十分強いときに、基準値に基づいてデジタル変換する様子を示すグラフ、及び（Ｂ）信号光の強度が弱くなったときに、基準値に基づいてデジタル変換する様子を示すグラフである。受光する信号光の強度に応じて、動的に基準値のレベルを可変させる様子を示すグラフである。本発明の第１の実施の形態に係る光通信装置の制御装置における光通信処理ルーチンの内容を示すフローチャートである。本発明の第２の実施の形態に係る光通信装置の直流除去装置の構成を示すブロック図である。（Ａ）入力された信号の変化を示すグラフ、及び（Ｂ）外乱光成分を除去した信号の変化を示すグラフである。多ビットの光通信信号にデジタル変換する様子を示すイメージ図である。複数の通信用の発光素子が配置されたテールランプを示すイメージ図である。（Ａ）画素アレイの光電変換素子の他の配置パターンを示すイメージ図、及び（Ｂ）画素アレイの光電変換素子の他の配置パターンを示すイメージ図である。本発明の第６の実施の形態に係る光通信装置の制御装置の構成を示すブロック図である。本発明の第６の実施の形態に係る光通信装置の制御装置における初期設定処理ルーチンの内容を示すフローチャートである。本発明の第６の実施の形態に係る光通信装置の制御装置における光通信処理ルーチンの内容を示すフローチャートである。

符号の説明

１０運転支援システム
１２光通信装置
１４運転支援装置
１６光送信装置
１８発光素子
２４撮像素子
２６、６２６制御装置
２８画素アレイ
２８Ａ画像画素用の光電変換素子
２８Ｂ光通信画素用の光電変換素子
３０デジタル変換部
３４、２３４直流分除去装置
３８デジタル変換器
４０差分回路
４６、６４６光抽出部
４８、６４８外乱レベル算出部
５０画像出力部
５２光通信信号入出力部
５４、６５４基準値決定部
２４０ハイパスフィルタ

Claims

受光量に応じた信号を出力する複数の第１光電変換素子と、受光量に応じた信号を出力し、かつ、前記受光量の変化に対する応答速度が前記第１光電変換素子より速い複数の第２光電変換素子とを備え、前記第１光電変換素子と前記第２光電変換素子とが対となるように前記複数の第１光電変換素子及び前記複数の第２光電変換素子を、一つの基板上に二次元配列した撮像素子と、
前記撮像素子の前記複数の第１光電変換素子から出力された信号に基づいて得られた撮像画像から、信号光を受光している前記基板上の領域を抽出する抽出手段と、
前記抽出手段によって抽出された前記領域内に位置する前記第２光電変換素子から出力された信号に基づいて、信号光の強度の基準値を設定する基準値設定手段と、
前記基準値設定手段によって設定された前記基準値に基づいて、前記抽出手段によって抽出された前記領域内に位置する前記第２光電変換素子から出力された信号をデジタル変換して、前記デジタル変換した信号を前記信号光が表わす光通信信号として出力する光通信出力手段と、
前記撮像素子の前記複数の第１光電変換素子から出力された信号に基づいて得られた撮像画像を出力する画像出力手段と、
を含む光通信装置。
前記撮像素子の前記第１光電変換素子から出力された信号に基づいて、外乱光成分を算出する算出手段を更に含み、
前記光通信出力手段は、前記抽出手段によって抽出された前記領域内に位置する前記第２光電変換素子から出力された信号から、前記算出手段によって算出された外乱光成分を除去して、前記信号光が表わす光通信信号を生成し、前記生成した前記光通信信号を出力する請求項１記載の光通信装置。
前記撮像素子の前記第１光電変換素子及び前記第２光電変換素子の少なくとも一方から出力された信号に基づいて、外乱光成分を設定する設定手段を更に含み、
前記光通信出力手段は、前記抽出手段によって抽出された前記領域内に位置する前記第２光電変換素子から出力された信号から、前記設定手段によって設定された外乱光成分を除去して、前記信号光が表わす光通信信号を生成し、前記生成した前記光通信信号を出力する請求項１記載の光通信装置。
前記光通信出力手段は、前記抽出手段によって抽出された前記領域内に位置する前記第２光電変換素子から出力された信号から、所定の周波数帯成分のみを通過させて、外乱光成分を除去するフィルタを備え、前記フィルタから出力された信号に基づいて、前記信号光が表わす光通信信号を生成し、前記生成した前記光通信信号を出力する請求項１記載の光通信装置。
前記第２光電変換素子は、光電変換における電荷蓄積時間が前記第１光電変換素子より短い請求項１〜請求項４の何れか１項記載の光通信装置。