JP2010268264A - 撮像素子及び撮像装置 - Google Patents

Abstract

【課題】
画像の画質劣化を抑えつつ、通信の感度低下や手ぶれの影響等を抑えて、可視光通信を行なう。
【解決手段】
撮像素子１０３上に画像取得用画素１３２と通信用受光部１３１を設け、画像取得用画素１３２は画像を撮像するために格子状に配列された画素配列とし、通信用受光部１３１は少なくとも２つの画像取得用画素を取り囲む領域よりも広範囲に広がっていると共に前記画像取得用画素の隙間に入り込む形状を有する構造とし、通信用受光部のサンプリングレートを画像取得用画素のサンプリングレートより速くする。
【選択図】 図１

Description

本発明は撮像素子及び撮像装置に関し、具体的には、可視光通信における受信装置としての機能を有する撮像素子及び撮像装置に関する。

近年、可視光を利用した各種の情報伝送及び通信が注目されている。このような情報伝送及び通信は可視光通信と呼ばれ、可視光の波動性（明るさの強弱）を利用して情報を伝達し、通信を行うものである。

可視光を発する装置は、オフィスや家の中の照明、道路上の照明、交通信号機や広告用電光掲示板、ディスプレー、電子機器の表示など、様々な場所に設置されている。近年、これら装置において可視光発光素子としてＬＥＤが使用されるようになってきている。可視光発光素子にＬＥＤが使用されることにより、従来の蛍光灯ではできなかった高速での点滅が可能となる。可視光発光素子を人の目には感じられない程のスピードで高速に点滅させることにより、可視光通信の送信装置としてデータを送信できるようになる（例えば非特許文献１参照）。

このような可視光通信における受信装置として、被写体を撮像するイメージセンサを使用することが提案されている。しかしながら、イメージセンサはサンプリング速度の高速化が難しいという欠点がある（例えば非特許文献２参照）。

上記欠点を克服する方法として以下の方法が提案されている。

特許文献１では、イメージセンサを構成する複数の画素のうちの特定の画素をあらかじめ通信用画素と定め、専用の読み出し経路を設けることで読み出し速度を高速化する方法が提案されている。

特許文献２では、イメージセンサを構成する複数の画素のうち、特定の画素をあらかじめ通信用画素と定め、イメージセンサからの読み出し時には通信用画素については１フレーム中で複数回の読み出しを行なうことにより読み出し速度を上げることが提案されている。

特開２００６−１６６３７３ ＷＯ２００６−０４８９８７

http://www.vlcc.net/modules/pico2/index.php?content_id=1（２００９年３月２日検索） http://www.vlcc.net/modules/pico2/index.php?content_id=28（２００９年３月２日検索）

しかしながら、特許文献１に記載の方法では、一部の画素を専ら通信に使用してしまうので、その画素位置の画像データが取得できず、画像が劣化するという課題があった。

また、通信用として使用する画素は通常の撮像用として使用する画素よりも読み出しサイクルが短いので、露光時間が少なくなり、感度が足りなくなるという課題もあった。

さらに、比較的小さいエリアの点光源から通信信号である光を受光する場合には、手ぶれ等により撮像位置が変化してしまうと、受光していた画素に光が入らなくなり、通信ができなくなってしまう。また、広告用電光掲示板が発する光を通信信号として受光する場合には、被写体である広告用電光掲示板の表している広告には絵柄があるため、手ぶれ等により撮像位置が変化してしまうと被写体の明暗を通信信号の明暗であると誤認識してしまい、通信精度が得られないという課題があった。

特許文献２に記載の方法では通常時と通信時とで読み出しモードを変更できるというメリットがあるものの、通信用に指定した画素は通信信号を読み出すごとにリセットされるため、通信時にはその位置の画像データが取得できず画像が劣化してしまうという課題があった。また、感度や手ぶれの影響に関しても特許文献１と同様の課題があった。

本発明は上記課題を解決するためになされたものであり、画質を劣化させることなく画像を撮像しながら、画像を撮像するフレームレートより高速なサンプリングを行ないつつ、通信信号に対する感度の劣化を抑えることのできる撮像素子及び撮像装置を提供することを目的とする。また、本発明は、比較的小さいエリアの点光源から通信信号を受信する場合において手ぶれ等により撮像位置が変化してしまっても通信を確保できる撮像素子及び撮像装置を提供することを目的とする。さらに、本発明は、電光掲示板から通信信号を受信する場合において、手ぶれ等により電光掲示板の表している絵柄の撮像位置が変化してしまっても、絵柄の明暗の影響を受けにくく、通信精度を確保できる撮像素子及び撮像装置を提供することを目的とする。

本発明の撮像素子は、入力光を光電変換して電気信号に変換する撮像素子であって、被写体画像を撮像するための複数の画像取得用画素と、通信信号として発せられた可視光又は近赤外光を受光するための通信用受光部とを有し、前記複数の画像取得用画素は格子状に配列された画素配列であり、前記通信用受光部は、少なくとも２つの画像取得用画素を取り囲む領域よりも広範囲に広がっていると共に前記画像取得用画素の隙間に入り込む形状を有し、前記通信用受光部のサンプリングレートが前記画像取得用画素のサンプリングレートより速いという構成を有している。

この構成により、通信用受光部が、画像取得用画素の隙間に入り込む形状を有しているので、画像取得用画素の配列を格子状に保つことができ、画像取得用画素による画像取得を妨げずに通信信号を受信できる。また、通信用受光部が少なくとも２つの画像取得用画素を取り囲む領域よりも広範囲に広がっているので、通信信号となる可視光又は近赤外光が小さい光源から発せられる場合に、当該小さい光源を広い範囲の通信用受光部において捉えることができる。さらに、通信用受光部が少なくとも２つの画像取得用画素を取り囲む領域よりも広範囲に広がっているので、通信信号となる可視光又は近赤外光が電光掲示板のように絵柄を有する画像である場合に、絵柄を構成する複数の画素からの光を広い範囲の通信用受光部で受光できる。

また、本発明の撮像素子において、前記通信用受光部は、１つの信号線によって通信信号が読み出される構成を有している。

この構成により、通信用受光部により得られた通信信号を容易に取得できる。

また、本発明の撮像素子において、前記通信用受光部は、前記複数の画像取得用画素の各々を囲むように形成されているという構成を有している。

この構成により、画像取得用画素による画像取得を妨げることなく通信用受光部の面積を広く確保できる。

さらに、本発明の撮像装置は、レンズと、前記レンズを通して入力される光を光電変換して電気信号に変換する撮像素子と、前記撮像素子からの画像読み出しデータを処理する画像信号処理部と、前記撮像素子から得られる通信信号を処理する通信信号処理部とを有し、前記撮像素子は被写体を撮像するための複数の画像取得用画素と、通信信号として発せられた可視光又は近赤外光を受光する通信用受光部とを有し、前記複数の画像取得用画素は格子状に配列された画素配列であり、前記通信用受光部は、少なくとも２つの画像取得用画素を取り囲む領域よりも広範囲に広がっていると共に前記画像取得用画素の隙間に入り込む形状を有し、前記通信用受光部のサンプリングレートが前記画像取得用画素のサンプリングレートより速いという構成を有している。

この構成により、通信用受光部が、画像取得用画素の隙間に入り込む形状を有しているので、画像取得用画素の配列を格子状に保つことができ、画像取得用画素による画像取得を妨げずに通信信号を受信できる。また、通信用受光部が少なくとも２つの画像取得用画素を取り囲む領域よりも広範囲に広がっているので、通信信号となる可視光又は近赤外光が小さい光源から発せられる場合に、当該小さい光源を広い範囲の通信用受光部において捉えることができる。さらに、通信用受光部が少なくとも２つの画像取得用画素を取り囲む領域よりも広範囲に広がっているので、通信信号となる可視光又は近赤外光が電光掲示板のように絵柄を有する画像である場合に、絵柄を構成する複数の画素からの光を広い範囲の通信用受光部で受光できる。

また、本発明の撮像装置では、画像取得用の信号経路と、通信用の信号経路とが互いに独立しているという構成を有している。

この構成により、画像取得用画素のサンプリングレートに影響を与えることなく通信用のサンプリングレートを高速化できる。

さらに、本発明の撮像装置は、通常時には通信通知信号として発せられた可視光又は近赤外光を前記画像取得用画素にて受け取り、前記通信通知信号に基づいて前記可視光又は近赤外光の中に高速通信信号が含まれると判断したときに前記通信用受光部の動作を開始するという構成を有している。

この構成により、高速で転送されている情報があるときのみ撮像素子の通信用受光部を動作できる。

さらに、本発明の撮像装置は、前記通信通知信号に含まれる送信速度の情報に応じて前記通信用受光部のサンプリングレートを設定するという構成を有している。

この構成により、転送されている情報の速度に合わせて撮像素子の通信用受光部の動作速度を設定できる。

本発明は、通信用受光部が、少なくとも２つの画像取得用画素を取り囲む領域よりも広範囲に広がっていると共に前記画像取得用画素の隙間に入り込む形状を有しているので、通信時にも画像の劣化はなく、感度が十分に確保できるとともに、比較的小さい光源との通信の場合において手ぶれ等により撮像位置が変化してしまっても通信を確保でき、電光掲示板との通信の場合において手ぶれ等により撮像位置が変化してしまっても、通信精度を確保できるという効果を有する撮像素子及び撮像装置を提供することができるものである。

本発明の第１の実施の形態における撮像素子の構成図 本発明の第１の実施の形態における撮像装置のブロック図 （ａ）本発明の第１の実施の形態におけるタイミング図 （ｂ）（ａ）の部分拡大図 本発明の第１の実施の形態における撮像装置の使用説明図 本発明の第２の実施の形態における撮像装置のブロック図

以下、本発明の実施の形態について、図面を用いて説明する。

（第１の実施の形態）
本実施の形態では、撮像装置として、電子カメラモジュールを例に説明する。電子カメラモジュール１００は、例えば携帯電話、デジタルカメラ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の携帯端末機器に搭載される。

図１は、本発明の第１の実施の形態の撮像素子１０２の構成図であり、図２は、本発明の第１の実施の形態における電子カメラモジュール１００のブロック図である。最初に図２を参照して本実施の形態の電子カメラモジュール１００の全体構成について説明する。

図２に示すように、第１の実施の形態の撮像装置である電子カメラモジュール１００は、レンズ１０１と、撮像素子１０２と、信号処理部１０３とを有する。撮像素子１０２は、複数の画像取得用画素１３２と水平読み出し部１３３とを有する画像取得部１３０と、通信用受信部１３１とを備えている。信号処理部１０３は、画像信号処理部１０４と通信信号処理部１２０とを有し、画像信号処理部１０４は、さらに前処理部１１０と、輝度系信号処理部１１２と色差系信号処理部１１３と出力制御部１１４とを有する。

レンズ１０１は被写体からの光学像を撮像素子１０２に結像する。レンズ１０１を通った光学像は撮像素子１０２に照射される。

図１を参照して、撮像素子１０２について説明する。図１に示すように、撮像素子１０２は、図の横方向に並べられて図の縦方向に伸びる複数の列読み出し線１３４１〜１３４８（以下、特に各線を区別しない場合は符号「１３４」を用いる。）と、図の縦方向に並べられて図の横方向に伸びる複数の行選択信号線１３５１〜１３５８（以下、特に各線を区別しない場合は符号「１３５」を用いる。）と、複数の列読み出し線１３４と複数の行選択信号線１３５のそれぞれの交点に対応して設けられた複数の画像取得用画素１３２と、複数の列読み出し線１３４が接続される水平読み出し部１３３とを有する。画像取得用画素１３２は格子状に２次元配列されている。画像取得用画素１３２は、Ｒ画素、Ｇｒ画素、Ｇｂ画素、及びＢ画素からなり、各画素は、Ｒ画素とＧｒ画素を持つラインとＢ画素とＧｂ画素を持つラインがライン毎に交互に配置されたベイヤー配列にて配列されている。水平読み出し部１３３から画像読み出し信号線１３６が引き出されている。なお、図１では、説明の便宜のために８行８列の画像取得用画素１３２を示しているが、より多くの画像取得用画素を有する撮像素子にも本発明を適用できることはもちろんである。

撮像素子１０２には、１つの通信用受光部１３１が設けられている。通信用受光部１３１は、すべての画像取得用画素１３２のうちの少なくとも一部の複数の画像取得用画素が存在する撮像面上の２次元エリア（即ち複数の画像取得用画素を取り囲むエリア）よりも広範囲に広がって配置されている。図１の例では、４行４列の画素範囲に広がって通信用受光部１３１が配置されている。そして、通信用受光部１３１は、複数の画像取得用画素１３２の各々の隙間に入り込むように形成されることで、格子状を呈している。図１の例では、通信用受光部１３１は、第２の行選択信号線１３５２から第６の行選択信号線１３５６及び第３の列読み出し線１３４３から第７の列読み出し線１３４７によって囲まれる領域に２次元配列された画像取得用画素１３２の各々の間に形成されることで、格子状に形成されている。また、通信用受光部１３１は、すべての画像取得用画素１３２のうちの少なくとも一部の２次元配列された複数の画像取得用画素１３２の各々を囲むように形成されている。図１の例では、通信用受光部１３１は、第２の行選択信号線１３５２と第６の行選択信号線１３５６及び第３の列読み出し線１３４３と第７の列読み出し線１３４７によって囲まれる領域に２次元配列された画像取得用画素１３２の各々を囲むように形成されている。通信用受光部１３１からは通信読み出し信号線１３７が引き出されている。

Ｒ画素、Ｇｒ画素、Ｂ画素、Ｇｂ画素からなる画像取得用画素１３２の各画素で生成された信号は、各画素が行選択信号により選択さることで、列読み出し線１３４を通って水平読み出し部１３３に出力され、水平読み出し部１３３から画像読み出し信号として出力される。

水平読み出し部１３３より出力された画像読み出し信号は、画像読み出し信号線１３６を介して信号処理部１０３の前処理部１１０に入力される。前処理部１１０に入力された信号は、前処理部１１０で前処理が施された後、輝度系信号処理部１１２及び色差系信号処理部１１３にそれぞれ入力される。輝度系信号処理部１１２では輝度に関する処理が施され、色差系信号処理部１１３では色差に関する処理が施される。輝度系信号処理部１１２で処理された信号及び色差系信号処理部１１３で処理された信号はそれぞれ出力制御部１１４に入力され、出力制御部１１４において同期信号とともに合成されて画像データとして外部へ出力される。

通信用受光部１３１で受光された通信信号は、通信読み出し信号線１３７を介して通信信号処理部１２０に入力され、通信信号処理部１２０で処理されて、外部へ出力される。

図３は、撮像素子１０２からの読み出し信号のタイミング図である。図３（ａ）に示すように、１枚の画像データ信号は垂直同期信号ごとに出力される。図３（ｂ）は図３（ａ）の点線で囲まれた部分を拡大した図である。図３（ｂ）に示すように、１枚の画像データはライン毎に１Ｈ、２Ｈ、３Ｈ・・・と順次出力される。通信データは、画像データの読み出し周期とは無関係に、１、２、３、４・・・と高速で読み出されて転送される。

図１に示すように、通信信号用の読み出し経路は、通信用受光部１３１から通信読み出し信号線１３７を経て通信信号処理部１２０に至るという経路で構成される。また、画像取得用の読み出し経路は、画像取得用画素１３２から水平読み出し部１３３、画像読み出し信号線１３６を経て画像信号処理部１０４に至るという経路で構成される。このように、両経路は互いに独立している。

図４は、電子カメラモジュール１００を搭載した携帯電話５００使用して、ＬＥＤで構成される電光掲示板を撮像している様子を示す図である。電光掲示板４０は例えば広告を表示するのに用いられる。電光掲示板４０は広告の表示とは別にユーザーに送りたい情報を通信信号として変調し、ＬＥＤの輝度の変化として発出している。電光掲示板４０では、各画素の光源としてＬＥＤを採用し、すべての画素のＬＥＤの輝度が通信信号に対応するように高速で点滅している。この点滅速度は、人の目では認識できない程度に十分に速い速度である。ユーザーは携帯電話５００を電光掲示板４０に向けることで、通信用受光部１３１を使用して高速で点滅するＬＥＤから情報を取得できる。

この際、通信用受光部１３１が広範囲に広がって配置されているので、電光掲示板４０の複数の画素の点滅を通信用受光部１３１で検知することになる。よって、手ぶれ等により携帯電話５００が揺れて撮像範囲が若干変わっても、電光掲示板４０が点灯しているときに通信用受光部１３１全体で受ける光量の変化は小さく、手ぶれの影響が少なくなる。これにより、通信精度が確保される。

なお、本実施の形態の撮像素子又は撮像装置は、通信信号を発する光源が点光源である場合にも有効である。光源が点光源である場合には、当該点光源は可視光又は近赤外光の強弱によって通信信号を伝達し、撮像装置では通信用受光部にてその可視光又は近赤外光を受光することで通信信号を受信する。

また、本実施の形態では、４行４列の画像取得用画素１３２に対応して、外郭が正方形の通信用受光部１３１が形成されているが、これに限られない。通信用受光部１３１は、少なくとも２つの画像取得用画素を取り囲む領域よりも広範囲に広がっていればよい。例えば、３行４列や５行４列等の画像取得用画素１３２に対応して長方形の通信用受光部を形成してもよい。また、２行２列や３行３列の画像取得用画素１３２に対応するより小さな通信用受光部を形成してもよい。さらに、５行５列や６行６列の画像取得用画素１３２に対応するより大きな通信用受光部を形成してもよい。また、画像取得用画素１３２が形成された全面の領域にわたって、画像取得用画素１３２を避けるように格子状に通信用受光部を形成してもよい。さらに、このような通信用受光部１３１が複数設けられていてもよい。

以上のように、本実施の形態によれば、通信用受光部１３１が画像取得用画素１３２とは別に、画像取得用画素１３２を避けるようにして形成されているので、画像の取得において画像を劣化させることはなく、通信用受光部１３１については画像取得用画素１３２のサンプリングレートよりも高速のレートでサンプリングできる。また、通信用受光部１３１が複数の画像取得用画素１３２を取り囲む領域よりも広範囲に広がっているので、通信信号を発する光源が点光源のように小さな光源である場合に、通信信号の受信において撮像素子１０２が手ぶれによって揺れたとしても、小さい光源を広い受光範囲の一部において捉えることができるので、確実に通信信号を通信用受光部１３１で捉えることができ、通信を確保できる。さらに、信用受光部１３１が複数の画像取得用画素１３２を取り囲む領域よりも広範囲に広がっているので、通信信号を発する光源が電光掲示板のように絵柄を有するものである場合に、通信信号の受信において撮像素子１０２が手ぶれによって揺れたとしても、絵柄を構成する複数の画素からの光を通信用受光部１３１で受光できるので、被写体の絵柄による明暗の変化を通信信号と誤認識しにくくなり、通信精度が確保できる。さらに、通信信号用の読み出し経路と画像取得用の読み出し経路とは互いに独立しているので、画像取得用画素のサンプリングレートに影響を与えることなく通信用のサンプリングレートを高速化でき、通信信号を、画像読み出しサイクルとは関係なく、画像読み出しのためのライン周波数よりも高速に読み出すことできる。

（第２の実施の形態）
図５は、本発明の第２の実施の形態における撮像装置のブロック図である。第１の実施の形態と同様の構成については、同一の符号を付してその説明は省略する。第２の実施の形態の撮像装置には、第１の実施の形態の撮像装置の構成に加えて、低速通信信号処理部１４０が設けられている。

この撮像装置２００も第１の実施の形態と同様に、電光掲示板を撮像することで、撮像素子１０２中の通信用受光部１３１によって電光掲示板のＬＥＤの輝度変化から通信情報を取得する。ただし、本実施の形態の撮像装置２００は、通信用受光部１３１での受光を開始する前に、撮像素子１０２中の画像取得用画素１３２によって、通信情報があることを検知する点で第１の実施の形態の撮像装置と異なる。このために、電光掲示板４０は画像取得用画素１３２のサンプリング周期で検知できる周期の低速のＬＥＤの輝度変化による信号を通信通知信号として発出する。

撮像装置２００の低速通信信号処理部１４０は、画像取得用画素１３２で得られたこの低速の輝度変化（通信通知信号）から、高速で転送されている情報があるか否かの情報を入手する。そして、低速通信信号処理部１４０にて高速で転送されている情報があると判断された場合にのみ、撮像素子１０２の通信用受光部１３１の読み出し動作を開始する。読み出された信号は、第１の実施の形態と同様に通信信号処理部１２０で処理される。

第２の実施の形態の撮像装置２００によれば、高速で転送されている情報があるときのみ撮像素子１０２の通信用受光部１３１が動作するので、消費電力が抑えられる。

本実施の形態において、通信通知信号に通信速度に関する情報を含めてもよい。この場合、低速通信信号処理部１４０は、通信速度に関する情報を入手し、その速度に応じて撮像素子１０２の通信用受光部１３１の読み出し速度を最適化する。これにより、転送されている情報の速度に合わせて撮像素子１０２の通信用受光部１３１の動作速度を設定できるので、通信用受光部１３１を不必要に高速に動作させずに済み、消費電力が抑えられる。

本発明にかかる撮像素子又は撮像装置は、通信時にも画像の劣化がなく、通信の感度の劣化や手ぶれ等による影響を少なくできるので、画像を取得しつつ、可視光や近赤外光による通信を行なうための撮像素子又は撮像装置等として有用である。

１００ 電子カメラモジュール
１０１ レンズ
１０２ 撮像素子
１０３ 信号処理部
１０４ 画像信号処理部
１２０ 通信信号処理部
１３０ 画像取得部
１３１ 通信用受光部
１３２ 画像取得用画素
１４０ 低速通信信号処理部

Claims (7)

1. 入力光を光電変換して電気信号に変換する撮像素子であって、被写体画像を撮像するための複数の画像取得用画素と、通信信号として発せられた可視光又は近赤外光を受光するための通信用受光部とを有し、前記複数の画像取得用画素は格子状に配列された画素配列であり、前記通信用受光部は、少なくとも２つの画像取得用画素を取り囲む領域よりも広範囲に広がっていると共に前記画像取得用画素の隙間に入り込む形状を有し、前記通信用受光部のサンプリングレートが前記画像取得用画素のサンプリングレートより速いことを特徴とする撮像素子。
2. 前記通信用受光部は、１つの信号線によって通信信号が読み出されることを特徴とする請求項１に記載の撮像素子。
3. 前記通信用受光部は、前記少なくとも２つの画像取得用画素の各々を囲むように形成されていることを特徴とする請求項１又は２に記載の撮像素子。
4. 撮像装置であって、レンズと、前記レンズを通して入力される光を光電変換して電気信号に変換する撮像素子と、前記撮像素子からの画像読み出しデータを処理する画像信号処理部と、前記撮像素子から得られる通信信号を処理する通信信号処理部とを有し、
   前記撮像素子は、被写体画像を撮像するための複数の画像取得用画素と、通信信号として発せられた可視光又は近赤外光を受光するための通信用受光部とを有し、前記複数の画像取得用画素は格子状に配列された画素配列であり、前記通信用受光部は、少なくとも２つの画像取得用画素を取り囲む領域よりも広範囲に広がっていると共に前記画像取得用画素の隙間に入り込む形状を有し、前記通信用受光部のサンプリングレートが前記画像取得用画素のサンプリングレートより速いことを特徴とする撮像装置。
5. 画像取得用の信号経路と、通信用の信号経路とが互いに独立していることを特徴とする請求項４に記載の撮像装置。
6. 通常時には通信通知信号として発せられた可視光又は近赤外光を前記画像取得用画素にて受け取り、前記通信通知信号に基づいて前記可視光又は近赤外光の中に高速通信信号が含まれると判断したときに前記通信用受光部の動作を開始することを特徴とする請求項４に記載の撮像装置。
7. 前記通信通知信号に含まれる送信速度の情報に応じて前記通信用受光部のサンプリングレートを設定することを特徴とする請求項６に記載の撮像装置。