JP4656515B2 - 車載カメラ及び車両制御装置 - Google Patents

車載カメラ及び車両制御装置 Download PDF

Info

Publication number
JP4656515B2
JP4656515B2 JP2005305265A JP2005305265A JP4656515B2 JP 4656515 B2 JP4656515 B2 JP 4656515B2 JP 2005305265 A JP2005305265 A JP 2005305265A JP 2005305265 A JP2005305265 A JP 2005305265A JP 4656515 B2 JP4656515 B2 JP 4656515B2
Authority
JP
Japan
Prior art keywords
conductivity type
gate electrode
region
source
ring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005305265A
Other languages
English (en)
Other versions
JP2007116394A (ja
Inventor
正紀 舟木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2005305265A priority Critical patent/JP4656515B2/ja
Publication of JP2007116394A publication Critical patent/JP2007116394A/ja
Application granted granted Critical
Publication of JP4656515B2 publication Critical patent/JP4656515B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は車載カメラ及び車両制御装置に係り、特に自動車に搭載され、その自動車の車内や車外をCMOSセンサにより撮像する車載カメラ及び車両制御装置に関する。
近年、自動車に固体撮像素子を使ったカメラ(所謂、車載カメラ)が搭載されるようになった。図7は従来の車載カメラの一例の自動車への搭載状態を示す。同図において、自動車200には、前方を撮影する第1の車載カメラである前方用カメラ201と、車内を撮影する第2の車載カメラである車内用カメラ202と、後方を撮影する第3の車載カメラである後方用カメラ203とが搭載されている。
図8は従来の車載カメラを搭載した車の制御システムの一例のブロック図を示す。同図において、固体撮像素子211は、図7に示した前方用カメラ101、車内用カメラ102及び後方用カメラ103のうちの一つを代表して示したカメラの撮像素子であり、その出力撮像信号を受けて処理システム212がカメラの目的に応じた所定の処理を行う。
例えば、固体撮像素子211が前方向を撮影する前方用カメラ101の撮像素子の場合は、車が車線からはみ出さないように監視したり、障害物を発見したり、前方の車との車間を測ったりする目的がある。また、固体撮像素子211が車内を撮影する車内用カメラ102の撮像素子の場合は、車が衝突したときに、乗員の身体が前方に投げ出されエアバッグ動作が必要になるかどうかを監視する。更に、固体撮像素子211が後方を撮影する後方用カメラ103の撮像素子の場合は、後進時の安全確認や追突可能性の確認などの目的がある。
処理システム212はそれぞれの上記の目的に合わせた画像処理、判断を行い、ホストシステム213へ処理結果を送る。ホストシステム213は処理システム212から処理結果を受けて、それぞれの関連するブレーキ制御システム214、エアバッグ制御システム215、あるいはエンジン制御システム216などへ指令を送り、そのシステムを制御することで車全体を制御する。
このような固体撮像素子211として、CCD(Charge Coupled Device:電荷結合素子)型撮像素子(以下、単にCCDという)やCMOS(Complementary Metal-Oxide Semiconductor)型撮像素子(以下、CMOSセンサという)が知られているが、CMOSセンサは、CCDに比べて低電圧駆動が可能であり、多画素化で高精細な映像が得られると共に、CCDよりも高速に画素の読出しができ、緊急時のリアルタイム処理に向く。
ここで、CMOSセンサについて更に詳しく説明すると、これは従来から知られているローリングシャッタ型CMOSセンサである(例えば、特許文献1参照)。図9は上記の従来のCMOSセンサの一例の等価回路図を示す。同図に示すCMOSセンサは、簡単のため、単位画素1が横方向2画素、縦方向2画素の2×2画素の配置とされている。単位画素1は、被写体像を光電変換するフォトダイオード(PD)2と、信号電荷の増幅用MOS型電界効果トランジスタ(以下、MOSFET)3と、電荷転送用MOSFET4と、リセット用MOSFET5と、選択用MOSFET7とよりなり、電源ライン6がMOSFET3、5のドレインに接続され、増幅用MOSFET3のソースが選択用MOSFET7のドレインに接続されている。
増幅用MOSFET3のゲート電極はフローティングディフュージョン(FD)になっており、フォトダイオード2の電荷が電荷転送用MOSFET4のドレイン−ソースを介して増幅用MOSFET3のゲート電極(FD)に転送される。また、増幅用MOSFET3のゲート電極(FD)の電位は、リセット用MOSFET5によりリセットされる。
選択用MOSFET7がオン状態になると、増幅用MOSFET3のソースを選択用MOSFET7のドレイン・ソースを通して画素出力ライン8に導通させる。画素出力ライン8は定電流供給用MOSFET9のドレインに接続されている。定電流供給用MOSFET9は、増幅用MOSFET3のソースフォロア回路の負荷として作用する。定電流供給用MOSFET9は、ゲート電位供給ライン13のゲート電位により制御される。
また、リセット用制御ライン10、電荷転送用制御ライン11、画素選択用制御ライン12は、それぞれリセット用MOSFET5、電荷転送用MOSFET4、選択用MOSFET7の各ゲート電極に接続されており、その電位はそれぞれパルス供給端子15、14、16から、MOSFET19、20、21のドレイン・ソースをそれぞれ通して供給される。
垂直シフトレジスタ17は、行順次走査のために2×2画素の行を選択する回路で、その垂直シフトレジスタ出力線18−1、18−2が、各行のMOSFET19、20、21のゲート電極に接続されており、パルス供給端子15、14、16の端子に供給されたパルスがどの行の画素を制御するかを決定する。
また、読み出しブロック22は、リセット信号出力を保持する容量23、光信号出力を保持する容量24、どちらの容量に保持するかを選択するスイッチ用MOSFET25及び26、水平出力線27、28に接続されたスイッチ用MOSFET29、30からなる。スイッチ用MOSFET25、26は端子37、38からそのゲート電極に供給されるパルスによりスイッチング制御される。
水平シフトレジスタ34は、2×2画素のうち、どの列の画素の保持信号を水平出力線27、28に出力するかをスイッチ用MOSFET29、30のゲートに接続された水平シフトレジスタ出力線35−1、35−2への出力電位で決定する。また、水平出力線27、28をリセットするための電位を端子33から供給し、リセットのタイミングは端子36から供給するパルスでスイッチ用MOSFET31、32をスイッチング制御して行う。水平出力線27、28は差動アンプ39の入力端子に接続されている。差動アンプ39はリセット信号出力と光信号出力の差をとり、その差信号をアンプ出力端子40からセンサ外に出力する。
次に、図9に示す従来のCMOSセンサの動作について図10のタイミングチャートを併せ参照して説明する。なお、図9中のMOSFETはすべてN型とし、よって、MOSFETはそのゲート電位がハイレベル(High)でオン、ローレベル(Low)でオフとなる。
まず、垂直シフトレジスタ出力線18−1の電位が図10(D)に示すように時刻t1でHighとなり、これにより1行目の画素1が選択される。続いて、パルス供給端子16の入力パルスが図10(C)に示すように時刻t2でHighになり、これにより1行目の画素1の選択用MOSFET7がオン状態になるため、1行目の画素1の増幅用MOSFET3のソースが選択用MOSFET7のドレイン・ソースと画素出力ライン8を通して定電流供給用MOSFET9につながり、ソースフォロア回路を形成する。
この状態で、最初にパルス供給端子15に図10(B)に示すように一定時間Highのパルスが供給され、1行目の画素1のリセット用MOSFET5のドレイン・ソースを通して増幅用MOSFET3のゲート電極(FD)がリセットされる。その後の時刻t3で、パルス供給端子37の入力パルスが図10(I)に示すようにHighになり、スイッチ用MOSFET25をオン状態とし、容量23に1行目の画素1のソースフォロワ回路から出力されたリセット信号出力が保持される。
次に、パルス供給端子14に時刻t4で図10(A)に示すようにHighパルスが印加されると、1行目の画素1内の電荷転送用MOSFET4がオンし、1行目の画素1内のフォトダイオード2に蓄積されている電荷が電荷転送用MOSFET4のドレイン・ソースを介して増幅用MOSFET3のゲート電極(FD)に転送される。その後の時刻t5で、パルス供給端子38に図10(J)に示すようにHighパルスが印加されると、容量24に1行目の画素1のソースフォロワ回路から出力された光信号出力が保持される。続いて、パルス供給端子16の入力パルスが図10(C)に示すように、時刻t6でLowになるため、1行目の画素1内の選択用MOSFET7がオフになり、1行目の画素1からの出力はなくなる。
端子36の入力信号はこの間図10(H)に示すようにHighであり、水平出力ライン27、28はリセット状態になっている。しかし、上記の時刻t6で端子36の入力信号が図10(H)に示すようにLowになり、この状態で水平シフトレジスタ出力線35−1に図10(F)に示すHighパルスを印加すると、1列目のスイッチ用MOSFET29、30がそれぞれオンとされるため、1列目の容量23、24の各信号が1列目のスイッチ用MOSFET29、30を通して水平出力ライン27、28にそれぞれ出力されて差動アンプ39に供給される。差動アンプ39は1列目の容量23、24の各信号、すなわち、リセット信号出力と光信号出力との差をとり、増幅用MOSFET3のしきい値ばらつきに起因したノイズを除去した光信号を出力端子40より出力する。
次に、端子36に図10(H)に示す時刻t7でHighパルスを印加すると、水平出力ライン27、28が再びリセットされ、その後水平シフトレジスタ出力線35−2に、図10(G)に示すように時刻t8でHighパルスが印加され、2列目のスイッチ用MOSFET29、30がそれぞれオンとされるため、2列目の容量23、24の各信号が2列目のスイッチ用MOSFET29、30を通して水平出力ライン27、28にそれぞれ出力されて差動アンプ39に供給され、2列目の信号が1列目と同様に差動アンプ39から出力端子40に出力される。
その後、図10(D)に示す時刻t9で垂直シフトレジスタ出力線18−1の電位がLowとなり、1行目の処理が終わる。次に時刻t10で図10(E)に示すように、垂直シフトレジスタ出力線18−2の電位がHighになり、以下1行目と同様な処理が行われ、全画素の読み出しが終了する。
従って、このCMOSセンサの場合、1行目と2行目のフォトダイオード2で光電変換しているタイミングが異なる。このような撮像方式をローリングシャッタ、あるいはフォーカルプレーンと呼ぶ。
特開2003−17677号公報
ところで、自動車は高速で移動するので、車外の風景は常に動いている状態になる。しかしながら、従来の車載カメラで用いられるローリングシャッタ型CMOSセンサでは、高速で動く物体を正確な形状で捉えることができない。一方、車内を撮影する車内用カメラ202も、衝突時、車内の物体は乗員を含めて高速に前方へ投げ出されるので、従来のローリングシャッタ型CMOSセンサでは正確な形状を捉えることができず、正確な判断ができないという課題がある。
これを解決する一つの手段として、図8の処理システム212を、例えば動き検出を行って危険度を判断するような、図11のブロック図に示す構成がある。この図11の構成では、まず、ローリングシャッタ型CMOSセンサにより撮影して得られた映像信号に含まれる、ローリングシャッタに起因する画像歪みを補正処理回路221で補正し、続いて、その映像信号に対して動き検出回路222で動き検出を行い、得られた動き検出結果に基づいて、危険度判断回路223により所定の閾値以上の動きのある画像は危険度が高いと判断するような危険度判断処理を行って、その処理結果を図8のホストシステム213へ出力する。しかし、この方法では処理に時間がかかり、緊急時にリアルタイム処理ができないという問題がある。
本発明は以上の点に鑑みなされたもので、画像歪みのない映像信号を、CCDに比べて高速に得られる車載カメラ及び車両制御装置を提供することを目的とする。
上記の目的を達成するため、本発明は自動車の車内又は車外の被写体を撮影する車載カメラであって、前記被写体の光学像を複数の全画素に同時に露光して各画素毎に光電変換して得たホール電荷を前記各画素毎に蓄積した後、前記ホール電荷を前記各画素から撮像信号として順次出力するグローバルシャッタ型CMOSセンサを備え、前記グローバルシャッタ型CMOSセンサは、半導体基板上に形成された第1導電型のウェル、及び前記第1導電型のウェルにおける所定の第1の領域とは異なる第2の領域に形成されて前記第1導電型のウェルに接続する第2導電型の埋め込み部を有し、前記光学像を光電変換してホール電荷を蓄積するフォトダイオードと、前記第1の領域上にゲート酸化膜を介して形成されたリング状ゲート電極と、前記リング状ゲート電極の中央開口部に対応する前記第1導電型のウェル内の前記第1の領域に形成された第1導電型の第1ソース部と、前記第1導電型の第1ソース部の周囲に前記リング状ゲート電極の外周に達しないように、かつ前記ゲート酸化膜に接触しないように前記第1導電型のウェル内の前記第1の領域に形成されて前記第1導電型の第1ソース部に接続し前記フォトダイオードから転送されたホール電荷を蓄積する第2導電型のソース近傍領域部と、前記第1導電型のウェルにおける前記第1の領域とは異なる第3の領域に前記第1導電型の第1ソース部及び前記第2導電型のソース近傍領域部に離間して形成された第1導電型の第1ドレイン部とを有し、前記第2導電型のソース近傍領域部に蓄積されたホール電荷を前記撮像信号として出力するリング状ゲートトランジスタと、前記第1の領域上に前記ゲート酸化膜を介して形成されて前記リング状ゲート電極の一部を覆う転送ゲート電極を有し、前記第2導電型の埋め込み部を第2ソース部とし、前記第2導電型のソース近傍領域部を第2ドレイン部とし、前記フォトダイオードに蓄積されたホール電荷を前記リング状ゲートトランジスタへ全画素一斉に転送する転送ゲートトランジスタと、を画素毎に備え、前記リング状ゲート電極及び前記転送ゲート電極の前記ゲート酸化膜を介した直下の領域であって、かつ前記第2導電型の埋め込み部と前記第2導電型のソース近傍領域部との間の領域には前記第1導電型のウェルのみが存在しており、前記第2導電型の埋め込み部に蓄積されたホール電荷は、前記リング状ゲート電極下と前記転送ゲート電極下とで前記第1導電型のウェルにバリアとなる電位差が生じないように前記リング状ゲート電極の電位及び前記転送ゲート電極の電位がそれぞれ制御されることにより、前記第1導電型のウェルのみを介して前記第2導電型のソース近傍領域部に全画素一斉に転送され、前記ホール電荷が前記撮像信号として出力された後の前記第2導電型のソース近傍領域部は、前記リング状ゲート電極の電位及び前記転送ゲート電極の電位が前記第1導電型の第1ドレイン部の電位以下の電位で、リセットされることを特徴とする。
また、上記の目的を達成するため、本発明の車載カメラは、リング状ゲート電極の電位を制御するリング状ゲート電位制御回路部と、転送ゲート電極の電位を制御する転送ゲート電位制御回路部と、を更に備えていることを特徴とする。
また、上記の目的を達成するため、本発明の車両制御装置は、上記発明の車載カメラと、車載カメラから出力された撮像信号に基づいて被写体の動きを検出する動き検出回路部、及び動き検出回路部の検出結果と予め設定されている閾値とを比較し、検出結果が閾値以上のときには危険度が高いと判断してその処理結果を出力する危険度判断回路部を有する処理部と、処理部から出力された処理結果に基づいて車両のシステム制御を行う制御部と、を備えていることを特徴とする。
ここで、上記の制御部は、ブレーキ制御,エンジン制御,及びエアバッグ制御の少なくともいずれか一つを含むシステム制御を行うことを特徴とする。
本発明によれば、固体撮像素子としてグローバルシャッタ型CMOSセンサを用いることにより、画像の歪みの無い撮像画像を得ることができるため、撮像信号中の画像歪みを補正するための処理回路を不要にでき、その結果、撮像した映像信号に基づいて、自動車の予め設定した所定の動作を制御するために必要な処理の速度を上げることができ、特に自動車のような高速移動中での緊急処理を要する用途に適用して好適である。
次に、本発明の実施の形態について図面と共に説明する。図1は本発明になる車載カメラの一実施の形態の自動車への搭載状態を示す。同図において、自動車100には、前方を撮影する第1の車載カメラである前方用カメラ101と、車内を撮影する第2の車載カメラである車内用カメラ102と、後方を撮影する第3の車載カメラである後方用カメラ103とが搭載されている。これらの前方用カメラ101、車内用カメラ102及び後方用カメラ103は、それぞれその固体撮像素子としてグローバルシャッタ型CMOSセンサを用いている点に特徴がある。
図2は本発明の車載カメラを搭載した車の制御システムの一例のブロック図を示す。同図において、固体撮像素子111は、図7に示した前方用カメラ101、車内用カメラ102及び後方用カメラ103のうちの一つを代表して示したカメラの撮像素子であり、その出力撮像信号を受けて処理システム112がカメラの目的に応じた所定の画像処理、判断を行い、その処理結果をホストシステム113へ送る。ホストシステム113は処理システム112から処理結果を受けて、それぞれの関連するブレーキ制御システム114、エアバッグ制御システム115、あるいはエンジン制御システム116などへ指令を送り、そのシステムを制御することで、車速、走行方向、車内の設備等の自動車100に関する動作を統括的に制御する。
例えば、固体撮像素子111が前方用カメラ101の撮像素子の場合は、ホストシステム113は処理システム112から処理結果を受けて、ブレーキ制御システム114やエンジン制御システム116などを制御して、自動車100が車線からはみ出さないようにしたり、障害物を回避したり、前方の車との車間を一定に保ったりする。また、固体撮像素子111が車内用カメラ102の撮像素子の場合は、ホストシステム113は処理システム112から処理結果を受けて、車が衝突したときに、エアバッグ制御システム115を制御してエアバッグを膨らませて前方に投げ出された乗員の身体の衝撃を緩和する。
更に、固体撮像素子111が後方を撮影する後方用カメラ103の撮像素子の場合は、後進時の安全確認や追突可能性の確認などの目的のために、ホストシステム113は処理システム112から処理結果を受けて、ブレーキ制御システム114やエンジン制御システム116などを制御する。
図3は本発明の車載カメラにおける処理システムの一実施の形態のブロック図を示す。本実施の形態では、図2に示した処理システム112は、図3のブロック図に示すように、後述するように固体撮像素子111がグローバルシャッタ型CMOSセンサであるので、画像歪みのない映像信号が出力されるので、画像歪み補正処理回路を通すことなく動き検出回路131に供給されて動き検出される。
動き検出回路131で得られた動き検出結果は、危険度判断回路132に供給されて、所定の閾値以上の動きのある画像は危険度が高いと判断するような危険度判断処理がされ、その処理結果が図2のホストシステム113へ出力される。
次に、本発明の車載カメラの固体撮像素子として用いられるグローバルシャッタ型CMOSセンサの構成等について詳細に説明する。図4はグローバルシャッタ型CMOSセンサの一実施の形態の構成図を示し、同図(A)は平面図、同図(B)は同図(A)のX−X’線に沿う縦断面図を示す。図4(A)、(B)に示すように、本実施の形態の固体撮像素子111であるグローバルシャッタ型CMOSセンサは、p型基板41上にp型エピタキシャル層42を成長し、このエピタキシャル層42の表面にnウェル43がある。nウェル43上にはゲート酸化膜44を挟んで第1のゲート電極である平面形状がリング状のゲート電極45が形成されている。
リング状ゲート電極45の中心部に対応したnウェル43の表面にはn型のソース領域46が形成されており、そのソース領域46に隣接してソース近傍p型領域47が形成され、更にソース領域46とソース近傍p型領域47の外側の離間した位置にはn型のドレイン領域48が形成されている。更に、ドレイン領域48の下のnウェル43中には埋め込みのp型領域49がある。この埋め込みのp型領域49とnウェル43は、図4(A)に示す埋め込みフォトダイオード50を構成している。
埋め込みフォトダイオード50とリング状ゲート電極45との間には、第2のゲート電極である転送ゲート電極51がある。ドレイン領域48、リング状ゲート電極45、ソース領域46、転送ゲート電極51には、それぞれメタル配線であるドレイン電極配線52、リング状ゲート電極配線53、ソース電極配線(出力線)54、転送ゲート電極配線55が接続されている。また、上記の各構成の上方には、図4(B)に示すように遮光膜56が形成されており、その遮光膜56の埋め込みフォトダイオード50に対応した位置には開口部57が穿設されている。この遮光膜56は金属、あるいは有機膜等で形成される。光は、開口部57を通して埋め込みフォトダイオード50に達して光電変換される。
次に、CMOSセンサの画素構造と撮像素子全体の構造について、電気回路で表現した図5と共に説明する。同図において、まず、画素はm行n列に画素敷き詰め領域61に配置されている。図5ではこれらm行n列の画素のうち、s行t列の一画素62を代表として等価回路で表現している。この画素62は、リング状ゲートMOSFET63と、フォトダイオード64と、転送ゲートMOSFET65とからなり、リング状ゲートMOSFET63のドレインがフォトダイオード64のn側端子とドレイン電極配線66(図4の52に相当)に接続され、転送ゲートMOSFET65のソースがフォトダイオード64のp側端子に接続され、ドレインがリング状ゲートMOSFET63のバッグゲートに接続されている。
なお、上記のリング状ゲートMOSFET63は、図4(B)ではリング状ゲート電極45直下のソース近傍p型領域47をゲート領域とし、n型のソース領域46及びn型のドレイン領域48を有するnチャネルMOSFETである。また、上記の転送ゲートMOSFET65は、図4(B)では転送ゲート電極51直下のnウェル43をゲート領域、フォトダイオード50の埋め込みのp型領域49をソース領域、ソース近傍p型領域47をドレインとするpチャネルMOSFETである。
図5において、m行n列の各画素から1フレーム分の信号を読み出すために、まず読み出しを始める合図を出すフレームスタート信号を発生させる回路67がある。このフレームスタート信号は撮像素子の外から与えられてもよい。このフレームスタート信号は垂直シフトレジスタ68に供給される。垂直シフトレジスタ68は、m行n列の各画素のうちの何行目の画素を読み出すかの信号を出力する。
各行の画素はリング状ゲート電極、転送ゲート電極、ドレイン電極の電位を制御する制御回路に接続されており、これらの制御回路は垂直レジスタ68の出力信号が供給される。例えば、s行目の各画素のリング状ゲート電極は、リング状ゲート電極配線69(図4の53に相当)を介してリング状ゲート電位制御回路70に接続され、各画素の転送ゲート電極は、転送ゲート電極配線71(図4の55に相当)を介して転送ゲート電位制御回路72に接続され、各画素のドレイン電極は、ドレイン電極配線66(図4の52に相当)を介してドレイン電位制御回路73に接続されている。上記の各制御回路70、72、73には垂直シフトレジスタ68の出力信号が供給される。
なお、リング状ゲート電極は、行毎に制御するので横方向に配線するが、転送ゲート電極は全画素で一斉に制御するので、配線方向は問わず、縦方向でもよい。ここでは横方向に配線するものとして表現する。ドレイン電位制御回路73は、全画素一斉に制御するが、行毎に制御する可能性もあるので、フレームスタート信号と垂直レジスタ68の両方と接続して表現している。
画素62のリング状ゲートMOSFET63のソース電極は、ソース電極配線74(図4の54に相当)を介して2分岐され、一方はスイッチSW1を介してソース電極電位を制御するソース電位制御回路75に接続され、他方はスイッチSW2を介して信号読み出し回路76に接続されている。信号を読み出すときにはスイッチSW1をオフ、スイッチSW2をオンにし、ソース電位を制御する時にはスイッチSW1をオン、スイッチSW2をオフにする。信号は縦方向に出すので、ソース電極の配線方向は縦にする。
信号読み出し回路76は次のように構成されている。画素62の出力はリング状ゲートMOSFET63のソースから行われ、出力線74には負荷、例えば電流源77が繋がっている。従って、ソースフォロア回路となっている。電流源77にはキャパシタC1とキャパシタC2の各一端がスイッチsc1とスイッチsc2を介して繋がっている。他端が接地されているキャパシタC1、C2の各一端は、また差動アンプ78の反転入力端子と非反転入力端子に繋がっており、両キャパシタC1及びC2の電位差を差動アンプ78から出力するようになっている。
このような信号読み出し回路76はCDS回路(相関二重サンプリング回路)と呼ばれ、ここに描かれた方式以外にも種々の回路が提案されており、この回路に限るわけではない。信号読み出し回路76から出力された信号は、出力スイッチswtを介して出力される。同じ列にある出力スイッチswtは、水平シフトレジスタ79から出力される信号によりスイッチング制御される。
次に、図5に示すCMOSセンサの駆動方法について、図6のタイミングチャートと共に説明する。まず、図6(1)に示す期間では、埋め込みのフォトダイオード(図4(A)の50、図5の64等)に光が入射し、光電変換効果により電子・ホール対が発生し、フォトダイオードの埋め込みp型領域49にホールが蓄積される。このとき転送ゲート電極51の電位はドレイン電位Vddと同じになっており、転送ゲートMOSFET65はオフ状態である。これらの蓄積は、前フレームの読み出し操作が行われている時に同時に実行されている。
続く図6(2)に示す期間では、前フレームの読み出しが終了すると、同図(A)に示すように新しいフレームスタート信号が発信されて、次のフレームの読み出しが始まる。最初に行うのは全画素一斉にフォトダイオード(図4(A)の50、図5の64等)からリング状ゲート電極(図4の45)のソース近傍p型領域(図4の47)にホールを転送することである。そのため、図6(B)に示すように転送ゲート電位制御回路72から出力される転送ゲート制御信号がVddからLow2に下がり、転送ゲート電極(図4の41)の電位がLow2となり、転送ゲートMOSFET65がオン状態になる。
このとき、リング状ゲート電位制御回路70により制御されるリング状ゲート電極配線69の電位は、図6(C)に示すように、LowからLow1になるが、Low2の方がLow1よりも大きい。Low1はLowと同じでもよい。最も簡便にはLow1=Low=0(V)に設定する。
一方、ソース電位制御回路75からスイッチSW1を介してソース電極配線74からリング状ゲートMOSFET63のソースに供給されるソース電位をはじめとする、全画素のソース電位は図6(D)に示すように電位S1に設定される。S1>Low1であり、これにより、リング状ゲートMOSFET63がオフのままであり、電流が流れないようにする。この結果、全画素のフォトダイオードに蓄積された電荷(ホール)が、対応する画素のリング状ゲート電極の下に一斉に転送される。
図4(B)に示すリング状ゲート電極45の下の領域で、ソース近傍p型領域47が最もポテンシャルが低いので、フォトダイオードに蓄積されていたホールはソース近傍p型領域47に達し、そこに蓄積される。ホールが蓄積される結果、ソース近傍p型領域47の電位が上昇する。
続いて、図6(3)に示す期間では、同図(B)に示すように転送ゲート電極が再びVddになり、転送ゲートMOSFET65がオフになる。これにより、フォトダイオード(図4(A)の50、図5の64等)では再び光電変換効果により電子・ホール対が発生し、フォトダイオードの埋め込みp型領域49にホールが蓄積され始める。この蓄積動作は次の電荷転送時まで続けられる。
一方、読み出し操作は行単位で順番に行われるので、1行目〜(s−1)行目を読み出す期間(3)では、リング状ゲート電極の電位は図6(C)に示すようにLowの状態で、ソース近傍p型領域47にホールを蓄積したまま待機状態となる。ソース電位は他の行からの信号読み出しが行われている間、その画素からの信号の値により、様々な値をとり得る。また、リング状ゲート電極電位は行毎に様々な値をとり得るが、s行目ではLowに設定され、リング状ゲートMOSFET63がオフ状態である。
続く図6(4)〜(6)に示す期間では、画素の信号読み出しが行われる。s行目t列目の画素62について代表してこの信号読み出し動作について説明するに、まず、ソース近傍p型領域47にホールを蓄積した状態で、図6(E)に示す垂直シフトレジスタ68の出力信号が、同図(H)に示すようにローレベルである期間(4)において、リング状ゲート電位制御回路70からリング状ゲート電極配線69に出力される制御信号により、リング状ゲート電極45の電位を図6(K)に示すように、LowからVg1に上げる。
ここで、上記の電位Vg1は、前述した各電位Low、Low1、Vddとの間に
Low≦Low1≦Vg1≦Vdd (ただし、Low<Vdd)
なる不等式が成立する電位である。また、上記の期間(4)ではスイッチSW1が図6(I)に示すようにオフ、スイッチSW2が同図(J)に示すようにオン、スイッチsc1が同図(M)に示すようにオン、スイッチsc2が同図(N)に示すようにオフとされる。
この結果、リング状ゲートMOSFET63のソースに接続されたソースフォロア回路が働き、リング状ゲートMOSFET63のソース電位は、図6(L)に示すように期間(4)ではS2(=Vg1−Vth1)となる。ここで、Vth1とはバッグゲート(ソース近傍p型領域47)にホールがある状態での、リング状ゲートMOSFET63のしきい値電圧である。このソース電位S2がオンとされているスイッチsc1を通してキャパシタC1に記憶される。
続く図6(5)に示す期間では、リング状ゲート電位制御回路70からリング状ゲート電極配線69に出力される制御信号により、リング状ゲート電極45の電位を図6(K)に示すようにHigh1に上げると同時に、同図(I)、(J)に示すようにスイッチSW1をオン、スイッチSW2をオフとすると共に、ソース電位制御回路75から出力されるソース電位を同図(L)に示すようにHighsに上げる。ここで、High1、Highs>Low1である。
上記の電位High1及びHighsの値は同じであっても異なっていてもよいが、設計の簡単のためにはHigh1、Highs≦Vddが望ましい。簡便な設定では、High1=Highs=Vddとする。また、リング状ゲートMOSFET63がオンして電流が流れないような電位設定にすることが望ましい。この結果、ソース近傍p型領域47のポテンシャルが上昇し、nウェル43のバリアを越えてホールがエピタキシャル層42に排出される(リセット)。
続く図6(6)に示す期間では、再び前記期間(4)と同じ信号読み出し状態にする。ただし、期間(4)とは異なり、図6(M)、(N)に示すように、スイッチsc1はオフ、スイッチsc2はオンとする。リング状ゲート電極は図6(K)に示すように期間(4)と同じVg1とする。しかし、この期間(6)では直前の期間(5)でホールが基板に排出されていて、ソース近傍p型領域47にはホールが存在しないので、リング状ゲートMOSFET63のソース電位は、図6(L)に示すように期間(6)ではS0(=Vg1−Vth0)となる。ここでVth0は、バッグゲート(ソース近傍p型領域47)にホールがない状態でのリング状ゲートMOSFET63のしきい値電圧である。
このソース電位S0はオンとされたスイッチsc2を介してキャパシタC2に記憶される。差動アンプ78はキャパシタC1とC2の電位差を出力する。すなわち、差動アンプ78は(Vth0−Vth1)を出力する。この出力値(Vth0−Vth1)は、ホール電荷によるしきい値変化分である。その後、水平シフトレジスタ79から出力される図6(F)に示すパルスのうち、同図(O)に示すt列目の出力パルスに基づき、図5の出力スイッチswtがオンとされ、このswtのオン期間に図6(P)にハッチングにより模式的に示すように、差動アンプ78からのホール電荷によるしきい値変化分が画素62の出力信号Voutとしてセンサ外へ出力される。
続いて、図6に(7)で示す期間では、再びリング状ゲート電極45の電位を図6(B)に示すようにLowにし、ソース近傍p型領域47にはホールがない状態で、全ての行の信号処理が終了するまで(s+1行〜n行の画素の読み出しが終了するまで)待機する。これらの読み出し期間中、フォトダイオード64では光電変換効果によるホールの蓄積が進行している。その後、前記期間(1)に戻って、ホールの転送から繰り返す。これにより、各画素から図6(G)に示す出力信号が読み出される。すべての画素から信号を読み出すと、再び次のフレームが開始される。
上記の図4(A)、(B)に示す構成の固体撮像素子は、リング状のゲート電極45を持つリング状ゲートMOSFET63が増幅用MOSFETであり、図5に示したように各画素内に増幅用MOSFETを持つという意味で、CMOSセンサの一種である。そして、このCMOSセンサは、フォトダイオードに蓄積された電荷(ホール)が、対応する画素のリング状ゲート電極の下のソース近傍p型領域47に一斉に転送されるようにすることで、グローバルシャッタを実現している。
なお、図6の期間(5)のリセット時のソース電極配線74の電位供給は、ソース電位制御回路75から供給する以外の次の方法もある。すなわち、上記期間(5)でスイッチSW1、SW2をともにオフとして、ソース電極配線74をフローティングにする。ここでリング状ゲート電極配線69の電位をHigh1とすると、リング状ゲートMOSFET63がオン状態となり、ソース電極にドレインから電流が供給され、ソース電極電位が上昇する。この結果、ソース近傍p型領域47のポテンシャルが持ち上げられ、nウェル43のバリアを越えて、ホールがp型エピタキシャル層42に排出される(リセット)。ホールが完全に排出されたときのソース電極電位は、High1−Vth0になる。この方法では、ソース電位制御回路75のうち、Highsを供給するトランジスタを削減することができ、その結果、チップ面積を減らすことができる。
なお、図5の画素62の回路構成は簡略化して示してある。画素62の回路は、厳密には、転送ゲートMOSFET65のソースとリング状ゲートMOSFET63のバッグゲートとの間に、リング状ゲート電極配線69と転送ゲート電極配線71の各電位に連動したスイッチが設けられる構成である。このスイッチは、リング状ゲート電極配線69の電位Low1と、転送ゲート電極配線71の電位Low2との間に、Low1≦Low2の関係があるときはオン状態になり、Low1>Low2の関係があるときにはオフ状態になる。
このスイッチを設けることにより、リング状ゲート電極45(電位Low1)の下の基板電位が、転送ゲート電極61(電位Low2)の下の基板電位よりも高くなっていて、リング状ゲート電極45(電位Low1)の下の基板電位がバリアとして働き、ホールがソース近傍p型領域47に達することができないという現象を回路的に表現できる。しかしながら、転送時は上記のLow1≦Low2の条件は、電位制御回路70、72等により常に満たされているので、図5ではこのスイッチを省略して図示している。
このように、固体撮像素子111として用いるグローバルシャッタ型CMOSセンサは、図4〜図6と共に説明したように、露光は各ライン毎にタイミングがずれることなく同一の1フレーム期間で行われ、一定期間の露光後、グローバルシャッタ型CMOSセンサ内の転送ゲート(図5の転送ゲートMOSFET65等)により、全画素の電荷が電荷転送期間のタイミングで読み出し回路に一斉に転送される。その後、読み出し回路により読み出し期間内で、順次各画素からの信号が読み出される。このことにより、移動する被写体を撮像した場合でも、撮像画像は被写体の画像と異なる画像歪みは発生しない。
従って、図3と共に説明したように、本実施の形態では、図11のローリングシャッタ歪み補正処理回路221のような歪み補正処理回路は不要であり、固体撮像素子111から出力された映像信号を直接に動き検出回路131に供給して動き検出することができ、その結果、歪み補正処理回路による処理時間が不要となり、処理時間が従来より早くなり、自動車の緊急時にも対応できる。
本発明の車載カメラの一実施の形態の自動車への搭載状態を示す図である。 本発明の車載カメラを搭載した車の制御システムの一例のブロック図である。 図2中の処理システムの一例を示すブロック図である。 本発明で用いるグローバルシャッタ型CMOSセンサの1画素分の素子構造の上面図とそのX−X‘線に伴う縦断面図である。 本発明で用いるグローバルシャッタ型CMOSセンサの一実施の形態の一画素分の電気等価回路図である。 図3のCMOSセンサの動作を説明するタイミングチャートである。 従来の車載カメラの一例の自動車への搭載状態を示す図である。 従来の車載カメラを搭載した車の制御システムの一例のブロック図である。 従来のローリングシャッタ型CMOSセンサの一例の電気等価回路図である。 図9のCMOSセンサの動作を説明するタイミングチャートである。 図8中の処理システムの一例を示すブロック図である。
符号の説明
43 nウェル
45 リング状ゲート電極
46 n型ソース領域
47 ソース近傍p型領域
48 n型ドレイン領域
49 埋め込みp型領域
50、64 フォトダイオード
51 転送ゲート電極
52、66 ドレイン電極配線
53、69 リング状ゲート電極配線
54、74 ソース電極配線(出力線)
55、71 転送ゲート電極配線
61 画素敷き詰め領域
62 画素
63 リング状ゲートMOSFET
65 転送ゲートMOSFET
100 本発明の車載カメラを搭載した自動車
101 グローバルシャッタ型CMOSセンサを搭載した前方用カメラ
102 グローバルシャッタ型CMOSセンサを搭載した車内用カメラ
103 グローバルシャッタ型CMOSセンサを搭載した後方用カメラ
111 固体撮像素子(グローバルシャッタ型CMOSセンサ)
112 処理システム
113 ホストシステム


Claims (4)

  1. 自動車の車内又は車外の被写体を撮影する車載カメラであって、
    前記被写体の光学像を複数の全画素に同時に露光して各画素毎に光電変換して得たホール電荷を前記各画素毎に蓄積した後、前記ホール電荷を前記各画素から撮像信号として順次出力するグローバルシャッタ型CMOSセンサを備え、
    前記グローバルシャッタ型CMOSセンサは、
    半導体基板上に形成された第1導電型のウェル、及び前記第1導電型のウェルにおける所定の第1の領域とは異なる第2の領域に形成されて前記第1導電型のウェルに接続する第2導電型の埋め込み部を有し、前記光学像を光電変換してホール電荷を蓄積するフォトダイオードと、
    前記第1の領域上にゲート酸化膜を介して形成されたリング状ゲート電極と、前記リング状ゲート電極の中央開口部に対応する前記第1導電型のウェル内の前記第1の領域に形成された第1導電型の第1ソース部と、前記第1導電型の第1ソース部の周囲に前記リング状ゲート電極の外周に達しないように、かつ前記ゲート酸化膜に接触しないように前記第1導電型のウェル内の前記第1の領域に形成されて前記第1導電型の第1ソース部に接続し前記フォトダイオードから転送されたホール電荷を蓄積する第2導電型のソース近傍領域部と、前記第1導電型のウェルにおける前記第1の領域とは異なる第3の領域に前記第1導電型の第1ソース部及び前記第2導電型のソース近傍領域部に離間して形成された第1導電型の第1ドレイン部とを有し、前記第2導電型のソース近傍領域部に蓄積されたホール電荷を前記撮像信号として出力するリング状ゲートトランジスタと、
    前記第1の領域上に前記ゲート酸化膜を介して形成されて前記リング状ゲート電極の一部を覆う転送ゲート電極を有し、前記第2導電型の埋め込み部を第2ソース部とし、前記第2導電型のソース近傍領域部を第2ドレイン部とし、前記フォトダイオードに蓄積されたホール電荷を前記リング状ゲートトランジスタへ全画素一斉に転送する転送ゲートトランジスタと、
    を画素毎に備え
    前記リング状ゲート電極及び前記転送ゲート電極の前記ゲート酸化膜を介した直下の領域であって、かつ前記第2導電型の埋め込み部と前記第2導電型のソース近傍領域部との間の領域には前記第1導電型のウェルのみが存在しており、
    前記第2導電型の埋め込み部に蓄積されたホール電荷は、前記リング状ゲート電極下と前記転送ゲート電極下とで前記第1導電型のウェルにバリアとなる電位差が生じないように前記リング状ゲート電極の電位及び前記転送ゲート電極の電位がそれぞれ制御されることにより、前記第1導電型のウェルのみを介して前記第2導電型のソース近傍領域部に全画素一斉に転送され、
    前記ホール電荷が前記撮像信号として出力された後の前記第2導電型のソース近傍領域部は、前記リング状ゲート電極の電位及び前記転送ゲート電極の電位が前記第1導電型の第1ドレイン部の電位以下の電位で、リセットされることを特徴とする車載カメラ。
  2. 前記リング状ゲート電極の電位を制御するリング状ゲート電位制御回路部と、
    前記転送ゲート電極の電位を制御する転送ゲート電位制御回路部と、
    を更に備えていることを特徴とする請求項1記載の車載カメラ。
  3. 請求項1又は2記載の車載カメラと、
    前記車載カメラから出力された前記撮像信号に基づいて前記被写体の動きを検出する動き検出回路部、及び前記動き検出回路部の検出結果と予め設定されている閾値とを比較し、前記検出結果が前記閾値以上のときには危険度が高いと判断してその処理結果を出力する危険度判断回路部を有する処理部と、
    前記処理部から出力された前記処理結果に基づいて車両のシステム制御を行う制御部と、
    を備えていることを特徴とする車両制御装置。
  4. 前記制御部は、ブレーキ制御,エンジン制御,及びエアバッグ制御の少なくともいずれか一つを含むシステム制御を行うことを特徴とする請求項3記載の車両制御装置。
JP2005305265A 2005-10-20 2005-10-20 車載カメラ及び車両制御装置 Expired - Fee Related JP4656515B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005305265A JP4656515B2 (ja) 2005-10-20 2005-10-20 車載カメラ及び車両制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005305265A JP4656515B2 (ja) 2005-10-20 2005-10-20 車載カメラ及び車両制御装置

Publications (2)

Publication Number Publication Date
JP2007116394A JP2007116394A (ja) 2007-05-10
JP4656515B2 true JP4656515B2 (ja) 2011-03-23

Family

ID=38098191

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005305265A Expired - Fee Related JP4656515B2 (ja) 2005-10-20 2005-10-20 車載カメラ及び車両制御装置

Country Status (1)

Country Link
JP (1) JP4656515B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012222374A (ja) * 2011-04-04 2012-11-12 Hitachi Consumer Electronics Co Ltd 車載カメラシステム
CN105306796A (zh) 2015-10-10 2016-02-03 安霸半导体技术(上海)有限公司 具有定期红外照明和全局快门cmos传感器的夜视设备
GB2566020B (en) * 2017-08-29 2020-07-01 Toshiba Kk System and method for motion compensation in images

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1041493A (ja) * 1996-07-24 1998-02-13 Sony Corp 固体撮像素子
JP2002057315A (ja) * 2000-08-15 2002-02-22 Innotech Corp 固体撮像装置及びその駆動方法
JP2002134729A (ja) * 2000-10-26 2002-05-10 Innotech Corp 固体撮像装置及びその駆動方法
JP2003017677A (ja) * 2001-06-28 2003-01-17 Canon Inc 撮像装置
JP2004146904A (ja) * 2002-10-22 2004-05-20 Omron Corp 車載用撮像装置及びそれを用いた車両運転支援装置
JP2005086002A (ja) * 2003-09-09 2005-03-31 Seiko Epson Corp 固体撮像装置及びその駆動方法
JP2005167842A (ja) * 2003-12-04 2005-06-23 Denso Corp 車載監視カメラの露出制御装置
JP2005223146A (ja) * 2004-02-05 2005-08-18 Asahi Kasei Microsystems Kk 固体撮像素子およびその製造方法
JP2005260233A (ja) * 2004-03-10 2005-09-22 Samsung Electronics Co Ltd ポリシリコンのコンタクトスタッドを有するcmosイメージデバイス

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1041493A (ja) * 1996-07-24 1998-02-13 Sony Corp 固体撮像素子
JP2002057315A (ja) * 2000-08-15 2002-02-22 Innotech Corp 固体撮像装置及びその駆動方法
JP2002134729A (ja) * 2000-10-26 2002-05-10 Innotech Corp 固体撮像装置及びその駆動方法
JP2003017677A (ja) * 2001-06-28 2003-01-17 Canon Inc 撮像装置
JP2004146904A (ja) * 2002-10-22 2004-05-20 Omron Corp 車載用撮像装置及びそれを用いた車両運転支援装置
JP2005086002A (ja) * 2003-09-09 2005-03-31 Seiko Epson Corp 固体撮像装置及びその駆動方法
JP2005167842A (ja) * 2003-12-04 2005-06-23 Denso Corp 車載監視カメラの露出制御装置
JP2005223146A (ja) * 2004-02-05 2005-08-18 Asahi Kasei Microsystems Kk 固体撮像素子およびその製造方法
JP2005260233A (ja) * 2004-03-10 2005-09-22 Samsung Electronics Co Ltd ポリシリコンのコンタクトスタッドを有するcmosイメージデバイス

Also Published As

Publication number Publication date
JP2007116394A (ja) 2007-05-10

Similar Documents

Publication Publication Date Title
JP4655898B2 (ja) 固体撮像装置
JP2019057873A (ja) 固体撮像素子及び電子機器
US20230188867A1 (en) Solid-state imaging element
US11974057B2 (en) Solid-state imaging element and imaging device
JP4656515B2 (ja) 車載カメラ及び車両制御装置
CN111758251A (zh) 传感器元件和电子器件
TWI809037B (zh) 固體攝像元件及攝像裝置
US20240171884A1 (en) Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
US20240073553A1 (en) Solid-state imaging element and imaging device
US20230209218A1 (en) Solid-state imaging device and imaging device
WO2022009573A1 (ja) 撮像装置及び撮像方法
JP2007155428A (ja) 車載カメラ装置を用いた運転支援装置
JP4779702B2 (ja) 固体撮像素子
JP4640102B2 (ja) 全方位カメラ
CN115885517A (zh) 固态摄像元件
JP5135772B2 (ja) 固体撮像装置
US20240187752A1 (en) Solid-state imaging element
US20230276149A1 (en) Photoelectric conversion apparatus
WO2022050035A1 (ja) 固体撮像装置
US20240064430A1 (en) Imaging device and electronic apparatus
WO2023007772A1 (ja) 固体撮像素子
WO2023062935A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023276199A1 (ja) 固体撮像素子、電子機器、および、固体撮像素子の制御方法
WO2023157489A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
EP4233176A1 (en) Comparator, analog-to-digital converter, solid-state imaging device, camera system, and electronic apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100326

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101008

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20101025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101203

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101216

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4656515

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees