JP7052772B2 - 画像センサ - Google Patents

画像センサ Download PDF

Info

Publication number
JP7052772B2
JP7052772B2 JP2019085462A JP2019085462A JP7052772B2 JP 7052772 B2 JP7052772 B2 JP 7052772B2 JP 2019085462 A JP2019085462 A JP 2019085462A JP 2019085462 A JP2019085462 A JP 2019085462A JP 7052772 B2 JP7052772 B2 JP 7052772B2
Authority
JP
Japan
Prior art keywords
image sensor
control unit
information
operation mode
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019085462A
Other languages
English (en)
Other versions
JP2020181134A (ja
Inventor
浩介 渡辺
康人 上辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2019085462A priority Critical patent/JP7052772B2/ja
Priority to EP20794554.4A priority patent/EP3952283A4/en
Priority to PCT/JP2020/011430 priority patent/WO2020217778A1/ja
Priority to US17/604,933 priority patent/US11689804B2/en
Priority to CN202080031296.7A priority patent/CN113748669B/zh
Publication of JP2020181134A publication Critical patent/JP2020181134A/ja
Application granted granted Critical
Publication of JP7052772B2 publication Critical patent/JP7052772B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/004Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/12Fluid-filled or evacuated lenses
    • G02B3/14Fluid-filled or evacuated lenses of variable focal length
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10Power-operated focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/676Bracketing for image capture at varying focusing conditions
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0053Driving means for the movement of one or more optical element
    • G03B2205/0084Driving means for the movement of one or more optical element using other types of actuators
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005Blur detection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Nonlinear Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Lens Barrels (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Description

本発明は、液体レンズを含む光学系を備えた画像センサに関する。
被検査物の画像を撮影して撮影画像を解析することで被検査物の検査や計測を行う、小型のセンサ装置が知られている。従来、そのようなセンサ装置(以下、画像センサと表記する)としては、幾つかのレンズの光軸方向位置を機械的に変更することによりフォーカスを調整するものが一般的であったが、液体レンズによりフォーカスを調整する画像センサ(例えば、特許文献1参照)も開発されている。なお、液体レンズとは、レンズホルダー内に封入された伝導性の水溶液と非伝導性の油の境界面の形状が電圧印加により変化して屈折力が変化する光学部材のことである。
米国特許出願公開第2017/0090076号明細書
画像センサにおいて、撮影画像に要求される精度は、画像センサの用途(検査対象と内容)によって異なる。例えば、寸法計測や微小な傷検査を行うためには、ボケのない精度の高い撮影画像が必要とされるが、印字の大きいコードリーディングや、印字やラベルの有無検査を行う場合には、多少のボケのある画像でも許容される。一方、液体レンズにおいて、印加電圧変更後の撮影までの待機時間が長いほど画像の精度が向上することが知られている。このため、待機時間を一律に設定すると、低精度のアプリケーションでは無駄時間が発生し、高精度のアプリケーションでは精度が不足する、という問題が起きる。
本発明は、上記現状に鑑みなされたものであり、液体レンズを含む光学系を備えた、液体レンズへの電圧印加から認識処理を開始するまでの待機時間を、ユーザが所望する精度に応じた時間に調整できる画像センサを提供することを目的とする。
本発明の一観点に係る画像センサは、撮像素子と、撮像素子の撮像面に被写体の像を結像させるための、液体レンズを含む光学系と、前記液体レンズへの印加電圧を調整することで前記液体レンズの屈折力を制御する屈折力制御処理と、前記撮像素子からの画像データを解析することで前記被写体に関する所定種類の情報を認識する認識処理とを実行する制御部であって、前記屈折力制御処理により前記液体レンズへの印加電圧が変更されてから前記認識処理を開始するまでの待機時間が異なる複数の動作モードで動作可能な制御部と、を備える。
すなわち、フォーカスを調整するために液体レンズへの印加電圧を変更した後、撮像素子からの画像データを解析することで被写体に関する所定種類の情報を認識する認識処理を行う場合、印加電圧を変更してから認識処理を開始するまでの待機時間が長くなるにつれ、撮影によって得られる画像データの精度は高くなり、印加電圧を変更してから解析結果が得られるまでの時間は長くなる。そして、画像センサは、待機時間が異なる複数の動作モードで動作可能に構成されている。従って、画像センサは、動作モードを指定(選択)することにより、待機時間を、ユーザが所望する精度に応じた時間に調整できる装置として機能することになる。
画像センサの制御部は、ユーザにより指定された動作モードで動作しても良い。制御部11は、ユーザにより指定された、錯乱円径の目標値に基づき、前記複数の動作モードの中から前記認識処理開始時の錯乱円径が前記目標値に最も近くなる動作モードを探索し、探索した動作モードで動作しても良い。また、制御部は、前記複数の動作モードの中から、ユーザにより指定された指定待機時間に待機時間が最も近い動作モードを探索し、探索した動作モードで動作しても良い。
また、画像センサに、『前記制御部を備えた本体モジュールと、前記光学系と、メモリとを備えたレンズモジュールであり、前記メモリは前記レンズモジュールの仕様又は種類を示す第1情報を記憶したレンズモジュールと、を含み、前記制御部は、前記レンズモジュール内の前記メモリから読み出した第1情報に基づき、前記複数の動作モードの中の少なくとも1つの動作モードについての前記待機時間を、前記レンズモジュールに応じた時間に変更する』構成を採用しておいても良い。この構成を採用しておけば、レンズモジュールを交換可能な画像センサであって、少なくとも1つの動作モードについての待機時間を、本体モジュールに実際に装着されているレンズモジュールに応じた時間に調整できる画像センサを得ることが出来る。
画像センサに、『前記制御部を備えた本体モジュールと、前記撮像素子を備えた撮像モジュールと、前記光学系と、メモリとを備えたレンズモジュールであり、前記メモリは前記レンズモジュールの仕様又は種類を示す第1情報を記憶したレンズモジュールと、を含み、前記制御部は、前記レンズモジュールの前記メモリから読み出した第1情報と前記撮像モジュールのメモリから読み出した第2情報とに基づき、前記複数の動作モードの中の少なくとも1つの動作モードについての前記待機時間を、前記レンズモジュールと前記撮像モジュール内の前記撮像素子の組み合わせに応じた時間に変更する』構成を採用しておいても良い。この構成を採用しておけば、レンズモジュール及び撮像モジュールを交換可能な画像センサであって、少なくとも1つの動作モードについての待機時間を、本体モジュールに実際に装着されているレンズ、撮像モジュールの組み合わせに応じた時間に調整できる画像センサを得ることが出来る。
上記構成を画像センサに採用する場合には、さらに、『前記第1情報が、前記液体レンズへの電圧印加後の錯乱円径の時間変化を示す錯乱円径情報であり、前記第2情報が、前記撮像素子の画素ピッチを示す画素ピッチ情報であり、前記制御部は、前記錯乱円径情報及び前記画素ピッチ情報に基づき、各動作モードの前記待機時間を、前記認識処理の開始時の錯乱円径が各動作モードに対応付けられている長さとなる時間に変更する』構成を採用しておいても良い。
本発明によれば、液体レンズを含む光学系を備えた、液体レンズへの電圧印加から認識処理を開始するまでの待機時間を、ユーザが所望する精度に応じた時間に調整できる画像センサを提供することが出来る。
図1は、本発明の第1実施形態に係る画像センサの構成の説明図である。 図2は、第1実施形態に係る画像センサの制御部が実行する測定処理の流れ図である。 図3は、液体レンズへの電圧印加後の経過時間と錯乱円径との関係の説明図である。 図4は、本発明の第2実施形態に係る画像センサの構成の説明図である。 図5は、第2実施形態に係る画像センサの制御部が実行する待機時間算出処理の流れ図である。 図6は、第2実施形態に係る画像センサの変形例を説明するための図である。
以下、本発明の実施の形態を、図面を参照して説明する。
《第1実施形態》
図1に、本発明の第1実施形態に係る画像センサ1の構成の説明図を示す。
図示してあるように、本実施形態に係る画像センサ1は、光学系21と撮像素子31と制御部11と記憶部12とを備えた、いわゆる一体型の画像センサである。また、画像センサ1は、情報処理装置50と接続されて使用される装置となっている。なお、情報処理装置50とは、画像センサ1を利用するための操作用プログラムがインストールされたコンピュータのことである。情報処理装置50には、通常、画像センサ1が複数台接続される。
撮像素子31は、CMOSイメージセンサ、CCDイメージセンサ等のイメージセンサ(本実施形態では、モノクロイメージセンサ)である。光学系21は、撮像素子31の撮像面に被検査物(被写体)の像を結像させるための組み合わせレンズである。この光学系21には、印加電圧により屈折力を制御できる光学部材である液体レンズ22が用いられている。
記憶部12は、制御部11が作業領域として使用するRAMと、フラッシュメモリ等の不揮発性メモリとにより構成された記憶装置である。この記憶部12の不揮発性メモリには、高速モード用の待機時間t1、通常モード用の待機時間t2、高精度モード用の待機時間t3、及び、動作モード指定情報が記憶されている。
動作モード指定情報は、制御部11の動作モードを、高速モード、通常モード及び高精度モードの中のいずれかに指定する情報である。制御部11は、この動作モード指定情報にて指定される動作モードで動作するので、動作モード指定情報は、制御部11の現在の動作モードを示す情報としても機能する。
各モード用の待機時間t1~t3は、液体レンズ22への印加電圧後の経過時間と光学系21の錯乱円径との間の関係と、撮像素子31の画素ピッチPと、比例係数α、β、γ(α>β>γ≧1)とを用いて、以下のように定められた時間である。
高速モード用の待機時間t1:液体レンズ22への印加電圧変更後、光学系21の錯乱円径が、α×Pと一致するまでに要する時間
通常モード用の待機時間t2:液体レンズ22への印加電圧変更後、光学系21の錯乱円径が、β×Pと一致するまでに要する時間
高精度モード用の待機時間t3液体レンズ22への印加電圧変更後、光学系21の錯乱円径が、γ×Pと一致するまでに要する時間
各モード用の待機時間t1~t3を、このように定めている理由については後述する。
制御部11は、測定処理及び受付処理を実行するユニットである。なお、制御部11は、画像センサ1の電源が投入されると、各モード用の待機時間t1~t3を、記憶部12のRAM上に読み出す。また、制御部11は、動作モード指定情報を読み出して、現在の動作モード(以下、現モード)が、読み出した動作モード指定情報が示している動作モード(高速モード、通常モード又は高精度モード)であることを把握(記憶)する。
測定処理は、図2に示した手順の処理である。制御部11は、この測定処理を、設置距離の指定情報を含む測定処理実行指示が情報処理装置50から与えられた場合に実行する、ここで、設置距離とは、光学系21の先端から被検査物までの距離のことである。
図示してあるように、測定処理時、制御部11は、まず、測定処理実行指示中の指定情報で指定されている設置距離と現在の設置距離とを比較することで、液体レンズ22の屈折力の変更が必要であるか否かを判断する(ステップS101)。そして、制御部11は、液体レンズ22の屈折力の変更が必要であった場合(ステップS101;YES)には、屈折力制御処理を行う(ステップS102)。屈折力制御処理は、液体レンズ22への印加電圧を調整することで液体レンズ22の屈折力を制御する処理である。この屈折力制御処理時、制御部11は、指定情報にて指定された設置距離(変更後の設置距離)から、液体レンズ22に印加すべき電圧を求め、求めた電圧を液体レンズ22に印加する。
屈折力制御処理を終えた制御部11は、現モード(現在の動作モード)用の待機時間の経過を待機する(ステップS103)。すなわち、制御部11は、現モードが高速モードであった場合には、高速モード用の待機時間t1の経過を待機し、現モードが通常モードであった場合には、通常モード用の待機時間t2の経過を待機する。また、制御部11は、現モードが高精度モードであった場合には、高精度モード用の待機時間t3の経過を待機する。
そして、制御部11は、現モード用の待機時間が経過した場合には、画像データを出力するように撮像素子31を制御し、撮像素子31からの画像データを解析することで被検査物に関する所定種類の情報を認識する認識処理を行う(ステップS104)。なお、被検査物に関する所定種類の情報とは、被検査物に印字されている文字列や、被検査物に貼付されているラベルの位置等のことである。また、ステップS104にて、制御部11は、認識処理の処理結果を情報処理装置50に送信する処理も行う。
ステップS104の処理を終えた制御部11は、測定処理(図2)を終了する。
また、制御部11は、液体レンズ22の屈折力を変更する必要がなかった場合(ステップS101;NO)には、ステップS102及びS103の処理を行うことなく、認識処理(ステップS104)を行ってから、この測定処理を終了する。
ここまでの説明から明らかなように、各モード用の待機時間は、液体レンズ22への印加電圧の変更後、認識処理を開始するまでの時間を指定するための情報となっている。液体レンズ22の屈折力は、電圧印加後、しだいに目標値(印加電圧に対応する屈折力)に近づいていく。そのため、液体レンズ22への印加電圧を変更すると、光学系21の錯乱円径は、図3に示してある曲線60のように時間変化する。
従って、待機時間を長くすれば、認識処理の処理対象となる画像データを、より高精度のもの(よりボケが少ないもの)とすることが出来ることになる。ただし、錯乱円径が、撮像素子31の画素ピッチPまで減少すれば、それ以上待っても、画像データの精度は向上しない。そして、錯乱円径が比例係数・Pと一致する時間を待機時間として採用しておけば、各モード時のボケ量も推定できることになるので、各モード用の待機時間t1~t3を、上記のように定めているのである。
図1に戻って、画像センサ1の説明を続ける。
受付処理(図1)は、情報処理装置50から動作モード変更要求が送信されてきたときに、制御部11が実行する処理である。
受付処理の詳細を説明する前に、動作モード変更要求について説明する。
情報処理装置50(操作用プログラム)は、所定の操作がなされた場合、ユーザが、動作モードの直接的な指定と、錯乱円径の目標値又は待機時間の入力による動作モードの間接的な指定とを行える画面を表示する。そして、情報処理装置50は、ユーザによって、動作モードが直接的に指定された場合には、指定された動作モードの識別情報を含む動作モード変更要求を画像センサ1に対して送信する。また、情報処理装置50は、ユーザによって、錯乱円径の目標値又は待機時間が入力された場合には、入力された錯乱円径の目標又は待機時間を含む動作モード変更要求を画像センサ1に対して送信する。
以下、受付処理について説明する。
動作モード変更要求が送信されてきたため、受付処理を開始した制御部11は、まず、受信された動作モード変更要求に、動作モードの識別情報、錯乱円径の目標値、待機時間のいずれが含まれているかを判別する。そして、動作モード変更要求に動作モードの識別情報が含まれていた場合には、記憶部12の不揮発性メモリ上の動作モード指定情報を、当該識別情報に対応する動作モード指定情報に更新する。また、制御部11は、現モードが、当該識別情報で識別される動作モードであることを記憶する。
制御部11は、動作モード変更要求に錯乱円径の目標値が含まれていた場合には、高速モード、通常モード及び高精度モードの中から、認識処理開始時の錯乱円径(換言すれば、各モード用の待機時間経過後の錯乱円径)が、目標値に最も近くなる動作モードを探索する。なお、この探索時に、測定処理開始時の錯乱円径が、目標値以下(又は以上)で目標値に最も近くなる動作モードを探索しても良い。そして、制御部11は、記憶部12の不揮発性メモリ上の動作モード指定情報を、探索された動作モードに対応する動作モード指定情報に更新すると共に、現モードが、探索された動作モードであることを記憶する。
また、制御部11は、動作モード変更要求に待機時間(以下、指定待機時間と表記する)が含まれていた場合には、高速モード、通常モード及び高精度モードの中から、待機時間が指定待機時間に最も近い動作モードを探索する。この探索時に、測定処理開始時の錯乱円径が、目標値以下(又は以上)で目標値に最も近くなる動作モードを探索しても良い。そして、制御部11は、記憶部12の不揮発性メモリ上の動作モード指定情報を、探索された動作モードに対応する動作モード指定情報に更新すると共に、現モードが、探索された動作モードであることを記憶する。
以上、説明したように、本実施形態に係る画像センサ1は、待機時間が短いため速度は速いが、フォーカスが合う前に撮影が行われるため精度が低い高速モード、フォーカスが合ってから撮影が行われるため精度は高いが、フォーカスが合うまで待機するため速度は遅い高精度モード、及び、速度も精度も中程度の通常モードを有している。従って、画像センサ1によれば、速度を重視した検査も精度を重視した検査も行うことが出来る。
《第2実施形態》
図4に、本発明の第2実施形態に係る画像センサ2の構成を示す。
以下、画像センサ2の構成及び動作を、画像センサ1と異なる部分を中心に説明する。
本実施形態に係る画像センサ2は、画像センサ1の各部をモジュール化したものに相当する装置である。具体的には、図示してあるように、画像センサ2は、本体モジュール10に、複数のレンズモジュール(LM)20の中のいずれかと、複数の撮像モジュール(CM)30の中のいずれかと、を装着することにより構成される装置となっている。
撮像モジュール30は、CMOSイメージセンサ、CCDイメージセンサ等の撮像素子31(本実施形態では、モノクロイメージセンサ)を備えたモジュールである。本体モジ
ュール10に装着可能な撮像モジュール30としては、撮像素子31の仕様(画素ピッチ、画素数等)が異なる複数の撮像モジュール30が用意されている。各撮像モジュール30内には、シリアルEEPROM等の不揮発性メモリ33が設けられており、各撮像モジュール30の不揮発性メモリ33には、自撮像モジュール30内の撮像素子31の画素ピッチを示す画素ピッチ情報が記憶されている。なお、画素ピッチ情報は、撮像素子31の画素ピッチ自体であっても、画素ピッチと対応付けられている値であっても良い。
レンズモジュール20は、液体レンズ22を含む光学系21を備えたモジュールである。レンズモジュール20としては、光学系21の仕様(光学系21内の液体レンズ22の種類等)が異なる複数のレンズモジュール20が用意されている。各レンズモジュール20内には、シリアルEEPROM等の不揮発性メモリ23が設けられており、各レンズモジュール20の不揮発性メモリ23には、自レンズモジュール20内の光学系21の、液体レンズ22への電圧印加後の錯乱円径の時間変化を示す錯乱円径情報が記憶されている。錯乱円径情報としては、錯乱円径と経過時間の関係を示す曲線(図2における曲線60参照)を近似する近似関数の各係数や、当該曲線上の複数の点の座標(錯乱円径と経過時間)が使用される。
本体モジュール10は、レンズモジュール20及び撮像モジュール30を装着可能に構成されたモジュールであり、制御部11及び記憶部12を備えている。
制御部11は、測定処理、受付処理、待機時間算出処理を実行するユニットである。待機時間算出処理の詳細については後述するが、画像センサ2の制御部11が実行する測定処理、受付処理は、それぞれ、画像センサ1の制御部11が実行する測定処理、受付処理と同じ処理である。また、画像センサ2の制御部11は、画像センサ1の制御部11と同様に、高速モード、通常モード及び高精度モードで動作するものである。
記憶部12は、各種情報を記憶するための記憶装置である。記憶部12は、制御部11が作業領域として使用するRAMと、フラッシュメモリ等の不揮発性メモリとで構成されている。画像センサ2の記憶部12の不揮発性メモリには、画像センサ1の記憶部12の不揮発性メモリと同様に、高速モード用の待機時間t1、通常モード用の待機時間t2、高精度モード用の待機時間t3、及び、動作モード指定情報が記憶される。ただし、画像センサ2の記憶部12の不揮発性メモリ上の各待機時間t1~t3は、予め記憶されているものではなく、待機時間算出処理により算出されて不揮発性メモリに記憶される情報となっている。
以下、待機時間算出処理について説明する。
図5に、待機時間算出処理の流れ図を示す。制御部11は、画像センサ2の電源投入時に、この待機時間算出処理を開始する。そして、待機時間算出処理を開始した制御部11は、まず、本体モジュール10に装着されている各モジュールの不揮発性メモリ23,33から、錯乱円径情報、画素ピッチ情報を読み出す(ステップS301)。次いで、制御部11は、読み出した2情報に基づき、モード毎に、錯乱円径が、各モードの目標精度と一致する経過時間を算出する(ステップS302)。ここで、或るモードの目標精度とは、画素ピッチ情報が示す画素ピッチと、予め定められている当該モード用の比例係数との乗算結果のことである。なお、ステップS302では、錯乱円径情報の構成(データ構造)に応じた内容の処理が行われる。具体的には、錯乱円径情報が、錯乱円径と経過時間の関係を示す曲線を近似する近似関数の各係数である場合、ステップS302では、各係数の値を錯乱円径情報中の値とした近似関数に注目画素ピッチを代入することで、上記経過時間を算出する処理が行われる。また、錯乱円径情報が、錯乱円径と経過時間の関係を示す曲線上の複数の点の座標(錯乱円径と経過時間)である場合には、補間により上記経過
時間を算出する処理が行われる。
ステップS302の処理を終えた制御部11は、各モードについて算出した経過時間を、各モードの待機時間t1~t3として記憶部12内に記憶する(ステップS303)。そして、制御部11は、この待機時間算出処理を終了する。
以上、説明したように、本実施形態に係る画像センサ2は、待機時間が短いため速度は速いが、フォーカスが合う前に撮影が行われるため精度が低い高速モード、フォーカスが合ってから撮影が行われるため精度は高いが、フォーカスが合うまで待機するため速度は遅い高精度モード、及び、速度も精度も中程度の通常モードを有している。従って、画像センサ2によれば、速度を重視した検査も精度を重視した検査も行うことが出来る。
また、画像センサ2は、各モード用の待機時間を、本体モジュール10に装着されているレンズモジュール20と撮像モジュール30の組み合わせに適した値に調整する機能を有している。従って、本実施形態に係る画像センサ2の構成を採用しておけば、レンズモジュール20と撮像モジュール30の組み合わせよらず、ユーザが機能する速度/精度で各種被検査物の検査が可能な画像センサを実現することが出来る。
《変形例》
上記した各実施形態に係る画像センサは、各種の変形が可能なものである。例えば、上記した各実施形態に係る画像センサ1,2の撮像素子31は、モノクロイメージセンサであったが、撮像素子31として、カラーイメージセンサを採用しても良い。なお、撮像素子31として、ベイヤー配列(RGB)の単板式カラーイメージセンサを採用する場合には、画素ピッチとして、実際の画素ピッチに一定の係数A(A>1)を乗じた値を採用しておけば良い。また、画像センサ2を、以下のように変形しても良い。
レンズモジュール20の不揮発性メモリ23、撮像モジュール30の不揮発性メモリ33に、各モジュールの形式を示す形式情報を記憶させておく。また、本体モジュール10の記憶部12には、図6に示したような待機時間テーブル、すなわち、レンズモジュール20の形式情報と撮像モジュール30の形式情報の組み合わせ(“LM-AxCM-A”等)毎に、各モード用の待機時間を記憶した待機時間テーブルを記憶させておく。そして、本体モジュール10の制御部11を、待機時間テーブルから、両モジュールの不揮発性メモリ23,33から読み出した形式情報の組み合わせに対応付けられている各モードの待機時間を読み出すように構成しておく。
また、待機時間テーブル(図6)を情報処理装置50等の外部装置に保持させた上で、画像センサ2の制御部11を、不揮発性メモリ23,33から読み出したLM形式情報及びCM形式情報を含む所定の要求を、当該外部装置に送信することで待機時間を取得するユニットに変形しても良い。画像センサ2の制御部11を、不揮発性メモリ23,33から読み出した情報を含む所定の要求を送信することで外部装置に待機時間(経過時間)を計算させるユニットに変形しても良い。
被検査物との間の距離を検出するための距離センサを画像センサ1、2に搭載した上で、制御部11を、距離センサにより検出された距離から液体レンズ22への印加電圧を求め、求めた印加電圧を液体レンズ22に印加する屈折力制御処理を行うユニットに変形しても良い。また、画像センサ1、2の制御部11を、被検査物の製造ライン近傍の、画像センサ1、2とは異なる場所に設置された距離センサにより検出された距離から液体レンズ22への印加電圧を求め、求めた印加電圧を液体レンズ22に印加する屈折力制御処理を行うユニットに変形しても良い。
画像センサ1,2を、液体レンズ22の制御指示と画像データの解析指示とを別に受ける装置に変形しても良い。画像センサ1,2に、自動的にモードを切り換える機能(情報の認識に失敗した場合に自動的に高精度側の動作モードに変更する機能や、被検査物の色等により自動的に動作モードに変更する機能)を付与しておいても良い。画像センサ2を、本体モジュール10に撮像素子31が取り付けられている画像センサ(レンズモジュール20のみが分離可能な画像センサ)に変形しても良い。画像センサ2を、高精度モード用の待機時間が固定されている装置に変形しても良い。モード数が3ではなくても良いことは、当然のことである。
《付記》
撮像素子(31)と、
撮像素子(31)の撮像面に被写体の像を結像させるための、液体レンズ(22)を含む光学系(21)と、
前記液体レンズ(22)への印加電圧を調整することで前記液体レンズ(22)の屈折力を制御する屈折力制御処理と、前記撮像素子(31)からの画像データを解析することで前記被写体に関する所定種類の情報を認識する認識処理とを実行する制御部(11)であって、前記屈折力制御処理により前記液体レンズへの印加電圧が変更されてから前記認識処理を開始するまでの待機時間が異なる複数の動作モードで動作可能な制御部(11)と、
を備えることを特徴とする画像センサ(1;2)。
1、2 画像センサ
10 本体モジュール
11 制御部
12 記憶部
20 レンズモジュール
21 光学系
22 液体レンズ
23,33 不揮発性メモリ
30 撮像モジュール
31 撮像素子
50 情報処理装置

Claims (7)

  1. 撮像素子と、
    撮像素子の撮像面に被写体の像を結像させるための、液体レンズを含む光学系と、
    前記液体レンズへの印加電圧を調整することで前記液体レンズの屈折力を制御する屈折力制御処理と、前記撮像素子からの画像データを解析することで前記被写体に関する所定種類の情報を認識する認識処理とを実行する制御部であって、前記屈折力制御処理により前記液体レンズへの印加電圧が変更されてから前記認識処理を開始するまでの待機時間が異なる複数の動作モードで動作可能な制御部と、
    を備えることを特徴とする画像センサ。
  2. 前記制御部を備えた本体モジュールと、
    前記光学系と、メモリとを備えたレンズモジュールであり、前記メモリは前記レンズモジュールの仕様又は種類を示す第1情報を記憶したレンズモジュールと、
    を含み、
    前記制御部は、前記レンズモジュール内の前記メモリから読み出した第1情報に基づき、前記複数の動作モードの中の少なくとも1つの動作モードについての前記待機時間を、前記レンズモジュールに応じた時間に変更する、
    ことを特徴とする請求項1に記載の画像センサ。
  3. 前記制御部を備えた本体モジュールと、
    前記撮像素子を備えた撮像モジュールと、
    前記光学系と、メモリとを備えたレンズモジュールであり、前記レンズモジュールの仕様又は種類を示す第1情報を記憶したメモリとを備えたレンズモジュールと、
    を含み、
    前記制御部は、前記レンズモジュールの前記メモリから読み出した第1情報と前記撮像モジュールのメモリから読み出した第2情報とに基づき、前記複数の動作モードの中の少なくとも1つの動作モードについての前記待機時間を、前記レンズモジュールと前記撮像モジュール内の前記撮像素子の組み合わせに応じた時間に変更する、
    ことを特徴とする請求項1に記載の画像センサ。
  4. 前記第1情報が、前記液体レンズへの電圧印加後の錯乱円径の時間変化を示す錯乱円径情報であり、
    前記第2情報が、前記撮像素子の画素ピッチを示す画素ピッチ情報であり、
    前記制御部は、前記錯乱円径情報及び前記画素ピッチ情報に基づき、各動作モードの前記待機時間を、前記認識処理の開始時の錯乱円径が各動作モードに対応付けられている長さとなる時間に変更する、
    ことを特徴とする請求項3に記載の画像センサ。
  5. 前記制御部は、ユーザにより指定された動作モードで動作する、
    ことを特徴とする請求項1から4のいずれか一項に記載の画像センサ。
  6. 前記制御部は、ユーザにより指定された、錯乱円径の目標値に基づき、前記複数の動作モードの中から前記認識処理開始時の錯乱円径が前記目標値に最も近くなる動作モードを探索し、探索した動作モードで動作する、
    ことを特徴とする請求項1から4のいずれか一項に記載の画像センサ。
  7. 前記制御部は、前記複数の動作モードの中から、ユーザにより指定された指定待機時間に待機時間が最も近い動作モードを探索し、探索した動作モードで動作する、
    ことを特徴とする請求項1から4のいずれか一項に記載の画像センサ。
JP2019085462A 2019-04-26 2019-04-26 画像センサ Active JP7052772B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019085462A JP7052772B2 (ja) 2019-04-26 2019-04-26 画像センサ
EP20794554.4A EP3952283A4 (en) 2019-04-26 2020-03-16 IMAGE SENSOR
PCT/JP2020/011430 WO2020217778A1 (ja) 2019-04-26 2020-03-16 画像センサ
US17/604,933 US11689804B2 (en) 2019-04-26 2020-03-16 Image sensor
CN202080031296.7A CN113748669B (zh) 2019-04-26 2020-03-16 图像传感器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019085462A JP7052772B2 (ja) 2019-04-26 2019-04-26 画像センサ

Publications (2)

Publication Number Publication Date
JP2020181134A JP2020181134A (ja) 2020-11-05
JP7052772B2 true JP7052772B2 (ja) 2022-04-12

Family

ID=72942341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019085462A Active JP7052772B2 (ja) 2019-04-26 2019-04-26 画像センサ

Country Status (5)

Country Link
US (1) US11689804B2 (ja)
EP (1) EP3952283A4 (ja)
JP (1) JP7052772B2 (ja)
CN (1) CN113748669B (ja)
WO (1) WO2020217778A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010262246A (ja) 2009-04-06 2010-11-18 Optoelectronics Co Ltd 液体レンズ光学体及び光学的情報読取装置
WO2011052770A1 (ja) 2009-10-30 2011-05-05 株式会社オプトエレクトロニクス 光学的情報読取装置
JP2011530722A (ja) 2008-08-12 2011-12-22 株式会社オプトエレクトロニクス 温度補償された合焦時間を有する液体レンズ

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006093805A (ja) 2004-09-21 2006-04-06 Fuji Photo Film Co Ltd 撮影装置および寿命検知装置
KR100797677B1 (ko) * 2006-06-20 2008-01-23 삼성전기주식회사 액체 렌즈 시스템
JP2010286740A (ja) 2009-06-12 2010-12-24 Optoelectronics Co Ltd 光学的情報読取装置
JP5365419B2 (ja) 2009-08-28 2013-12-11 株式会社Jvcケンウッド 3次元形状センサ
JP2013117594A (ja) 2011-12-02 2013-06-13 Canon Inc 液体レンズ
US9575221B2 (en) 2013-12-31 2017-02-21 Cognex Corporation Systems and methods reduce temperature induced drift effects on a liquid lens
JP6580476B2 (ja) 2015-12-07 2019-09-25 株式会社Fuji 撮像装置
TWI597704B (zh) 2016-12-12 2017-09-01 國立清華大學 液體透鏡晶片、驅動裝置及其驅動方法
EP3679416B1 (en) 2017-10-09 2023-04-12 Huawei Technologies Co., Ltd. Varifocal optical system
CN108415153B (zh) 2018-01-29 2021-06-08 南京邮电大学 一种目标电润湿液体透镜最短响应时长控制方法及***
US20210208387A1 (en) * 2018-05-22 2021-07-08 Corning Incorporated Electrowetting devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011530722A (ja) 2008-08-12 2011-12-22 株式会社オプトエレクトロニクス 温度補償された合焦時間を有する液体レンズ
JP2010262246A (ja) 2009-04-06 2010-11-18 Optoelectronics Co Ltd 液体レンズ光学体及び光学的情報読取装置
WO2011052770A1 (ja) 2009-10-30 2011-05-05 株式会社オプトエレクトロニクス 光学的情報読取装置

Also Published As

Publication number Publication date
EP3952283A4 (en) 2023-01-04
US20220210329A1 (en) 2022-06-30
EP3952283A1 (en) 2022-02-09
CN113748669A (zh) 2021-12-03
CN113748669B (zh) 2023-10-17
JP2020181134A (ja) 2020-11-05
US11689804B2 (en) 2023-06-27
WO2020217778A1 (ja) 2020-10-29

Similar Documents

Publication Publication Date Title
JP6700872B2 (ja) 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
EP3718296B1 (en) Electronic device and method for controlling autofocus of camera
CN103731604A (zh) 追踪装置及追踪方法
CN105208264A (zh) 用于校正相机的***和方法
WO2018228329A1 (zh) 对焦控制方法、装置、计算机可存储介质和移动终端
US20180255223A1 (en) Imaging apparatus and control method therefor, and external device
JP6720070B2 (ja) 撮像装置及びその制御方法、プログラム
US20200049947A1 (en) System and method for optimizing focus of optical system passively
JP7052772B2 (ja) 画像センサ
CN113484868A (zh) Tof相机的调焦方法、装置、控制设备及调焦设备
JP5064831B2 (ja) カメラ、アクセサリーおよびカメラシステム
JP7052773B2 (ja) 画像センサ
JP7247802B2 (ja) 画像センサ
US10827114B2 (en) Imaging system and setting device
WO2020189134A1 (ja) 画像センサ
US20110211107A1 (en) Method to perform sobel calculations and normalization for auto-focus in a digital camera
KR102646750B1 (ko) 표시 객체의 확산 정도에 기반하여 초점을 조절하는 방법 및 이를 구현한 전자 장치
JP6942535B2 (ja) 撮像装置およびその制御方法、レンズ装置およびその制御方法、撮像システム
JP5362981B2 (ja) 撮像装置
WO2020235167A1 (ja) 撮像装置、撮像方法及び記憶媒体
JP2007178798A (ja) 光学機器
CN113709366A (zh) 一种信息处理方法及装置
JP2007318541A (ja) 撮影装置及びその制御方法
JP2020101600A (ja) 撮像システムおよび設定装置
JP2018191205A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220314

R150 Certificate of patent or registration of utility model

Ref document number: 7052772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150