JP2014511606A - リアルタイムの画像の取得および表示 - Google Patents

リアルタイムの画像の取得および表示 Download PDF

Info

Publication number
JP2014511606A
JP2014511606A JP2013554799A JP2013554799A JP2014511606A JP 2014511606 A JP2014511606 A JP 2014511606A JP 2013554799 A JP2013554799 A JP 2013554799A JP 2013554799 A JP2013554799 A JP 2013554799A JP 2014511606 A JP2014511606 A JP 2014511606A
Authority
JP
Japan
Prior art keywords
image
additional
pixel
display
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013554799A
Other languages
English (en)
Other versions
JP5925812B2 (ja
Inventor
デ・フロート,アルヤン・ウイレム
Original Assignee
フオトニス・ネザーランズ・ベー・フエー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フオトニス・ネザーランズ・ベー・フエー filed Critical フオトニス・ネザーランズ・ベー・フエー
Publication of JP2014511606A publication Critical patent/JP2014511606A/ja
Application granted granted Critical
Publication of JP5925812B2 publication Critical patent/JP5925812B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/12Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification
    • G02B23/125Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification head-mounted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Measurement Of Radiation (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

リアルタイムで画像を取得および表示する撮像装置(100)にして、(i)画像(142)を取得するための放射感応アレイ(120)を備えるイメージセンサ(110)と、(ii)画像を読み出すために放射感応アレイに接続された読み出し回路(140)と、(iii)処理画像(162)を取得するために画像を処理するための信号プロセッサ(160)と、(iv)処理画像を表示するためのディスプレイ(180)とを備え、放射感応アレイはセンサ画素行の配列から成り、ディスプレイはディスプレイ画素行の配列から成る撮像装置(100)であって、読み出し回路は、画素サブセットを順次送信するためにセンサ画素行を順次読み出すローリングシャッタ回路であり、信号プロセッサは、画素サブセットの1つが利用可能である時に、処理画素サブセットを生成するために画素サブセットを処理するように構成され、ディスプレイは、処理画素サブセットが利用可能である時に、ディスプレイ画素行に順次処理画像を表示するために、ディスプレイ画素の対応サブセットに処理画素サブセットを表示するように構成される、撮像装置(100)。

Description

本発明は、リアルタイムで画像を取得および表示するための撮像装置および方法に関する。本発明はさらに、上述の撮像装置を備えたヘルメット、ヘッドマウント、ライフル照準器、または携帯用デバイスに関する。
ダイレクトビューシステムは、画像が撮像部品によって取得され、その後、表示部品によってリアルタイムで使用者に提供される撮像装置である。このようなダイレクトビューシステムでは、画像の取得と画像の表示との間に時間差が生じる場合がある。この時間差は、一般的には、レイテンシと呼ばれる。ダイレクトビューシステムの例として、暗視装置や望遠鏡機器がある。
レイテンシは、大抵は望ましくなく、特に、ダイレクトビューシステムが携帯使用を目的とする場合は、望ましくない。それは、使用者がダイレクトビューシステムを使用している時に移動中である可能性があるためである。レイテンシにより、使用者は、使用者の他の運動覚、例えば、使用者の前庭器官系を通して感知する動作とは異なった、表示部品を通しての動作を認識してしまう可能性がある。レイテンシのために、認識した動作と他の方法で感知した動作との間の不整合が大きすぎる場合、使用者は、吐き気または乗り物酔いをもよおす場合がある。
多くのダイレクトビューシステムは、主に、光学的または光電子的システムである。例えば、暗視装置は、撮像部品として光学素子と画像増強管を備え、表示部品として蛍光面を備える。動作時に、低光量のシーンの光子は光電子に変換され、画像増強管によって増強されて、最終的に再び可視光に変換するために蛍光面に向かって加速される。このようなダイレクトビューシステムのレイテンシは、一般に、蛍光面の減衰によって定義される数ミリ秒であり、これは、携帯使用時に使用者が乗り物酔いをしない程度の十分に小さい値である。
画像をデジタル形式で中間的に利用可能である、すなわち、画像がデジタル信号領域で表示されるダイレクトビューシステムを有するのが望ましい場合がある。このことにより、ダイレクトビューシステムは、デジタル信号処理を使用することにより、画質を改善する、関連情報を画像に重ね合わせるなどの処理が可能になる。このダイレクトビューシステムは、画像を取得するための半導体センサと、画像を処理するための信号プロセッサと、画像を表示するための電子表示装置とを使用する場合がある。
このようなデジタル信号領域を基本にしたダイレクトビューシステムの全レイテンシは、比較的大きくなる場合がある。不利点としては、使用者がこのようなダイレクトビューシステムの携帯使用時に乗り物酔いをする場合があるということである。
本発明の目的は、レイテンシが低減され、画像を信号処理できるように画像がデジタル形式で中間的に利用可能である、リアルタイムで画像を取得および表示するための撮像装置および方法を提供することである。
本発明によれば、上述の目的は、リアルタイムで画像を取得および表示する撮像装置で、(i)画像を取得するための放射感応アレイを備えるイメージセンサと、(ii)画像を読み出すために放射感応アレイに接続された読み出し回路と、(iii)処理画像を取得するために画像を処理するための信号プロセッサと、(iv)処理画像を表示するためのディスプレイとを備え、放射感応アレイはセンサ画素行の配列から成り、ディスプレイはディスプレイ画素行の配列から成る撮像装置であって、読み出し回路は、画素サブセットを順次送信するためにセンサ画素行を順次読み出すローリングシャッタ回路であり、信号プロセッサは、画素サブセットの1つが利用可能である時に、処理画素サブセットを生成するために画素サブセットを処理するように構成され、ディスプレイは、処理画素サブセットが利用可能である時に、ディスプレイ画素行に順次処理画像を表示するために、ディスプレイ画素の対応サブセットに処理画素サブセットを表示するように構成される撮像装置が提供されることで実現される。
本発明のさらに他の態様では、上述の撮像装置を備えたヘルメット、ヘッドマウント、ライフル照準器、または携帯用デバイスが提供される。
本発明のさらに他の態様では、(i)画像を取得するための放射感応アレイを備えるイメージセンサと、(ii)画像を読み出すために放射感応アレイに接続された読み出し回路と、(iii)処理画像を取得するために画像を処理するための信号プロセッサと、(iv)処理画像を表示するためのディスプレイとを備え、放射感応アレイはセンサ画素行の配列から成り、ディスプレイはディスプレイ画素行の配列から成る撮像装置を使用して、リアルタイムで画像を取得および表示する方法であって、画素サブセットを順次送信するための読み出し回路を使用して、センサ画素行を順次読み出すステップと、画素サブセットの1つが利用可能である時に、処理画素サブセットを生成するための信号プロセッサを使用して、画素サブセットを処理するステップと、処理画素サブセットが利用可能である時に、ディスプレイ画素行に順次処理画像を表示するために、ディスプレイを使用して、ディスプレイ画素の対応サブセットに処理画素サブセットを表示するステップとを含む方法が提供される。
本発明のさらに別の態様では、コンピュータ可読媒体に記憶されるコンピュータプログラムであって、プロセッサシステムに上述の方法を実行させる命令を含むコンピュータプログラムが提供される。
本発明の解決策は、リアルタイムで画像を取得および表示するための撮像装置、すなわち、ダイレクトビューシステムと、撮像装置を操作する方法とを提供する。本明細書では、リアルタイムとは、使用者が撮像装置を使用して、現在のシーンを反映するシーン画像をできるだけ時間差なく見ることである。撮像装置は、イメージセンサ、例えば、相補型金属酸化膜半導体(CMOS)センサのような半導体センサを備える。イメージセンサは、シーンから放出または反射された放射をシーンのデジタル表現、すなわち、画像に変換するのに使用される。そのためには、イメージセンサは、センサ画素行の配列から成る放射感応アレイを備える。撮像装置はさらに、読み出し回路、すなわち、センサ画素行から画像をアドレッシングして順次読み出すことにより、放射感応アレイから画像を読み出す回路を備える。撮像装置はさらに、デジタル信号処理を使用してイメージセンサから取得された画像を処理するように構成された信号プロセッサを備える。そのことにより処理画像が得られ、処理画像は、その後、ディスプレイに表示される。ディスプレイは、ディスプレイ画素行の配列から成る。したがって、ディスプレイ画素行は、放射感応アレイの対応するセンサ画素行によって取得された画像を表示するのに使用される。
撮像装置は、取得されている画像と表示されている処理画像との間のレイテンシを低減するように構成されている。そのために、読み出し回路はローリングシャッタ回路である。ローリングシャッタは、ライン走査としても周知であり、センサ画素行が順次、すなわち、行ごとに順々に、または行のサブセットごとに順々に読み出される放射感応アレイの読み出し方法のことである。したがって、読み出された行または行のサブセットは、異なる時点に対応する。ローリングシャッタ回路は、センサ画素行を読み出すことで、順次画素サブセットを信号プロセッサに送信することができる。次に、信号プロセッサは、画素サブセットを受信すると、画素サブセットを処理し、その後、処理結果、すなわち、処理画素サブセットをディスプレイに送信する。各々の処理画素サブセットは、その後、ディスプレイによって、ディスプレイ画素の対応サブセットに表示される。したがって、センサ画素行は、順次読み出されて画素サブセットのシーケンスを形成し、画素サブセットは、信号プロセッサによって受信された後に処理され、ディスプレイによって受信された後に表示される。
本発明は、画素行の読み出し、処理、および表示を行うことであることがわかるであろう。それは、センサおよびディスプレイは、通常、ライン単位で読み出しおよび書き込みを行うためである。しかしながら、当然、本発明は、画素列単位の読み出し、処理、および表示にも同様に適用可能である、すなわち、読み出し回路は、センサ画素列を順次読み出すように配置されてもよい。
本発明は、部分的には、放射感応アレイから画像を読み出すのに従来のダイレクトビューシステム、つまりスナップショットモードが使用されるという認識に基づいている。この場合、全体画像が最初に読み出されて、フレームバッファメモリに記憶され、全体画像が記憶された時のみ、画像が処理されて順次完全な形で表示される。不利点としては、処理前または処理中にフレームバッファに画像を記憶することによって発生したレイテンシにより、ダイレクトビューシステムを携帯使用する時に使用者が乗り物酔いをしてしまう場合があるということである。
上述の解決策の効果は、撮像装置は、センサ画素の対応サブセットが読み出された後に、できる限り速やかにディスプレイ画素サブセットに画素サブセットを表示するように構成されるということである。したがって、撮像装置は、読み出された画像の個々の部分、すなわち、個々の画素サブセットを信号プロセッサに直接送信して、その後に個々の処理部分をディスプレイに送信するように構成される。その結果、撮像装置の全レイテンシが低減される。有利には、撮像装置のレイテンシは、撮像装置を携帯使用する時に使用者が乗り物酔いしないように十分に低減される。
任意で、撮像装置は、追加イメージセンサと追加読み出し回路とを備え、追加イメージセンサは追加画像を取得するための追加放射感応アレイを備え、追加読み出し回路は追加画像を読み出すために追加放射感応アレイに接続され、追加放射感応アレイは追加センサ画素行の配列から成り、追加読み出し回路は追加画素サブセットを順次送信するために追加センサ画素行を順次読み出すための追加ローリングシャッタ回路であり、撮像装置は、画像と追加画像の対応部分をほぼ同期して読み出すことによって画素サブセットと追加画素サブセットの1つを同期して送信するように構成されるローリングシャッタ回路および追加ローリングシャッタ回路によって、画像と追加画像とをディスプレイに同期して表示するように構成され、信号プロセッサは画素サブセットと追加画素サブセットが利用可能である時に、処理画素サブセットを取得するために画素サブセットと追加画素サブセットとを合成するように構成される。
撮像装置は、画像と追加画像とをディスプレイに同期して表示するように構成される。追加画像を取得するために、撮像装置は追加イメージセンサを備える。ローリングシャッタ回路および追加ローリングシャッタ回路は、両方の画像の対応部分を処理するために同期して信号プロセッサに送信して、その後に表示するために、画像と追加画像の対応部分を実質的に同期して読み出すように構成される。このことにより、画素サブセットと追加画素サブセットとが同期して送信される。
上述の解決策の効果は、撮像装置が2つの画像を同時に取得および表示することができ、同時に前記取得と表示との間のレイテンシを低減するように構成されているということである。有利には、撮像装置では、画像の一部と追加画像の一部とが次の処理および表示のために利用可能になったタイミングで不整合を補償する必要がより少ない、もしくは全くないので、必要なバッファメモリが少なくて済む。したがって、撮像装置のコストおよび/または複雑さが低減される。
任意で、イメージセンサは可視光を感知する可視光イメージセンサとし、追加イメージセンサは赤外線を感知する熱イメージセンサとして、可視光画像と熱画像とをディスプレイに同期して表示することができるようにする。有利には、撮像装置は、シーンの可視光と熱放射とを同時に取得して表示するとともに、レイテンシを低減することができる。
任意で、信号プロセッサは、処理画像として画像と追加画像との融合画像を取得するために画素サブセットと追加画素サブセットとを融合させることによって、画素サブセットと追加画素サブセットとを合成するように構成される。画像融合は、2つの画像、特に、同じシーンの2つの関連画像を直観的に合成する方法である。有利には、シーンの可視光および熱放射を使用者に直観的に表示するために、シーンの熱放射は、シーンの可視光に重ね合わせた色として視覚化されてもよい。
任意で、放射感応アレイは第1の空間解像度を有し、追加放射感応アレイは第1の空間解像度より低い第2の空間解像度を有し、追加ローリングシャッタ回路は、前記画素サブセットと追加画素サブセットとを同期して送信することができるように、ローリングシャッタ回路の第1の読み出し速度より遅い第2の読み出し速度で追加画像を読み出すように構成される。
したがって、追加ローリングシャッタ回路は、より遅い読み出し速度を使用することで、確実に画像と追加画像の対応部分を同期して信号プロセッサに送信することができる。例えば、同じ読み出し速度の場合は、一般に、上述した同期性を確実にするためには頻繁に読み出しを途中で停止する必要があるので、読み出し速度を適合させることは前記空間解像度の差を補償する効率的な方法である。有利には、追加ローリングシャッタ回路の読み出し速度を遅くすると、消費電力が小さくなり、ひいては撮像装置の消費電力が小さくなる。
任意で、ローリングシャッタ回路は、撮像フレーム時間内の第1の読み出し速度で画像を読み出すように構成され、追加ローリングシャッタ回路は、撮像フレーム時間内の第2の読み出し速度で追加画像を読み出すように構成される。このようにして、読み出し速度は、画像と追加画像とを同じ撮像フレーム時間内で読み出すように適合させられる。したがって、第2の読み出し速度に対する第1の読み出し速度の比は、第2の空間解像度に対する第1の空間解像度の比に等しくなる。有利には、上述した同時送信を確実にするために、読み出しを途中で停止する必要は全くない。
任意で、ローリングシャッタ回路は、第1の読み出し速度を実現するために第1の画素クロックでクロッキングされ、追加ローリングシャッタ回路は、第2の読み出し速度を実現するために第2の画素クロックでクロッキングされる。したがって、各々のローリングシャッタ回路の画素クロックは、必要な読み出し速度に適合される。有利には、追加ローリングシャッタ回路の画素クロックを遅くすると、消費電力が小さくなる。
任意で、撮像装置は、追加画像として第1の空間解像度を有する拡大画像を生成するために追加画素サブセットを空間的にスケーリングするためのスケーラを備える。スケーラは、追加画像の空間解像度を画像の空間解像度に適合させる効率的な方法を提供する。有利には、追加ローリングシャッタ回路は、追加画素サブセットをバッファに送信し、信号プロセッサがバッファから同一の追加画素サブセットを繰り返し読み出すことによって、空間解像度の差を補償する必要はない。有利には、追加画像は、より優れた画質で、特に、エッジがより高空間解像度で表示される。有利には、追加画像を画像に重ね合わせて、両方の画像の重なり部分がシーンの同じ部分に関連付けられるようにしてもよい。
任意で、スケーラは、画素反復技術、一次線形補間技術、高次線形補間技術、および非線形補間技術の群から少なくとも1つの技術を使用して、空間スケーリングを実行するように構成される。上述の補間技術は、特に、空間スケーリングに適している。
任意で、信号プロセッサは、画素サブセットのパイプライン処理を行うための画像処理パイプラインを備える。プロセッサ設計およびプロセッサアーキテクチャの技術分野で周知のとおり、画像のパイプライン処理の実行は、高いスループット処理を提供する。有利には、信号プロセッサは、新規画素サブセットまたは新規画素サブセットの個々の画素をそれぞれのクロックサイクルで受け取ることができる。有利には、信号プロセッサが先行する画素の処理によりふさがっているために新規画素を受け取ることができない場合に対処するためにバッファリングをする必要はあまりない。
任意で、ローリングシャッタ回路は、第1の読み出し速度で画像を読み出すように構成され、撮像装置は、放射感応アレイに作用する放射量に基づいて第1の読み出し速度を確立するように構成される。放射感応アレイに作用する放射量に基づいて第1の読み出し速度を確立することによって、放射感応アレイの必要な露光時間と、画像の上部と下部の画像間の取得の差との間でトレードオフが成立し、いわゆるスキュー効果が発生する可能性がある。有利には、放射感応アレイに十分な放射が作用している場合には第1の読み出し速度を上げることによって、前記スキュー効果を低減することができる。
任意で、撮像装置は、増強された可視光をイメージセンサに提供させるために画像増強管を備える。画像増強管を使用することによって、イメージセンサは、改善された信号対雑音比で低光量の条件でも画像を取得することができる。画像増強管を備える撮像装置は、一般的に、暗視装置または低光量画像増強管としても周知である。
本発明のこれらの態様および他の態様は、後述される実施形態から明らかであり、これらの実施形態を参照して説明される。
ダイレクトビューシステムのタイミング図である。 イメージセンサを備える撮像装置の図である。 イメージセンサおよびディスプレイを示す図である。 撮像装置のタイミング図である。 図4のタイミング図の代替形態を示す図である。 追加イメージセンサを備える撮像装置の図である。 イメージセンサおよび追加イメージセンサを示す図である。 撮像装置のタイミング図である。 スケーラを備える撮像装置の図である。 読み出し回路の機能の概略図である。 リアルタイムの画像取得および画像表示の方法を示す図である。 コンピュータ可読媒体に記憶されるコンピュータプログラムの図である。
図1は、フレームバッファメモリを備えるダイレクトビューシステムのタイミング図である。この場合、横軸は時間を示しており、縦軸は、画像の読み出しタイミングと画像の処理タイミングと画像の表示タイミングとを視覚的に区別するのに使用されている。この場合、SSはイメージセンサから画像を読み出す期間を示している。読み出しSSは、読み出した画像をフレームバッファメモリでの記憶を含む。このダイレクトビューシステムでは、画像全体がフレームバッファメモリに記憶されている場合のみ処理が行われる。したがって、読み出しSSの完了後、ダイレクトビューシステムは画像の処理PPを開始する。一般的に、画像の各部分は、フレームバッファメモリから読み出され、処理されて、再びフレームバッファメモリもしくは追加フレームバッファメモリに書き込まれる。最後に、処理PPの完了後、ダイレクトビューシステムは画像の表示DDを開始する。したがって、画像の読み出しSSの開始TTと画像の表示DDの開始TTとの間の期間は、使用者がシーンの変化と前記変化を反映する表示画像との間で感じる最小遅延もしくはレイテンシLLを示している。
ダイレクトビューシステムのスループットを向上させるために、読み出し、処理、および表示はパイプライン化されてもよい。これは、画像の処理PPが行われている間に次の画像の読み出しSSが行われるということである。同様に、画像の表示DDが行われている間に次の画像の処理PPが行われるなどの処理が可能である。このようなパイプライン処理は、ダイレクトビューシステムのスループットを向上させることに留意されたい。すなわち、ダイレクトビューシステムは所定の期間内でより多くの画像を読み出して、処理し、表示することができる。しかしながら、前記パイプライン処理は、ダイレクトビューシステムのレイテンシLLには影響を及ぼさない。
図2は、リアルタイムの画像取得および画像表示するための撮像装置100を示す図である。撮像装置100はイメージセンサ110を備え、イメージセンサ110は画像142を取得するための放射感応アレイ120を備える。撮像装置100はさらに、画像142を読み出すために放射感応アレイ120に接続される読み出し回路140と、処理画像162を取得するために画像142を処理する信号プロセッサ160とを備える。そのために、読み出し回路140は、信号プロセッサ160に接続された状態で示されている。撮像装置100はさらに、最後に処理画像162を表示するディスプレイ180を備える。
図3は、放射感応アレイ120を備えるイメージセンサ110を示す図である。図示されるように、放射感応アレイ120は、センサ画素行122の配列から成る。当然、図3に明確に示されていないが、放射感応アレイ120は、アレイであることの結果として、さらにセンサ画素列の配列から成ることに留意されたい。さらに図3には、ディスプレイ画素行182の配列から成るディスプレイ画素アレイとしてディスプレイ180が示されている。当然、図3に明確に示されていないが、ディスプレイ180は、アレイであることの結果として、さらにディスプレイ画素列の配列から成ることに留意されたい。
撮像装置100の動作時に、読み出し回路140は、画素サブセット124を順次送信するためにセンサ画素行122を順次読み出す。この読み出しは、図4および図5のタイミング図に示されている。この場合、Sはイメージセンサ110から画像142を読み出す期間を示している。図4は、上述のダイレクトビューシステムと比較できるように、図1と同様の方法で期間を示している。図5では、横軸は時間を示し、縦軸は行数を示し、Rは放射感応アレイ120の最上行を示しており、Rは最下行を示している。したがって、図5は、読み出し回路140が期間Sの初めに行Rnを読み出して、最後に行Rを読み出す様子を示している。その結果、読み出しSの間に、全ての行RからRが順次読み出される。
上述した放射感応アレイ120の読み出しSは、ローリングシャッタ回路である読み出し回路140によって行われる。ローリングシャッタ回路140は、スナップショットシャッタを使用して放射感応アレイ120を読み出すように構成された回路とは異なる。ローリングシャッタ回路の基本的な動作原理は、(i)行の露光を初期化するために、そして(ii)前記露光後に行のコンテンツを読み出すために、放射感応アレイ120が各行ごとに、すなわち、ライン単位でアドレッシングされるというものである。これは、一般的に、放射感応アレイ120の個々の行にアドレッシングする2つのポインタを使用して行われる。一方のポインタは、現在アドレッシングされている行の露光を初期化するためにその行のリセットを行い、他方のポインタは、読み出される行をアドレッシングする。2つのポインタの位置の差が有効露光時間である。すなわち、「リセット」ポインタが1行のみの差で「読み出し」ポインタの後を追う場合、露光時間は最大となる。
一方、スナップショットシャッタを使用する回路は、一般的には、放射感応アレイからフレームバッファメモリに画像全体を読み出す前に、放射感応アレイ全体を同時に露光する。画像全体を読み出すのに必要な時間の間、放射感応アレイは、それ以上露光しないように構成される。不利な点としては、前記回路による露光時間はローリングシャッタ回路の露光時間より短いということである。一般的に、露光時間が短いことで、信号対雑音比が悪い画像になってしまう、つまり、より雑音が多くなる。文献「EBAPS:Next Generation,Low Power,Digital Night Vision」(Aebi氏他、Intevac社、OPTRO2005シンポジウム、フランス、パリ)には、カメラセンサの露光時間を最大にするためのローリングシャッタ回路の使用について記載されている。
ローリングシャッタ回路140のポインタは、イメージセンサ110自体のインターナルステートマシンによって増やされてもよい。すなわち、ローリングシャッタ回路140は、イメージセンサ110の一部としてもよい。外部ロジック、例えば、イメージセンサ110の外部に配置されるフィールドプログラマブルゲートアレイ(FPGA)を使用して、ステートマシンをクロッキングして、露光時間を決定するための2つのポインタ間の間隔をプログラムすることができる。
ローリングシャッタ回路140は、センサ画素行122を順次読み出すことによって、画素サブセット124を順次送信する。画素サブセット124は、行全体の画素または行のサブセットの画素を含む。画素サブセットはさらに、1行の画素サブセット、例えば、1画素または複数の隣接画素を含む。ローリングシャッタ回路140は、画素サブセット124を信号プロセッサ160に送信し、信号プロセッサ160は、画素サブセット124が利用可能である時に、画素サブセットを処理して処理画素サブセットを生成する。信号プロセッサ160は、順次送信された画素サブセットを処理することによって、画像142を効率的に処理し、処理画像162を生成する。この処理は、図4および図5のタイミング図に示されている。この場合、Pは画像142を処理する期間を示している。図5は、読み出し回路140が期間Pの初めに行Rを処理して、最後に行Rを処理する様子を示している。その結果、読み出しPの間に、全ての行RからRが順次処理される。
読み出しSと処理Pとの間の時間遅延は、図4および図5に示されるように、特に、画素サブセット124のサイズに左右される。例えば、画素サブセット124がセンサ画素行122の画素を含む場合、処理Pは、読み出しSに対して、少なくとも前記画素サブセット124を読み出して信号プロセッサ160に送信するのに必要な期間だけ遅延される。しかしながら、前記時間遅延は、画素サブセット124を順次送信することができるので、画像142全体の読み出しに対応する時間遅延より大幅に小さいことは理解できるであろう。
ディスプレイ180は、処理画素サブセットが利用可能である時に、対応するディスプレイ画素サブセット184に処理画素サブセットを表示する。ディスプレイ180は、順次生成された処理画素サブセットを表示することによって、処理画像162を効率的に表示する。この表示は、図4および図5のタイミング図に示されている。この場合、Dは処理画像162を表示する期間を示している。図5は、ディスプレイ180が期間Dの初めに行Rを表示し、最後に行Rを表示する様子を示している。表示Dと処理Pとの間の時間遅延は、読み出しSと処理Pとの間の時間遅延と同様の考え方を適用できることがわかるであろう。したがって、図2に示されている撮像装置は、読み出しSと表示Dとの間の時間遅延に相当するレイテンシLを生じる。また、次の画像の読み出しSは画像の読み出しSが完了した後に開始されることがわかるであろう。同様に、処理Pは処理Pが完了した後に開始され、表示Dは表示Dが完了した後に開始される。
図6は、撮像装置200の図である。撮像装置200は、イメージセンサ110および読み出し回路140に隣接して、追加イメージセンサ210および追加読み出し回路240を備える。追加イメージセンサ210は、追加画像242を取得するための追加放射感応アレイ220を備える。追加読み出し回路240は、追加画像242を読み出すために、追加放射感応アレイ220に接続される。
図7は、上述のイメージセンサ110および放射感応アレイ110に隣接して追加放射感応アレイ220を備える追加イメージセンサ210を示す図である。図示されるように、追加放射感応アレイ220は、追加センサ画素行222の配列から成る。図7に明確に示されていないが、追加放射感応アレイ220は、アレイであることの結果として、さらにセンサ画素列の配列から成ることに留意されたい。図7はさらに、第1の空間解像度を有する放射感応アレイ120と、第1の空間解像度より低い第2の空間解像度を有する追加放射感応アレイ220とを示している。それゆえに、放射感応アレイ120は、n+1行、すなわち、行Rから行Rで形成され、追加放射アレイ220は、m+1行、すなわち、行Rから行Rで形成される。この場合、mはnより小さい。図6の撮像装置に関する説明の残りの部分においても、この構造が前提となる。しかしながら、当然、第2の空間解像度は第1の空間解像度以上にしてもよいことに留意されたい。さらに、空間解像度は、例えば、1280画素もしくは1024ラインの画像の水平解像度または垂直解像度、または、例えば、1.3メガピクセル画像の合成解像度と呼ぶことができることに留意されたい。
図6に戻ると、読み出し回路140は、追加センサ画素行222を順次読み出すための追加ローリングシャッタ回路として構成される。撮像装置200の動作時に、ローリングシャッタ回路140および追加ローリングシャッタ回路240は、画像142と追加画像242の対応部分をほぼ同期して読み出すことによって、画素サブセット124および追加画素サブセット224を同期して送信する。この場合、対応部分とは、関連する画像コンテンツを有する画像の部分のことである。例えば、イメージセンサ110が可視光112を感知する可視光イメージセンサであり、追加イメージセンサ210が赤外線212を感知する熱イメージセンサである場合、画像142はシーンの可視光画像となり、追加画像242は同じシーンの熱画像となる。したがって、対応部分は、例えば、画像142の最上行Rは追加画像242の最上行Rに対応し、画像142の最下行Rは追加画像242の同最下行Rに対応する等と言える。このことにより、信号プロセッサ260は、画素サブセット124および追加画素サブセット224が利用可能である時に、両方の画素サブセットを合成して処理画素サブセットを取得し、例えば、可視光画像の上に熱画像が重ね合わされた処理画像262を形成することができる。対応部分は、例えば、イメージセンサ110が左側の像を取得し、追加イメージセンサ210が右側の像を取得する場合、全体画像において同じ垂直位置にある部分とすることができることに留意されたい。
第1の空間解像度より低い第2の空間解像度を補償するために、追加ローリングシャッタ回路240は、ローリングシャッタ回路140の第1の読み出し速度より遅い第2の読み出し速度で追加画像242を読み出すように構成される。これは、図5と同様のタイミング図で、さらに追加画像242の読み出しIの期間が追加されたタイミング図である図8に示されている。追加画像242の行数Rは画像142の行数Rより少ないので、第2の読み出し速度は、画像142の読み出しSと同じ時間間隔で追加画像242の読み出しIを可能にするために、より遅くする必要があることがわかるであろう。これは、読み出しSと比較して、水平軸に対して読み出しIの傾斜が緩やかになることで反映されている。
図8は、撮像フレーム時間T内での画像142の読み出しSのために選択された第1の読み出し速度と、同じ撮像フレーム時間T内での追加画像242の読み出しIのために選択された第2の読み出し速度とを示している。撮像フレーム時間Tは、撮像フレームレートと直接関係があり、例えば、60Hz撮像フレームレートで1/60秒=0.0167ミリ秒である。放射感応アレイ120の露光を最大にするために、第1の読み出し速度は、実質的に前記撮像フレーム時間T内で画像142の読み出しSを行うように選択される。また、第2の読み出し速度は、同じ撮像フレーム時間Tで追加画像242の読み出しIを十分に行うように選択される。その結果、第1の読み出し速度と第2の読み出し速度との比率は、本質的に、画像142と追加画像242との対応部分を同期して読み出すための撮像装置200の上述した構造から得られることがわかるであろう。
さらに、図8に示されている例では、第1の読み出し速度および第2の読み出し速度は、撮像フレーム時間T全体にわたって画像142の読み出しSおよび追加画像242の読み出しIを行うように選択される。これは、上述したように放射感応アレイ120および/または追加放射感応アレイ220の露光時間を最大にすることを優先することにより達成される。しかしながら、読み出しSおよび読み出しIはより速く行われてもよい、例えば撮像フレーム時間Tの終了前に完了するようにしてもよい。このことにより、画像142の最上部と最下部との読み出しSの時間差が低減され、ひいては、画像142内のいわゆるスキューアーチファクトを低減する、もしくは防ぐことができる。これらのアーチファクトは、前記時間差が比較的長い場合に生じることが知られている。さらに、撮像装置200は、放射感応アレイ120に作用する放射112の量に応じて第1の読み出し速度を確立するように構成されてもよい。そのため、撮像装置200は、必要な露光時間と上述したスキュー効果との間の妥協点を動的に決定することができる。
ローリングシャッタ回路140は、第1の読み出し速度を実現するために第1の画素クロックでクロッキングされ、追加ローリングシャッタ回路240は、第2の読み出し速度を実現するために第2の画素クロックでクロッキングされてもよい。第2の読み出し速度は第1の読み出し速度より遅いので、第2の画素クロックも第1の画素クロックより遅い。例えば、追加画像242の第2の空間解像度が水平方向および垂直方向ともに画像142の第1の空間解像度の1/4である、例えば、1280×1024画素に対して320×256画素である場合、第1の読み出し回路140は、例えば、44MHzのシステムクロックでクロッキングされ、第2の読み出し回路240は、システムクロックの1/16、つまり、2.75MHz画素クロックでクロッキングされる。一般的に、クロックレートが遅くなると電力消費が小さくなるので、撮像装置200の電力消費は低減される。あるいは、第2の読み出し回路240は、同じように44MHzでクロッキングされるが、平均して、16クロックサイクルごとに1つの画素のみを送信するようにしてもよい。
第2の空間解像度は第1の空間解像度より低いので、追加画像242を第1の空間解像度もしくはディスプレイ180の空間解像度に拡大しなければならない場合がある。これは、全ての場合に必要となるのではなく、例えば、追加画像242がいわゆるピクチャインピクチャ(PiP)として画像142に挿入される場合に必要でないことに留意されたい。図9は、追加画像242として、第1の空間解像度を有する拡大画像252を生成するためのスケーラ250を備える撮像装置300を示す図である。この場合、追加ローリングシャッタ回路240は追加画像242をスケーラ250に送信するためにスケーラ250に接続され、スケーラ250は信号プロセッサ260の拡大画像252を送信するために信号プロセッサ260に接続されている。スケーラ250は、垂直方向の空間スケーリングができるようにラインバッファメモリを備えてもよい。空間スケーリングは、画像処理技術の分野で周知であるように、ゼロ次線形補間技術、すなわち、画素反復または最近傍補間の実行を含んでもよい。空間スケーリングはさらに、例えば、双線補間の一次線形補間、高次線形補間、および非線形補間の技術を含んでもよい。このような技術では、一般的に、補間によるアーチファクトが少ない。
当然、撮像装置300は、明確なスケーラ250を備えなくてもよいことに留意されたい。その代わりに、スケーラとして効率的に機能を果たすバッファが使用されてもよい。例えば、追加ローリングシャッタ回路240は、プロセッサ設計およびプロセッサアーキテクチャの技術分野で周知であるいわゆるファーストインファーストアウト(FIFO)バッファを備えてもよい。追加ローリングシャッタ回路240は、図10に概略的に示されているように、追加放射感応アレイ220から行Rを読み出すことができる。この読み出しは、2.75MHz画素クロックを使用して実行されてもよい。読み出された行Rは、FIFOにバッファリングされ、ローリングシャッタ回路140によって読み出される行Rと同じ読み出し速度で行Rを繰り返し送信するために、より速い画素クロック、例えば、44MHz画素クロックで読み出される。このようにFIFOバッファを使用する技術は、通常はスケーラとして見なされないが、最近傍補間を効率的に実行できることに留意されたい。また、この機能は信号プロセッサ260自体にも実装される、すなわち、信号プロセッサ260が前記バッファリングを行うためにFIFOを備えることができることがわかるであろう。
図11は、(i)画像を取得するための放射感応アレイを備えるイメージセンサと、(ii)画像を読み出すために放射感応アレイに接続された読み出し回路と、(iii)処理画像を取得するために画像を処理するための信号プロセッサと、(iv)処理画像を表示するためのディスプレイとを備え、放射感応アレイはセンサ画素行の配列から成り、ディスプレイはディスプレイ画素行の配列から成る撮像装置を使用して、リアルタイムで画像を取得および表示する方法300であって、画素サブセットを順次送信するための読み出し回路を使用して、センサ画素行を順次読み出すステップ340と、画素サブセットが利用可能である時に、処理画素サブセットを生成するための信号プロセッサを使用して、画素サブセットを処理するステップ360と、処理画素サブセットが利用可能である時に、ディスプレイ画素行に順次処理画像を表示するために、ディスプレイを使用して、ディスプレイ画素の対応サブセットに処理画素サブセットを表示するステップ380とを含む方法を示した図である。
図12は、図11に示される方法300をプロセッサシステムに実行させる命令を含むコンピュータプログラム420を備えるコンピュータ可読媒体400を示す図である。コンピュータプログラム420は、コンピュータ可読媒体400上で、物理的マークとして具現化されてもよいし、またはコンピュータ可読媒体400の磁化を利用して具現化されてもよい。しかしながら、任意の他の適切な実施形態も可能である。また、コンピュータ可読媒体400は、図12では光ディスクとして示されているが、任意の適切なコンピュータ可読媒体400、例えば、リードオンリメモリ、ランダムアクセスメモリ、例えば、ソリッドステートメモリ、フラッシュメモリなどにしてもよいことは理解できるであろう。
当然、本発明は、種々のイメージセンサに対して使用することができるので、例えば、可視光イメージセンサまたは熱センサに限定されない。また、画像142と追加画像242との合成は、例えば、追加画像242の特定の要素を画像142の上に重ね合わせることによって画像142を追加画像242と融合させることを含んでもよい。しかしながら、合成はさらに、画像142と追加画像242のサイドバイサイド方式、ピクチャインピクチャ方式、または同じ空間配置を含む処理画像262の作成を含んでもよい。
信号プロセッサ160は、上述した画像142と追加画像242とを融合させる合成の後に、種々の信号処理を採用してもよい。例えば、信号プロセッサ160は、画像処理の技術分野で周知である種々の画像処理、例えば、不均一性補正、ヒストグラム平坦化、雑音低減、鮮明化、カラーマッピングなどを行ってもよい。さらに、信号プロセッサ160のスループットを向上させるために、信号処理は、画素サブセット124のパイプライン処理を行うための画像処理パイプラインを備えてもよい。
ディスプレイ180は、マイクロ有機発光ダイオード(OLED)または液晶(LC)ベースのディスプレイとしてもよい。イメージセンサ110は、CMOSセンサとしてもよい。信号プロセッサ160は、FPGAで具現化されてもよい。イメージセンサ160は、同期情報、例えば、いわゆる水平SYNC信号および垂直SYNC信号を送信するように構成されてもよい。これらの信号は、撮像装置100によって使用されて、画像142の読み出し、処理、および表示を同期させることができる。同期化情報は、追加読み出し回路240を使用して追加画像242の読み出しを同期させるために使用されてもよい。
上述の説明は、明確にするために、本発明の実施形態を異なる機能ユニットに関して記載したものであることを理解されたい。しかしながら、本発明の範囲から逸脱せずに、異なる機能ユニットもしくはプロセッサ間の任意の適切な機能分散が使用されてもよいことは明確であろう。例えば、別個のプロセッサもしくはコントローラで実行されると説明された機能は、同じプロセッサもしくはコントローラで実行してもよい。したがって、特定の機能ユニットの参照は、厳密な論理的もしくは物理的な構造もしくは構成を指すのではなく、上述の機能を提供する適切な手段に対する参照であると理解されるだけものとする。
本発明は、ハードウェア、ソフトウェア、ファームウェアもしくはこれらの任意の組み合わせを含む任意の適切な形態で実装することができる。本発明は、任意で、少なくとも部分的に、1つまたは複数のデータプロセッサおよび/またはデジタル信号プロセッサ上で実行するコンピュータソフトウェアとして実装されてもよい。本発明の一実施形態の要素および構成部品は、任意の適切な方法で、物理的、機能的、および論理的に実装されてもよい。実際に、機能は、単一ユニットで、複数のユニットで、もしくは他の機能ユニットの一部として実装されてもよい。したがって、本発明は、単一ユニットで実装されてもよく、または異なるユニットおよび異なるプロセッサ間で物理的および機能的に分散されてもよい。
本発明は、いくつかの実施形態に関して説明したが、本発明は、本明細書で記載されている特定の形態に限定されるものではない。むしろ、本発明の範囲は、添付の請求項によってのみ制限される。さらに、特徴は特定の実施形態に関して記載されているが、当業者は、上述の実施形態の種々の特徴を本発明に従って組み合わせてもよいことは理解できるであろう。請求項において、用語「備える」は、他の要素もしくはステップの存在を除外するものではない。
さらに、複数の手段、要素、もしくは方法ステップは、個々に列挙されているが、例えば、単一のユニットもしくはプロセッサによって実装されてもよい。さらに、個々の特徴は異なる請求項に含まれてもよいが、これらの特徴を有利に組み合わせることができ、また異なる請求項に含まれるということは、これらの特徴の組み合わせが実行可能ではない、および/または有利ではないということを示唆するものではない。また、請求項の1つのカテゴリに特徴を含むということは、このカテゴリに限定されるという示唆するのではなく、特徴は必要に応じて他の請求項のカテゴリにも同様に適用できることを示している。さらに、請求項内の特徴の順序は、特徴が正常に機能する任意の特定の順序を示唆するものではなく、特に、方法請求項の個々のステップの順序は、ステップがこの順序で実行されなければならないことを示唆するものではない。むしろ、ステップは、任意の適切な順序で実行されてもよい。さらに、単数形の表現は、複数形を除外するものではない。したがって、「1つの」、「第1の」、「第2の」などの表現は、複数形を除外するものではない。請求項内の参照番号は、明確な例としてのみ記載されており、決して請求項の範囲を制限するものとして解釈されるべきではない。

Claims (15)

  1. リアルタイムで画像を取得および表示する撮像装置(100、200、300)にして、(i)画像(142)を取得するための放射感応アレイ(120)を備えるイメージセンサ(110)と、(ii)画像を読み出すために放射感応アレイに接続された読み出し回路(140)と、(iii)処理画像(162、262)を取得するために画像を処理するための信号プロセッサ(160、260)と、(iv)処理画像を表示するためのディスプレイ(180)とを備え、放射感応アレイはセンサ画素行(122)の配列から成り、ディスプレイはディスプレイ画素行(182)の配列から成る撮像装置(100、200、300)であって、
    読み出し回路は、画素サブセット(124)を順次送信するためにセンサ画素行を順次読み出すローリングシャッタ回路であり、
    信号プロセッサは、画素サブセットの1つが利用可能である時に、処理画素サブセットを生成するために画素サブセットを処理するように構成され、
    ディスプレイは、処理画素サブセットが利用可能である時に、ディスプレイ画素行に順次処理画像を表示するために、ディスプレイ画素の対応サブセット(184)に処理画素サブセットを表示するように構成される、撮像装置(100、200、300)。
  2. 撮像装置が、追加イメージセンサ(210)と追加読み出し回路(240)とを備え、追加イメージセンサは追加画像(242)を取得するための追加放射感応アレイ(220)を備え、追加読み出し回路は追加画像を読み出すために追加放射感応アレイに接続され、追加放射感応アレイは追加センサ画素行(222)の配列から成り、追加読み出し回路は追加画素サブセット(224)を順次送信するために追加センサ画素行を順次読み出すための追加ローリングシャッタ回路であり、撮像装置は、
    ローリングシャッタ回路(140)および追加ローリングシャッタ回路が画像および追加画像の対応部分をほぼ同期して読み出すことによって画素サブセット(124)と追加画素サブセットの1つを同期して送信するように構成されること、および
    信号プロセッサ(260)が画素サブセットと追加画素サブセットが利用可能である時に、処理画素サブセットを取得するために画素サブセットと追加画素サブセットとを合成するように構成されることによって画像(142)と追加画像とをディスプレイ(180)に同期して表示するように構成される、請求項1に記載の撮像装置(200、300)。
  3. イメージセンサ(110)が可視光(112)を感知する可視光イメージセンサであり、追加イメージセンサ(210)は赤外線(212)を感知する熱イメージセンサであり、可視光画像(142)と熱画像(242)とをディスプレイ(180)に同期して表示することができる、請求項2に記載の撮像装置(200、300)。
  4. 信号プロセッサ(260)が、処理画像(262)として画像(142)と追加画像(242)との融合画像を取得するために画素サブセットと追加画素サブセットとを融合させることによって、画素サブセット(124)と追加画素サブセット(224)とを合成するように構成される、請求項2または3のいずれかに記載の撮像装置(200、300)。
  5. 放射感応アレイ(120)が第1の空間解像度を有し、追加放射感応アレイは(220)第1の空間解像度より低い第2の空間解像度を有し、追加ローリングシャッタ回路(240)は、前記画素サブセット(124)と追加画素サブセット(224)とを同期して送信することができるように、ローリングシャッタ回路(140)の第1の読み出し速度より遅い第2の読み出し速度で追加画像(242)を読み出すように構成される、請求項2から4のうちのいずれかに記載の撮像装置(200、300)。
  6. ローリングシャッタ回路(140)が、撮像フレーム時間(Ti)内の第1の読み出し速度で画像(142)を読み出すように構成され、追加ローリングシャッタ回路(240)は、撮像フレーム時間内の第2の読み出し速度で追加画像(242)を読み出すように構成される、請求項5に記載の撮像装置(200、300)。
  7. ローリングシャッタ回路(140)が、第1の読み出し速度を実現するために第1の画素クロックでクロッキングされ、追加ローリングシャッタ回路(240)は、第2の読み出し速度を提供するために第2の画素クロックでクロッキングされる、請求項5または6のいずれかに記載の撮像装置(200、300)。
  8. 撮像装置が、追加画像(242)として第1の空間解像度を有する拡大画像(252)を生成するために追加画素サブセット(224)を空間的にスケーリングするためのスケーラ(250)を備える、請求項5から7のうちのいずれかに記載の撮像装置(200、300)。
  9. スケーラ(250)が、画素反復技術、一次線形補間技術、高次線形補間技術、および非線形補間技術の群から少なくとも1つの技術を使用して、空間スケーリングを実行するように構成される、請求項8に記載の撮像装置(200、300)。
  10. 信号プロセッサ(160、260)が、画素サブセット(124)のパイプライン処理を取得するための画像処理パイプラインを備える、請求項1から9のうちのいずれかに記載の撮像装置(100、200、300)。
  11. ローリングシャッタ回路(140)が、第1の読み出し速度で画像(142)を読み出すように構成され、撮像装置は、放射感応アレイ(120)に作用する放射(112)の量に基づいて第1の読み出し速度が確立するように構成される、請求項1から10のうちのいずれかに記載の撮像装置(100、200、300)。
  12. 撮像装置が、増強された可視光をイメージセンサ(110)に提供するために画像増強管を備える、請求項1から11のうちのいずれかに記載の撮像装置(100、200、300)。
  13. 請求項1から12のうちのいずれかに記載の撮像装置(100、200、300)を備えたヘルメット、ヘッドマウント、ライフル照準器、または携帯用デバイス。
  14. (i)画像を取得するための放射感応アレイを備えるイメージセンサと、(ii)画像を読み出すために放射感応アレイに接続された読み出し回路と、(iii)処理画像を取得するために画像を処理するための信号プロセッサと、(iv)処理画像を表示するためのディスプレイとを備え、放射感応アレイはセンサ画素行の配列から成り、ディスプレイはディスプレイ画素行の配列から成る撮像装置を使用して、リアルタイムで画像を取得および表示する方法(300)であって、
    画素サブセットを順次送信するための読み出し回路を使用して、センサ画素行を順次読み出すステップ(340)と、
    画素サブセットの1つが利用可能である時に、処理画素サブセットを生成するための信号プロセッサを使用して、画素サブセットを処理するステップ(360)と、
    処理画素サブセットが利用可能である時に、ディスプレイ画素行に順次処理画像を表示するために、ディスプレイを使用して、ディスプレイ画素の対応サブセットに処理画素サブセットを表示するステップ(380)とを含む、方法(300)。
  15. コンピュータ可読媒体(400)に記憶されるコンピュータプログラム(420)であって、プロセッサシステムに請求項14に記載の方法を実行させる命令を含む、コンピュータプログラム(420)。
JP2013554799A 2011-02-25 2011-02-25 リアルタイムの画像の取得および表示 Active JP5925812B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2011/052853 WO2012113459A1 (en) 2011-02-25 2011-02-25 Acquiring and displaying images in real-time

Publications (2)

Publication Number Publication Date
JP2014511606A true JP2014511606A (ja) 2014-05-15
JP5925812B2 JP5925812B2 (ja) 2016-05-25

Family

ID=44625386

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013554799A Active JP5925812B2 (ja) 2011-02-25 2011-02-25 リアルタイムの画像の取得および表示

Country Status (13)

Country Link
US (1) US9787918B2 (ja)
EP (1) EP2679000B1 (ja)
JP (1) JP5925812B2 (ja)
KR (1) KR101711097B1 (ja)
CN (1) CN103392335B (ja)
AU (1) AU2011359859B2 (ja)
BR (1) BR112013021410A2 (ja)
CA (1) CA2826675C (ja)
IL (1) IL227845A (ja)
MY (1) MY165813A (ja)
RU (1) RU2570354C2 (ja)
SG (1) SG192767A1 (ja)
WO (1) WO2012113459A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016190437A1 (ja) * 2015-05-28 2016-12-01 株式会社ジャパンディスプレイ 撮像表示システム
JP2018074486A (ja) * 2016-11-01 2018-05-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
JP2018523142A (ja) * 2015-05-04 2018-08-16 グーグル エルエルシー 取込まれた像のパススルー表示
KR20220054069A (ko) * 2020-10-23 2022-05-02 조선대학교산학협력단 콘크리트 강도 측정시스템 및 측정방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5929712B2 (ja) * 2012-11-06 2016-06-08 セイコーエプソン株式会社 撮影装置、撮影装置の制御方法
US9307161B2 (en) 2014-01-10 2016-04-05 Qualcomm Incorporated System and method for capturing digital images using multiple short exposures
FR3020735B1 (fr) * 2014-04-30 2017-09-15 Ulis Procede de traitement d'une image infrarouge pour une correction des non uniformites
US20170094190A1 (en) * 2015-09-30 2017-03-30 Microsoft Technology Licensing, Llc Processing display of digital camera readout with minimal latency
US10432840B2 (en) * 2015-10-08 2019-10-01 L-3 Communication-Insight Technology Division Fusion night vision system
KR102425895B1 (ko) * 2015-12-24 2022-07-27 삼성전자주식회사 전자장치의 데이터 동기 장치 및 방법
CN106449716B (zh) * 2016-11-11 2021-11-26 京东方科技集团股份有限公司 显示面板及其制作方法、显示设备
CN106653802B (zh) * 2016-11-11 2019-07-30 京东方科技集团股份有限公司 显示面板及其制作方法、显示设备
CN107800978B (zh) * 2017-10-26 2020-05-12 天津大学 异步复位同步读出的pwm像素架构
US10768047B2 (en) * 2018-02-15 2020-09-08 Viavi Solutions Inc. Sensor device and methods of use
CN111372038B (zh) * 2018-12-26 2021-06-18 厦门星宸科技有限公司 多串流影像处理装置及方法
CN110392149A (zh) 2019-07-23 2019-10-29 华为技术有限公司 图像摄取显示终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09247519A (ja) * 1996-03-08 1997-09-19 Sony Corp 撮像装置
JP2005159596A (ja) * 2003-11-25 2005-06-16 Mega Chips Corp デジタルカメラ
JP2007228208A (ja) * 2006-02-23 2007-09-06 Clarion Co Ltd 車両周囲監視装置
JP2008537665A (ja) * 2005-03-30 2008-09-18 リットン・システムズ・インコーポレイテッド デジタル式高性能暗視装置
JP2010134743A (ja) * 2008-12-05 2010-06-17 Panasonic Corp 画像処理装置
JP2010154171A (ja) * 2008-12-25 2010-07-08 Olympus Imaging Corp 撮像装置および撮像方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3670940D1 (de) 1985-06-19 1990-06-07 Yamaguchi Cinema Kk Aufnahme- und wiedergabegeraet fuer videosignale.
WO1998000809A1 (en) 1996-06-28 1998-01-08 Hopkins T Eric Image acquisition system
US6560029B1 (en) 2001-12-21 2003-05-06 Itt Manufacturing Enterprises, Inc. Video enhanced night vision goggle
US20030222987A1 (en) 2002-05-30 2003-12-04 Karazuba Paul M. Line scan image recording device with internal system for delaying signals from multiple photosensor arrays
JP4189252B2 (ja) * 2003-04-02 2008-12-03 パナソニック株式会社 画像処理装置及びカメラ
US7112774B2 (en) * 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
KR100594236B1 (ko) * 2003-12-30 2006-06-30 삼성전자주식회사 프레임 메모리 버퍼 없이 영상신호처리를 가능하게 하는고체 촬상 소자 및 그 구동 방법
US7538326B2 (en) * 2004-12-03 2009-05-26 Fluke Corporation Visible light and IR combined image camera with a laser pointer
US7121036B1 (en) 2004-12-23 2006-10-17 Raytheon Company Method and apparatus for safe operation of an electronic firearm sight depending upon the detection of a selected color
JP4561353B2 (ja) 2004-12-24 2010-10-13 日産自動車株式会社 映像信号処理装置とその方法及び車載カメラシステム
US7428378B1 (en) 2005-07-29 2008-09-23 Pure Digital Technologies, Inc. Controlling an exposure time for digital cameras
JP4867552B2 (ja) 2006-09-28 2012-02-01 株式会社ニコン 撮像装置
JP5105907B2 (ja) * 2007-03-06 2012-12-26 キヤノン株式会社 撮像システム
JP2008252331A (ja) 2007-03-29 2008-10-16 Victor Co Of Japan Ltd デジタル監視システム
KR101409769B1 (ko) 2007-08-01 2014-06-19 삼성전자주식회사 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법
RU2389154C1 (ru) * 2008-11-01 2010-05-10 Вячеслав Михайлович Смелков Устройство панорамного телевизионного наблюдения
CN101459829B (zh) 2008-12-25 2011-05-04 杭州恒生数字设备科技有限公司 一种低延迟的全数字监控***
US8994837B2 (en) * 2010-11-26 2015-03-31 Intel Mobile Communications GmbH Image processing devices and image processing methods of moving objects

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09247519A (ja) * 1996-03-08 1997-09-19 Sony Corp 撮像装置
JP2005159596A (ja) * 2003-11-25 2005-06-16 Mega Chips Corp デジタルカメラ
JP2008537665A (ja) * 2005-03-30 2008-09-18 リットン・システムズ・インコーポレイテッド デジタル式高性能暗視装置
JP2007228208A (ja) * 2006-02-23 2007-09-06 Clarion Co Ltd 車両周囲監視装置
JP2010134743A (ja) * 2008-12-05 2010-06-17 Panasonic Corp 画像処理装置
JP2010154171A (ja) * 2008-12-25 2010-07-08 Olympus Imaging Corp 撮像装置および撮像方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018523142A (ja) * 2015-05-04 2018-08-16 グーグル エルエルシー 取込まれた像のパススルー表示
JP2021060590A (ja) * 2015-05-04 2021-04-15 グーグル エルエルシーGoogle LLC 取込まれた像のパススルー表示
US11024082B2 (en) 2015-05-04 2021-06-01 Google Llc Pass-through display of captured imagery
WO2016190437A1 (ja) * 2015-05-28 2016-12-01 株式会社ジャパンディスプレイ 撮像表示システム
US10723265B2 (en) 2015-05-28 2020-07-28 Japan Display Inc. Imaging display system
JP2018074486A (ja) * 2016-11-01 2018-05-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
WO2018084051A1 (ja) * 2016-11-01 2018-05-11 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
KR20220054069A (ko) * 2020-10-23 2022-05-02 조선대학교산학협력단 콘크리트 강도 측정시스템 및 측정방법
KR102502153B1 (ko) 2020-10-23 2023-02-20 조선대학교산학협력단 콘크리트 강도 측정시스템 및 측정방법

Also Published As

Publication number Publication date
EP2679000B1 (en) 2016-11-02
US20130314546A1 (en) 2013-11-28
CN103392335A (zh) 2013-11-13
AU2011359859B2 (en) 2016-06-16
EP2679000A1 (en) 2014-01-01
MY165813A (en) 2018-04-27
RU2570354C2 (ru) 2015-12-10
BR112013021410A2 (pt) 2016-10-25
CA2826675A1 (en) 2012-08-30
IL227845A0 (en) 2013-09-30
CA2826675C (en) 2018-04-10
AU2011359859A1 (en) 2013-08-29
CN103392335B (zh) 2017-06-13
WO2012113459A1 (en) 2012-08-30
JP5925812B2 (ja) 2016-05-25
KR20140008415A (ko) 2014-01-21
IL227845A (en) 2017-03-30
SG192767A1 (en) 2013-09-30
RU2013143314A (ru) 2015-03-27
US9787918B2 (en) 2017-10-10
KR101711097B1 (ko) 2017-02-28

Similar Documents

Publication Publication Date Title
JP5925812B2 (ja) リアルタイムの画像の取得および表示
JP6284937B2 (ja) 光が不十分な環境におけるYCbCrパルス照明システム
JP4255345B2 (ja) 撮像装置
CN102714701A (zh) 图像传感器中的暂停列读出
JP2009254736A (ja) 内視鏡制御ユニットおよび内視鏡システム
JP7477543B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP6578677B2 (ja) 撮影装置
JP6210147B2 (ja) 撮影表示装置、撮影表示装置の制御方法
JP7025177B2 (ja) 撮像装置
JP2014191091A (ja) 撮像装置
EP1455338A1 (en) Image processor with frame-rate conversion
US10070064B2 (en) Display control device including display control section that causes display data to be displayed in first and second regions og display, and controlling method of image capturing sensor and display
CN117788532B (zh) 一种安防领域基于fpga的超高清双光融合配准方法
JP4525382B2 (ja) 表示装置及び撮像装置
JP2024099656A (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP2013197923A (ja) 電子カメラ
JP2020031385A (ja) 撮像装置
JP2020184697A (ja) 撮像装置およびその制御方法
JP2019146128A (ja) 撮像装置、その方法およびプログラム
JP2011004191A (ja) 撮像装置
JP2017055360A (ja) 撮像装置、画像処理装置及びそれらの制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141216

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160420

R150 Certificate of patent or registration of utility model

Ref document number: 5925812

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250