JP5217912B2 - 撮像装置と撮像方法およびプログラム - Google Patents

撮像装置と撮像方法およびプログラム Download PDF

Info

Publication number
JP5217912B2
JP5217912B2 JP2008281163A JP2008281163A JP5217912B2 JP 5217912 B2 JP5217912 B2 JP 5217912B2 JP 2008281163 A JP2008281163 A JP 2008281163A JP 2008281163 A JP2008281163 A JP 2008281163A JP 5217912 B2 JP5217912 B2 JP 5217912B2
Authority
JP
Japan
Prior art keywords
image
image signal
imaging
unit
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008281163A
Other languages
English (en)
Other versions
JP2010109819A (ja
Inventor
茂 萩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008281163A priority Critical patent/JP5217912B2/ja
Priority to US12/609,146 priority patent/US8497911B2/en
Priority to CN200910207938XA priority patent/CN101729772B/zh
Publication of JP2010109819A publication Critical patent/JP2010109819A/ja
Application granted granted Critical
Publication of JP5217912B2 publication Critical patent/JP5217912B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Description

この発明は、撮像装置と撮像方法およびプログラムに関する。詳しくは、撮像部において所定の露光期間で画像信号の生成を行うとともに、この画像信号の画像レートを低下させることで画像信号の伝送に必要とされる帯域を減少できるようにするものである。
近年、撮像素子の多画素化に伴い画像のデータ量が増大している。このため、画像出力を高速にしたときに伝送帯域制限の限界に達することが現実的になってきている。これを回避する一つの手段として、画像データを圧縮することで画像のデータ量を小さくすることが考えられる。また、他の手段としては、画像圧縮せずにカメラから画像データを送出するときに必要とされる帯域を減らすことが考えられる。ここで、帯域を減少させるためには、例えば特許文献1のように、カメラに対して必要なときだけにトリガ信号を入力することで1フィールド分の画像を取得することが行われる。また、画像サイズを小さくして、必要な帯域を減らすことも考えられる。
特開平10−322604号公報
ところで、非常に高精彩な画像をそのまま使用して鑑賞に堪えうる画像を提供したり、物品検査等の画像処理を行うマシンビジョン用のカメラとして使用するためには、画像を圧縮せずにそのまま維持して伝送することが要求される。したがって、画像を圧縮して伝送することができない。
また、必要なときだけにトリガ信号を入力することで画像を取得するものとした場合、外部にトリガ信号を発生させる機器が必要になってしまい、複数のカメラを用いる場合はシステムが複雑になる。さらに、トリガ信号を制御するタイミング発生用のシステム開発が必要になってしまう問題がある。
画像サイズを小さくして、必要な帯域を減らすものとした場合、撮像された画像を一旦カメラ内のメモリに蓄えておき、画像サイズを小さくして出力しなければならず、画像を蓄えるメモリが必要となる。
そこで、本発明では、所定の露光期間で撮像した画像の伝送を容易に行うことができる撮像装置と撮像方法およびコンピュータプログラムを提供するものである。
この発明の第1の側面は、被写体の光学像を光電変換して画像信号の生成を行う撮像部と、前記撮像部で生成された画像信号を伝送路に出力する出力部と、前記撮像部を駆動して前記画像信号を生成させる駆動部と、前記駆動部を制御して、前記撮像部で所定の露光期間で前記画像信号の生成を行わせるとともに、前記露光期間の前に前記光電変換によって蓄積された電荷を掃き捨てる電荷掃き捨ての間隔を長くすることで前記撮像部で生成する画像信号の画像レートを低下させて該画像信号の伝送に必要とされる帯域を減少させる制御部とを備える撮像装置にある。
この発明において、撮像部は、光電変換によって蓄積された電荷の掃き捨て終了から所定の露光期間が経過するまでに蓄積された電荷を読み出して画像信号の生成を行う。制御部は、画像信号の出力先からの再送要求に応じて、撮像部で生成する画像信号を所定の画像レートから低下させる。例えば、蓄積された電荷の掃き捨てを行う間隔を長くすることで画像レートを低下させる。制御部は、再送要求がないとき、画像レートが所定の画像レートよりも低下している場合には画像レートを上昇させて所定の画像レートとする。
この発明の第2の側面は、撮像部で被写体の光学像を光電変換して画像信号の生成を行うステップと、出力部から前記生成された画像信号を伝送路に出力するステップと、前記撮像部で所定の露光期間で前記画像信号の生成を行わせるとともに、前記露光期間の前に前記光電変換によって蓄積された電荷を掃き捨てる電荷掃き捨ての間隔を長くすることで前記撮像部で生成する画像信号の画像レートを低下させて該画像信号の伝送に必要とされる帯域を減少させるステップとを具備する撮像方法にある。
また、この発明の第3の側面は、撮像部で被写体の光学像を光電変換して画像信号を生成させる機能と、前記撮像部で生成された画像信号を出力部から伝送路に出力させる機能と、前記撮像部で所定の露光期間で前記画像信号の生成を行わせるとともに、前記露光期間の前に前記光電変換によって蓄積された電荷を掃き捨てる電荷掃き捨ての間隔を長くすることで前記撮像部で生成する画像信号の画像レートを低下させて該画像信号の伝送に必要とされる帯域を減少させる機能を、撮像装置内のコンピュータに実現させるためのプログラムにある。
なお、本発明のプログラムは、撮像装置内のコンピュータに予め記憶させておくものとする。また、本発明のプログラムは、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能として、撮像装置内のコンピュータに記憶されているプログラムを、本発明のプログラムに更新可能としてもよい。
この発明によれば、撮像部で所定の露光期間で画像信号の生成が行われるとともに、撮像部で生成する画像信号の画像レートを低下させて画像信号の伝送に必要とされる帯域が減少される。このため、画像信号を伝送する伝送路の負荷を軽減することが可能となり、画像の伝送に使用できる帯域が少なくとも、所定の露光期間で撮像した画像を容易に伝送できるようになる。
以下、発明を実施するための最良の形態(以下実施の形態とする)について説明する。
なお、説明は以下の順序で行う。
1.撮像システムの構成
2.撮像装置の構成
3.撮像装置の動作
<1.撮像システムの構成>
図1は撮像システムの構成を示している。撮像システム10は、1または複数の撮像装置20、撮像装置20から出力された画像データを用いて画像表示等を行うコンピュータ装置30、およびネットワーク中継器例えばスイッチングハブ40を用いて構成されている。スイッチングハブ40は、撮像装置20やコンピュータ装置30から供給されたパケットのヘッダ情報を解析して、供給されたパケットを送出先の機器に転送する。例えば、撮像装置20からコンピュータ装置30を送出先としたパケットが供給されたとき、このパケットをコンピュータ装置30に転送する。また、コンピュータ装置30からいずれかの撮像装置20を送出先としたパケットが供給されたとき、このパケットを送出先で示された撮像装置20に転送する。
図2は撮像装置20の外観を例示している。撮像装置20は、ネットワークと接続するためのRJ−45コネクタ28と撮像装置20に電力を供給するためのコネクタ29が設けられている。撮像装置20は、RJ−45コネクタ28を介して例えば国際規格「IEEE802.3ab(1000BASE−T)」に準拠した画像信号の伝送を行う。なお、IEEE802.3ab(1000BASE−T)の伝送帯域は1Gビット/秒であるが、UDP/IP(User Datagram Protocol/Internet Protocol)通信を行う場合、伝送されるパケットからUDPヘッダとIPヘッダを除くと、画像信号の伝送として使用可能な帯域は950Mビット/秒程度である。この撮像装置20は、画像信号の画像レートすなわちフレームレートあるいはフィールドレートを低下させて、ネットワークの負荷を軽減できるように構成されている。なお、以下の説明では、画像信号の画像レート例えばフレームレートを低下させる場合について説明する。
<2.撮像装置の構成>
図3は、撮像装置の機能構成を示すブロック図である。レンズ部21は、撮像部22の撮像面上に被写体の光学像を結像させる。撮像部22は、CCD(Charge Coupled Device)撮像素子や、CMOS(Complementary Metal Oxide Semiconductor)撮像素子を用いて構成されている。撮像部22は、後述する駆動部25から供給された駆動信号に基づき撮像素子を駆動して、光学像の光電変換により生成された電荷の蓄積や蓄積された電荷の読み出し等を行い電気信号を生成する。また、撮像部22は、生成した電気信号から雑音を除去する処理や、アナログの電気信号をデジタル信号に変換する処理を行い、画像信号として信号処理部23に出力する。
信号処理部23は、画像信号に対して種々の信号処理を行う。例えば、信号処理部23は輝度調整や色補正、輪郭補正等の様々な信号処理を行う。信号処理部23は、信号処理後の画像信号を出力部24に出力する。
出力部24は、信号処理部23から供給された画像信号を、伝送路を介して外部機器に供給する処理を行う。例えば出力部24は、画像信号のパケット化やパケット化された画像信号にヘッダ情報を付加する処理等を行い、RJ−45コネクタ28に接続されたケーブルを介して出力する。なお、ヘッダ情報では、パケットの送信先や送信元のアドレス、パケットの順序を判別可能とするパケットID等が示される。
駆動部25は、後述する制御部26からの制御信号に基づき駆動信号を生成して撮像部22に供給することで、画像信号の生成動作を制御する。駆動部25は、駆動信号として例えば電荷掃き捨て信号や読み出し信号等を生成する。電荷掃き捨て信号は、撮像素子に蓄積されている電荷を掃き捨てるための信号である。また、読み出し信号は、撮像素子に蓄積された電荷を読み出して電気信号を生成するための信号である。したがって、電荷掃き捨て信号から読み出し信号までの電荷蓄積期間が露光期間に相当するものとなる。
制御部26は、制御信号を生成して撮像装置20の各部に供給することで、撮像装置20が所望の動作となるように制御する。また、制御部26は、撮像部22で生成する画像信号の画像レートを低下させることで、画像信号の伝送に必要とされる伝送帯域を少なくする。例えばIEEE802.3ab(1000BASE−T)に準拠したネットワークに流れるデータ量が増加して伝送帯域の空きがなくなるような場合が生じたとき、画像信号の画像レートを低下させて、画像信号の伝送に必要とされる伝送帯域を少なくする。
<3.撮像装置の動作>
次に、撮像装置20の動作について図4を用いて説明する。図4の(A)は、電荷掃き捨て信号φSUBを示している。電荷掃き捨て信号φSUBは、光電変換によって蓄積された電荷を撮像素子から掃き捨てるため、撮像素子の半導体基板に印加される信号であり、パルス電圧が例えば20V〜30Vとされている。駆動部25は、電荷掃き捨て信号φSUBによって撮像素子の半導体基板に例えば20V〜30Vの電圧を印加することで、蓄積されている電荷を基板側に掃き出させる。
図4の(B)は、蓄積されている電荷を読み出すための読み出し信号φSGを示している。駆動部25は、読み出し信号φSGを撮像部22に供給して、撮像素子に蓄積されている電荷に応じた画像信号を生成される。
撮像部22は、電荷掃き捨て信号φSUBが立ち上がりによって電荷の掃き出しを開始して、電荷掃き捨て信号φSUBが立ち下がりによって電荷の掃き出しを終了して電荷の蓄積を行う。また、撮像部22は、読み出し信号φSGの立ち上がりによって蓄積されている電荷の読み出しを行い、読み出した電荷に応じた画像信号を生成する。したがって、電荷掃き捨て信号φSUBの立ち下がりから読み出し信号φSGの立ち上がりまでの期間が、図4の(C)に示すように撮像素子の露光期間TEとなる。
また、出力部24は、図4の(B)に示す読み出し信号φSGによって読み出した電荷に基づき生成された画像信号を、図4の(D)に示すように行う。
次に、駆動部25で行われる電荷掃き捨て信号φSUBの生成動作について図5を用いて説明する。図5の(A)は、水平転送クロック信号HCKを示している。駆動部25は、水平転送クロック信号HCKに同期してカウントを行い図5の(B)に示すようにカウンタ値CTpを得る。駆動部25は、カウンタ値CTpが例えば「u」となったとき、次の水平転送クロック信号HCKの立ち上がりで、図5の(C)に示すように電荷掃き捨て信号φSUBを立ち上げる。その後、電荷掃き捨て期間TDが経過後に電荷掃き捨て信号φSUBを立ち下げる。さらに、駆動部25は、カウンタ値CTpが「v」となったとき、水平転送クロック信号HCKの立ち上がりでカウンタ値CTpを「0」にリセットする。
駆動部25は、水平転送クロック信号HCKに同期してカウントを引き続き行い、カウンタ値が「u」となったとき、次の水平転送クロック信号HCKの立ち上がりで電荷掃き捨て信号φSUBを立ち上げる。この処理を繰り返すことで、1フレーム期間TFを「(v+1)×Thck」として画像の出力を行うことができる。なお、「Thck」は水平転送クロック信号HCKの1周期の期間を示している。
さらに、駆動部25は、制御部26からの制御信号に基づき、カウンタ値CTpをリセットするときのカウンタ値(以下「カウントリセット値」という)RCを変更して、1フレーム期間を変更する。駆動部25は、制御部26からの制御信号に基づき、カウントリセット値RCを例えば「v」から「v+s」に変更する。なお、「s」をレート調整値RSと呼ぶものとする。
図5の(D)は、カウントリセット値RCを「v」から「v+s」に変更したときのカウンタ値CTpを示している。カウントリセット値RCを「v」から「v+s」に変更すると、1フレーム期間は、図5の(E)に示すように「(v+1)×Thck」から「(v+s+1)×Thck」に変更されることから、画像信号のフレームレートは低下したものとなる。例えば、水平転送クロックが36MHzであるとき、1フレーム期間を16秒長くとするためには、レート調整値RSの値を「s=36×16×1000000=576000000」とすればよい。ここで、レート調整値RSは1単位ずつ設定できるので、フレーム期間を水平転送クロック信号HCKの1周期単位で制御することができる。すなわち、カウンタ値CTpをリセットするときのカウント値であるカウントリセット値RCを変更することで、細かいフレームレートの制御を容易に行うことができるようになる。
ここで、露光期間TEを一定、すなわち電荷掃き捨て信号φSUBの立ち下がりから読み出し信号φSGの立ち上がりまでの期間を一定として、カウントリセット値RCを「v」から「v+s」に変更すると、図6の(A)に示すように、電荷掃き捨て信号φSUBの立ち上がりの間隔(フレーム期間)は、「(v+1)×Thck」から「(v+s+1)×Thck」に切りかわる。また、読み出し信号φSGは、図6の(B)に示すように、電荷掃き捨て信号φSUBの立ち下がりから、露光期間TEの経過後に立ち上がる。したがって、露光期間を維持したまま画像信号の伝送に必要とされる帯域を減らすことができる。
レート調整値RSは、ユーザが自由に設定できるようにしてもよく、自動的に設定するようにしてもよい。ユーザがレート調整値RSを自由に設定できるようにすれば、露光期間を維持したまま所望のフレームレートで画像信号を出力させることができる。また、画像信号が伝送される伝送路の混雑状況に応じてレート調整値RSを設定すれば、伝送路の混み合いが激しいときに、レート調整値RSの値を大きくすることで、画像信号の伝送に必要とされる伝送帯域を、伝送路の混み合いに応じて少なくできる。
次に、伝送路の混み合いに応じてフレームレートを調整する場合の動作について説明する。図7は、撮像装置20からコンピュータ装置30に対して画像伝送を行うときのシーケンスを示している。
撮像装置20は、決められている最高速度のフレームレートで常に画像伝送を行い、帯域の空きがなくなるような状態が生じたときにフレームレートを低下させる。撮像装置20は、例えば水平方向が2448画素で垂直方向が2048画素である撮像素子を用いて、15フレーム/秒、12ビットの諧調で非圧縮画像の伝送を行うものとする。この場合、非圧縮画像の伝送に必要な帯域は2448×2048×15×12=902.4Mビット/秒となる。すなわち、伝送帯域が1Gビット/秒であるネットワークを介して、非圧縮画像の伝送を行うものとすると、伝送帯域が1Gビット/秒であるネットワークを用いてUDP/IP通信で画像の伝送を行うものとしたとき、上述のように画像信号の伝送として使用可能な帯域は約950Mビット/秒程度であることから、常に帯域制限いっぱいになるような画像伝送が行われることになる。
撮像装置20は、画像信号をパケット化したのち、各パケットにパケットの順序を判別可能とするパケットIDを含むヘッダ情報を付加して出力する。したがって、コンピュータ装置30は、撮像装置20から送られてくるパケットのパケットIDを読み取ることで、パケットに細分化された画像信号を正しい順序で用いて1フレーム分の画像を再現できる。したがって、パケットが送出順にコンピュータ装置30に到着しなくとも、パケットIDに基づいてパケットの順番を並び替えることによって1フレームの画像を再現することができる。
ここで、パケットの順番が変更されてコンピュータ装置30に供給される場合を図8に示す。撮像装置20は、1フレームの画像をn個のパケットに分けて、「1」から「n」の順番にコンピュータ装置30に送出する。
スイッチングハブ40は、供給されたパケットのヘッダ情報から送出先を判別して、判別した送出先にパケットを転送する。スイッチングハブ40は、複数の撮像装置20や他の機器からパケットが供給されたとき、供給されたパケットを一時保持して整理したのちパケットの転送を行う。このため、スイッチングハブ40に供給されたパケットは、順番が入れ替わって転送される場合がある。例えば撮像装置20から、「1」「2」「3」「4」・・・の順番でパケットが供給されたとき、パケットの整理等が行われたことにより、コンピュータ装置30には「1」「3」「2」「4」・・・の順番でパケットが転送される場合がある。しかし、コンピュータ装置30は、パケットIDを読み取ることでパケットに細分化された画像信号を正しい順序とすることから、パケットの順番が入れ替わっても1フレームの画像を再現できる。
ところで、スイッチングハブ40でパケットの整理等を行うとき、複数の撮像装置20から最高速度のフレームレートで画像伝送が行われたことにより帯域が混み合った状態になると、撮像装置20から順番に送出したパケットがコンピュータ装置30になかなか届かない場合が生じてしまう。このような場合、コンピュータ装置30は、届いていないパケットの送出元である撮像装置20に対して再送要求命令を送出する。撮像装置20は再送要求命令を受け取ると、再送要求命令の送出元であるコンピュータ装置30に対して再送ACKを返答する。また、撮像装置20は、要求されたパケットを送出する。さらに、撮像装置20は再送要求命令が供給されたことから伝送路が混み合っていると判断して、画像信号のフレームレートを低下させる処理を行い、画像信号の伝送に必要とされる伝送帯域を少なくする。
図9は、撮像装置で画像信号の伝送に必要とされる伝送帯域を調整する場合の動作を示すフローチャートである。ステップST1で制御部26は、パケットIDを初期値「0」に設定する。出力部24は、信号処理部23から供給された画像信号のパケット化を行い、パケット化された画像信号に、パケットの送出先やパケットIDを示すヘッダ情報を付加して出力する。ここで、制御部26は、出力部24で付加するヘッダ情報のパケットIDを初期値「0」に設定してステップST2に進む。
ステップST2で制御部26は、再送要求回数を初期値「0」に設定する。制御部26は、パケットの送出先からの再送要求回数をカウントして、カウント結果に基づいてフレームレート制御を行う。ここで、制御部26は、再送要求回数を初期値「0」に設定してステップST3に進む。
ステップST3で制御部26は、パケットIDに「1」を加算して、新たなパケットIDとしてステップST4に進む。
ステップST4で制御部26は、出力部24からパケットを出力させてステップST7に進む。
ステップST5で制御部26は、再送要求があったか否かを判別する。制御部26は、パケットの送出先であるコンピュータ装置30から、再送要求を示すコマンドが供給されたときステップST6に進み、再送要求がないときはステップST8に進む。
ステップST6で制御部26は、要求のあったパケットの再送処理を行う。制御部26は、コンピュータ装置30からの再送要求を示すコマンドによって示されたパケットを、出力部24から出力させてステップST7に進む。
ステップST7で制御部26は、再送要求回数に「1」を加算して、新たな再送要求回数としてステップST8に進む。
ステップST8で制御部26は、パケットIDが「n」となったか否かを判別する。ここで、「n」は1フレームの画像信号のパケット数を示すものである。制御部26は、パケットIDが「n」となっていないとき、すなわち1フレームの画像信号の出力が完了していないときにはステップST3に戻り、パケットIDに「1」を加算して新たなパケットIDとしたのち次のパケットの出力を行う。また、制御部26は、パケットIDが「n」となったとき、すなわち1フレームの画像信号の出力が完了したときステップST9に進む。
ステップST9で制御部26は、レート低下制御が自動制御に設定されていか否か判別する。レート低下制御は、自動制御と手動制御のいずれかをユーザが選択できるようになされている。制御部26は、レート低下制御が自動制御に設定されているときステップST10に進み、手動制御に設定されているときステップST14に進む。
ステップST10で制御部26は再送要求回数が1回以上であるか否か判別する。制御部26は、再送要求回数が1回以上であると判別したときステップST11に進み、再送要求回数が1回未満であると判別したときステップST12に進む。
ステップST11で制御部26は、レート低下処理を行う。制御部26は、駆動部25を制御して、カウントリセット値RCにレート調整値RSを加算して、電荷掃き捨て信号φSUBや読み出し信号φSGを生成させることで、次のフレーム期間を長くする。
ステップST12で制御部26は、フレームレートが最高速度であるか否かを判別する。制御部26は、フレームレートが最高速度であるとき、現在のフレーム期間を維持する。また、制御部26は、レートが最高速度でないときステップST13に進む。
ステップST13で制御部26は、レート上昇処理を行う。制御部26は、再送要求がない場合にフレームレートが最高速度よりも低下しているとき、フレームレートを上昇させる。制御部26は、駆動部25を制御して、カウントリセット値RCからレート調整値RSを減算して、カウントリセット値RCを「v」として、電荷掃き捨て信号φSUBや読み出し信号φSGを生成させることで、次のフレーム期間を長くする。
ステップST9からステップST14に進むと、ステップST14で制御部26は、再送要求回数が1回以上であるか否か判別する。制御部26は、再送要求回数が1回以上であると判別したときステップST16に進み、再送要求回数が1回未満であると判別したときステップST15に進む。
ステップST15で制御部26は、レートが最高速度であるか否かを判別する。制御部26は、フレームレートが最高速度であるとき、現在のフレームレートを維持する。また、制御部26は、フレームレートが最高速度でないときステップST16に進む。
ステップST16で制御部26はレート入力をユーザに行わせる。制御部26は、フレームレートをどのように変更したらよいかを判別可能とする情報を生成して、出力部24からコンピュータ装置30に供給して、コンピュータ装置30の画面上に表示させる。例えば、制御部26は、現在のフレームレートと最高速度のフレームレートおよび再送要求回数等の情報をコンピュータ装置30に供給して、コンピュータ装置30の画面上に表示させる。ユーザは、表示された情報を参考としてフレームレートやフレームレートのアップ/ダウン等の指示を行う。コンピュータ装置30は、ユーザの指示を示す情報を撮像装置20に供給する。撮像装置20の出力部24は、コンピュータ装置30から供給されたユーザの指示を示す情報を制御部26に供給する。制御部26は、ユーザの指示を示す情報に基づき駆動部25の動作を制御して、撮像部22で生成される画像信号のフレームレートを制御する。
なお、フレーム期間が例えば16秒を超えない値とされる場合、カウントリセット値RCは、「57600000」未満とする。また、レート調整値RSは、外部から制御可能な変数値であるが、例えば水平転送クロックが36MHzの時に、500ミリ秒に対応するレート調整値RSは、「18000000」となる。なお、フレームレートの最高速度を15フレーム/秒、水平転送クロックを36MHzとすると、カウントリセット値RCの下限値は、「(36000000/15)−1=2399999」となる。
また、図9に示すフローチャートの動作では、再送要求が行われたときに、カウントリセット値RCに予め設定されているレート調整値RSを加算することで、フレームレートを低下させるものとしたが、再送要求の回数に応じてレート調整値RSを変化させるものとしてもよい。例えば、伝送路の混み合いが大きいときには、再送要求の回数も多くなる。したがって、再送要求の回数が大きいときには、レート調整値RSを大きくすることで、再送要求の回数が少ないときよりもフレームレートをより大きく低下させる。このように、再送要求の回数に応じてレート調整値RSを設定すれば、露光期間をそのまま維持しながら、伝送路の混み具合に応じて撮像部22で生成される画像信号のフレームレートを変化させて、画像信号の伝送に必要とされる帯域を調整するようにしてもよい。さらに、パケットIDに基づき、送出するパケットと再送要求のあったパケットとの時間差を判別して、この時間差に基づきレート調整値RSを設定することもできる。
また、伝送帯域が小さい伝送路が用いられているため、最高のフレームレートで生成した画像信号を伝送することができないような場合が生じても、上述のようにしてフレームレートを低下させることで、所定の露光期間で撮像した画像を容易に伝送できる。
なお、上述の実施の形態では、フレームレートを調整するものとしたが、フィールドレートを同様にして調整するものであってもよい。また、パケットIDの更新や再送要求に対する応答は出力部24で行うものとして、出力部24は、再送要求があったことを制御部26に通知して、レート制御を行うものとしてもよい。
以上のように、撮像部で所定の露光期間で画像信号の生成を行わせるとともに、撮像部で生成する画像信号を所定の画像レートから低下させて、この画像信号の伝送に必要とされる帯域を減少させることで、伝送路の負荷を軽減することが可能となる。したがって、画像の伝送に使用できる帯域が少なくとも、所定の露光期間で撮像した画像を容易に伝送できるようになる。また、画像を縮小して帯域を減らすためのメモリ等を設ける必要がないので、撮像装置を安価に構成できる。
さらに、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合、コンピュータを用いて制御部26を構成して、上述の処理を行うプログラムを予めコンピュータ内のメモリにインストールして実行させるか、あるいは、上述の処理を行うプログラムで、コンピュータ内のメモリに既に記憶されているプログラムを更新する。
プログラムは、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておき、このようなリムーバブル記録媒体から、コンピュータ内のメモリにインストールさせる。また、有線や無線のネットワークを介して撮像装置20に供給して、コンピュータ内のメモリにインストールさせるものとしてもよい。
なお、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。この発明の実施の形態は、例示という形態で本発明を開示したものであり、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
この発明に係る撮像装置と撮像方法およびプログラムでは、撮像部で所定の露光期間で画像信号の生成が行われるとともに、撮像部で生成する画像信号の画像レートを低下させて画像信号の伝送に必要とされる帯域が減少される。このため、ネットワークを介して接続される撮像装置、例えばマシンビジョンカメラ等に好適である。
撮像システムの構成を示す図である。 撮像装置の外観を例示した図である。 撮像装置の機能構成を示すブロック図である。 撮像装置の動作を説明するための図である。 電荷掃き捨て信号φSUBの生成動作を説明するための図である。 フレームレートの変更動作を説明するための図である。 撮像装置からコンピュータ装置に対して画像伝送を行うときのシーケンスを示す図である。 パケットの順番が変更されてコンピュータ装置に供給される場合を示した図である。 伝送帯域を調整する場合の動作を示すフローチャートである。
符号の説明
10・・・撮像システム、20・・・撮像装置、21・・・レンズ部、22・・・撮像部、23・・・信号処理部、24・・・出力部、25・・・駆動部、26・・・制御部、28・・・RJ−45コネクタ、29・・・電源コネクタ、30・・・コンピュータ装置、40・・・スイッチングハブ

Claims (6)

  1. 被写体の光学像を光電変換して画像信号の生成を行う撮像部と、
    前記撮像部で生成された画像信号を伝送路に出力する出力部と、
    前記撮像部を駆動して前記画像信号を生成させる駆動部と、
    前記駆動部を制御して、前記撮像部で所定の露光期間で前記画像信号の生成を行わせるとともに、前記露光期間の前に前記光電変換によって蓄積された電荷を掃き捨てる電荷掃き捨ての間隔を長くすることで前記撮像部で生成する画像信号の画像レートを低下させて該画像信号の伝送に必要とされる帯域を減少させる制御部とを備える撮像装置。
  2. 前記制御部は、前記画像信号の出力先からの再送要求に応じて前記画像レートを低下させる請求項1記載の撮像装置。
  3. 前記制御部は、前記再送要求がないとき、前記画像レートが所定の画像レートよりも低下している場合に前記画像レートを上昇させる請求項2記載の撮像装置。
  4. 前記撮像部は、前記光電変換によって蓄積された電荷の掃き捨て終了から前記露光期間が経過するまでに蓄積された電荷を読み出して前記画像信号の生成を行い、
    前記制御部は、水平転送クロック信号に同期して行われるカウント動作のカウンタ値が所定値となるタイミングで前記電荷掃き捨てを行い、前記カウンタ値をリセットするカウンタ値を変更して前記電荷掃き捨ての間隔を調整する請求項1記載の撮像装置。
  5. 撮像部で被写体の光学像を光電変換して画像信号の生成を行うステップと、
    出力部から前記生成された画像信号を伝送路に出力するステップと、
    前記撮像部で所定の露光期間で前記画像信号の生成を行わせるとともに、前記露光期間の前に前記光電変換によって蓄積された電荷を掃き捨てる電荷掃き捨ての間隔を長くすることで前記撮像部で生成する画像信号の画像レートを低下させて該画像信号の伝送に必要とされる帯域を減少させるステップとを具備する撮像方法。
  6. 撮像部で被写体の光学像を光電変換して画像信号を生成させる機能と、
    前記撮像部で生成された画像信号を出力部から伝送路に出力させる機能と、
    前記撮像部で所定の露光期間で前記画像信号の生成を行わせるとともに、前記露光期間の前に前記光電変換によって蓄積された電荷を掃き捨てる電荷掃き捨ての間隔を長くすることで前記撮像部で生成する画像信号の画像レートを低下させて該画像信号の伝送に必要とされる帯域を減少させる機能を、撮像装置内のコンピュータに実現させるためのプログラム。
JP2008281163A 2008-10-31 2008-10-31 撮像装置と撮像方法およびプログラム Expired - Fee Related JP5217912B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008281163A JP5217912B2 (ja) 2008-10-31 2008-10-31 撮像装置と撮像方法およびプログラム
US12/609,146 US8497911B2 (en) 2008-10-31 2009-10-30 Imaging device, imaging method and program for changing a bandwidth requirement for transmitting an image
CN200910207938XA CN101729772B (zh) 2008-10-31 2009-11-02 成像设备及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008281163A JP5217912B2 (ja) 2008-10-31 2008-10-31 撮像装置と撮像方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2010109819A JP2010109819A (ja) 2010-05-13
JP5217912B2 true JP5217912B2 (ja) 2013-06-19

Family

ID=42130885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008281163A Expired - Fee Related JP5217912B2 (ja) 2008-10-31 2008-10-31 撮像装置と撮像方法およびプログラム

Country Status (3)

Country Link
US (1) US8497911B2 (ja)
JP (1) JP5217912B2 (ja)
CN (1) CN101729772B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6021466B2 (ja) * 2012-06-26 2016-11-09 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、駆動方法、および電子装置
CN108933882B (zh) * 2017-05-24 2021-01-26 北京小米移动软件有限公司 相机模组及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633609B1 (en) * 1996-12-24 2003-10-14 Intel Corporation Method and apparatus for bit rate control in a digital video environment for arbitrary bandwidth
US6522352B1 (en) * 1998-06-22 2003-02-18 Motorola, Inc. Self-contained wireless camera device, wireless camera system and method
US7116717B1 (en) * 1999-12-15 2006-10-03 Bigband Networks, Inc. Method and system for scalable representation, storage, transmission and reconstruction of media streams
US6982758B2 (en) * 2001-07-23 2006-01-03 Micron Technology, Inc. Flexy-power amplifier: a new amplifier with built-in power management
US7122802B2 (en) * 2002-04-19 2006-10-17 Ge Medical Systems Global Technology Company, Llc Method and apparatus for increasing the data acquisition rate in a digital detector
JP2004064300A (ja) * 2002-07-26 2004-02-26 Sony Corp 画像送信システム、画像送信装置、および画像受信装置
JP3683576B2 (ja) * 2003-05-21 2005-08-17 シャープ株式会社 無線通信装置、無線通信システム、ワイヤレスavシステム、無線伝送方法並びに動作制御プログラム及びそのプログラムを記録した記録媒体
JP2006311519A (ja) * 2005-03-31 2006-11-09 Maspro Denkoh Corp 通信システム、情報処理装置及びプログラム

Also Published As

Publication number Publication date
CN101729772A (zh) 2010-06-09
US20100110218A1 (en) 2010-05-06
JP2010109819A (ja) 2010-05-13
CN101729772B (zh) 2012-05-30
US8497911B2 (en) 2013-07-30

Similar Documents

Publication Publication Date Title
JP5493471B2 (ja) 情報処理装置および方法
JP5697743B2 (ja) 映像送信装置、映像送信方法、映像受信装置、および映像受信方法
JP2009021700A (ja) 通信システム、通信装置及び通信システムの通信方法
JP2008219479A (ja) 画像伝送システム、撮像装置、及び画像伝送方法
JP2007325109A (ja) 配信サーバ、ネットワークカメラ、配信方法及びプログラム
JP5217912B2 (ja) 撮像装置と撮像方法およびプログラム
JP4539018B2 (ja) 送信制御装置および方法、記録媒体、並びにプログラム
JP2008271378A (ja) 映像監視装置
JP3964718B2 (ja) 撮像装置及び携帯端末
JP4104577B2 (ja) 画像伝送装置、画像伝送方法、伝送システム、及び映像監視システム
JP5836090B2 (ja) 撮像装置及び制御方法
WO2012141014A1 (ja) 表示制御装置、表示制御方法、及びプログラム
JP2004179953A (ja) 画像サーバと画像サーバシステム、カメラ画像のネットワーク伝送及び表示方法
JP2011019150A (ja) 通信装置および通信装置における回線速度切り替え方法
JP2004215199A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP6658504B2 (ja) 撮像装置、撮像方法および撮像システム
WO2021140768A1 (ja) 送信装置、送信方法
JP5522987B2 (ja) 送信装置、送信方法、及びコンピュータプログラム
WO2012173020A1 (ja) 送信装置、送信方法、及びプログラム
WO2021059326A1 (ja) カメラおよびカメラの制御方法
JP2021077923A (ja) 映像伝送システム、通信装置及びプログラム
JP2015149761A (ja) 符号化信号送信装置
JP2004120506A (ja) ネットワークカメラシステム
JP3812155B2 (ja) 動画像デコーダ
JP2004357235A (ja) 送受信システム及び受信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130218

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees