JP4531484B2 - カメラシステム - Google Patents

Description

本発明は、イメージセンサの出力信号を信号処理して画像を出力するカメラシステムに関するものである。

ＣＣＤ(Charge Coupled Device)イメージセンサに比べてノイズが大きいとされてきたＭＯＳ（MetalOxide Semiconductor）イメージセンサは、技術進歩によりノイズ面が改善されてきている。ＭＯＳイメージセンサは、単一チップ上に集積可能で、小型化および高集積化が容易である。その上、２．９Ｖなどの単一電源での駆動が可能であり、さらに、ＣＣＤイメージセンサに比べて低消費電力である。そのため、カメラ付き携帯電話に代表されるようなモバイル機器への採用が増えている。

図８は、従来のイメージセンサを用いたカメラシステムを示す。図８において、１００はフォーカルプレーンシャッタ方式のイメージセンサであって、Ｘ−Ｙアドレス方式で走査する撮像部（エリアセンサ）１０１と、Ｘ−Ｙアドレス方式に従って撮像部１０１を水平方向に走査する水平走査部１０２と、垂直方向に走査する垂直走査部１０３と、水平走査部１０２および垂直走査部１０３によって撮像部１０１を走査した結果読み出された画像信号を出力する出力部１０４とを具備している。撮像部１０１は、入射光を光電変換するための光電変換素子と、その光電変換素子で得られた撮像信号を読み出す読み出し部と、光電変換素子をリセットするリセット部とで構成される単位画素を縦横マトリクス状に配列した構成となっている。

また、２００は信号処理回路（ＤＳＰ）であって、システムを管理するＣＰＵ２０１と、ＣＰＵ２０１からの駆動制御によってイメージセンサ１００を駆動制御するための制御信号（センサ駆動パルス）Ｓｃを出力するタイミングジェネレータ（ＴＧ）２０２と、イメージセンサ１００から出力されてくる画像信号ＳｏのサンプリングおよびＡＤ変換を行うＡＦＥ（アナログフロントエンド）２０３と、ＡＦＥ２０３から出力されるデジタル信号に対してＣＰＵ２０１の指示に従ってメモリ２０４を用いて信号処理を行う信号処理部２０５と、信号処理部２０５で得られた画像データを記憶するメモリ２０４と、信号処理部２０５で処理された信号を外部出力するＩ／Ｆ（interface）部２０６と、ＣＰＵ２０１の指示に従ってメモリ２０４を制御するメモリコントロール部２０７とを具備している。

イメージセンサ１００における撮像部１０１をＸ−Ｙアドレス方式により走査する水平走査部１０２および垂直走査部１０３は、信号処理回路２００におけるタイミングジェネレータ２０２からの制御信号Ｓｃによって駆動される。

図９は、図８のカメラシステムで撮像した被写体の動きを示す。ＭＯＳイメージセンサのようなフォーカルプレーンシャッタ方式のイメージセンサにおいては、ライン毎に受光時間が異なる（フォーカルプレーン蓄積）。すなわち、ＭＯＳイメージセンサの場合の“蓄積の同時性”がない。その結果、特に被写体の動きの方向が撮像部の主走査方向と同方向（平行または反平行）にある場合に、画像歪みを生じる可能性が高い。これは、フォーカルプレーンシャッタ方式のイメージセンサに特有の現象である。

図９（ａ）〜図９（ｃ）は被写体の水平右方向移動時の様子を示す。図９（ａ）に示すＢ１はＮフレーム目での被写体、図９（ｂ）に示すＢ２はＮフレーム目に続くＮ＋１フレーム目での被写体である。つまり、被写体Ｂ１がＢ２のように右方向に移動したことを表している。

図９（ｃ）は、図９（ａ）から図９（ｂ）にかけてのように右方向に移動した被写体を撮影し、イメージセンサ１００を水平方向に読み出したときの出力画像Ｂ３を示す。左上から右下に流れるような画像歪みとなっている。

図９（ｄ）〜図９（ｆ）は被写体の水平左方向移動時の様子を示す。図９（ｄ）に示すＢ４はＮフレーム目での被写体、図９（ｅ）に示すＢ５はＮ＋１フレーム目での被写体である。つまり、被写体Ｂ４がＢ５のように左方向に移動したことを表している。

図９（ｆ）は、図９（ｄ）から図９（ｅ）にかけてのように左方向に移動した被写体を撮影し、イメージセンサ１００を水平方向に読み出したときの出力画像Ｂ６を示す。右上から左下に流れるような画像歪みとなっている。

上記の被写体の移動とは別に、手ぶれに対する動き検出を行い、ＭＯＳイメージセンサ（イメージセンサ）の読み出し位置を算出して、読み出し位置を変更するような取り組みも行われている（例えば、特許文献１参照）。
特開２００１−３５８９９９号公報（第４頁、第１図）

上記のように、ＣＣＤのような電荷転送型のイメージセンサの場合は、全画素を同一期間で受光した画像信号が順番に転送されて読み出されることから、画素毎の受光期間の時間差は発生しない（蓄積の同時性）。これに対して、ＭＯＳイメージセンサのようなＸ−Ｙアドレス方式の撮像部をもったイメージセンサの場合は、通常、１ライン単位で画像情報を読み出すフォーカルプレーンシャッタ方式となっている。そのため、ラインごとに受光時間のズレが発生し、歪んだ画像になることがある。

この対策として、例えば各画素の受光時間を短くする方法が提案されている。しかし、ライン間で歪みが生じることは避けられない。

また、特許文献１では、動き検出に基づいた画素単位の読み出しアドレスの制御により、手ぶれによる歪みの補正を行うようにしている。しかし、ＭＯＳイメージセンサのライン単位での制御が複雑なものとなる上に、ＭＯＳイメージセンサの構造も複雑になる。

さらに、カメラ付き携帯電話に代表されるようなモバイル機器には、レンズユニットが回転する方式のものがあるが、この方式には特許文献１の方法だけでは対応困難である。

また、蓄積の同時性を図るグローバルシャッタ型のＭＯＳイメージセンサもある。しかし、これは構造が複雑で、現状ではモバイル機器への採用は難しい。

また、メカシャッタによって受光時間を合わせる方法もある。しかし、レンズ部の高さが高くなる上に、メカシャッタ制御が必要となり、レンズ部のコストアップを招く。したがって、モバイル機器には適さない。

本発明によるカメラシステムは、Ｘ−Ｙアドレス方式の撮像部と、前記撮像部をＸ−Ｙアドレス方式により走査する水平走査部および垂直走査部と、主走査方向を水平方向とするか垂直方向とするかを決定する主走査方向制御信号に従って前記水平走査部および前記垂直走査部を制御する主走査方向制御部と、前記水平走査部および前記垂直走査部によって前記撮像部を走査した結果読み出された画像信号を出力する出力部とを備えたイメージセンサと、前記イメージセンサにおける前記撮像部の主走査方向を制御する機能を有するとともに、前記出力部から入力した画像信号の信号処理結果を一時記憶するメモリを有する信号処理回路とを備え、前記信号処理回路は、前記出力部からの前記画像信号に基づいて生成された被写体の動きベクトルに応じて前記主走査方向制御信号を生成し、生成した前記主走査方向制御信号を前記イメージセンサの主走査方向制御部に送出し当該主走査方向制御信号に基づいて前記撮像部の主走査方向を制御し、前記主走査方向を切り替えた場合は画像データを前記メモリに一時記憶し、前記メモリから画像データを読み出すときに画像方向を縦横変更するように構成されている。
この構成においては、主走査方向を切り替えた場合は信号処理結果である画像データをメモリに一時記憶し、メモリから画像データを読み出すときに画像方向を変更し、元に戻す。イメージセンサがフォーカルプレーンシャッタ方式ゆえに走査線単位同時読み出しを行うものであっても、撮像部の主走査方向を被写体の動きに応じて適切に切り替えることによって、フォーカルプレーンシャッタ特有の歪んだ画像を改善し、歪みのない画像を得るカメラシステムを実現できる。

あるいは、本発明によるカメラシステムは、Ｘ−Ｙアドレス方式の撮像部と、前記撮像部をＸ−Ｙアドレス方式により走査する水平走査部および垂直走査部と、主走査方向を水平方向とするか垂直方向とするかを決定する主走査方向制御信号に従って前記水平走査部および前記垂直走査部を制御する主走査方向制御部と、前記水平走査部および前記垂直走査部によって前記撮像部を走査した結果読み出された画像信号を出力する出力部とを備えたイメージセンサと、前記イメージセンサにおける前記撮像部の主走査方向を制御する機能を有するとともに、前記出力部から入力した画像信号の信号処理結果を一時記憶するメモリを有する信号処理回路とを備え、前記信号処理回路は、前記出力部からの前記画像信号に基づいて生成された被写体の動きベクトルに応じて前記主走査方向制御信号を生成し、前記主走査方向制御信号の生成が外部入力信号の入力時に有効化され、生成した前記主走査方向制御信号を前記イメージセンサの主走査方向制御部に送出し当該主走査方向制御信号に基づいて前記撮像部の主走査方向を制御し、前記主走査方向を切り替えた場合は画像データを前記メモリに一時記憶し、前記メモリから画像データを読み出すときに画像方向を縦横変更するように構成されている。外部入力信号の入力がないときには主走査方向制御の動作を行わないので、消費電力の増大を抑制することができる。メモリからは縦横変更して読み出すので、得られる画像の向きは正規のものとなる。

上記の外部入力信号については、次のようないくつかの種類がある。

前記イメージセンサを含むレンズユニットの回転（回転位相の変更）を示す信号を外部入力信号としてもよい。

シャッタを押したことを示す信号を外部入力信号としてもよいし、手ぶれ検出信号を外部入力信号としてもよい。ＤＳＣ（デジタルスチルカメラ）のように、イメージセンサを含むカメラ本体に対するシャッタ押しの手ぶれやその他の振動を検知し、その検知結果に応じて撮像部の主走査方向を制御する。これによって、フォーカルプレーンシャッタ特有の画像歪みを改善できる。

また、動画符号量の規定値超過検出信号を外部入力信号としてもよい。動画像データの記録や通信において、容量削減のための動画符号化を行う。動画符号量が過剰に多い場合は画像の歪みが発生している可能性がある。そこで、動画符号量を検知し、その検知結果に応じて撮像部の主走査方向を制御する。これによって、フォーカルプレーンシャッタ特有の画像歪みを改善できる。

また、キズ補正方向の変更信号を外部入力信号としてもよい。プロセス上の画素欠陥などに起因して、撮像部に白キズや黒キズが発生する場合がある。これに対応するためのキズ補正回路が搭載される。キズ補正の効果は縦横で異なることがある。そこで、必要に応じて、ユーザー操作によりキズ補正方向の変更を行う。このキズ補正方向変更信号を外部入力信号としてに与える。キズが目立つ場合は、撮像部の主走査方向を制御してキズ補正を行うことにより画質を向上させることが可能となる。

上記構成のカメラシステムにおいて、前記撮像部としては、入射光を光電変換する光電変換素子と、前記光電変換素子で得られた撮像信号を読み出す読み出し部と、前記光電変換素子をリセットするリセット部とで構成される単位画素を縦横マトリクス状に配列したものが好ましい。これの代表例に、ＭＯＳイメージセンサがある。
また、上記構成のカメラシステムにおいて、前記主走査方向制御信号については、前記出力部からの前記画像信号に基づいて生成された被写体の動きベクトルに応じて生成されたものを利用することが好ましい。

本発明によれば、フォーカルプレーンシャッタ方式のイメージセンサにおける走査線単位同時読み出しであっても、被写体の動きに応じて撮像部の主走査方向を切り替え、またはレンズユニットを回転することによって、フォーカルプレーンシャッタ特有の現象である歪んだ画像を抑制できる。

また、手ぶれやキズ補正の効果の向上にも有効である。さらには、ＭＰＥＧなどの動画符号化を含んだカメラシステムにおいてもフォーカルプレーンシャッタ方式のイメージセンサに特有の画像歪みによる符号量増加を抑制する効果をもたらす。メカシャッタ等の機構も不要であり、構造の簡素化を図りつつローコストでのシステム設計が可能である。したがって、携帯電話等のモバイルカメラシステムに適している。

以下、本発明の実施の形態について図面を参照して説明する。なお、各図において、メモリやタイミングジェネレータ、ＡＦＥが信号処理回路（ＤＳＰ）内にあるように記載しているが、信号処理回路の外部にある構成でも構わない。

（実施の形態１）
図１は、本発明の実施の形態１におけるカメラシステムの構成を示すブロック図である。このカメラシステムは、イメージセンサ１００と信号処理回路２００から構成されている。

図１において、１００はフォーカルプレーンシャッタ方式のイメージセンサであって、Ｘ−Ｙアドレス方式で走査する撮像部（エリアセンサ）１０１と、Ｘ−Ｙアドレス方式に従って撮像部１０１を水平方向に走査する水平走査部１０２と、垂直方向に走査する垂直走査部１０３と、水平走査部１０２および垂直走査部１０３によって撮像部１０１を走査した結果読み出された画像信号を出力する出力部１０４と、主走査方向を水平方向とするか垂直方向とするかを決定する主走査方向制御信号に従って水平走査部１０２および垂直走査部１０３を制御する主走査方向制御部１０５とを具備している。撮像部１０１はＭＯＳイメージセンサで構成され、入射光を光電変換するための光電変換素子と、その光電変換素子で得られた撮像信号を読み出す読み出し部と、光電変換素子をリセットするリセット部とで構成される単位画素を縦横マトリクス状に配列した構成となっている。

また、信号処理回路２００はＤＳＰ（Digital Signal Processor）で構成されており、システムを管理するＣＰＵ２０１と、ＣＰＵ２０１からの駆動制御によってイメージセンサ１００を駆動制御するための制御信号（センサ駆動パルス）Ｓｃを出力するタイミングジェネレータ（ＴＧ）２０２と、イメージセンサ１００から出力されてくる画像信号ＳｏのサンプリングおよびＡＤ変換を行うＡＦＥ（アナログフロントエンド）２０３と、ＡＦＥ２０３から出力されるデジタル信号に対してＣＰＵ２０１の指示に従ってメモリ２０４を用いて信号処理を行う信号処理部２０５と、信号処理部２０５での信号処理のために画像データを一時記憶するメモリ２０４と、信号処理部２０５で処理された信号を外部出力するＩ／Ｆ（interface）部２０６と、ＣＰＵ２０１の指示に従ってメモリ２０４を制御するメモリコントロール部２０７と、信号処理部２０５の結果を用いて被写体の動き検出を行う動き検出部２０８とを具備している。

信号処理回路２００における動き検出部２０８は、信号処理部２０５の処理結果に基づいて被写体の動きを動きベクトルとして検出し、その結果をＣＰＵ２０１に与える。ＣＰＵ２０１は、与えられた被写体の動きベクトル情報に基づいてイメージセンサ１００における主走査方向を決定し、主走査方向制御信号をタイミングジェネレータ２０２を介してイメージセンサ１００に送出する。この主走査方向制御信号は制御信号Ｓｃとしてイメージセンサ１００に与えられる。

ＣＰＵ２０１は、現在の主走査方向と処理画像データ中の被写体動き方向とを比較し、両者が不一致であれば、主走査方向制御信号として現在の主走査方向を維持し、両者が一致するときは主走査方向制御信号として９０度変更の方向切り替えを行う。具体的には、現在の主走査方向が水平方向であるときに、処理画像データ中の被写体動き方向が水平方向であれば、９０度変換の垂直方向を主走査方向にすべきとする主走査方向制御信号を送出する。また、現在の主走査方向が垂直方向であるときに、処理画像データ中の被写体動き方向が垂直方向であれば、９０度変換の水平方向を主走査方向にすべきとする主走査方向制御信号を送出する。

イメージセンサ１００の主走査方向制御部１０５は、信号処理回路２００からの主走査方向制御信号に従って水平走査部１０２および垂直走査部１０３を制御し、主走査方向が主走査方向制御信号に従った方向となるようにする。

次に、以上のように構成された本実施の形態のカメラシステムの動作を説明する。

図２（ａ）の上側の図は、従来技術の場合の図９（ｃ）に相当する。これは、被写体が水平右方向に移動した場合の画像Ｂ３を示している。ここでの主走査方向は水平方向となっている。これに対して、本実施の形態の場合は、図２（ａ）の下側の図のようになる。

図２（ｂ）の上側の図は、従来技術の場合の図９（ｆ）に相当する。これは、被写体が水平左方向に移動した場合の画像Ｂ６を示している。ここでの主走査方向は水平方向となっている。これに対して、本実施の形態の場合は、図２（ｂ）の下側の図のようになる。

いま、静止画撮影時または動画撮影時に、ＣＰＵ２０１による主走査方向制御信号が水平方向を主走査方向とすべき通常モードにあるとする。この状態で被写体を撮影し、動き検出部２０８によって被写体の動きベクトルが水平の右方向または左方向であると検知されたとする。この場合、ＣＰＵ２０１は垂直方向を主走査方向とすべき主走査方向制御信号を生成し、タイミングジェネレータ２０２を介してイメージセンサ１００に送出する。その結果、主走査方向制御部１０５は、垂直走査部１０３による走査を主走査とし、水平走査部１０２による走査を副走査とするように、垂直走査部１０３および水平走査部１０２を制御する。これにより、図２（ａ），（ｂ）の下側の図に示すように、主走査方向を垂直方向とする状態で撮像部１０１が走査される。同時読み出しの方向が水平方向から垂直方向に切り替えられる。全ラインが同時読み出しされることになる。出力部１０４からの画像信号Ｓｏは通常に比べて縦横変換した信号となるが、信号処理回路２００における信号処理部２０５での信号処理の際に、メモリ２０４を用いて縦横逆変換を行う。すなわち、画像信号Ｓｏを信号処理した結果の画像データをそのままメモリ２０４に一時記憶させ、メモリ２０４から画像データを読み出すときに縦横変換して元に戻す。その結果、出力画像はＡ１，Ａ２のようになる。右方向移動の場合の画像Ａ１は若干幅広になり、左方向移動の場合の画像Ａ２は若干幅細になるが、いずれも、フォーカルプレーンシャッタ動作に起因する画像歪みは抑制されている。

以上のように本実施の形態によれば、主走査方向を切替可能なイメージセンサを用いたカメラシステムにおいて、撮像部の主走査方向と処理画像データ中の被写体動き方向との比較を通じて、両者が一致しているときに限り撮像部の主走査方向を切り替える制御を行うことにより、フォーカルプレーンシャッタ動作に起因する画像歪みの発生を抑制することができる。

（実施の形態２）
図３は、本発明の実施の形態２におけるカメラシステムの構成を示すブロック図である。

図１（実施の形態１）の構成において、外部入力信号ＤinがＣＰＵ２０１に入力されるようになっている。基本的な動作および被写体の動きベクトル情報による主走査方向の判断については、実施の形態１と同様とする。

＜レンズユニットが回転可能な場合＞
本実施例は、レンズユニットが機器本体に対して回転可能に装備されている機器に適用するものである。

例えば、携帯電話の中には、レンズユニット（カメラ部）が携帯電話本体に対して回転可能に構成されているものがある。レンズユニットには、イメージセンサまたはイメージセンサと信号処理回路（ＤＳＰ）が含まれている。

レンズユニットの回転角度によっては、被写体の動く方向が撮像部の主走査方向と同一となる場合があり、画像が歪む可能性がある。レンズユニットが回転したことを伝える信号を外部入力信号ＤinとしてＣＰＵ２０１に与える。

ＣＰＵ２０１は、レンズユニットの回転を示す外部入力信号Ｄinの入力があったときに動き検出部２０８をアクティブにし、動き検出部２０８による動き検出情報に基づく主走査方向制御を動作させる。

動き検出部２０８を常時的に動作状態（アクティブ状態）にしておくことは、消費電力の増大につながる。そこで、常時は動き検出部２０８をＯＦＦ状態にしておく。外部入力信号Ｄinがアクティブになったときに限って、動き検出部２０８を動作させるものとする。

いま、主走査方向が水平方向に設定されている状態で、処理画像データ中の被写体動き方向が主走査方向に対して同方向（平行または反平行）になっていないとする。そして、この状態からレンズユニットが９０度回転して被写体動き方向が主走査方向と同方向になったとする。このレンズユニットの回転に伴って外部入力信号Ｄinがアクティブとなり、ＣＰＵ２０１に入力される。ＣＰＵ２０１は動き検出部２０８をアクティブにする。すると、動き検出部２０８からの被写体の動き検出情報を受けたＣＰＵ２０１は、処理画像データ中の被写体動き方向と現在の主走査方向との異同を判断し、一致すれば、図２（ａ），（ｂ）の下側の図のように主走査方向を垂直方向に切り替える。これにより、レンズユニットの回転に即して、画像の歪みを抑制することができる。

＜シャッタの手ぶれ＞
シャッタスイッチを押して手ぶれが発生し、その手ぶれの方向が被写体の移動方向と同方向（平行または反平行）であった場合は、歪んだ画像となる可能性がある。シャッタスイッチを押したことを示す信号を外部入力信号ＤinとしてＣＰＵ２０１に与える。あるいは、手ぶれ検出信号を外部入力信号Ｄinとして与える。

ＣＰＵ２０１は、シャッタスイッチ信号／手ぶれ検出信号である外部入力信号Ｄinの入力があったときに動き検出部２０８をアクティブにし、動き検出部２０８による動き検出情報に基づく主走査方向制御を動作させる。これによって、手ぶれ発生時の画像の歪みを抑制することができる。

いま、主走査方向が垂直方向に設定されている状態で、処理画像データ中の被写体動き方向が主走査方向に対して同方向（平行または反平行）になっていないとする。そして、この状態からシャッタスイッチを押すことで被写体動き方向が主走査方向と同方向になったとする。このシャッタスイッチ押しに伴って外部入力信号Ｄinがアクティブとなり、ＣＰＵ２０１に入力される。ＣＰＵ２０１は動き検出部２０８をアクティブにする。すると、動き検出部２０８からの被写体の動き検出情報を受けたＣＰＵ２０１は、処理画像データ中の被写体動き方向と現在の主走査方向との異同を判断し、一致すれば、主走査方向を水平方向に切り替える。

＜動画符号量による判断＞
ＭＰＥＧなどの動画圧縮は、時間的冗長性を利用してフレーム間の差分を符号化する。歪みが発生している場合は、差分量が多くなり、必然的に動画符号量が増加する傾向にある。逆にいうと、動画符号量が一定以上に大きい場合は、画像歪みを生じている可能性がある。そこで、カウントした動画符号量を規定値と比較し、規定値より多いときに符号化量過剰信号を生成するようにし、この符号化量過剰信号を外部入力信号ＤinとしてＣＰＵ２０１に与える。

ＣＰＵ２０１は、符号化量過剰信号である外部入力信号Ｄinの入力があったときに動き検出部２０８をアクティブにし、動き検出部２０８による動き検出情報に基づく主走査方向制御を動作させる。これによって、動画符号量の過剰の場合に、画像の歪みを抑制することができる。

＜キズ補正方向変更による判断＞
イメージセンサ１００では、プロセス上の画素欠陥などに起因して、白キズや黒キズが発生する場合がある。これに対応するためのキズ補正回路を信号処理回路２００の信号処理部２０５に内蔵させたカメラシステムもある。キズ補正回路に様々なアルゴリズムがあり、縦横でキズ補正の効き具合が異なることがある。そこで、キズ補正の効きが悪い場合に、ユーザー操作によりキズ補正方向変更を行う。このキズ補正方向変更信号を外部入力信号ＤinとしてＣＰＵ２０１に与える。

ＣＰＵ２０１は、キズ補正方向変更信号である外部入力信号Ｄinの入力があったときに動き検出部２０８をアクティブにし、動き検出部２０８による動き検出情報に基づく主走査方向制御を動作させる。これによって、キズ補正の効きが悪い場合に、画像の歪みを抑制することができる。

なお、ＣＰＵ２０１は、主走査方向の切り替えの指令を出したときは、次のような制御を行う。ＡＦＥ２０３から出力されてくるキズ補正前のデータに対して、メモリ２０４を用いてキズ補正を行う。そして、メモリ２０４から読み出す際に縦横変換を行い、信号処理部２０５で画像信号処理を実施する。

実施の形態２における上記４つのケースをまとめた場合の汎用例の動作を示すフローチャートを図４に示す。

ステップＳ１からステップＳ４は、この順番である必要はない。また、ステップＳ１からステップＳ４の各事項は全部必要というわけではない。

さらに、ステップＳ１からステップＳ４の各事項において、ステップＳ５からステップＳ８のように動き検出部２０８にて検出された被写体の動き検出から画像が歪むという判断をＣＰＵ２０１で行っているが、これも省略可能である。ステップＳ１からステップＳ４の各事項が発生した場合は、常に、撮像部１０１の主走査方向を切り替える制御をＣＰＵ２０１で実施しても構わない。

したがって、様々な形態のカメラシステムにおいて、外部入力信号がアクティブなときに動き検出部を起動することを通じて主走査方向を適宜変えることにより、フォーカルプレーンシャッタ特有の歪んだ画像の発生を抑制できる。

（参考例３）
本発明の参考例３は、実施の形態１，２とは異なって、主走査方向の切り替え機能をもたないタイプのイメージセンサを搭載したカメラシステムについてのものである。すなわち、従来タイプのイメージセンサへの適用を配慮したものである。

図５は、本発明の参考例３におけるカメラシステムの構成を示すブロック図である。

イメージセンサ１００を含むレンズユニット３００は、レンズユニット回転制御部３０１を具備している。信号処理回路２００におけるＣＰＵ２０１からレンズユニット回転制御部３０１に対してレンズユニット回転制御信号ＳＬが出力され、これによって、レンズユニット３００を回転制御するように構成されている。イメージセンサ１００においては、実施の形態１，２の場合の主走査方向制御部１０５はない。ＣＰＵ２０１による主走査方向制御信号もない。

被写体を撮影し、動き検出部２０８によって被写体の動きベクトルが水平の右方向または左方向であると検知されたとする。この場合、ＣＰＵ２０１は、レンズユニット回転制御部３０１に対してレンズユニット回転制御信号ＳＬを出力する。その結果、レンズユニット回転制御信号ＳＬはレンズユニット３００を９０度回転する。主走査方向の切り替えは行われない。

これにより、処理画像データ中の被写体動き方向は主走査方向とは異なる方向に変更される。その結果、フォーカルプレーンシャッタ動作に起因する画像歪みは抑制される。

実施の形態１，２とは異なり、撮像部１０１の主走査方向を切り替える方式ではないので、メモリ２０４を用いた画像データの縦横変換を実施しなくてもよい。したがって、専用のメモリ２０４は無くとも構わない。メモリ２０４が元々実装されている場合においても、メモリコントロール部２０７とメモリ２０４を停止するように制御し、余分な消費電力をセーブすることも可能である。

なお、レンズユニット３００を回転させるには少なからず時間を要するが、例えば、シャッタスイッチを半押しにしてフォーカスを合わせるカメラシステム等において、フォーカスを合わせる時間内にレンズユニット３００を回転させるように構成すればよい。

なお、実施の形態２と同様に外部入力信号Ｄinを併用するようにしてもよい。

以上のように本参考例によれば、主走査方向の切り替え機能をもたないタイプのイメージセンサを用いたカメラシステムにおいても、イメージセンサを含むレンズユニットの回転制御を行うことによって、フォーカルプレーンシャッタ動作に起因する歪んだ画像の発生を抑制することができる。

（参考例４）
図６と図７は、本発明の参考例４におけるカメラシステムの構成の２例を示すブロック図である。これらは、実施の形態１，２、参考例３とは異なり、Ｉ／Ｆ部２０６ａに動画符号化回路を含んでいる。この動画符号化回路は、被写体の動きを検出する機能を有している。

参考例３でも説明したが、ＭＰＥＧなどの動画符号化は、時間的冗長性を利用するもので、フレーム間の差分を符号化する。そのため、撮像部１０１の主走査方向の切り替えやレンズユニット３００の回転を行うと、フレーム間の相関性を損なう可能性がある。フレーム間の相関性を損なえば、必然的にフレーム間の差分が増加するので、動画符号量の増加を招くことになる。

そこで、本参考例では、撮像部１０１の主走査方向の切り替えやレンズユニット３００の回転については、フレーム単位で実施することにする。撮像部１０１の主走査方向の切り替えやレンズユニット３００の回転を行うフレームにおいては、ＣＰＵ２０１から動画符号化回路を含むＩ／Ｆ部２０６ａに対し、フレーム間の差分を符号化しないように制御する。その代わりに、空間的冗長性を利用した動画符号化であるイントラ符号化を実施するように制御する。このイントラ符号化により、画質を改善できる。

さらに、連続的な撮像部１０１の主走査方向の切り替えや連続的なレンズユニット３００の回転は信号処理の負荷がかかりやすく、制御が困難であり、望ましくない。そこで、本参考例では、ＣＰＵ２０１は、撮像部１０１の主走査方向の切り替えやレンズユニット３００の回転をＮフレーム（Ｎは自然数）の間、行わないように制御する。Ｎは外部からユーザーが設定可能とする。

以上のように本参考例によれば、カメラ付携帯電話システムのような動画符号化を含めたカメラシステムにおいて、動画符号化と連動するとともに、主走査方向変更やレンズユニット回転の急激な動作を防止することにより、動画符号量を軽減し、画質を維持し、信号処理に負担のかからない制御を実現することができる。

本発明のイメージセンサ／カメラシステムは、フォーカルプレーンシャッタを用いたＭＯＳイメージセンサなどのイメージセンサ特有の画像歪みを抑制できるので、ＤＳＣ（デジタルスチルカメラ）やカメラ付き携帯電話などのモバイルカメラシステムに有効である。

本発明の実施の形態１におけるカメラシステムの構成を示すブロック図 本発明の実施の形態１におけるカメラシステムの画像歪み抑制の説明図 本発明の実施の形態２におけるカメラシステムの構成を示すブロック図 本発明の実施の形態２におけるカメラシステムの動作を示すフローチャート 本発明の参考例３におけるカメラシステムの構成を示すブロック図 本発明の参考例４におけるカメラシステムの構成を示すブロック図（その１） 本発明の参考例４におけるカメラシステムの構成を示すブロック図（その２） 従来のカメラシステムの構成を示すブロック図 従来のカメラシステムで撮像した被写体の動き、画像歪みを説明する図

符号の説明

１００ イメージセンサ
１０１ 撮像部
１０２ 水平走査部
１０３ 垂直走査部
１０４ 出力部
１０５ 主走査方向制御部
２００ 信号処理回路（ＤＳＰ）
２０１ ＣＰＵ
２０２ タイミングジェネレータ（ＴＧ）
２０３ ＡＦＥ（アナログフロントエンド）
２０４ メモリ
２０５ 信号処理部
２０６ Ｉ／Ｆ部
２０６ａ 動画符号化回路内蔵のＩ／Ｆ部
２０７ メモリコントロール部
２０８ 動き検出部
３００ レンズユニット
３０１ レンズユニット回転制御部
Ｓｃ 制御信号
Ｓｏ 画像信号
ＳＬ レンズユニット回転制御信号
Ｄin 外部入力信号

Claims (9)

1. Ｘ−Ｙアドレス方式の撮像部と、前記撮像部をＸ−Ｙアドレス方式により走査する水平走査部および垂直走査部と、主走査方向を水平方向とするか垂直方向とするかを決定する主走査方向制御信号に従って前記水平走査部および前記垂直走査部を制御する主走査方向制御部と、前記水平走査部および前記垂直走査部によって前記撮像部を走査した結果読み出された画像信号を出力する出力部とを備えたイメージセンサと、
   前記イメージセンサにおける前記撮像部の主走査方向を制御する機能を有するとともに、前記出力部から入力した画像信号の信号処理結果を一時記憶するメモリを有する信号処理回路とを備え、
   前記信号処理回路は、前記出力部からの前記画像信号に基づいて生成された被写体の動きベクトルに応じて前記主走査方向制御信号を生成し、生成した前記主走査方向制御信号を前記イメージセンサの主走査方向制御部に送出し当該主走査方向制御信号に基づいて前記撮像部の主走査方向を制御し、前記主走査方向を切り替えた場合は画像データを前記メモリに一時記憶し、前記メモリから画像データを読み出すときに画像方向を縦横変更するように構成されているカメラシステム。
2. Ｘ−Ｙアドレス方式の撮像部と、前記撮像部をＸ−Ｙアドレス方式により走査する水平走査部および垂直走査部と、主走査方向を水平方向とするか垂直方向とするかを決定する主走査方向制御信号に従って前記水平走査部および前記垂直走査部を制御する主走査方向制御部と、前記水平走査部および前記垂直走査部によって前記撮像部を走査した結果読み出された画像信号を出力する出力部とを備えたイメージセンサと、
   前記イメージセンサにおける前記撮像部の主走査方向を制御する機能を有するとともに、前記出力部から入力した画像信号の信号処理結果を一時記憶するメモリを有する信号処理回路とを備え、
   前記信号処理回路は、前記出力部からの前記画像信号に基づいて生成された被写体の動きベクトルに応じて前記主走査方向制御信号を生成し、前記主走査方向制御信号の生成が外部入力信号の入力時に有効化され、生成した前記主走査方向制御信号を前記イメージセンサの主走査方向制御部に送出し当該主走査方向制御信号に基づいて前記撮像部の主走査方向を制御し、前記主走査方向を切り替えた場合は画像データを前記メモリに一時記憶し、前記メモリから画像データを読み出すときに画像方向を縦横変更するように構成されているカメラシステム。
3. 前記外部入力信号は、前記イメージセンサを含むレンズユニットの回転を示す信号である請求項２に記載のカメラシステム。
4. 前記外部入力信号は、シャッタを押したことを示す信号である請求項２に記載のカメラシステム。
5. 前記外部入力信号は、手ぶれ検出信号である請求項２に記載のカメラシステム。
6. 前記外部入力信号は、動画符号量の規定値超過検出信号である請求項２に記載のカメラシステム。
7. 前記外部入力信号は、キズ補正方向の変更信号である請求項２に記載のカメラシステム。
8. 前記撮像部は、入射光を光電変換する光電変換素子と、前記光電変換素子で得られた撮像信号を読み出す読み出し部と、前記光電変換素子をリセットするリセット部とで構成される単位画素を縦横マトリクス状に配列したものである請求項１から請求項７までのいずれかに記載のカメラシステム。
9. 前記主走査方向制御信号は、前記出力部からの前記画像信号に基づいて生成された被写体の動きベクトルに応じて生成されるものである請求項１から請求項８までのいずれかに記載のカメラシステム。

Images