JP6307942B2

JP6307942B2 - 撮像装置及び撮像装置の制御方法

Info

Publication number: JP6307942B2
Application number: JP2014043119A
Authority: JP
Inventors: 泰徳吉野
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2014-03-05
Filing date: 2014-03-05
Publication date: 2018-04-11
Anticipated expiration: 2034-03-05
Also published as: US20150256759A1; JP2015170924A; CN104902166A; US9300878B2; CN104902166B

Description

本発明は、撮像装置のズーミングに関する。

撮像装置のズーミングには、光学ズームと電子ズーム（デジタルズームともいう。）が用いられる。一般に、光学ズームは、電子ズームに比べて画質の劣化が少ない。しかし、光学ズームは、その構成上、拡大に際して画像の中心を移動させることができない。よって、画像の中心を移動させて拡大するためには、電子ズームによって拡大するか、あるいは特許文献１、２に記載されているようにカメラ本体を移動させる必要がある。

特開平１０−２２９５１５号公報特開２００５−３１１９２６号公報

しかし、カメラ本体を移動させる機構は、複雑であったり高コストであったりして、その使用が適さない場合もある。また、デジタルカメラのようにユーザーが手に持つタイプの撮像装置の場合には、ユーザー自身が撮像装置を動かして中心を移動させればよいが、そうでない撮像装置の場合には、撮像装置の移動に手間を要することもある。
そこで、本発明は、撮像装置のズーミングにおいて、撮像装置を移動させず、かつ画質の劣化を抑制することを目的の一つとする。

本発明は、倍率を光学的に変化させる光学ズーム機構を有し、画像を撮像する撮像部と、前記撮像部により撮像された画像の一部を切り出して拡大する電子ズーム処理を含む画像処理を実行する画像処理部と、画像の出力範囲を指定する入力を受け付ける入力部と、前記撮像部及び前記画像処理部の動作を制御する制御部とを備え、前記制御部は、前記出力範囲が指定されると、当該出力範囲と前記撮像部の画角中心とのずれ量に応じて決定される倍率で当該撮像部に撮像を実行させた後、当該倍率で撮像された画像から前記出力範囲を切り出して拡大する前記電子ズーム処理を前記画像処理部に実行させる撮像装置を提供する。
この撮像装置によれば、撮像装置を移動させず、かつ画質の劣化を抑制したズーミングが可能である。

また、前記制御部は、前記画像を所定の倍率で拡大することが可能な光学ズーム倍率と電子ズーム倍率の組み合わせのうち、前記光学ズーム倍率が最大になる組み合わせを用いて前記撮像部及び前記画像処理部の動作を制御する構成であってもよい。
あるいは、前記制御部は、前記画像を所定の倍率で拡大することが可能な光学ズーム倍率と電子ズーム倍率の組み合わせのうち、前記電子ズーム倍率が最小になる組み合わせを用いて前記撮像部及び前記画像処理部の動作を制御する構成であってもよい。
これらの構成によれば、複数の組み合わせのうちの電子ズームに起因する画質の劣化が最小となるものを用いて画像を拡大することが可能である。

また、前記撮像装置は、前記入力を受け付けるためのポインターを前記撮像部により撮像された画像に重畳した画像を出力する出力制御部を備える構成であってもよい。
この構成によれば、さまざまな出力範囲をより容易に指定することが可能である。

また、本発明は、倍率を光学的に変化させる光学ズーム機構を有し、画像を撮像する撮像部と、前記撮像部により撮像された画像の一部を切り出して拡大する電子ズーム処理を含む画像処理を実行する画像処理部とを備える撮像装置において、所定の倍率で表示された画像において出力範囲を指定する入力を受け付け、前記出力範囲が指定されると、当該出力範囲と前記撮像部の画角中心とのずれ量に応じて当該撮像部における光学ズーム倍率を決定し、前記決定された光学ズーム倍率に応じて前記画像処理部における電子ズーム倍率を決定し、前記決定された光学ズーム倍率で撮像し、前記決定された電子ズーム倍率で拡大するように前記撮像部及び前記画像処理部の動作を制御する制御方法を提供する。
この制御方法によれば、撮像装置を移動させず、かつ画質の劣化を抑制したズーミングが可能である。

表示システムの全体構成を示すブロック図ズーム処理を実行する場合の表示例を示す図ズーム処理を実行する場合の表示例を示す図ズーム処理を実行する場合の表示例を示す図制御部が実行する処理を示すフローチャート光学ズーム倍率の決定方法を説明するための図光学ズーム倍率の決定方法を説明するための図光学ズーム倍率の決定方法を説明するための図

［実施例］
図１は、本発明の一実施例である表示システム１０の全体構成を示すブロック図である。表示システム１０は、典型的には、いわゆる書画カメラである。表示システム１０は、所定の位置（例えば原稿台）に置かれた被写体（例えば原稿）を所定の撮像位置から撮像し、撮像した画像を表示するためのシステムである。表示システム１０は、撮像装置１００と、入力装置２００と、表示装置３００とを備える。

撮像装置１００は、より詳細には、撮像部１１０と制御部１２０とを備える。撮像部１１０は、イメージセンサー１１１と、光学系１１２と、レンズ用モーター１１３と、モータードライバー１１４と、ＬＥＤ（Light Emitting Diode）１１５と、ＬＥＤドライバー１１６とを備える。撮像装置１００は、例えば、アームによって支持されて被写体を上部から撮像するよう構成されている（例えば、特許文献１参照）。

イメージセンサー１１１は、光を電気信号に変換するセンサーであり、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサーやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサーによって構成される。光学系１１２は、像をイメージセンサー１１１に結像させる部材であり、レンズやミラーによって構成される。レンズ用モーター１１３は、光学系１１２を構成するレンズを光軸方向に移動させるモーターである。モータードライバー１１４は、レンズ用モーター１１３を駆動する電子回路である。光学系１１２、レンズ用モーター１１３及びモータードライバー１１４は、光学ズーム機構を構成し、光学ズームを実現する。ＬＥＤ（Light Emitting Diode）１１５は、被写体を照らす光源の一例である。ＬＥＤ１１５は、蛍光ランプなどに置換されてもよい。ＬＥＤドライバー１１６は、ＬＥＤ１１５を駆動する電子回路である。

制御部１２０は、ＣＰＵ（Central Processing Unit）１２１と、メモリー１２２と、画像処理部１２３と、出力制御部１２４と、入力部１２５と、操作ボタン１２６とを備える。

ＣＰＵ１２１は、所定のプログラムを実行し、撮像装置１００の各部の動作を制御する。メモリー１２２は、揮発性、不揮発性の記憶媒体をそれぞれ備え、ＣＰＵ１２１が使用するデータを記憶する。画像処理部１２３は、撮像装置１００によって撮像された画像に対して所定の画像処理を実行する回路である。出力制御部１２４は、表示装置３００への画像の出力を制御するインターフェースである。入力部１２５は、入力装置２００からの入力を受け付けるインターフェースである。操作ボタン１２６は、複数のボタンを備え、ユーザーによる入力を受け付ける。

入力装置２００は、ユーザーの操作を撮像装置１００に入力する装置である。入力装置２００は、例えば、ボタンを有するペン型の入力装置であるが、位置（座標）を指定することができるものであれば、その形状は特に限定されない。なお、入力装置２００は、有線又は無線のいずれで撮像装置１００と接続されてもよい。以下においては、撮像装置１００に対する入力のうちの特にユーザーの操作によるものを「操作入力」という。

表示装置３００は、撮像装置１００により撮像された画像を表示する装置である。表示装置３００は、ここでは、スクリーンや壁面に画像を投写することによって表示するプロジェクターであるとする。表示装置３００は、撮像装置１００と有線又は無線で接続される。

表示システム１０の構成は、以上のとおりである。ユーザーは、このような構成の表示システム１０を用いて、原稿（文書、写真など）を表示する。特に、表示システム１０は、原稿を実物よりも大きく表示する用途に適しており、原稿を大画面のスクリーンに投写して複数のユーザーがこの原稿を同時に確認することを容易にすることができる。

また、表示システム１０は、ズーム機能を有する。表示システム１０のズーム機能は、光学ズームと電子ズームによって実現される。ここにおいて、光学ズームとは、撮像部１１０の機械的な駆動によるズームをいい、レンズを移動させて焦点距離を変化させることによって像の倍率を光学的に変化させるものである。一方、電子ズームとは、画像処理部１２３による画像処理の一部である電子ズーム処理によって画像の一部をデジタル的に拡大するものである。電子ズームによる拡大は、画素数が減少するため、光学ズームによる拡大に比べて画質が劣化する。ただし、ここでいう電子ズーム処理には、画素数の減少に起因する画質の劣化を補うための補間処理が含まれてもよい。

このように、光学ズームは、画質面では電子ズームよりも有利であるといえる。しかし、光学ズームは、レンズの光軸方向の移動によって行われるものであるため、その中心点（画角中心）がほぼ一定である。一方、電子ズームは、撮像された画像の任意の位置を切り出して拡大するものであるため、光学ズームのように位置に依存することなく行われる。

本実施例のズーム処理は、このような光学ズームと電子ズームの特性の違いに着目して行われる点に特徴を有する。具体的には、表示システム１０は、拡大前の画像を表示し、当該画像のうちの出力範囲（すなわち拡大表示する範囲）を指定する入力を受け付けると、当該出力範囲を含むように光学ズーム倍率を決定してから電子ズーム倍率を決定するという２段階のステップによってズーム処理を実行する。このようなズーム処理は、光学ズームのみを用いる場合に比べ、出力範囲の中心を画角中心と異ならせることが可能であり、また、電子ズームのみを用いる場合に比べ、画質の劣化を抑制することが可能である。なお、出力範囲を指定する入力は、必ずしも操作入力、すなわちユーザーの操作による入力に限らず、外部からデータとして入力されるものであってもよい。

図２〜４は、本実施例のズーム処理を実行する場合の表示例を示す図である。図２は、表示装置３００が表示する初期状態の画像を例示する図である。まず最初に、表示装置３００は、原稿を表す画像（以下「原画像」という。）ＩＭ１を所定の倍率及びアスペクト比で表示する。以下においては、説明の便宜上、初期状態の原画像の倍率のことを「１倍」という（ただし、このときの原画像の倍率が実際の原稿と等倍である必要はない。）。また、表示装置３００は、原画像ＩＭ１にポインターＰＴを重畳して表示する。ポインターＰＴは、入力装置２００が指し示している位置を表す画像である。なお、原画像ＩＭ１にポインターＰＴを重畳する処理は、ＣＰＵ１２１と画像処理部１２３のいずれで実行されてもよい。

表示装置３００は、入力装置２００の移動に応じてポインターＰＴの表示位置を変化させる。すなわち、ポインターＰＴは、入力装置２００の動きに追随するように表示される。このとき、ユーザーが所定の位置でボタンを押下すると、表示装置３００は、当該位置を始点として出力範囲を決定する処理を実行する。

図３は、ユーザーが始点Ｐ１を指定する操作を行った場合を例示する図である。表示装置３００は、始点Ｐ１が指定されると、ガイドラインＧＬ１、ＧＬ２を表示する。ガイドラインＧＬ１、ＧＬ２は、それぞれ、始点Ｐ１を通り、原画像ＩＭ１の表示領域の対角線と平行な直線である。ガイドラインＧＬ１、ＧＬ２は、ユーザーが出力範囲を指定する際の目安となる。

図４は、図３に示した状態からユーザーが入力装置２００を移動させた場合を例示する図である。表示装置３００は、入力装置２００が移動すると、その移動に合わせてポインターＰＴを移動させるとともに、ガイドフレームＧＦを表示する。ガイドフレームＧＦは、始点Ｐ１とポインターＰＴが示す位置とを通り、かつ、原画像ＩＭ１の表示領域と同じアスペクト比の矩形を表す画像である。ユーザーは、ガイドラインＧＬ１、ＧＬ２及びガイドフレームＧＦを参考にしながら、終点を指定する操作を行う。

なお、表示装置３００は、図４において原画像ＩＭ１の右上部に示したように、光学ズーム倍率（ここではｍ倍）及び電子ズーム倍率（ここではｎ倍）がどのような数値になるのかを原画像ＩＭ１に重畳して表示してもよい。また、これらの数値の表示位置は、原画像ＩＭ１の右上部に限定されず、適当な位置であればどこでもよい。

図５は、本実施例のズーム処理において制御部１２０が実行する処理を示すフローチャートである。制御部１２０は、ユーザーの操作に応じて始点座標を取得すると（ステップＳ１）、表示装置３００にガイドラインＧＬ１、ＧＬ２及びガイドフレームＧＦを原画像ＩＭ１に重畳して表示させる（ステップＳ２）。また、制御部１２０は、ユーザーの操作に応じて終点座標を取得する（ステップＳ３）。ステップＳ１〜Ｓ３の処理の結果、表示装置３００は、図２〜４に示した画像を表示する。本実施例において、始点座標及び終点座標を指定する操作入力は、出力範囲を指定する操作入力に該当する。

終点座標を取得したら、制御部１２０は、この終点座標がガイドライン上にあるか判断する（ステップＳ４）。制御部１２０は、終点座標がガイドライン上にない場合には、当該終点座標に最も近いガイドライン上の１点を終点であるとみなして選択する（ステップＳ５）。つまり、本実施例においては、出力範囲のアスペクト比が常に一定になる。制御部１２０は、終点座標がガイドライン上にある場合には、ステップＳ５の処理を省略（スキップ）する。

制御部１２０は、ステップＳ１及びＳ３において取得した始点座標及び終点座標に基づいて、画像の出力範囲を特定する（ステップＳ６）。具体的には、制御部１２０は、始点座標と終点座標とを結ぶ線分を対角線とする矩形（長方形又は正方形）を画像の出力範囲とする。

制御部１２０は、このようにして特定した出力範囲の位置に基づいて、光学ズーム倍率を決定する（ステップＳ７）。具体的には、制御部１２０は、ステップＳ６において特定した出力範囲と、撮像部１１０の画角中心とのずれ量に基づいて光学ズーム倍率を決定する。このとき決定される光学ズーム倍率は、出力範囲が一定であれば、画角中心に近いほど大きい倍率となる。光学ズーム倍率の具体的な決定方法は、以下のとおりである。

図６、７は、光学ズーム倍率の決定方法の原理を説明するための図である。ここでは、原画像ＩＭ１のうちの画像ＩＭ２が拡大表示される場合を例に説明する。すなわち、画像ＩＭ２の表示領域は、ステップＳ６において特定される出力範囲に相当する矩形である。制御部１２０は、この矩形の４辺の画角中心Ｐ₀からの距離をそれぞれＤ_L、Ｄ_R、Ｄ_U、Ｄ_Dとし、原画像ＩＭ１の上辺（又は下辺）の画角中心Ｐ₀からの距離をＤ₁、原画像ＩＭ１の右辺（又は左辺）の画角中心Ｐ₀からの距離をＤ₂とした場合に、Ｄ_L、Ｄ_R、Ｄ_U、Ｄ_DとＤ₁、Ｄ₂との比率（すなわちＤ_L／Ｄ₂、Ｄ_R／Ｄ₂、Ｄ_U／Ｄ₁、Ｄ_D／Ｄ₁）を算出し、この比率が最大となる辺を特定する。図６の例の場合、Ｄ_L／Ｄ₂が最大である。

制御部１２０は、上述した比率が最大となる辺を特定したら、図７に示すように、特定した辺と接し、かつ原画像ＩＭ１と対角線を共通とする矩形Ｒ１を画角とするように光学ズーム倍率を決定する。矩形Ｒ１は、画像ＩＭ２の全体を含むことができる画角のうちの最小の画角に相当する。このような画角で撮像した場合の光学ズーム倍率は、画像ＩＭ２の全体を撮像することができる倍率のうちの最大の倍率となる。

このように光学ズーム倍率を決定したら、制御部１２０は、続いて電子ズーム倍率と画像ＩＭ２の中心の移動量とを決定する（ステップＳ８）。ここにおいて、移動量とは、画像ＩＭ２の中心と原画像ＩＭ１の画角中心とのずれ量のことであり、画像ＩＭ２の中心が原画像ＩＭ１の画角中心からどの程度ずれているかを示す量である。電子ズーム倍率は、画像ＩＭ２を原画像ＩＭ１と同じサイズに拡大するための倍率と光学ズーム倍率の差から一意的に求めることが可能である。

ステップＳ７、Ｓ８の処理を実行することにより、制御部１２０は、撮像に適用する条件（撮像条件）と画像処理に適用する条件（画像処理条件）を決定することができる。制御部１２０は、当該決定した撮像条件で撮像が行われるようにモータードライバー１１４を駆動し（ステップＳ９）、当該決定した画像処理条件で画像処理（特に電子ズーム処理）が実行されるように画像処理部１２３を制御する（ステップＳ１０）。

以上のとおり、本実施例によれば、原画像の任意の位置を拡大した画像を少ない劣化で表示することが可能である。すなわち、本実施例によれば、光学ズームの利点と電子ズームの利点とを組み合わせ、これを両立させて画像を表示することが可能である。したがって、ユーザーは、撮像部１１０を（光軸と直交する方向に）移動させなくても、一定の水準以上の画質で画像を拡大表示することが可能である。

［変形例］
本発明は、上述した実施例に限らず、以下に例示するさまざまな形態でも実施可能である。また、本発明は、必要に応じて、以下に示す変形例を複数組み合わせた形態でも実施することができる。

（１）撮像装置１００は、光学ズーム倍率を所定の範囲内で連続的に変化させてもよいが、段階的に変化させてもよい。ここでいう「段階的」とは、例えば、光学ズーム倍率が１倍から６倍まで変化する場合に、１倍、２倍、３倍、４倍、６倍といったようにあらかじめ決められた倍率のみが設定可能であり、それ以外の倍率（例えば１．５倍）が設定できないことをいう。

図８は、光学ズーム倍率が段階的に変化する場合の光学ズーム倍率の決定方法を説明するための図である。ここでは、原画像ＩＭ１に対して画像ＩＭ２が出力範囲として指定されるとともに、光学ズーム倍率として第１の倍率Ｍ１、第２の倍率Ｍ２、第３の倍率Ｍ３が設定可能である場合を例とする。このような場合、画像を所定の倍率で拡大することが可能な光学ズーム倍率と電子ズーム倍率の組み合わせは、複数存在する。例えば、原画像ＩＭ１から画像ＩＭ２を拡大表示するための光学ズーム倍率は、第１の倍率Ｍ１と第２の倍率Ｍ２のいずれであってもよい。ただし、光学ズーム倍率を第１の倍率Ｍ１とした場合には、光学ズーム倍率を第２の倍率Ｍ２とした場合に比べ、電子ズーム倍率をより大きくする必要がある。

このような場合、制御部１２０は、画像を所定の倍率で拡大することができる光学ズーム倍率と電子ズーム倍率の組み合わせのうち、光学ズーム倍率が最大のものを用いて画像を拡大する。図８の例の場合、画像ＩＭ２の全体を撮像することができる光学ズーム倍率のうちの最大のものは、第２の倍率Ｍ２である。あるいは、制御部１２０は、画像を所定の倍率で拡大することができる光学ズーム倍率と電子ズーム倍率の組み合わせのうち、電子ズーム倍率が最小のものを用いて画像を拡大するともいえる。

（２）拡大後の画像のアスペクト比は、原画像のアスペクト比と必ずしも同一でなくてもよい。すなわち、撮像装置１００は、原画像と異なるアスペクト比で出力範囲を指定する入力を受け付けるよう構成されてもよい。この場合、撮像装置１００は、縦方向又は横方向に余白を設けて画像を拡大表示すればよい。なお、この場合、ガイドラインやガイドフレームの表示も必須ではない。

（３）表示装置３００は、プロジェクターに限定されない。例えば、表示装置３００は、パーソナルコンピューターなどの液晶ディスプレイであってもよいし、テレビ受像機であってもよい。また、撮像装置１００は、例えば、デジタルスチルカメラやイメージスキャナーであってもよい。さらに、撮像装置１００と表示装置３００は、例えばカメラ付きのタブレット端末のように一体化された構成であってもよい。入力装置２００もまた、撮像装置１００や表示装置３００と一体化された構成であってもよいし、ペン型以外の構造（例えばマウス）であってもよい。

（４）本発明は、撮像装置のほか、これを備える表示システムや、撮像装置の制御方法としても提供され得る。また、本発明は、コンピューターを本発明に係る撮像装置として機能させるためのプログラムの形態でも提供され得る。また、本発明に係るプログラムは、ネットワークやその他の通信手段を介して撮像装置に供給され、これをインストールすることによって利用可能になるような形態で提供されてもよい。

また、本発明は、原稿を撮像するものに限定されない。本発明は、所定の位置から所定の被写体を撮像し、必要に応じて被写体の一部を拡大して表示する用途の全般に適用可能である。例えば、本発明は、施設などの所定の場所を監視カメラで撮像し、これを遠隔地でモニターする場合にも適用可能である。

１０…表示システム、１００…撮像装置、１１０…撮像部、１１１…イメージセンサー、１１２…光学系、１１３…レンズ用モーター、１１４…モータードライバー、１１５…ＬＥＤ、１１６…ＬＥＤドライバー、１２０…制御部、１２１…ＣＰＵ、１２２…メモリー、１２３…画像処理部、１２４…出力制御部、１２５…入力部、１２６…操作ボタン、２００…入力装置、３００…表示装置

Claims

光学ズーム倍率を光学的に変化させる光学ズーム機構を有し、画像を撮像する撮像部と、
前記撮像部により撮像された画像の一部を切り出して拡大する電子ズーム処理を含む画像処理を実行する画像処理部と、
画像の出力範囲を指定する入力を受け付ける入力部と、
前記撮像部及び前記画像処理部の動作を制御する制御部とを備え、
前記制御部は、
前記入力部によって入力された前記出力範囲の始点を取得すると、前記始点を通り、前記画像の表示領域の対角線と平行な直線を前記画像に重畳して表示し、
前記出力範囲が指定されると、当該出力範囲と前記撮像部の画角中心とのずれ量に応じて決定される光学ズーム倍率で当該撮像部に撮像を実行させた後、当該光学ズーム倍率で撮像された画像から前記光学ズーム倍率に応じて決定される電子ズーム倍率で前記出力範囲を切り出して拡大する前記電子ズーム処理を前記画像処理部に実行させる
撮像装置。
前記制御部は、前記出力範囲を所定の倍率で拡大することが可能な前記光学ズーム倍率と前記電子ズーム倍率の組み合わせのうち、前記光学ズーム倍率が前記出力範囲の全体を撮像することができる最大になる組み合わせを用いて前記撮像部及び前記画像処理部の動作を制御する
請求項１に記載の撮像装置。
前記制御部は、前記出力範囲を所定の倍率で拡大することが可能な前記光学ズーム倍率と前記電子ズーム倍率の組み合わせのうち、前記電子ズーム倍率が最小になる組み合わせを用いて前記撮像部及び前記画像処理部の動作を制御する
請求項１に記載の撮像装置。
前記入力を受け付けるためのポインターを前記撮像部により撮像された画像に重畳した画像を出力する出力制御部を備える
請求項１ないし３のいずれか１項に記載の撮像装置。
始点と終点により指定される前記出力範囲は、前記始点と、前記直線上において前記終点から最も近い点とを結ぶ線分を対角線とする矩形の範囲である
請求項１ないし４のいずれか１項に記載の撮像装置。
光学ズーム倍率を光学的に変化させる光学ズーム機構を有し、画像を撮像する撮像部と、
前記撮像部により撮像された画像の一部を切り出して拡大する電子ズーム処理を含む画像処理を実行する画像処理部と
を備える撮像装置において、
画像の出力範囲を指定する入力を受け付け、
前記出力範囲の始点を取得すると、前記始点を通り、前記画像の表示領域の対角線と平行な直線を前記画像に重畳して表示し、
前記出力範囲が指定されると、当該出力範囲と前記撮像部の画角中心とのずれ量に応じて当該撮像部における光学ズーム倍率を決定し、
前記決定された光学ズーム倍率に応じて前記画像処理部における電子ズーム倍率を決定し、
前記決定された光学ズーム倍率で撮像し、当該光学ズーム倍率で撮像された画像から、前記決定された電子ズーム倍率で前記出力範囲を切り出して拡大するように前記撮像部及び前記画像処理部の動作を制御する
制御方法。