JPH0993497A - 画像処理装置および画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 画素数の少ない撮像素子を用いても、画素ず
らし法により高解像度の画像が入力でき、また撮影と同
時に２値化処理を行うことで処理時間の短い画像処理装
置を提供する。 【解決手段】 平行平板１２５を駆動せずにＣＣＤ１０
３で取り込んだ画像を、２値化処理部１２７で、指示し
たしきい値で２値化し表示部１１５に表示する。この表
示画面をみて適切なしきい値を決定する。次に平行平板
１２５を駆動してＣＣＤ１０３で取り込んだ画像を先に
決定したしきい値にもとづいて２値化した画像を、複数
枚生成し、これより一枚の画像を合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理に関し、
より具体的には解像度が不足している画像入力手段を使
用しながら、画素ずらし法によって高解像度の画像を入
力すると同時に、２値化処理を行うことによって処理時
間の短縮が可能な画像処理に関するものである。

【０００２】

【従来の技術】近年、パーソナルコンピュータの高性能
化とカラープリンタなどの高性能出力装置の普及、さら
にマルチメディア化にともない画像を入力して表示，保
管，印刷，送信する機会が増えている。

【０００３】画像入力手段としてスキャナがあるが、こ
れは紙に印刷されているドキュメント，写真を高解像度
に画像を取り込める反面、立体物が取り込めない、画像
の入力に時間がかかる、操作性が悪いなどの問題があ
る。そのため画像入力手段としてＶＴＲカメラを使用し
た画像処理システムが広く普及し始めている。

【０００４】従来のこの種の画像処理装置のブロック図
を図５に示す。図５において、全体制御部５１０は、ア
ドレス信号５１９，データ信号５２０，制御信号５２１
のラインに適応的に信号を出すことによって、各被制御
ブロックとデータの送受，制御を行う。アドレス信号５
１９により各被制御ブロックの選択が行われる。データ
信号５２０には、制御部５１０と被制御部との間でやり
取りされるデータが出力される。制御信号５２１には、
各ブロック間での制御情報のやり取りが行われ、これに
より、アドレス信号５１９，データ信号５２０の衝突な
どのエラーが起きないように調停される。

【０００５】メインメモリ５１４は、制御部５１０を動
作させるためのプログラムや、各機能ブロックの制御情
報と、画像データなどのデータが格納されており、必要
に応じてそれらの内容は変更される。

【０００６】また図示していないが、キーボードやマウ
スなどの入力装置がアドレス信号５１９，データ信号５
２０，制御信号５２１のラインを介して接続されてお
り、利用者が逐次データを入力できるようになってい
る。

【０００７】レンズは図示しないフレームに固定されて
おり、レンズ部５０１を透過した光は撮像素子であるＣ
ＣＤ(Charge Coupled Device）５０３に結像するように
なっている。ＣＣＤ５０３には、光電変換素子が二次元
配列されており、各光電素子に入射した光の強度に対応
した電荷が蓄積される。さらにＣＣＤ５０３の前面には
カラーフィルタアレイ５０２が配置されており、フィル
タアレイの各色フィルタを透過した光の強度に対応した
電荷が光電変換素子に蓄積される。これにより各色成分
の分布が電荷情報に変化されて得られる。カラーフィル
タアレイの代表的なものには、Ｃｙ（シアン），Ｙｅ
（イエロ），Ｍｇ（マゼンダ），Ｇｒ（グリーン）に対
応する補色の色フィルタが市松模様に配置されているも
のがある。

【０００８】さらにレンズ部５０１はレンズ制御部５０
８の制御によってズーム，ＡＦ（オートフォーカス）な
どの制御が行われる。

【０００９】ＣＣＤ５０３に蓄積された電荷情報は、Ｃ
ＣＤ制御部５０９で生成されるタイミングに応じて、二
次元配列されている光電変換素子の電荷情報を順次アナ
ログ画像信号として出力する。このアナログ画像信号は
各光電変換素子の電荷情報を電圧情報として含んだアナ
ログ信号である。

【００１０】アナログ画像信号はＡ／Ｄ変換部５０４で
デジタル信号にされ、色処理部５０５に供給される。色
処理部５０５では、デジタル信号になった補色Ｃｙ，Ｙ
ｅ，Ｍｇ，Ｇｒの画像データからＹ（輝度）／Ｃ（色
差）データを生成し、さらにＣ信号をＵ，Ｖデータに色
差分離する。このＹＵＶ信号を色空間変換処理によって
Ｒ（赤），Ｇ（緑），Ｂ（青）データに変換する。ここ
で生成されたＲＧＢ信号をもとにホワイトバランスの調
整を行う。ホワイトバランスの調整後のＲＧＢデータに
ガンマ変換を行い、再度色空間変換を行ってＹ／Ｃデー
タに戻す。この時の変換は、前の色空間変換の逆変換で
ある。さらに補正として、リニアマトリックス変換，ク
リップマトリックス変換などの補正を行ってデジタルＹ
ＵＶ信号とする。

【００１１】人間の目は、輝度変化には敏感であるが、
色差に関しては輝度ほどに敏感ではないため、Ｕ，Ｖ成
分に関しては、点順次としても画質的には問題ないとさ
れる。またこの方が、メモリ量の低減につながるという
利点もあり、ＹＵ／Ｖ信号（Ｕ，Ｖ成分が点順位）の画
像データとしてフレームメモリ制御部５０６に供給す
る。また、ここで出力される画像データの画素数は、Ｃ
ＣＤ５０３の光電変換素子の配列に依存し、一般的には
ＴＶと同程度の画素数である横６４０×縦４８０であ
る。各画素は輝度，色差（ＵまたはＶ成分）が各８ｂｉ
ｔのデータとして表現されている。

【００１２】ここでは一般的に色処理の流れを説明した
が、処理方法はこれに限ったものではなく、アナログ信
号のまま色処理を行い、最終段でＡ／Ｄ変換を行うよう
な構成であってもよい。

【００１３】フレームメモリ制御部５０６は、全体制御
部５１０によって指定された位置から、指定された大き
さで画像データをクリッピングしたり、指定されたタイ
ミングで画像をフレームメモリ５０７に格納する。フレ
ームメモリ制御部５０６はフレームメモリ５０７との画
像データの格納，読み出しをアドレス信号５１６，画像
データ信号５１７，フレームメモリ制御信号５１８によ
って行う。

【００１４】フレームメモリ５０７に一度格納された画
像データは、全体制御部５１０により制御されたフレー
ムメモリ制御部５０６によってメインメモリ５１４に転
送される。

【００１５】メインメモリ５１４に格納された画像デー
タは利用者の要求によって処理される。

【００１６】表示制御部５１１は、色空間変換部と表示
用のメモリと表示用メモリ制御部、さらにＤ／Ａ変換部
で構成されており、表示部５１５で表示するためにメイ
ンメモリ５１４から表示したいデータが表示制御部５１
１に転送される。

【００１７】表示部５１５に画像データを表示させる場
合は、まず画像データを表示制御部５１１に転送する。
表示制御部５１１は、表示部５１５で表示される画素数
に対応する容量のメモリを持っており、そのメモリ内の
指定された領域に画像データを格納する。この時、表示
制御部５１１内で処理される画像データのフォーマット
はＲＧＢで表現されており、そのためＹＵＶで供給され
る画像データを色空間変換によりＲＧＢで表現されるデ
ータにする。このデータを表示用メモリの所定の位置に
格納することによって、表示部５１５で表示されている
画像に合成が可能になる。表示用メモリに格納されてい
るデータは、表示部制御用の同期信号５２２に合わせて
読み出され、Ａ／Ｄ変換されて画像信号５２３として表
示部５１５に供給されることによって表示される。

【００１８】また、蓄積部５１３に蓄積する場合も同様
に、アドレス信号５１９，データ信号５２０，制御信号
５２１のラインを介してHard Disk Drive ，磁気Disk D
riveなどで構成される蓄積部５１３に蓄積される。

【００１９】更に重要なアプリケーションとしてＬＡＮ
(Local Area Network)や一般公衆回線を介して遠隔地に
ある他の端末に画像データを送ることがある。例えば、
アドレス信号５１９，データ信号５２０，制御信号５２
１のラインを介してＦＡＸ装置などで構成される通信部
５１２に転送された画像データは、通信部５１２に適応
した符号化方式で圧縮符号化され通信回線５２４へ送信
される。

【００２０】ここでは、入力装置として画像入力が可能
なビデオカメラを構成要素として説明を行ったが、スチ
ルカメラ，スキャナなどの他の画像入力装置であっても
問題はない。

【００２１】

【発明が解決しようとする課題】以上のように従来例に
よれば、様々な画像入力装置から入力した画像データ
を、様々な出力装置に出力することが可能である。

【００２２】しかし、入力した画像データを通信回線を
使用して遠隔地の端末に転送する場合、例えば、ＲＧＢ
各８ｂｉｔで表現される多値の画像データを送ること
は、通信回線の帯域制限などにより現時点では余り実用
的ではない。

【００２３】そこで、いったん多値の画像データから各
値のヒストグラムを作成し適当なしきい値で２値化した
後に、符号化して送信する手法があるが、この手法で視
覚的に明確な画像が送信できるとは限らないという問題
がある。

【００２４】また、一般的に使用されているＶＴＲカメ
ラの画素数は縦６４０×横８４０画素程度の解像度であ
り、Ａ４サイズの原稿を撮影した場合、その解像力は、
１００ｄｐｉでしかない。一般に使用されているＧ３
ＦＡＸの解像度は２００ｄｐｉ程度であり解像度が半分
しかないという問題がある。

【００２５】そこで解像度を擬似的にあげるために、光
学的にＣＣＤに入射する光軸を微小変位させて撮影する
画素ずらし法を使用する手法があるが、変位させて撮影
するのに時間がかかる、また画像データの増加によって
２値化処理に時間がかかるという問題がある。

【００２６】本発明は、このような状況のもとでなされ
たもので、画素数の少ない撮像素子を用いていても画素
ずらし法による撮影によって高解像度の画像が入力で
き、また撮影を行いながら２値化を行うことで処理時間
の短縮を可能にする画像処理装置及び画像処理方法を提
供することを目的とするものである。

【００２７】

【課題を解決するための手段】前記目的を達成するた
め、本発明では、画像処理装置を次の（１）〜（３）の
とおりに、また画像処理方法を（４）のとおりに構成す
る。

【００２８】（１）撮像素子と、この撮像素子の感光面
に入射する光軸の位置を微小変位する光軸変位手段と、
前記撮像素子により撮影した画像の信号を適宜のしきい
値で２値化する２値化手段と、この２値化手段で２値化
した画像を表示する表示手段と、前記しきい値を指示す
る指示手段と、前記光軸変位手段を動作させて前記撮像
素子により撮影し前記２値化手段により２値化した複数
枚の画像を、１枚の画像に合成するように制御する制御
手段とを備えた画像処理装置。

【００２９】（２）光軸変位手段は、平行平板を用いる
ものである前記（１）記載の画像処理装置。

【００３０】（３）光軸変位手段は、可変頂角プリズム
を用いるものである前記（１）記載の画像処理装置。

【００３１】（４）フレーム読み出しで画像を取り込
み、前記画像を指示したしきい値で２値化した２値化画
像を表示し、この表示された２値化画像を見て前記しき
い値を決定し、フィールド読み出しで画像を取り込み、
先に決定したしきい値にもとづいて２値化した複数の画
像から１枚の画像を合成し出力する画像処理方法。

【００３２】

【発明の実施の形態】本発明は、画素ずらし法による撮
影によって擬似的に解像度を上げることと同時に２値化
処理を行うことで処理時間を短縮することができる。

【００３３】以下本発明をカラー画像を入力する実施例
により詳しく説明する。なお実施例では、平行平板駆動
と２値化を順次行って各２値化画像を形成している。

【００３４】

【実施例】図１は実施例である“画像処理装置”の構成
を示すブロック図である。以下このブロック図をもとに
従来例とは異なる点に重点をおいて説明する。

【００３５】レンズ部１０１とＣＣＤ１０３の間に平行
平板１２５が配置されている。この平行平板１２５によ
って光軸は微小位置ずらされてＣＣＤ１０３の光電変換
素子面（感光面）上に結像するようになる。これによっ
て、ＣＣＤ１０３の持っている解像度すなわち画素数を
変更させることが可能になる。

【００３６】この原理を図２に示す。平行平板２０１は
紙面に垂直かつ平行平板２０１の中心を通る軸を中心に
回動できるようになっており、始めに図の（ａ）に示す
ようにＣＣＤ１０３の光電変換素子面２０２に対して平
行になっている。この時平行平板２０１に入射する光軸
２０３と透過後の光軸２０４は同一直線になっている。
次に図の（ｂ）に示すように平行平板２０１を微小角度
回動させると平行平板２０１で光軸は折り曲げられ、光
軸２０４には光軸２０３から平行に変位している光軸２
０５の光が入射することになる。

【００３７】したがって、ＣＣＤ１０３に配置されてい
る光電変換素子の配列数はそのままでも、光軸２０４に
入射する光線を平行平板２０１を回動させることで変化
させる前と後で撮影し、その撮影画像を合成すること
で、紙面の上下方向の画素数を上げた画像を得ることが
できる。平行平板２０１を前述の軸と直交する軸を中心
に回動することにより、同様に紙面に垂直方向の画素数
を上げた画像を得ることができる。

【００３８】次にＣＣＤ１０３にあるカラーフィルタア
レイ１０２と画素数の関係について述べる。

【００３９】図３にカラーフィルタアレイの一例を示
す。図はカラーフィルタアレイの一部分を示しており、
Ｃｙ（シアン）３０１，Ｙｅ（イエロ）３０２，Ｍｇ
（マゼンダ）３０３，Ｇｒ（グリーン）３０４の色フィ
ルタが、市松模様に配置されている。Ｍｇ３０３，Ｇｒ
３０４はライン毎に反転して配置されている。

【００４０】平行平板１２５がない従来例の場合、第一
フィールドは３０５で示すラインの上下ペア（３０１と
３０３，３０２と３０４）の電荷の加算出力が出力さ
れ、第二フィールドでは３０６で示すラインのペアでの
加算された電荷量が出力される。この加算出力の水平方
向に隣り合うデータをさらに１つのペアとして色処理を
行って色情報を得る。従って、この時Ｃｙ３０１，Ｙｅ
３０２，Ｍｇ３０３，Ｇｒ３０４の４つの色フィルタの
ペアで１つの画素のデータが生成されている。この読み
出しモードを“フレーム読み出しモード”とする。

【００４１】しかし前述の読み出し法は、画素数的には
ＣＣＤ１０３の光電変換素子分の画素数は得られるが、
空間的解像度は減少してしまう。そこで画素ずらし法で
撮影する場合には各フィールドで３０７，３０８のライ
ン単位で読み出し単一のカラーフィルタを透過した光に
対応する電荷量を読み出すようにする。さらにこの時に
平行平板１２５によって、色フィルタのハーフピッチ分
だけ光軸を上下，左右にずらした画像を４枚取り込んで
合成することによって、ＣＣＤ１０３の縦横２倍の画素
を得ることができる。この読み出しモードを“フィール
ド読み出しモード”とする。

【００４２】ここまでは、実質的に画素数を増加させる
手法について述べた。

【００４３】さらに、今回のアプリケーションでは、２
値化した画像データを通信部１１２を利用して送信する
ために画像データを２値化する２値化処理部１２７を追
加する。この２値化処理部１２７にはＡ／Ｄ１０４でデ
ジタル変換されたＣＣＤ１０３の出力が供給され、適応
的に決定されたしきい値と比較して２値化を行い、その
結果をフレームメモリ制御部１０６に供給する。ここで
２値化を行うためのしきい値の設定方法は後述する。

【００４４】つぎに、本実施例の全体の流れを図４のフ
ローチャートを用いて説明する。

【００４５】まず始めに、カメラ部の初期設定Ｓ１を行
う。このとき平行平板１２５はＣＣＤ１０３の光電変換
素子面に平行にする。

【００４６】被写体を設定して、カメラの画角を決め撮
影の準備ができたらＳ２で取り込み可能をシステムに通
知する。方法は、メニュー画面を表示させておいてキー
ボード、またはマウスによる入力であればよい。

【００４７】画像の取り込みの開始をＳ２で検知する
と、Ｓ３で、前述の“フレーム読み出しモード”で画像
を取り込み、その結果をＳ４で表示部１１５に表示させ
る。この表示の目的は２値化のしきい値の決定にあるの
でＲＧＢなどのカラー画像ではなく、グレイスケールで
表示させればよい。

【００４８】次にＳ５で、利用者に適当なしきい値を入
力させ、そのしきい値によって２値化した場合の結果を
Ｓ６で表示部１１５に表示される。このときＳ４での表
示と別画面でもよいし、上書きしてもよい。Ｓ７で、先
に入力したしきい値で視覚的みてよいかどうかについ
て、利用者の判断結果の入力を待つ。

【００４９】ここで２値化した結果が満足するまでＳ
５，Ｓ６，Ｓ７を繰り返し、しきい値が決定したらＳ８
へ進む。Ｓ８では、もう一度最初からやり直すかどうか
について、利用者の判断結果の入力を待つ。

【００５０】画角，しきい値がともに決定したらＳ９で
しきい値の設定を行う。ここでは、Ｓ３で、“フレーム
読み出しモード”でプリスキャンした画像データとＳ５
で決定されたしきい値からカラーフィルタアレイ１０２
の各色フィルタに対応するしきい値を算出し、この結果
を２値化処理部１２７に設定する。

【００５１】Ｓ１０，Ｓ１３，Ｓ１４は、平行平板１２
５を４回駆動して光軸をハーフピッチずらした画像を撮
影する制御を示している。

【００５２】このときＳ１では“フィールド読み出しモ
ード”でＣＣＤ１０３を動作させ、各色フィルタを透過
した輝度に対応した電荷量を出力させ、それをＡ／Ｄ１
０４でデジタル量に変換後２値化処理部１２７に供給す
る。２値化処理部１２７ではＳ９で設定された各色フィ
ルタに対応するしきい値で入力データを２値化しフレー
ムメモリ制御部１０６に供給する（Ｓ１２）。

【００５３】フレームメモリ制御部１０６は、Ｓ１５
で、４回に分けて撮影され、２値化された画像データを
空間的に整合がとれるように並べ直してメインメモリ１
１４に一旦転送する。

【００５４】メインメモリ１１４に格納された２値化さ
れた画像データは、通信部１１２に転送され圧縮符号化
され通信回線１２４を介して所要の個所へ転送される。

【００５５】本実施例では、画像入力部の画素数の変更
手段として、平行平板１４０を使用して、光学的に光軸
をずらして画素数を見掛け上増やす手法について述べた
が、この他にも、二枚のガラス板の間にシリコンオイル
を封入し、ガラス板の頂角を変えることが可能なアクテ
ィブプリズム（可変頂角プリズム）を使用しても、同様
の効果を得ることができる。

【００５６】以上説明したように、本実施例によれば、
画素数の少ない撮像素子を用いていても高解像度の画像
が入力でき、また、視覚的にみて適切なしきい値で２値
化した明確な画像を短時間に入力することが可能であ
る。

【００５７】

【発明の効果】以上説明したように、本発明によれば、
画素数の少ない撮像素子を用いても画素ずらし法による
撮影によって高解像度の画像が入力でき、また撮影を行
いながら２値化を行うことで処理時間の短縮が可能であ
る。

【図面の簡単な説明】

【図１】 実施例の構成を示すブロック図

【図２】 平行平板による高解像化の原理を示す図

【図３】 実施例で用いるフィルタアレイにおける色フ
ィルタパターンを示す図

【図４】 実施例の動作を示すフローチャート

【図５】 従来例の構成を示す図

【符号の説明】

１０１ レンズ部 １０３ ＣＣＤ １１０ 全体制御部 １１５ 表示部 １２５ 平行平板 １２７ ２値化処理部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 撮像素子と、この撮像素子の感光面に入
   射する光軸の位置を微小変位する光軸変位手段と、前記
   撮像素子により撮影した画像の信号を適宜のしきい値で
   ２値化する２値化手段と、この２値化手段で２値化した
   画像を表示する表示手段と、前記しきい値を指示する指
   示手段と、前記光軸変位手段を動作させて前記撮像素子
   により撮影し前記２値化手段により２値化した複数枚の
   画像を、１枚の画像に合成するように制御する制御手段
   とを備えたことを特徴とする画像処理装置。
2. 【請求項２】 光軸変位手段は、平行平板を用いるもの
   であることを特徴とする請求項１記載の画像処理装置。
3. 【請求項３】 光軸変位手段は、可変頂角プリズムを用
   いるものであることを特徴とする請求項１記載の画像処
   理装置。
4. 【請求項４】 フレーム読み出しで画像を取り込み、前
   記画像を指示したしきい値で２値化した２値化画像を表
   示し、この表示された２値化画像を見て前記しきい値を
   決定し、フィールド読み出しで画像を取り込み、先に決
   定したしきい値にもとづいて２値化した複数の画像から
   １枚の画像を合成し出力することを特徴とする画像処理
   方法。