JPH10191048A - 画像処理方法および画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 シェーディングの影響が顕著に現れやすい線
画に対して少ないワークメモリでシェーディングの影響
を除去し、見た目によい画像とする。 【解決手段】 入力された画像データの所定ラインごと
にそのラインを構成する画素が線画のエッジ部を構成す
る画素か否かを判断し、当該処理対象ラインにおいて、
線画におけるエッジ部の輝度の影響を除去した各画素ご
との輝度値を求める背景予測処理を行う（ステップｓ
１）。次に、この背景予測処理で得られた処理対象ライ
ンにおける各画素ごとの輝度値にエッジ部以外の線画部
分の影響が含まれているか否かを判断し、エッジ部以外
の線画部分の影響が含まれている場合に、その影響を除
去した各画素ごとの輝度値を求める背景予測の修正処理
を行う（ステップｓ２）。さらに、この背景予測の修正
処理で得られた各画素ごとの輝度値基に、所望の輝度値
となるように輝度補正して背景補正する（ステップｓ
３）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像および画像関
連機器における画像処理技術に関するもので、ＣＣＤカ
メラなどのシェーディング（照明むらによる輝度差）が
生じるセンサで撮られた画像のシェーディングを補正す
るのに適した画像処理方法および画像処理装置に関す
る。

【０００２】

【従来の技術】ＣＣＤカメラなどのエリアセンサで撮ら
れた画像は、シェーディングによる影響により、ディジ
タル処理後の画像に暗い影が生じる場合がある。特に、
画像の端部に近い部分（画像の周辺部という）にシェー
ディングの影響が現れやすい。さらに、風景などの自然
画を取り込んだ場合に比べ、均一な背景色の中に文字や
図形などの線画が存在する画像を取り込んだ場合に、シ
ェーディングの影響が画像に顕著に現れ、見た目によく
ない画像となる場合が多い。

【０００３】ところで、最近では、手書き入力情報だけ
でなくＣＣＤカメラを内蔵して画像の取り込みをも可能
にした小型携帯情報処理機器が実用化されてきている。
この小型携帯情報処理機器は、取り込んだ情報を取り込
みと同時に表示したり、すでに取り込まれている情報を
読み出して表示するための表示部が設けられている。こ
のような小型携帯機器の表示部としては、電池の寿命を
考慮して反射形の液晶表示装置（ＬＣＤという）が用い
られることが多い。

【０００４】このＬＣＤは、一般に、表示階調数が少な
く、たとえば４階調程度である場合が多い。これに対し
て、ＣＣＤ撮像素子を用いたＣＣＤカメラは、２５６階
調というように高い階調数を持っている。したがって、
ＣＣＤカメラで取り込んだ画像をＬＣＤに表示する場合
は、階調数を減らす必要がある。

【０００５】この階調を減らす処理を行う際、前記した
ようなシェーディングの影響を受けて周辺が暗くなった
画像を、たとえば、４値化処理すると、処理後の画像
は、周辺部の暗い部分が黒いつぶれとなって現れる場合
もある。

【０００６】そこで、シェーディングの影響を受けた画
像に対して、そのシェーディングの影響を補正する必要
が生じてくる。

【０００７】従来のシェーディング補正の方法として、
シェーディングの影響を受けた１画面分の画像データを
取り込んだのち、似たような明るさになるように画面を
幾つかの領域に分割して、全体が滑らかな明るさの変化
となるような処理を行うものがある（信学技報、ＩＥ９
６−２１，１９９６−０９、「ＣＣＤカメラで取り込ん
だ画像の２値化に関する研究」）。

【０００８】

【発明が解決しようとする課題】この従来技術は、シェ
ーディング補正を行う際、１画面分の画像データを取り
込んで幾つかの領域に分割する処理を行うため、ワーク
メモリとして、少なくとも１画面分の画像データを蓄え
るための大きな容量を持ったメモリが必要となる。

【０００９】しかし、ＣＣＤカメラは一般に小型の機器
に使用される場合が多い。特に、電子手帳のような携帯
用の情報処理機器に、今後、さらに使用されることが多
くなると思われる。この種の機器にあっては、小型、軽
量化は勿論、低コスト化も要求され、使用する部品にも
大きな制約がある。したがって、ワークメモリなどもな
るべく小容量のものを使用することが望ましい。

【００１０】また、ＣＣＤカメラで撮影される被写体
は、線画のみではなく、風景などの自然画もその対象と
なる。そして、これらの画像を前記したように、階調数
の少ない表示部で表示する場合には、階調数を少なくす
る処理（たとえば、２５６階調を４階調とする処理）を
行う必要がある。

【００１１】この階調数を少なくする処理としては、
「大津の方法」（電気通信学会論文誌、'84/4,vol.J63-
D No.4 349頁）や誤差拡散法、ディザ法などを適用す
ることで対応できる。

【００１２】前記した「大津の方法」は、２値化するた
めのしきい値を設定するには適した技術である。これを
利用して、たとえば、４値化する場合には、まず、２値
化のためのしきい値を決定する処理を行ったのち、その
しきい値により分割されたそれぞれの領域に対して同様
にそれぞれしきい値を求めるという処理を行う。この方
法は、ｎ値化を行うための演残量は多いが、線画などエ
ッジを明瞭に保存する必要のある画像に対しては有効な
方法である。

【００１３】一方、誤差拡散法やディザ法は、面積的に
階調を出そうとするものであるため、エッジが保存され
にくい欠点がある。このため、明るい背景の中に文字や
図形などの線画が存在するような画像を取り込んで、階
調変換処理するような場合は、その有意情報である線画
のエッジ部分が不明瞭なものとなりやすく、見た目によ
い画像が得られないという問題がある。

【００１４】このように、文字や図形などの線画に対し
ては、大津の方法などによる固定的なしきい値を用いた
２値化処理が適し、自然画に対しては面積的に階調を出
そうとする誤差拡散法やディザ法階調が適している。し
たがって、階調を減らすためには、線画か自然画かに応
じて、階調処理方法を選択して階調処理を施すことが望
ましい。

【００１５】そこで本発明は、まず、シェーディングの
影響が顕著に現れやすい文字や図形などの線画に対し
て、所定ライン単位でシェーディングの影響を除去する
ことで、ワークメモリの小容量化を図ることを目的と
し、装置全体の小型軽量化を図り、低コスト化をも可能
とすることを１つの目的としている。

【００１６】また、このシェーディング補正と、ｎ−１
個のしきい値によるｎ値化処理とを組み合わせることに
より、ＣＣＤカメラなどのエリアセンサで撮られたシェ
ーディングのある画像に対して、そのシェーディングの
影響を無くし、かつ、エッジが保存された状態で階調を
減らすことができるようにし、さらに、線画か否かを判
断し、線画である場合のみにシェーディング補正すると
いう処理を行うことにより、シェーディングが顕著に現
れやすい線画のみに対してシェーディング補正処理を行
うことができ、処理を軽減し、処理時間の短縮化を図
る。さらにまた、線画か否かを判断し、線画であればシ
ェーディング補正を行うとともに、ｎー１個のしきい値
を用いた階調処理を行い、線画でなければ、自然画とみ
なして自然画に適した階調処理方法により階調処理する
という処理を行うことにより、ＣＣＤカメラなどのシェ
ーディングの発生しやすいエリアセンサで撮られた画像
を反射型のＬＣＤなどに表示する際に、撮影対象に関係
なく撮影対象に適した処理を自動的に行い、良好な画像
を表示することを目的としている。

【００１７】

【課題を解決するための手段】前記した目的を達成する
ために、本発明の画像処理方法は、請求項１に記載され
るように、入力された画像データの所定ラインごとにそ
のラインを構成する画素が線画のエッジ部を構成する画
素か否かを判断し、当該処理対象ラインにおいて、線画
におけるエッジ部分の輝度の影響を除去した各画素ごと
の輝度値を求める背景予測処理を行ったのち、この背景
予測処理で得られた処理対象ラインにおける各画素ごと
の輝度値にエッジ部以外の線画部分の影響が含まれてい
るか否かを判断し、エッジ部以外の線画部分の影響が含
まれている場合に、その影響を除去した各画素ごとの輝
度値を求める背景予測の修正処理を行い、さらに、この
背景予測の修正処理で得られた各画素ごとの輝度値を基
に、所望とする輝度値となるように輝度値補正する背景
補正処理を行うことを特徴としている。

【００１８】その具体的な方法としては、請求項２に記
載されるように、入力された画像データの所定ラインご
とにその所定ラインを構成する画素が線画のエッジ部を
構成する画素か否かを判断し、エッジを構成する画素で
ない場合は、それ以前に処理されたライン上の対応する
画素位置の輝度値をもとに処理中の画素の輝度値を演算
により求め、この求められた輝度値により、それ以前に
処理された輝度値を更新し、エッジを構成する画素であ
る場合は、それ以前に処理されたライン上の対応する画
素位置の輝度値をそのまま保持する処理を、所定ライン
づつその所定ラインを構成する画素ごとに繰り返した行
うことで、線画におけるエッジ部分の輝度の影響を除去
した各画素ごとの輝度値を所定ライン単位で求める背景
予測処理を行ったのち、この背景予測処理において得ら
れた所定ラインにおける各画素ごとの輝度値が、所望と
する輝度値以下であると判定された場合に、その輝度値
を有する画素を含む所定の探索範囲を設定し、その探索
範囲内における隣接画素との輝度変化を各画素ごとに調
べ、探索範囲内において輝度変化の少ない画素が予め設
定した数以上である場合には、その輝度変化の少ない画
素の輝度値を基にして輝度値を決定し、探索範囲内にお
いて輝度変化の少ない画素が予め設定した数より少ない
場合には、探索範囲全体の画素の輝度値をもとにして輝
度値を決定して、この決定された値により背景予測結果
の修正処理を行い、さらに、この背景予測結果の修正処
理により修正された結果と、所望とする値として設定さ
れた輝度値とを比較して、その差分を求め、求められた
差分を前記入力された画像データの対応する画素位置の
輝度値に対して加減することにより、所望の輝度値とな
るような背景補正を行うことを特徴としている。

【００１９】このように本発明では、シェーディングの
影響が顕著に現れやすい文字や図形などの線画に対し
て、所定ライン単位でシェーディングの影響を除去する
ようにしている。特に、１ラインづつの処理を行うこと
により、ワークメモリとしては１ライン分のラインメモ
リで済むためワークメモリの小容量化を図ることがで
き、また、１ラインごとの処理であるため、画像の取り
込みを行いながら１ラインの処理が終了したらそれを表
示し、次の１ラインの処理が終了したらそれを表示する
ということができるため、連続的な入力に対応しやすい
という利点がある。さらに、請求項３に記載されている
ように、前記処理されたライン上の対応する画素位置の
画素の輝度値をもとに処理対象画素の輝度値を演算によ
り求める処理は、それ以前に処理されたライン上の対応
する画素位置の輝度値と、処理中の画素の輝度値との平
均をとる処理である。これにより、簡単な演算でエッジ
部分の輝度の影響を減らすことができる。

【００２０】また、本発明の画像処理方法は、請求項４
に記載されるように、入力された画像データの所定ライ
ン単位の画像データからｎ値化を行う上で必要なｎ−１
個（ｎは２以上の正の整数）のしきい値を求めるための
データを所定ラインごとに取得し、ある１定のライン分
の処理が終了したのち、ｎ−１個のしきい値を求め、前
記入力された画像データを所定ライン単位でシェーディ
ング補正を行い、このシェーディング補正された画像を
前記ｎ−１個のしきい値を用いてｎ値化処理することを
特徴としている。

【００２１】この請求項４の発明は、シェーディング補
正処理と、ｎ−１個のしきい値を用いたｎ値化処理とを
組み合わせたものである。これは、ＣＣＤカメラなどの
エリアセンサで撮られたシェーディングのある画像に対
して、そのシェーディングの影響を無くし、かつ、エッ
ジが保存された状態で階調を減らす必要のある場合に、
有効な方法となる。さらに、ラインごとの処理であるた
め、前記同様、ワークメモリを小容量化することがで
き、画像の取り込みを行いながら１ラインの処理が終了
したらそれを表示し、次の１ラインの処理が終了したら
それを表示するということができるため、連続的な入力
に対応しやすいという利点がある。

【００２２】また、本発明の画像処理方法は、請求項５
に記載されるように、入力された画像データの所定ライ
ン単位の画像データから画像が線画による画像か否かを
判断するために必要なデータを所定ラインごとに取得
し、ある１定のライン分の処理が終了したのち、線画か
否かを判断し、線画による画像であると判断された場合
は、前記画像データを所定ライン単位でシェーディング
補正することを特徴としている。

【００２３】この請求項５の発明は、線画か否かを判断
し、線画であればシェーディング補正を行うというもの
である。これにより、シェーディングが顕著に現れやす
い線画のみに対してシェーディング補正処理を行うこと
ができ、線画のシェーディングを目立たなくすることが
でき、かつ、線画のみに対して補正処理を行うことで、
処理を軽減し、処理時間の短縮化も図れる。さらに、ラ
インごとの処理であるため、前記同様の効果も得られ
る。

【００２４】また、本発明の画像処理方法は、請求項６
に記載されるように、入力された画像データの所定ライ
ン単位の画像データから画像が線画による画像か否かを
判断するために必要なデータを所定ラインごとに取得
し、ある１定のライン分の処理が終了したのち、線画か
否かを判断するとともに、入力された画像データの所定
ライン単位の画像データからｎ値化を行う上で必要なｎ
−１個のしきい値を求めるためのデータを所定ラインご
とに取得し、ある１定のライン分の処理が終了したの
ち、ｎ−１個のしきい値を求め、前記線画判断により線
画であると判断された場合には、前記入力された画像デ
ータを所定ライン単位でシェーディング補正を行い、こ
のシェーディング補正された画像をｎ−１個のしきい値
を用いてｎ値化処理を行い、前記線画判断により線画で
ないと判断された場合は、面積的な階調を得る階調処理
を行うことを特徴としている。

【００２５】この請求項６の発明は、線画か否かを判断
し、線画であればシェーディング補正を行うとともに、
ｎー１個のしきい値を用いた階調処理を行い、線画でな
ければ、自然画とみなして自然画に適した階調処理（た
とえば、ディザ処理や誤差拡散処理）を行うものであ
る。

【００２６】これにより、ＣＣＤカメラなどのシェーデ
ィングの発生しやすいエリアセンサで撮られた画像を反
射型のＬＣＤなどに表示する場合、階調を落とす処理を
行う際、線画に対してはシェーディング補正を行うとと
もに、ｎ−１個のしきい値を用いてｎ値化処理し、自然
画に対しては自然画に適した階調処理を行うので、撮影
対象に関係なく撮影対象に適した処理が自動的に行え、
良好な画像を表示することができる。さらに、ラインご
との処理であるため、前記同様の効果も得られる。

【００２７】前記請求項４、５、６のいずれかの発明に
おいて、前記シェーディング補正処理は、入力された画
像データの所定ラインごとにその所定ラインを構成する
画素が線画のエッジ部を構成する画素か否かを判断し、
エッジを構成する画素でない場合は、それ以前に処理さ
れたライン上の対応する画素位置の輝度値をもとに処理
中の画素の輝度値を演算により求め、この求められた輝
度値により、それ以前に処理された輝度値を更新し、エ
ッジを構成する画素である場合は、それ以前に処理され
たライン上の対応する画素位置の輝度値をそのまま保持
する処理を、所定ラインづつその所定ラインを構成する
画素ごとに繰り返して行うことで、線画におけるエッジ
部分の輝度の影響を除去した各画素ごとの輝度値を所定
ライン単位で求める背景予測処理を行ったのち、この背
景予測処理において得られた所定ラインにおける各画素
ごとの輝度値が、所望とする輝度値以下であると判定さ
れた場合に、その輝度値を有する画素を含む所定の探索
範囲を設定し、その探索範囲内における隣接画素との輝
度変化を各画素ごとに調べ、探索範囲内において輝度変
化の少ない画素が予め設定した数以上である場合には、
その輝度変化の少ない画素の輝度値を基にして輝度値を
決定し、探索範囲内において輝度変化の少ない画素が予
め設定した数より少ない場合には、探索範囲全体の画素
の輝度値をもとにして輝度値を決定して、この決定され
た値により背景予測結果の修正処理を行い、さらに、こ
の背景予測結果の修正処理により修正された結果と、所
望とする値として設定された輝度値とを比較して、その
差分を求め、求められた差分を前記入力された画像デー
タの対応する画素位置の輝度値に対して加減することに
より、所望の輝度値となるような背景補正を行うように
している。

【００２８】そして、請求項８に記載されるように、前
記処理されたライン上の対応する画素位置の画素の輝度
値をもとに処理対象画素の輝度値を演算により求める処
理は、それ以前に処理されたライン上の対応する画素位
置の輝度値と、処理中の画素の輝度値との平均をとるよ
うにししている。

【００２９】シェーディング補正をこのような方法で行
うことにより、シェーディングの影響が顕著に現れやす
い文字や図形などの線画に対して、所定ライン単位でシ
ェーディングの影響を確実に除去することができ、良好
な画像を得ることができる。特に、１ラインづつの処理
を行うことにより、ワークメモリとしては１ライン分の
ラインメモリで済むためワークメモリの小容量化を図る
ことができ、また、１ラインごとの処理であるため、画
像の取り込みを行いながら１ラインの処理が終了したら
それを表示し、次の１ラインの処理が終了したらそれを
表示するということができるため、連続的な入力に対応
しやすいという利点がある。

【００３０】さらに、処理されたライン上の対応する画
素位置の画素の輝度値をもとに処理対象画素の輝度値を
演算により求める処理は、それ以前に処理されたライン
上の対応する画素位置の輝度値と、処理中の画素の輝度
値との平均をとる処理であるため、背簡単な演算でエッ
ジ部分の輝度の影響を減らすことができる。

【００３１】また、本発明の画像処理装置は、請求項９
に記載されるように、入力された画像データの所定ライ
ン分のデータを保持する画像データ用ラインメモリと、
この画像データ用ラインメモリに保持された所定ライン
分の画像データを構成するそれぞれの画素が線画のエッ
ジ部を構成する画素か否かを判断し、当該処理対象ライ
ンにおいて、線画におけるエッジ部分の輝度の影響を除
去した各画素ごとの輝度値を求めることで背景予測を行
う背景予測手段と、この背景予測手段で得られた処理対
象ラインにおける各画素ごとの輝度値を保持する背景予
測用ラインメモリと、この背景予測手段で得られた背景
予測用ラインメモリの内容をもとに、処理対象ラインに
おける背景予測された各画素ごとの輝度値にエッジ部以
外の線画部分の影響が含まれているか否かを判断し、エ
ッジ部以外の線画部分の影響が含まれている場合に、そ
の影響を除去した各画素ごとの輝度値を求め、前記背景
予測用ラインメモリの対応する位置の画素の輝度値をそ
の求めた値に更新する背景予測修正手段と、この背景予
測修正手段による修正後の結果が保持された背景予測用
ラインメモリの内容を基に、前記画像データ用ラインメ
モリの内容を所望とする輝度値となるように輝度補正す
る背景補正手段とを有することを特徴としている。

【００３２】その具体的な装置としては、請求項１０に
記載されるように、入力された画像データの所定ライン
分のデータを保持する画像データ用ラインメモリと、こ
の画像データ用ラインメモリに保持された画像データの
所定ラインごとにその所定ラインを構成する画素が線画
のエッジ部を構成する画素か否かを判断し、エッジを構
成する画素でない場合は、それ以前に処理されたライン
上の対応する画素位置の輝度値をもとに、処理中の画素
の輝度値を演算により求め、この求められた輝度値によ
り、それ以前に処理された輝度値を更新し、エッジを構
成する画素である場合は、それ以前に処理されたライン
上の対応する画素位置の輝度値をそのまま保持する処理
を、所定ラインづつその所定ラインを構成する画素ごと
に繰り返して行うことで、線画におけるエッジ部分の輝
度の影響を除去した処理対象ラインにおける各画素ごと
の輝度値をライン単位で求める背景予測手段と、この背
景予測手段で得られた処理対象ラインにおける各画素ご
との輝度値を保持する背景予測用ラインメモリと、前記
背景予測処理において得られた背景予測用ラインメモリ
の内容をもとに、処理対象ラインにおいて、各画素位置
対応の輝度値が、所望とする輝度値以下であると判定さ
れた場合に、その輝度値を有する画素を含む所定範囲の
探索範囲を設定し、その探索範囲内における隣接画素と
の輝度変化を各画素ごとに調べ、探索範囲内において輝
度変化の少ない画素が予め設定した数以上である場合に
は、その輝度変化の少ない画素の輝度値を基にして輝度
値を決定し、探索範囲内において輝度変化の少ない画素
が予め設定した数より少ない場合には、探索範囲全体の
画素の輝度値を基にして輝度値を決定し、前記背景予測
用ラインメモリの対応する画素位置の内容を前記決定さ
れた内容に更新して背景予測結果の修正を行う背景予測
修正手段と、前記背景予測結果修正手段により修正され
た結果と、所望とする値として設定された輝度値とを比
較してその差分を求め、求められた差分を前記画像デー
タ用ラインメモリの対応する画素位置の輝度値に対して
加減することにより所望とする輝度値に輝度補正する背
景補正手段とを有することを特徴としている。

【００３３】このように本発明では、シェーディングの
影響が顕著に現れやすい文字や図形などの線画に対し
て、所定ライン単位でシェーディングの影響を除去する
ようにしている。特に、１ラインづつの処理を行うこと
により、ワークメモリとしては１ライン分の画像データ
用ラインメモリと背景予測用ラインメモリで済むためワ
ークメモリの小容量化を図ることができ、装置全体を小
型軽量化が図れ、低コスト化も可能となる。また、１ラ
インごとの処理であるため、画像の取り込みを行いなが
ら１ラインの処理が終了したらそれを表示し、次の１ラ
インの処理が終了したらそれを表示するということがで
きるため、連続的な入力に対応しやすいという利点があ
る。

【００３４】さらに、請求項１１に記載されているよう
に、前記処理されたライン上の対応する画素位置の画素
の輝度値をもとに処理対象画素の輝度値を演算により求
める処理は、それ以前に処理されたライン上の対応する
画素位置の輝度値と、処理中の画素の輝度値との平均を
とる処理である。これにより、簡単な演算でエッジ部分
の輝度の影響を減らすことができる。

【００３５】また、本発明の画像処理装置は、請求項１
２に記載されるように、入力された画像データの所定ラ
イン単位のデータを保持する画像データ用ラインメモリ
と、この画像データ用ラインメモリに保持された画像デ
ータをもとに、所定ライン単位で画像データのシェーデ
ィング補正を行うシェーディング補正手段と、前記画像
データ用ラインメモリに保持された画像データから、ｎ
値化を行う上で必要なｎ−１個のしきい値を求めるため
のデータを取得し、ある１定のライン分の処理が終了し
た後に、ｎ−１個のしきい値を求めるしきい値算出手段
と、前記シェーディング補正手段によりシェーディング
補正された画像を前記ｎ−１個のしきい値を用いてｎ値
化処理するｎ値化処理手段とを有することを特徴として
いる。

【００３６】この請求項１２の発明は、シェーディング
補正手段と、ｎ−１個のしきい値を得るしきい値算出手
段と、ｎ値化処理手段とを組み合わせたものである。こ
れは、ＣＣＤカメラなどのエリアセンサで撮られたシェ
ーディングのある画像に対して、そのシェーディングの
影響を無くし、かつ、エッジが保存された状態で階調を
減らす必要のある場合に、有効な装置となる。さらに、
ラインごとの処理であるため、前記同様、ワークメモリ
を小容量化することができ、画像の取り込みを行いなが
ら１ラインの処理が終了したらそれを表示し、次の１ラ
インの処理が終了したらそれを表示するということがで
きるため、連続的な入力に対応しやすいという利点があ
る。

【００３７】また、本発明の画像処理装置は、請求項１
３に記載されるように、入力された画像データの所定ラ
イン単位のデータを保持する画像データ用ラインメモリ
と、この画像データ用ラインメモリに保持された画像デ
ータをもとに、所定ライン単位で画像データが線画か否
かを判断するために必要なデータを取得し、ある１定の
ライン分の処理が終了した後に、線画か否かを判断する
線画判断手段と、前記画像データ用ラインメモリに保持
された画像データをもとに、所定ライン単位で画像デー
タのシェーディング補正を行うシェーディング補正手段
と、前記線画判断手段から線画による画像であるとの判
断結果を受けると、前記画像データ用ラインメモリの内
容をシェーディング補正手段に与えるスイッチ手段とを
有することを特徴としている。

【００３８】この請求項１３の発明は、線画か否かを判
断し、線画であればシェーディング補正を行うというも
のである。これにより、シェーディングが顕著に現れや
すい線画のみに対してシェーディング補正処理を行うこ
とができ、線画のシェーディングを目立たなくすること
ができ、かつ、線画のみに対して補正処理を行うこと
で、処理を軽減し、処理時間の短縮化も図れる。さら
に、ラインごとの処理であるため、前記同様の効果も得
られる。

【００３９】また、本発明の画像処理装置は、請求項１
４に記載されるように、入力された画像データの所定ラ
イン単位のデータを保持する画像データ用ラインメモリ
と、この画像データ用ラインメモリに保持された画像デ
ータをもとに、所定ライン単位で画像データが線画か否
かを判断するために必要なデータを取得し、ある１定の
ライン分の処理が終了したのちに、線画か否かを判断す
る線画判断手段と、前記画像データ用ラインメモリに保
持された画像データからｎ値化を行う上で必要なｎ−１
個のしきい値を求めるためのデータを取得し、ある１定
のライン分の処理が終了したのちに、ｎ−１個のしきい
値を求めるしきい値算出手段と、前記画像データ用ライ
ンメモリに保持された画像データをもとに、所定ライン
単位で画像データのシェーディング補正を行うシェーデ
ィング補正手段と、前記シェーディング補正手段により
シェーディング補正された画像を前記ｎ−１個のしきい
値を用いてｎ値化処理するｎ値化処理手段と、線画以外
の画像に対して面積的な階調処理を行う自然画用階調処
理手段と、前記線画判断手段からの線画か線画でないか
の判断結果に応じて、前記しきい値算出手段、シェーデ
ィング補正手段、ｎ値化手段からなる線画用の階調処理
手段か前記自然画用階調処理手段のいずれかを選択する
選択手段とを有し、線画の場合は前記線画用の階調処理
手段によりシェーディング補正を含んだ階調処理を行
い、線画でない場合は前記自然画用の階調処理手段によ
り階調処理を行うことを特徴としている。

【００４０】この請求項１４の発明は、線画か否かを判
断し、線画であればシェーディング補正を行うととも
に、ｎー１個のしきい値を用いた階調処理を行い、線画
でなければ、自然画とみなして自然画に適した階調処理
（たとえば、ディザ処理や誤差拡散処理）を行うもので
ある。

【００４１】これにより、ＣＣＤカメラなどのシェーデ
ィングの発生しやすいエリアセンサで撮られた画像を反
射型のＬＣＤなどに表示する場合、階調を落とす処理を
行う際、線画に対してはシェーディング補正を行うとと
もに、ｎ−１個のしきい値を用いてｎ値化処理し、自然
画に対しては自然画に適した階調処理を行うので、撮影
対象に関係なく撮影対象に適した処理が自動的に行え、
良好な画像を表示することができる。さらに、ラインご
との処理であるため、前記同様の効果も得られる。

【００４２】前記請求項１２、１３、１４のいずれかの
発明において、シェーディング補正手段は、入力された
画像データの所定ライン分のデータを保持する画像デー
タ用ラインメモリと、この画像データ用ラインメモリに
保持された画像データの所定ラインごとにその所定ライ
ンを構成する画素が線画のエッジ部を構成する画素か否
かを判断し、エッジを構成する画素でない場合は、それ
以前に処理されたライン上の対応する画素位置の輝度値
をもとに、処理中の画素の輝度値を演算により求め、こ
の求められた輝度値により、それ以前に処理された輝度
値を更新し、エッジを構成する画素である場合は、それ
以前に処理されたライン上の対応する画素位置の輝度値
をそのまま保持する処理を、所定ラインづつその所定ラ
インを構成する画素ごとに繰り返して行うことで、線画
におけるエッジ部分の輝度の影響を除去した処理対象ラ
インにおける各画素ごとの輝度値をライン単位で求める
背景予測手段と、この背景予測手段で得られた処理対象
ラインにおける各画素ごとの輝度値を保持する背景予測
用ラインメモリと、前記背景予測処理において得られた
背景予測用ラインメモリの内容をもとに、処理対象ライ
ンにおいて、各画素位置対応の輝度値が、所望とする輝
度値以下であると判定された場合に、その輝度値を有す
る画素を含む所定範囲の探索範囲を設定し、その探索範
囲内における隣接画素との輝度変化を各画素ごとに調
べ、探索範囲内において輝度変化の少ない画素が予め設
定した数以上である場合には、その輝度変化の少ない画
素の輝度値を基にして輝度値を決定し、探索範囲内にお
いて輝度変化の少ない画素が予め設定した数より少ない
場合には、探索範囲全体の画素の輝度値を基にして輝度
値を決定し、前記背景予測用ラインメモリの対応する画
素位置の内容を前記決定された内容に更新して背景予測
結果の修正を行う背景予測修正手段と、前記背景予測結
果修正手段により修正された結果と、所望とする値とし
て設定された輝度値とを比較してその差分を求め、求め
られた差分を前記画像データ用ラインメモリの対応する
画素位置の輝度値に対して加減することにより所望とす
る輝度値に輝度補正する背景補正手段とを有することを
特徴としている。

【００４３】そして、前記処理されたライン上の対応す
る画素位置の画素の輝度値をもとに処理対象画素の輝度
値を演算により求める処理は、それ以前に処理されたラ
イン上の対応する画素位置の輝度値と処理中の輝度値の
平均をとるようにしている。シェーディング補正をこの
ような装置を用いて行うことにより、シェーディングの
影響が顕著に現れやすい文字や図形などの線画に対し
て、所定ライン単位でシェーディングの影響を確実に除
去することができ、良好な画像を得ることができる。特
に、１ラインづつの処理を行うことにより、ワークメモ
リとしては１ライン分の画像データ用ラインメモリと背
景予測用ラインメモリで済むためワークメモリの小容量
化を図ることができ、装置の小型軽量化、低コスト化が
図れる。また、１ラインごとの処理であるため、画像の
取り込みを行いながら１ラインの処理が終了したらそれ
を表示し、次の１ラインの処理が終了したらそれを表示
するということができるため、連続的な入力に対応しや
すいという利点がある。

【００４４】さらに、処理されたライン上の対応する画
素位置の画素の輝度値をもとに処理対象画素の輝度値を
演算により求める処理は、それ以前に処理されたライン
上の対応する画素位置の輝度値と、処理中の画素の輝度
値との平均をとる処理であるため、簡単な演算でエッジ
部分の輝度の影響を減らすことができる。

【００４５】

【発明の実施の形態】以下、本発の実施の形態を図面を
参照して説明する。

【００４６】（第１の実施の形態）この第１の実施の形
態では、撮影対象画像はほぼ均一色の背景内に文字や図
形などの線画が描かれているような画像であるものと
し、その画像がシェーディングの影響を受けているもの
とする。図１は第１の実施の形態の全体的な概略処理を
説明するフローチャートであり、以下、処理手順を説明
する。

【００４７】まず、概略的な処理について説明し、個々
の詳細な処理については、のちに説明する。

【００４８】図１において、ＣＣＤカメラで取り込まれ
た画像データの１ライン分のデータについて背景を予測
するための背景予測を行う（ステップｓ１）。そして、
その背景予測された結果を用いて、予測結果の修正を行
い（ステップｓ２）、その予測結果の修正データを参照
して背景補正を行う（ステップｓ３）。そして１画面の
全ラインの処理が終了したか否かを判断して（ステップ
ｓ４）、終了していなければ、次のラインについてステ
ップｓ１以降の処理を行う。

【００４９】前記背景予測処理は以下のようにして行
う。

【００５０】図２はＣＣＤカメラにより取り込まれた或
る１画面分の画像例を示すもので、明るい均一色の背景
１０に文字などの線画２０が存在している。そして、こ
の図２では表現されていないが、シェーディングの影響
を受けて、画像の周辺部が中央部に比べて暗い画像とな
っているものとする。

【００５１】図３（ａ）は図２で示すような画像のある
１ライン（たとえば、図２の破線で示す１ライン）にお
ける画素（それぞれの画素番号を「０，１，２，・・
・，ｉ，・・・，ｎ」で表す）に対する輝度値（０から
２５５の輝度範囲をとるものとする）の関係を示すもの
で、輝度値が急激に落ち込んでいる部分は、文字を構成
する画素の輝度を示すものであり、その他は背景を構成
する画素の輝度を示している。なお、図２の破線で示す
１ライン上における文字部分の輝度と図３の輝度の変化
はこの場合、必ずしも一致していない。また、この画像
はシェーディングの影響を受けているので、背景部分の
輝度の変化曲線は、画像の中央付近の輝度が高く、両端
部に近いほど輝度が小さくなるような曲線を描いてい
る。

【００５２】このようなシェーディングの影響を受けた
背景に対してシェーディングの影響を除去するのである
が、まず、文字の影響を殆ど除去して背景部分の輝度変
化を大まかになだらかにする処理を行う。これをここで
は背景予測処理と呼ぶ。この背景予測処理について、図
４のフローチャートを参照しながら説明する。

【００５３】図４において、まず、処理対象のラインが
最初のラインか否かを判定する（ステップｓ１１）。最
初のラインである場合には、予測結果バッファに最初の
ラインを構成する各画素の輝度を画素対応にそのまま格
納する（ステップｓ１２）。一方、処理対象のラインが
最初のラインでない場合には、ステップｓ１３以降の処
理に入る。

【００５４】ステップｓ１３では、当該ラインにおける
処理対象画素の輝度値ａ〔ｉ〕をその処理対象画素の直
前の画素の輝度値ａ〔i-1〕から引いて、その差をＣと
する処理を行う。次に、ステップｓ１３で求めたＣの絶
対値と予め定めた定数αとを比較して（ステップｓ１
４）、当該画素が文字のエッジ部分の画素であるか、そ
れ以外の画素であるかを判定する。つまり、取り込まれ
た画像データの輝度範囲を０〜２５５とした場合、ここ
では、αを「１０」程度に定め、｜Ｃ｜≦αであれば、
当該画素は背景部分を構成する画素であると判断し、｜
Ｃ｜≦αでなければ、文字のエッジ部分の画素であると
みなす。なお、αの値は「１０」に限られるものではな
く、様々な条件によって最適な値を設定することができ
る。

【００５５】この処理によって、処理対象画素が背景画
素であると判定された場合は、当該処理対象画素に対応
する予測結果バッファの内容を更新する。すなわち、予
測結果バッファの内容のうち、処理対象画素の位置に対
応する画素の輝度値に、処理対象画素の輝度値を足し算
してそれを２で割って、つまり、平均を取って、その計
算結果を予測結果バッファの対応する画素位置に格納す
る（ステップｓ１５）。これをさらに具体的に説明す
る。

【００５６】１ライン分の画素の番号を、１，２，・・
・，ｉ，・・・，ｎで表すとすれば、予測結果バッファ
には１ライン分の各画素に対応した輝度値ｂ〔１〕，ｂ
〔２〕，・・・，ｂ〔ｉ〕，・・・，ｂ〔ｎ〕が格納さ
れる。そして、現在の処理対象画素が、あるラインのｉ
番目の画素であるとすれば、その処理対象画素の輝度値
ａ〔ｉ〕と、予測結果バッファにすでに格納されている
前ラインのｉ番目の画素の輝度値ｂ〔ｉ〕との平均を取
って、その値を新たなデータとして、予測結果バッファ
のｂ〔ｉ〕とする。背景の輝度において急激な変化はな
いと考えられるので、平均を取ることによりノイズに強
い背景予測となる。

【００５７】そして次に、現在処理中の１ラインの全画
素について処理を終了したか否かを判断し（ステップｓ
１６）、処理が終了していなければ、そのラインの次の
画素について、ステップｓ１３の処理を行い、ステップ
ｓ１４にて｜Ｃ｜≦αであれば、当該画素は背景部分を
構成する画素であると判断し、ステップｓ１５，ｓ１６
の処理を行う。このように、予測結果バッファには、そ
れぞれの位置の画素ごとに、前ラインの同位置の画素の
輝度値と現在処理中の画素との平均の輝度値が格納され
る。

【００５８】そして、その１ラインのすべての画素につ
いての処理が終了すると、次に予測結果の修正処理に移
る。この処理については後に詳細に説明する。

【００５９】以上のように、処理対象のラインにおける
それぞれの画素が背景であるとみなされた場合には、そ
れまでの計算結果（処理されたラインのそれぞれ対応す
る位置における画素の輝度値の平均値）を用いて、その
計算結果と現在処理中の画素の輝度値の平均を求めて、
それを新たなデータとして予測結果バッファに格納し、
次のラインでは、対応する位置の画素が背景であるとみ
なされた場合には、それまでの計算結果（対応する位置
の画素の輝度値の平均値）を用いて、その計算結果と現
在処理中の画素の輝度値の平均を求めて、それを新たな
データとして予測結果バッファに格納するという処理を
行う。

【００６０】一方、ステップｓ１４において、｜Ｃ｜≦
αでないと判定された場合、つまり、処理対象画素がエ
ッジ部を構成する画素であると判定された場合には、背
景の輝度の変化はなだらかであること、および、文字等
を構成するエッジ部分の影響の除去を考慮して、何も処
理を行わない。したがって、予測結果バッファの値は変
更されず、その画素に対応する位置の輝度値は、前ライ
ンまでに求められたデータがそのまま保持される。

【００６１】図３（ｂ）は以上のような背景予測処理を
行ったあとの或るライン（図３（ａ）と同じライン）に
おけるそれぞれの画素に対する輝度変化を示す曲線であ
る。この図３（ｂ）からもわかるように、図３（ａ）に
比べて、シェーディングの影響による背景部分の輝度の
予測は、ある程度は滑らかなものとなっている。なお。
図３（ｂ）において、Ｌ０はシェーディングの影響を除
去して或る一定の輝度値にしようとする際の所望とする
輝度値を示している。

【００６２】また、図３（ｂ）において、まだ、輝度の
急激な低下部分が残っている。これは、これまでの背景
予測処理ではエッジ部分以外の文字のデータは使われる
ため、その影響により生じるものである。

【００６３】つまり、図４のフローチャートにおけるス
テップｓ１４は、｜Ｃ｜≦αであれば背景、｜Ｃ｜≦α
でなければエッジというように説明したが、実際には文
字は一定の幅を持ち、幅を持つ線の部分を構成する画素
の場合は、隣接する画素との間で、｜Ｃ｜≦αが成り立
つことになり、その線の部分のデータが用いられて、ス
テップｓ１５の処理が行われることになる。したがっ
て、図３（ｂ）の輝度が急激に下がっている部分は、文
字の影響が少し残っているために生じるものである。こ
れを修正するのが予測結果の修正処理である。この予測
結果修正処理は予測結果バッファのデータを用いて、予
測結果の修正処理を行う（ステップｓ２）。この予測結
果の修正処理は、文字の影響が残った部分を中心に背景
を修正し、背景のみの輝度曲線を得る処理であり、以下
に、この予測結果の修正処理について図５のフローチャ
ートを参照しながら説明する。

【００６４】図５において、まず、所望とする輝度Ｌ０
と処理対象ラインにおける１つの画素の輝度ｂ〔ｉ〕を
比較し（ステップｓ２１）、Ｌ０＞ｂ〔ｉ〕、つまり、
所望とする輝度Ｌ０よりも予測結果バッファ内のある画
素の輝度が小さい場合は、その画素は文字の影響が残っ
ていて輝度が落ち込んでいるものとみなして修正処理を
行う。この修正処理はステップｓ２２以降の手順に従っ
て行う。

【００６５】始めに探索範囲の設定を行う（ステップｓ
２２）。この探索範囲の設定は、処理対象画素を中心
に、画像における１ライン上の幅の１／１０程度を探索
範囲とし、その範囲の画素を探索範囲画素として設定す
る。たとえば、図３（ｂ）において、ｉの位置の画素
が、Ｌ０＞ｂ〔ｉ〕と判断された場合、その画素を中心
に、図示の如く、探索範囲ｗが設定される。

【００６６】このようにして探索範囲の設定が行われる
と、次に初期化を行う（ステップｓ２３）。この初期化
は、add〔１〕を０、countを０とするとともに、add
〔２〕を０、refを直前の画素の予測結果とする。これ
らの意味については、説明を分かり易くするため、ステ
ップｓ２４，ｓ２５，ｓ２６の処理説明のなかで述べ
る。

【００６７】ステップｓ２４では、refから探索範囲内
のある画素の予測結果ｂ〔ｊ〕を引いた値が、予め定め
た定数βより小さいか否かの判断を行う。つまり、ref
−b〔j〕＜βを判断する。ここで、ｊはステップｓ２２
で設定された探索範囲内での位置を示す変数である。ま
た、βは画像の輝度範囲０〜２５５とした場合、β＝２
０程度に設定される。この値βは、これに限られるもの
ではなく、様々な条件によって最適な値とすればよい。

【００６８】そして、ref−b〔j〕＜βである場合に
は、処理対象画素の予測結果が直前の画素の予測結果と
差が比較的小さいということであるため、その処理対象
画素の予測結果は良好な値であって輝度の変化が滑らか
であると判断する。このような処理対象画素の予測結果
が良好であると判断された場合は、その処理対象画素の
予測結果をこれまでのadd〔１〕に新たにプラスして、
それをadd〔１〕とする。さらに、良好であると判断さ
れた画素の数をこれまでのcountにプラスする（ステッ
プｓ２５）。

【００６９】このように、add〔１〕は探索範囲内にお
いて良好な予測結果を有する画素の予測結果を加算して
得られる値であり、countはその画素数を表すものであ
る。

【００７０】ここで、処理対象画素が探索範囲内での最
初の画素であれば、add〔１〕は初期値として「０」、c
ountも初期値として「０」となっているので、この１番
目の画素に対する処理後には、add〔１〕の値は当該画
素の予測結果そのものとなるとともに、countは「１」
となる。

【００７１】次に、ステップ２６により、その処理対象
画素の予測結果を、これまでのadd〔２〕に新たにプラ
スして、それをadd〔２〕とする。たとえば、処置対象
画素の予測結果をｂ〔ｊ〕とすれば、add〔２〕＋ｂ
〔ｊ〕とし、その結果を新たなadd〔２〕とする。このa
dd〔２〕は、良好な予測結果か良好でない予測結果にか
かわらず探索範囲全体の画素の予測結果を加算して得ら
れる値である。たとえば、処理対象画素が探索範囲内で
の最初の画素であれば、add〔２〕は初期値として
「０」となっているので、この１番目の画素に対する処
理後には、add〔２〕の値は当該画素の予測結果そのも
のとなる。

【００７２】ところで、前記ステップｓ２４において、
ref−b〔j〕＜βでない場合には、処理対象画素の予測
結果が直前の画素の予測結果と差が大きいということで
あるため、その処理対象画素の予測結果は良好でない
値、すなわち背景以外の文字等の影響が残る画素である
と判断する。このように、処理対象画素の予測結果が良
好でないと判断された場合は、直接、ステップ２６の処
理を行い、その処理対象画素の予測結果をこれまでのad
d〔２〕に新たにプラスして、それをadd〔２〕とする。
このように、add〔２〕は、良好な予測結果か良好でな
い予測結果にかかわらず探索範囲全体の画素の予測結果
を加算して得られる値となる。

【００７３】そして次に、探索範囲のすべての画素につ
いて処理が終了したか否かを判断し（ステップｓ２
７）、終了していなければ、当該探索範囲内の次の画素
についてステップｓ２４、ｓ２５，ｓ２６の処理を行
う。

【００７４】このようにして、探索範囲内のすべての画
素について処理が終了すると、次に、修正値の決定処理
を行う（ステップｓ２８）。この修正値の決定処理は、
次のようにして行う。

【００７５】まず、１つの探索範囲内における各画素に
ついての処理（ステップｓ２４〜ｓ２６）が終了したの
ち、countの数、つまり、良好であるとされた予測結果
を有する画素数が幾つあるかを判断して、その数がある
一定数以上に達しているときは、add〔１〕の値（この
値は、良好であるとされた予測結果の累計値）を、coun
tの数で割って、平均の予測結果を求める。そして、こ
のようにして求められた平均の予測結果を、Ｌ０＞ｂ
〔ｉ〕となった画素（ステップｓ２１）に対する予測結
果の修正輝度値とする。ここである一定数以上としたの
は、ステップｓ２の予測結果の修正は統計量を基に修正
を行っており、サンプル数が少ない場合は、統計量とし
て適切でないからである。

【００７６】一方、良好であるとされた予測結果を有す
る画素数がある一定数以上に達していないとき、つま
り、良好であるとされた予測結果を有する画素数が少な
いときは、ステップｓ２６にて求められた探索範囲内の
予測結果累計値add〔２〕を、探索範囲内のすべての画
素数で割って、探索範囲内の平均の予測結果を求め、そ
の探索範囲内の平均の予測結果を、Ｌ０＞ｂ〔ｉ〕とな
った画素（ステップｓ２１）に対する予測結果の修正輝
度値とする。

【００７７】このように、この修正処理は、設定された
探索範囲内において、良好であるとされた画素数がある
一定数以上存在する場合には、良好であるとされた予測
結果の累計値の平均の予測結果を用いて処理対象画素の
輝度値を修正処理し、良好であるとされた予測結果を有
する画素数が少ないときは、探索範囲内全体の予測結果
累計値の平均の予測結果を求め、探索範囲内全体の平均
の予測結果を用いて、処理対象画素の輝度値を修正処理
を行う。

【００７８】以上のようにして、ある画素についての処
理が終了すると、次に、現在処理中のラインの全画素に
ついて処理が終了したか否かを判断し（ステップｓ２
９）、終了していなければ、ステップｓ２１に処理が戻
って、再び、ステップｓ２１以降の処理を行う。

【００７９】図３（ｃ）は以上説明した予測結果の修正
処理が終了して、文字の影響が殆どなくなった背景部分
の予測結果を示すものである。

【００８０】次に、このような背景の予測結果を用い
て、シェーディングの影響を除去した一定の輝度値とす
る背景補正処理を行う（ステップｓ３）。

【００８１】この背景補正処理は、図３（ｃ）に示され
る予測結果の修正処理がなされた処理対象ラインの輝度
曲線において、処理対象ラインのそれぞれの画素に対す
る輝度値を、所望とするある一定の輝度値Ｌ０とする処
理であり、たとえば、ある一定の輝度値Ｌ０と予測結果
修正された輝度曲線との差を各画素ごとに取って、その
差を０とするように、処理対象ラインの各画素の輝度に
適当な値をプラスあるいはマイナスして行う。これによ
り、背景の輝度は、ある一定の輝度値Ｌ０となって、明
るさが一定となり、シェーディングの影響が除去された
ものとなる。

【００８２】そして、最終的には、処理対象ラインにお
ける文字の部分を含めた輝度分布は図３（ｄ）のように
なる。以上のような処理をすべてのラインについて行っ
たのちの画像は、画面全体がほぼ均一の明るい背景とな
り、シェーディングの影響が取り除かれた画像となる。

【００８３】図６は本発明の実施の形態を実現するため
の装置の構成例を示すもので、レンズ１、ＣＣＤカメラ
２、Ａ／Ｄ変換器３、ＣＣＤ制御回路４、画像処理装置
５から構成されている。

【００８４】画像処理装置５はこれまで説明した処理を
行う部分であり、画像データ用ラインメモリ５１、背景
予測用ラインメモリ５２、背景予測手段５３、予測結果
修正手段５４、背景補正手段５５を有し、前記背景予測
用ラインメモリ５２、背景予測手段５３、予測結果修正
手段５４、背景補正手段５５によりシェーディング補正
部５６を構成している。

【００８５】前記画像データ用ラインメモリ５１は、Ｃ
ＣＤカメラ２で取り込まれてＡ／Ｄ変換された画像デー
タのある１ライン分のデータを格納するメモリである。
そして、背景予測手段５２は、画像データ用ラインメモ
リ５１に格納された１ライン分の画像データを用いて、
前記図４のフローチャートで説明したような背景予測処
理を行い、この背景予測を行う際のワークメモリとして
背景予測用ラインメモリ５２が用いられる。この背景予
測用ラインメモリ５２は、図４においては予測結果バッ
ファに相当するものであり、ある１ラインにおける全画
素の処理が終了した時点では、当該ラインにおける各画
素の予測結果がそれぞれの画素対応に格納される。

【００８６】また、予測結果修正手段５４は、図５のフ
ローチャートで説明した背景結果修正処理を行うもの
で、背景予測用ラインメモリ５２の内容を用いて図５の
処理手順に沿った修正処理を行う。そして、背景予測用
ラインメモリ５２のデータを、修正後のデータに更新す
る。

【００８７】さらに、背景補正手段５５は、図１のフロ
ーチャートのステップｓ３の処理を行うもので、修正後
のデータが格納された背景予測用ラインメモリ５２のデ
ータを用て、画像データラインメモリ５１の内容に対し
て背景補正を行い、最終的に図３（ｄ）に示すような画
像とする。

【００８８】以上の処理は１ライン毎に行われるもの
で、画像の取り込みを行いながら１ラインの処理が終了
したらそれを表示し、次の１ラインの処理が終了したら
それを表示するというような１ライン毎の連続的な処理
を行う。

【００８９】以上説明したように、第１の実施の形態
は、線画部分の影響がでないような背景部分の予測を行
い、しかも、前ラインにおいて求められたデータを使用
して背景部分の予測を行っているので、シェーディング
により輝度変化の大きい背景画像を、なだらかな輝度変
化とすることができ、最終的には、シェーディングの影
響が除去された所望とする輝度の背景画像とすることが
できる。

【００９０】また、図６の構成からもわかるように、ワ
ークメモリとしてはラインメモリのみで済むので、１画
面分のフレームメモリを使用する場合に比べてメモリの
小容量化が図れる。また、前記したように、１ライン毎
の処理であるため、画像の取り込みを行いながら１ライ
ンの処理が終了したらそれを表示し、次の１ラインの処
理が終了したらそれを表示するということができるた
め、連続的な入力に対応しやすいという効果も得られ
る。

【００９１】なお、図１において背景予測（ステップｓ
１）を省いて、入力された画像データをステップｓ１の
背景予測結果にみたてて、ステップｓ２以降の処理を行
うこともできる。この場合、処理速度は速くなるが、ス
テップｓ２により求められた背景予測の精度は落ちる。

【００９２】（第２の実施の形態）この第２の実施の形
態は、第１の実施の形態で説明したシェーディング補正
処理と、階調を落とす処理とを組み合わせた処理を行う
ものである。

【００９３】すなわち、前記従来技術の項で述べたよう
に、ＣＣＤカメラなどのように階調数の多い撮像手段で
取り込んだ画像を、反射型のＬＣＤのように階調数の小
さい表示部で表示する場合、階調数を減らす必要があ
る。この階調を落とす際、前記したようなシェーディン
グの影響を受けて周辺が暗くなった画像を、たとえば、
４値化処理すると、処理後の画像は、周辺部の暗い部分
が黒いつぶれとなって現れる場合もある。そこで、階調
を落とす処理を行う際、シェーディングの影響を受けた
画像に対して、そのシェーディングの影響を補正する必
要が生じてくる。この第２の実施の形態では、ＣＣＤカ
メラなどのエリアセンサで撮られたシェーディングのあ
る画像画像に対しても、そのシェーディングによる影響
を無くして階調を減らすことを可能とするものであり、
以下、この第２の実施の形態について説明する。

【００９４】図７は第２の実施の形態の全体的な処理手
順を説明するフローチャートであり、まず、処理対象画
像からｎ値化するための第１〜第ｎ−１のしきい値を求
める（ステップｓ３１）。これは、ＣＣＤカメラなどに
より入力された、たとえば、０〜２５５の２５６階調の
画像データを、４階調の画像データとする場合には、第
１〜第３のしきい値を求める処理である。

【００９５】そして、シェーディング補正処理（ステッ
プｓ３２）を行い、その後、第１〜第ｎ−１のしきい値
を用いてｎ値化処理する（ステップｓ３３）。

【００９６】前記ステップｓ３１におけるｎ値化のため
のｎ−１個のしきい値を求める処理は、特に限定される
ものではなく、撮影対象が線画であれば、たとえば、
「大津の方法」を拡張して用いることも可能である。

【００９７】この「大津の方法」は前記したように、線
画には適した２値化方法であるが、それを用いて４値化
しようとすると、まず、最初に２値化して、それにより
分割された領域を、さらにそれぞれ２値化するというよ
うに、２値化する処理を３回行なう必要があるため、演
算量が膨大なものとなり、多くの処理時間を要する問題
がある。

【００９８】そこで、この第２の実施の形態では、ｎ値
化するためのｎ−１個のしきい値を求める方法として、
「大津の方法」にわずかな演算を加えるだけでｎ−１個
のしきい値を求める方法を採用する。このｎ値化するた
めのｎ−１個のしきい値を求める方法を図８のフローチ
ャートを参照しながら以下に説明する。

【００９９】まず、ＣＣＤカメラで取り込まれた画像デ
ータについて累積度数分布を求める（ステップｓ４
１）。求められた累積度数分布の例を図９（ａ）に示
す。なお、ここでの処理対象画像は、前記同様、画像の
大部分を占める明るい背景内に文字や図形などの線画が
描かれているような画像であるとする。したがって、０
〜２５５の輝度範囲における各輝度に対する累積度数の
曲線は、図９（ａ）に示されるように、輝度の大きい側
に累積度数が多くなる曲線となる。なお、この場合、Ｃ
ＣＤカメラによる輝度範囲を０〜２５５の２５６階調と
する。

【０１００】そして、このような累積度数分布を用いて
「大津の方法」により２値化しきい値ｔｈ

〔０〕を求め
る。この２値化しきい値により分割された領域のうち、
低輝度側を第１のクラスＣ１、高輝度側を第２のクラス
Ｃ２とする。ここで、第１のクラスＣ１の累積輝度は主
に線画によるものであり、第２のクラスＣ２の累積輝度
はは主に背景によるものである。

【０１０１】次に、前記第２のクラスＣ２における輝度
の平均μ２と標準偏差σ２を算出する（ステップｓ４
２）。この第２のクラスＣ２は大部分が背景で占められ
ているので、第２のクラスＣ２における輝度の平均値μ
２は、ほぼ、背景の輝度の平均値と考えることができ
る。そして、これらの輝度の平均μ２と標準偏差σ２を
用いて、ｎ値化するためのｎ−１個のしきい値のうち、
第１のしきい値ｔｈ〔１〕を求める（ステップｓ４
３）。この第１のしきい値ｔｈ〔１〕は ｔｈ〔１〕＝μ２−σ２×α・・・（１） で求められる。（１）式においてαは係数であり、実験
では、α＝１／２とするとよい結果が得られたが、これ
に限られるものではなく、種々の条件によって、最適な
値を設定すればよい。

【０１０２】この（１）式により求められる第１のしき
い値ｔｈ〔１〕は、線画と背景のほぼ境界を意味するも
のとなる。線画と背景の境界は、前記背景の輝度の平均
値μ２より暗い側に存在すると考えられる。したがっ
て、第１のしきい値ｔｈ〔１〕は背景の輝度の平均値μ
２からある値を引いた値とすればよい。

【０１０３】ところで、背景の色がたとえ均一であった
としても背景の輝度の累積度数は、画像を入力するデバ
イスや撮影状態によってその幅が異なってくる。特に、
ＣＣＤカメラなどのエリアセンサで撮られたシェーディ
ングの存在する画像においては、累積度数分布における
背景に相当する部分の幅の変動は激しいものとなる。そ
こで、累積輝度の幅を吸収するために、幅の指標となる
第２のクラスＣ２の標準偏差σ２をパラメータとしてそ
のパラメータに適当な係数αを掛けたものを背景の輝度
の平均値μ２から引き算して第１のしきい値ｔｈ〔１〕
を求めている。このようにして求められた第１のしきい
値ｔｈ〔１〕を図９（ｂ）に示す。

【０１０４】そして次に、図８のステップｓ４４では、
この第１のしきい値ｔｈ〔１〕をもとに、他のしきい値
を求める。ここで、求めるべき階調数をｎ階調とすれ
ば、ｎ−１個のしきい値を決定することになる。したが
って、このステップｓ４４では、第１のしきい値ｔｈ
〔１〕をもとに第２のしきい値ｔｈ〔２〕〜第ｎ−１の
しきい値ｔｈ〔ｎ−１〕を求めることになる。この第１
のしきい値ｔｈ〔１〕をもとに、第２のしきい値ｔｈ
〔２〕〜第ｎ−１のしきい値ｔｈ〔ｎ−１〕を求める処
理について以下に説明する。

【０１０５】第１のしきい値ｔｈ〔１〕以下の各輝度ご
との累積画素数をすべて足し算して、合計の累積画素数
を求め、その合計の累積画素数をｎ−１等分する。この
実施の形態では、求めるべき階調数を４階調（ｎ＝４）
としているので、第１のしきい値ｔｈ〔１〕以下の各輝
度ごとの画素数を足し算して得られた合計の累積画素数
を３等分して、第２のしきい値ｔｈ〔２〕と第３のしき
い値ｔｈ〔３〕を求めることになる。

【０１０６】具体例として、第１のしきい値ｔｈ〔１〕
以下の各輝度ごとの累積画素数をすべて足し算して得ら
れた合計累積画素数が仮りに１２０であるとすると、そ
れを３等分して「４０」を得る。そして、４０画素ごと
にしきい値を設定する。つまり、輝度０から明るい方へ
各輝度毎の累積画素数を足し算して行き、合計画素数が
４０画素となったところをしきい値（第３のしきい値ｔ
ｈ〔３〕）とし、この第３のしきい値ｔｈ〔３〕から明
るい方へ各輝度毎の累積画素数を足し算して再び合計画
素数が４０画素となったところをしきい値（第２のしき
い値ｔｈ〔２〕）とするというようにして、第２、第３
のしきい値ｔｈ〔２〕，ｔｈ〔３〕を決定する。

【０１０７】このようにして第１〜第ｎ−１のしきい値
が決定される。

【０１０８】ところで、図７のステップｓ３２のシェー
ディング補正処理は、第１の実施の形態において、図１
〜図６を用いて説明した背景予測処理、予測結果の修正
処理、背景補正処理などの一連の処理であり、これらに
処理方法に関しては、前述したとおりであるので、ここ
ではその詳細な処理ついては説明を省略する。

【０１０９】なお、この第２の実施の形態においては、
所望とする輝度値Ｌ０は、最も輝度値の高い側に設定さ
れる第１のしきい値ｔｈ〔１〕よりも大きい値とするの
がよい。このように、所望とする輝度値Ｌ０を、最も輝
度値の高い側に設定される第１のしきい値ｔｈ〔１〕よ
りも大きい値とすることにより、ｎ値化処理後におい
て、背景がより明るくなって文字などが見やすい画像と
なる。具体例としては、前記第２のクラスＣ２における
輝度の平均値μ２程度とすることが考えられる。

【０１１０】次に、シェーディング補正を終了したの
ち、第１〜第ｎ−１のしきい値を用いてｎ値化処理を行
う。このｎ値化処理の一例について図１０を参照しなが
ら説明する。なお、この図１０のフローチャートはある
１つの画素ごとのｎ値化処理を示すものである。図１０
において、まず、第１〜第ｎ−１のしきい値のどのしき
い値を選ぶかについての初期化を行う（ステップｓ５
１）。この初期化は、この場合、ｋ＝１とする。つま
り、初期のしきい値として、第１のしきい値ｔｈ〔１〕
とする。次に、処理対象の画素の輝度値ａが、ａ＞ｔｈ
〔ｋ〕であるか否かを判断する（ステップｓ５２）。こ
の場合、ｋ＝１であるからａ＞ｔｈ〔１〕を判断する。
そして、ａ＞ｔｈ〔１〕であれば、その画素の輝度値を
ｎ−ｋとする（ステップｓ５３）。ここで、画素の輝度
値を０〜３の４値化とすることを考えると、ａ＞ｔｈ
〔１〕であるときは、ｎ＝４、ｋ＝１であるから、当該
画素の輝度値を「３」とする。

【０１１１】このように、ある１画素のｎ値化（ここで
は４値化）処理が終了すると、次の画素のｎ値化処理に
移る。次の１画素に対しても、前記同様、輝度ａが、ａ
＞ｔｈ〔１〕であるか否かを判断する。そして、ａ＞ｔ
ｈ〔１〕でないとすると、ステップｓ５４に進み、ｋを
ｋ＋１（この場合、ｋ＝２）とする。そして、ｋ＜ｎを
判断し（ステップｓ５５）、ｋ＜ｎであれば、ステップ
ｓ５２に戻って、今度は、ａ＞ｔｈ〔２〕であるか否か
を判断する。そして、ａ＞ｔｈ〔２〕であれば、その画
素の輝度値をｎ−ｋとする（ステップｓ５３）。このと
き、ｎ＝４、ｋ＝２であるから、当該画素の輝度値を
「２」とする。一方、前記ステップｓ５２におけるａ＞
ｔｈ〔２〕の判断において、ａ＞ｔｈ〔２〕でない場合
には、ステップｓ５４に進み、ｋをｋ＋１とする。これ
により、ｋ＝３となり、ｋ＜ｎを判断し（ステップｓ５
５）、ｋ＜ｎであれば、ステップｓ１２に戻って、今度
は、ａ＞ｔｈ〔３〕であるか否かを判断する。そして、
ａ＞ｔｈ〔３〕であれば、その画素の輝度値をｎ−ｋと
する。このとき、ｎ＝４、ｋ＝３であるから、当該画素
の輝度値を「１」とする。そして、次の画素について同
様の処理を行う。

【０１１２】図１１はこの第２の実施の形態を実現する
ための装置の構成例をを示すもので、概略的には図６と
同様、レンズ１、ＣＣＤカメラ２、Ａ／Ｄ変換器３、Ｃ
ＣＤ制御回路４、画像処理装置５から構成されている。

【０１１３】画像処理装置５はこの第２の実施の形態で
説明した処理を行う部分であり、画像データ用ラインメ
モリ５１、しきい値算出手段６１、ｎ値化処理手段６
２、シェーディング補正部５６を有している。

【０１１４】シェーディング補正部５６は、図６で示し
たシェーディング補正部５６と同じものであり、背景予
測用ラインメモリ５２、背景予測手段５３、予測結果修
正手段５４、背景補正手段５５から構成されているが、
ここでは、これらの図示は省略されている。また、この
シェーディング補正部５６が行う処理内容は、第１の実
施の形態で説明したので、ここではその説明は省略す
る。

【０１１５】前記しきい値算出手段６１は、ｎ値化する
ための第１〜第ｎ−１のしきい値を算出するもので、そ
のしきい値算出の一例として、図８のフローチャートで
示されるような処理によりｎ−１個のしきい値の算出を
行う。ただし、実際には、直前に取り込んだ１画面分の
画像データから第１〜第ｎ−１のしきい値を求めて、そ
のしきい値を次の１画面分の画像に反映しながら処理を
行う。

【０１１６】以下にこの画像処理装置の動作を説明す
る。

【０１１７】最初に取り込んだ１ラインづつの画像デー
タは、シェーディング補正部５６にて前記したような処
理によりシェーディング補正される。これと同時に、し
きい値設定手段６１では画像データラインメモリ５１に
格納された１ライン分づつのデータを用いて、しきい値
を算出するために必要なデータを得て、１画面の入力が
終了したところで、図８の処理手順によって第１〜第ｎ
−１のしきい値を求める。このようにして求められた第
１〜第ｎ−１のしきい値は次の１画面の画像におけるし
きい値として使用される。

【０１１８】次の１画面における１ラインのデータが画
像データ用ラインメモリ５１に取り込まれると、その１
ラインのデータは、シェーディング補正されるととも
に、ｎ値化処理手段６２により、前の１画面により算出
され第１〜第ｎ−１のしきい値を用いてｎ値化処理され
る。また、このとき同時に、しきい値決定手段６１では
画像データラインメモリ５１に格納された処理対象画面
の１ライン分づつのデータを用いて、その１画面分のデ
ータを用いて第１〜第ｎ−１のしきい値を算出し、これ
を新たな第１〜第ｎ−１のしきい値とする。このように
して、直前に取り込んだ１画面分の画像データから第１
〜第ｎ−１のしきい値を算出してそれを次の１画面分の
画像に反映しながら処理を行う。

【０１１９】なお、ここでのｎ値化処理は、第１〜第ｎ
−１のしきい値というような固定的なしきい値を用いて
のｎ値化処理であり、エッジの保存を特に必要とする文
字などの線画に適したｎ値化である。そこで、これらし
きい値算出手段６１、シェーディング補正部５６、ｎ値
化処理手段６２をここでは線画用階調処理部６３とい
う。

【０１２０】なお、図７において、処理ステップをステ
ップｓ３２、ステップｓ３１、ステップｓ３３の順で行
うことも可能である。

【０１２１】以上説明したように、この第２の実施の形
態によれば、ＣＣＤカメラなどのように階調数の多い撮
像手段で取り込んだ画像を、ＬＣＤのように階調数の小
さい表示部で表示する場合、階調を落とす処理を行う際
に、シェーディングのある画像画像に対しても、そのシ
ェーディングによる影響を無くして階調を減らすことが
可能となり、特に、明るい背景に文字などの線画が描か
れているような撮影対象に対し、シェーディングの影響
を除去し、つぶれのない良好な画像を得ることができ、
きわめて見やすい画像を得ることができる。

【０１２２】（第３の実施の形態）この第３の実施の形
態は、処理対象画像が線画であるか否かを判断して、線
画に対してのみこれまで説明したシェーディング補正を
行うものである。これは、線画の場合は自然画に比べる
と、シェーディングの影響がより一層顕著に現れるた
め、対象画像が線画である場合のみにシェーディング補
正を行おうとするものである。

【０１２３】図１２はこの第３の実施の形態の全体的な
処理手順を概略的に説明するフローチャートであり、処
理対象画像が線画であるか否かを判断するための処理を
行い（ステップｓ６１）、その処理結果をもとにして線
画であるか否かを判断し（ステップｓ６２）、線画であ
ると判断された場合のみにシェーディング補正処理を行
う（ステップｓ６３）。

【０１２４】ここでの線画判断処理について図１３のフ
ローチャートを参照しながら説明する。まず、初期化を
行う（ステップｓ７１）。この初期化は、輝度変化の立
ち上がりまたは立ち上がりを判断するためのスイッチｓ
ｗを“１”（立ち下がりを判断する場合を“１”、立ち
上がりを判断する場合を“０”とする）に設定するとと
もに、線画部分の幅の長さの累計を示す値lengを
「０」、さらに、線の数を表す値numを「０」とする。

【０１２５】そして、処理対象画素の輝度値ａ［ｉ］か
らその直前の画素の輝度値ａ［i-1］を引いて、その差
をＣとする（ステップｓ７２）。

【０１２６】次に、輝度の立ち上がりまたは立ち上がり
を判断するためのスイッチｓｗの状態を判断する（ステ
ップｓ７３）。ここでは、初期設定として、ｓｗ＝
“１”となっているので、立ち下がりの検出処理を行
い、Ｃ≦−γであるか否かを判断する（ステップｓ７
４）。ここで、γは立ち下がりまたは立ち上がりを判断
する指標となる値であり、入力画像が２５６階調である
場合、γ＝１５程度に設定する。しかし、この値は、様
々な条件によって最適な値を設定すればよい。

【０１２７】ステップｓ７４において、Ｃ≦−γである
場合は、輝度値が所定以上立ち下がっていると判断し、
次の処理として立ち上がりを検出するために、スイッチ
ｓｗ＝“０”とするとともに、当該画素の位置ｉをstar
t位置とする（ステップｓ７５）。つまり、輝度値が所
定以上立ち下がっている画素の位置が保存されることに
なる。

【０１２８】そして、すべての画素についての処理が終
了したか否かを判断し（ステップｓ７６）、終了してい
なければ、ステップｓ７２に処理が戻り、次の画素につ
いて直前の画素の輝度値との差を取る（ステップｓ７
２）。そして、ｓｗ＝“１”か否かの判断を行うが、こ
のとき、ｓｗ＝“０”となっているので、立ち上がりの
検出に入る。

【０１２９】この立ち上がりの検出は、Ｃ≧γを判断し
て（ステップｓ７７）、Ｃ≧γであれば、輝度値が所定
以上立ち上がっていると判断し、Ｃ≧γでなければ、所
定以上の立ち上がりでないと判断する。

【０１３０】たとえば、図１４に示すような場合を例に
すると、ｉの位置の画素においては、直前の画素（ｉ−
１の位置の画素）との輝度差Ｃが、Ｃ≦−γである場
合、その位置ｉが保存され、次の画素（ｉ＋１の位置の
画素）について、直前の画素との輝度値の差を取り、Ｃ
≧γを判断するが、この場合、Ｃ≧γとはならないの
で、次の画素について、再び、Ｃ≧γを判断する。この
ような処理を繰り返し、やがて、ｉ＋ｎの画素につい
て、Ｃ≧γの処理がなされると、Ｃ≧γが成り立ち、立
ち上がりが検出されることになる。

【０１３１】そして、立ち上がりが検出されると、ステ
ップｓ７８に処理が移り、次の処理として立ち下がりを
検出するために、ｓｗ＝“０”とするとともに、文字の
幅の累計を示す値lengをこれまでのlengに今回の文字幅
をプラスする。つまり、leng＋｛ｉ−start｝を計算す
る。なお図１４の例ではleng＋｛（i+n)−ｉ｝が計算さ
れることになる。さらに、これまでの線の数の累計を表
すnumに１をプラスする。

【０１３２】このようにして、画像を構成するすべての
画素について処理が終了すると（ステップｓ７６）、ス
テップｓ７８にて計算された累計のlengとnumを用い
て、累計のlengを累計のnumで割って、１個当たりの線
の太さを判断する。そして、その１個当たりの太さをあ
る値δと比較して線画であるか否かを判断する（ステッ
プｓ７９）。ここで、δは解像度が３２０画素×２４０
画素の画像の場合、δ＝７程度に設定する。ただし、こ
の値も様々な条件により最適な値を設定すればよい。

【０１３３】ここで線画は高周波成分が多く、自然画は
低周波成分が多い。よって、線の太さの平均値を示すle
ng/numは線画の場合は小さく、自然画の場合は大きくな
る。よって、leng／num≦δである場合は、線画と判断
し、leng／num≦δでない場合は、自然画など線画以外
であると判断する（ステップｓ８０ａ，ｓ８０ｂ）。

【０１３４】このようにして、線画か線画以外化の判断
がなされる。そして、線画である場合のみに、第１の実
施の形態で説明したシェーディング補正処理を行うよう
にする。

【０１３５】図１５はこの第３の実施の形態を実現する
ための装置の構成例をを示すもので、概略的には図６と
同様、レンズ１、ＣＣＤカメラ２、Ａ／Ｄ変換器３、Ｃ
ＣＤ制御回路４、画像処理装置５から構成されている。

【０１３６】画像処理装置５はこの第３の実施の形態で
説明した処理を行う部分であり、画像データ用ラインメ
モリ５１、線画判断手段７１、シェーディング補正部５
６、シェーディング補正を行うか否かを設定するシェー
ディング補正設定スイッチ７２を有している。

【０１３７】前記シェーディング補正部５６は、図６で
示したシェーディング補正部５６と同じものであり、背
景予測用ラインメモリ５２、背景予測手段５３、予測結
果修正手段５４、背景補正手段５５から構成されている
が、ここでは、これらの図示は省略されている。また、
このシェーディング補正部５６が行う処理内容は、第１
の実施の形態で説明したのでここでの説明は省略する。

【０１３８】線画判断手段７１は図１３のフローチャー
トで示した処理を行うもので、この場合、実際の処理は
直前に取り込んだ１画面分の画像データから線画である
か否かを判断した結果を次の１画面分の画像に反映しな
がら処理を行う。

【０１３９】したがって、シェーディング補正設定スイ
ッチ７２は、初期設定では、たとえば、オフ、つまり、
最初の１画面分については線画以外の画像に対する処理
設定としておく。

【０１４０】このように、初期設定においてシェーディ
ング補正設定スイッチ７２がオフに設定されているとす
ると、最初に取り込んだ１ラインづつの画像データは、
シェーディング補正がなされずに、そのまま、１ライン
づつ出力されて表示される。これと同時に、線画判断手
段７１では画像データラインメモリ５１に格納された１
ライン分づつのデータを用いて、図１３の処理手順にて
各ライン毎に１画面分の処理を行う。

【０１４１】そして、１画面分の処理が終了したところ
で、その画面が線画であるか否かを判断する。この判断
結果は次の１画面の画像の種類の判別に使われる。たと
えば、最初の１画面の画像が線画であると判断された場
合は、シェーディング補正設定スイッチ７２をオンと
し、次の１画面はシェーディング補正が行われる。

【０１４２】このように、シェーディング補正設定スイ
ッチ７２がオンとなると、画像データ用ラインメモリ５
１に取り込まれた１ラインごとのデータは、１ライン毎
にシェーディング補正されたのち、１ラインごとに出力
される。そして、このとき同時に、線画判断手段７１で
は画像データラインメモリ５１に格納された１ライン分
づつのデータを用いて、図１３の処理手順にて各ライン
毎に１画面分の処理を行う。そして、１画面分の処理が
終了したところで、その画面が線画であるか否かを判断
する。この判断結果は次の１画面の画像の種類の判別に
使われる。このようにして、直前に取り込んだ１画面分
の画像データから線画であるか否かを判断した結果を次
の１画面分の画像に反映しながら処理を行う。

【０１４３】以上説明したように、第３の実施の形態で
は、処理対象画像が線画であるか否かを判断して、シェ
ーディングの影響がより一層顕著に現れる線画に対して
のみシェーディング補正を行うようにしている。また、
この第３の実施の形態では、線画以外の自然画はシェー
ディングの影響は余り目立たないので、特別な処理を施
さないようにしている。したがって、シェーディング補
正は線画に対して行えばよいので、処理時間の短縮にも
つながる。

【０１４４】（第４の実施の形態）この第４の実施の形
態は、処理対象画像が線画か否かを判断し、線画である
場合には、シェーディング補正を行い、かつ、前記のよ
うにして求められた第１〜第ｎ−１のしきい値を用いた
階調処理を行って、線画でないと判断された場合には、
自然画とみなして自然画に適した階調変更処理を行うも
のである。

【０１４５】図１６は第４の実施の形態の概略的な処理
手順を説明するフローチャートであり、まず、線画判断
を行うための処理（ステップｓ８１）を行い、その処理
結果を用いて線画であるか否かの判断を行う（ステップ
ｓ８２）。そして、線画であれば、線画用階調処理を行
い（ステップｓ８３）、線画でなければ自然画用の階調
処理を行う（ステップｓ８４）。

【０１４６】ステップｓ８１における線画判断を行うた
めの処理は、図１３のフローチャートで説明した処理で
あり、この処理で得られた結果が線画である場合には、
線画用階調処理を行う。この線画用の階調処理は、第２
の実施の形態で説明した処理であり、概略的な処理手順
としては、図７に示されているように、まず、処理対象
画像からｎ値化するためのｎ−１個のしきい値を求める
（ステップｓ３１）。これは、ＣＣＤカメラなどにより
入力された、たとえば、０〜２５５の２５６階調の画像
データを、４階調の画像データとするために、第１〜第
３のしきい値を求める処理である。そして、シェーディ
ング補正処理（ステップｓ３２）を行ったのち、ｎ−１
個のしきい値を用いてｎ値化処理（ステップｓ３３）を
行う。

【０１４７】一方、線画でないと判断された場合には、
自然画に適した階調処理を行う。この自然画に適した階
調処理というのは、面積的な階調を得ようとする階調処
理であり、たとえば、ディザ法や誤差拡散法などがあ
る。

【０１４８】このように、線画に対しては、エッジが保
存される階調処理を行い、自然画に対しては、ディザ法
や誤差拡散法などの面積的な階調処理を施すことによ
り、階調数を減らす必要がある場合、より一層見た目に
良好な画像とすることができる。

【０１４９】図１７はこの第４の実施の形態を実現する
ための装置の構成例を示すもので、第１〜第３の実施の
形態同様、概略的には、レンズ１、ＣＣＤカメラ２、Ａ
／Ｄ変換器３、ＣＣＤ制御回路４、画像処理装置５から
構成されている。

【０１５０】画像処理装置５は、この第４の実施の形態
の場合、画像データ用ラインメモリ５１、線画判断手段
７１、線画用階調処理部６３、自然画用階調処理部８１
と、これら線画用階調処理部６３、自然画用階調処理部
８１を選択する選択スイッチ８２などを有している。

【０１５１】前記線画判断手段７１は図１５の構成で示
した線画判断手段７１と同じものであり、図１３で説明
した処理を行い、１フレーム（１画面分）の処理が終了
後に、その１画面の画像が線画であるか線画でないかを
判定して、線画であることを示す信号または線画でない
ことを示す信号を選択スイッチ８２に出力する。

【０１５２】選択スイッチ８２はこの線画判断手段７１
からの線画であることを示す信号を受けると、線画用階
調処理部６３を選択し、線画でないことを示す信号を受
けると自然画用階調処理部８１を選択するように切替動
作を行う。

【０１５３】また、線画用階調処理部６３は、図１１の
構成図で説明した線画用階調処理部６３と同じものであ
り、しきい値決定手段６１、シェーディング補正部５
６、ｎ値化処理手段６２から構成されている。

【０１５４】ところで、線画判断手段７１は図１３のフ
ローチャートで示した処理を行うものであるが、前記し
たように、１画面分の処理が終了した後、その結果を次
の１画面の画像データに反映させるものであるため、選
択スイッチ８２は、初期設定では、たとえば、自然画用
階調処理部８２側としておく。

【０１５５】したがって、最初に取り込んだ１ラインづ
つの画像データは、自然画用階調処理部８２により階調
処理されて出力される。これと同時に、線画判断手段７
１では画像データラインメモリ５１に格納された１ライ
ン分づつのデータを用いて、図１３の処理手順にて各ラ
イン毎に１画面分の処理を行う。そして、１画面分の処
理が終了したところで、その画面が線画であるか否かを
判断する。この判断結果は次の１画面の画像の種類の判
別に使われる。たとえば、最初の１画面の画像が線画で
あると判断された場合は、選択スイッチ８２を線画用階
調処理部６３側に切り替えて、次の１画面は線画用階調
処理部６３による階調処理がなされる。このとき同時
に、線画判断手段７１では画像データラインメモリ５１
に格納された１ライン分づつのデータを用いて、図１３
の処理手順にて各ライン毎に１画面分の処理を行う。そ
して、１画面分の処理が終了したところで、その画面が
線画であるか否かを判断する。この判断結果は次の１画
面の画像の種類の判別に使われる。このようにして、直
前に取り込んだ１画面分の画像データから線画であるか
否かを判断した結果を次の１画面分の画像に反映しなが
ら処理を行う。

【０１５６】以上のように、この第４の実施の形態によ
れば、処理対象画像が線画か否かを判断し、線画である
場合には、シェーディング補正を行い、かつ、前記のよ
うにして求められた第１〜第ｎ−１のしきい値を用いた
線画用の階調処理を行い、線画でないと判断された場合
には、自然画とみなして自然画に適したディザ法や誤差
拡散法といった階調変更処理を行うようにしているの
で、それぞれに適した階調処理が行え、ＣＣＤカメラな
どで取り込んだ画像を反射型のＬＣＤに表示するような
場合、撮影する対象に関係なく、線画あるいは自然画そ
れぞれに適した処理がなされることにより見た目によい
画像を表示することができる。

【０１５７】ところで、以上説明した第２の実施の形態
から第４の実施の形態において、画像データがＣＣＤカ
メラなどから連続入力されている場合は、前の１フレー
ム分（１画面分）で作成されたデータ（第１〜第ｎ−１
のしきい値、線画か否かの判断結果など）を用いて処理
を行うことにより、全体的な処理を簡素化することがで
きる。この処理について、第４の実施の形態で説明した
処理内容の場合を例にして、図１８のフローチャートを
参照しながら説明する。

【０１５８】図１８において、しきい値および線画判断
結果の初期化を行う（ステップｓ９１）。このしきい値
の初期化は、たとえば、ｎ値化とする場合は、第１〜第
ｎ−１のしきい値ｔｈ〔１〕〜ｔｈ〔ｎ−１〕の値を初
期値として適当な値を設定するというような処理であ
り、また、線画判断結果の初期値としては、たとえば、
自然画とする。

【０１５９】次に、あるフレームにおける１ラインデー
タの入力（ステップｓ９２）を行ったのち、その１ライ
ンデータから各種のデータを取得する（ステップｓ９
３）。ここでの各種のデータというのは、しきい値算出
に必要な累積度数分布作成のためのデータや線画か否か
を判断するためのデータとして図１３のフローチャート
で説明したleng、numなどのデータである。

【０１６０】そして次に、直前のフレームデータを基に
得られた線画か否かの結果を判断し（ステップｓ９
４）、線画でなければ自然画用の階調処理による階調処
理を行い（ステップｓ９５）、線画であれば、直前のフ
レームデータを基に算出された第１〜第ｎ−１のしきい
値を用いた線画用の階調処理（シェーディング処理を含
む）を行う（ステップｓ９６）、次に、１フレーム分に
おける全ラインの処理が終了したか否かを判断し（ステ
ップｓ９７）、終了していなければ、ステップｓ９２に
処理が戻り、終了していればｎ値化のための第１〜第ｎ
−１のしきい値を更新するとともに、線画判断結果を更
新する（ステップｓ９８）。そして、次のフレームデー
タがあるか否かを判断し（ステップｓ９９）、次のフレ
ームデータがあれば、その新たなフレームに対してステ
ップｓ９２以降の処理を行い、次のフレームがなければ
処理を終了する。

【０１６１】このように、画像データが連続して入力さ
れている場合は、前の１フレームにおいて求められたし
きい値や線画判断結果を、現在取り込んでいるフレーム
データに用いて処理することが可能となる。なお、この
連続入力を考慮した処理は、ここで説明した第４の実施
の形態への対応だけではなく、第２に実施の形態、第３
の実施の形態に対しても同様に可能である。

【０１６２】さらに、本発明は、最初に説明した第１の
実施の形態において、レンズの収差への対応処理を可能
とする。

【０１６３】このレンズの収差による影響というのは、
たとえば、図１９（ａ）に示すように、背景１０の中に
同じ太さでかつ同じ濃さの直線の線画１１が存在した場
合、それをレンズを通して取り込んだ画像の輝度（図１
９(a)の破線で示すラインにおける輝度）は、同図
（ｂ）に示すように、画像の端部に近いほど線の幅が太
く背景との輝度のコントラストが小さくなって中央部に
比べてシャープさに欠けた画像となる現象である。

【０１６４】これを解消するために、本発明では、背景
補正処理後のデータ（図3(d)）に対して、図２０（ａ）
のように、所望とする背景輝度Ｌ０より少し小さい輝度
値Ｌ１（図示破線で示す）を設定し、これより小さな輝
度値を有する部分に対してレンズ収差を考慮した係数を
掛けることで、少なくとも輝度の高さを補正しコントラ
ストを良くすることができる。

【０１６５】前記所望とする背景輝度Ｌ０より少し小さ
い輝度値Ｌ１は、たとえば、所望とする背景輝度Ｌ０×
0.8により得られる値とする。また、前記レンズ収差を
考慮した係数は、１画面分におけるある１ライン上の画
素の位置０，１，２，・・・，ｎに対して、図２０
（ｂ）のような曲線を描く係数値とする。つまり、画面
の中央部は係数は「１」とし、中央部から端部に行くに
従って、係数値を小さく（係数値＜１）する。ここで、
レンズの収差の影響は事前に決定できるので、計測によ
って予め係数を求めておくことができる。されるこのよ
うな係数曲線から得られる係数値を図２０（ａ）の線画
部分の輝度値に掛けることにより、端部付近に存在する
線画の輝度値は、図２０（ｃ）に示すように、より小さ
な値となり、背景とのコントラストが大きくなり、レン
ズ収差の影響が改善される。

【０１６６】なお、以上説明した第２〜第４の実施の形
態において用いられるｎ値化するためのしきい値算出用
のデータや線画判断のためのデータは、１つの画面全体
から求めるのではなく、画面の周辺部を除いて求めるよ
うにしてもよい。これは、画面の周辺部にはこれらのデ
ータを求める際に重要なデータが少ないと考えられるた
めである。

【０１６７】また、線画判断は、１画面単位で行ってい
るが、たとえば、文字などと風景などの画像が両方入り
交じっているような画像に対処しやすいように、線画領
域と自然画領域とを分離して、それぞれの領域ごとに線
画か否かを判断して、領域毎に必要な処理を行うように
してもよい。

【０１６８】また、第１〜第４の実施の形態において、
輝度（モノクロ）に対する処理として説明したが、カラ
ーへの対応も可能である。すなわち、カラー入力（例え
ばＲＧＢ）されたデータを輝度と色に関する他のデータ
（例えばＹＵＶ）に変換し、輝度に対して上述の処理を
行い、再び基に変換（例えばＲＧＢ）することにより対
応できる。

【０１６９】また、本発明の処理を行う処理プログラム
は、フロッピィディスク、光ディスク、ハードディスク
などの記憶媒体に記憶させておくことができ、本発明
は、それらの記憶媒体をも含むものであり、また、ネッ
トワークからデータを得る形式でもよい。

【０１７０】

【発明の効果】以上説明したように、本発明は、シェー
ディングの影響が顕著に現れやすい文字や図形などの線
画に対して、所定ライン単位でシェーディングの影響を
除去するようにしている。特に、１ラインづつの処理を
行うことにより、ワークメモリとしては１ライン分の画
像データ用ラインメモリと背景予測用ラインメモリで済
むためワークメモリの小容量化を図ることができ、装置
全体の小型軽量化に寄与し、低コスト化も図れる。ま
た、１ラインごとの処理であるため、画像の取り込みを
行いながら１ラインの処理が終了したらそれを表示し、
次の１ラインの処理が終了したらそれを表示するという
ことができるため、連続的な入力に対応しやすいという
効果も得られる。

【０１７１】また、このシェーディング補正と、ｎ−１
個のしきい値によるｎ値化処理とを組み合わせることに
より、ＣＣＤカメラなどのエリアセンサで撮られたシェ
ーディングのある画像に対して、そのシェーディングの
影響を無くし、かつ、エッジが保存された状態で階調を
減らすことができる。

【０１７２】また、線画か否かを判断し、線画である場
合のみにシェーディング補正するという処理を行うこと
により、シェーディングが顕著に現れやすい線画のみに
対してシェーディング補正処理を行うことができ、線画
のシェーディングを目立たなくすることができ、かつ、
線画のみに対して補正処理を行うことで、処理を軽減
し、処理時間の短縮化も図れる。

【０１７３】さらに、線画か否かを判断し、線画であれ
ばシェーディング補正を行うとともに、ｎー１個のしき
い値を用いた階調処理を行い、線画でなければ、自然画
とみなして自然画に適した階調処理方法（たとえば、デ
ィザ法や誤差拡散法）により階調処理するという処理を
行うことにより、ＣＣＤカメラなどのシェーディングの
発生しやすいエリアセンサで撮られた画像を反射型のＬ
ＣＤなどに表示する際に、階調を落とす処理を行う場
合、線画に対してはシェーディング補正を行うととも
に、ｎ−１個のしきい値を用いてｎ値化処理し、自然画
に対しては自然画に適した階調処理を行うので、撮影対
象に関係なく撮影対象に適した処理が自動的に行え、良
好な画像を表示することができる。

【０１７４】また、これらのシェーディング補正と前記
したｎ値化処理、線画判断処理などのそれぞれの処理を
組み合わせた各処理は、ラインごとの処理が可能である
ため、前記したように、ワークメモリを小容量化するこ
とができ、かつ、連続的な入力に対応しやすいという効
果も得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の全体的な処理を説
明するフローチャート。

【図２】第１の実施の形態を説明するための画像の一例
を示す図。

【図３】第１の実施の形態において画像のある１ライン
における背景予測処理から背景補正処理までを説明する
図。

【図４】第１の実施の形態における背景予測処理を説明
するフローチャート。

【図５】第１の実施の形態における背景予測の修正処理
を説明するフローチャート。

【図６】第１の実施の形態における画像処理装置をＣＣ
Ｄカメラと組み合わせた装置構成例を示す図。

【図７】本発明の第２の実施の形態の全体的な処理を説
明するフローチャート。

【図８】第２の実施の形態におけるｎ−１個のしきい値
を算出する処理手順を説明するフローチャート。

【図９】ｎ−１個のしきい値算出方法の一例を説明する
ための輝度値に対する画素の累積度数分布を示す図。

【図１０】第２の実施の形態におけるｎ値化処理を説明
するフローチャート。

【図１１】第２の実施の形態における画像処理装置をＣ
ＣＤカメラと組み合わせた装置構成例を示す図。

【図１２】本発明の第３の実施の形態の全体的な処理を
説明するフローチャート。

【図１３】第３の実施の形態における線画判断の処理手
順を説明するフローチャート。

【図１４】線画判断に必要なデータについてを文字部分
の輝度変化を例にして説明する図。

【図１５】第３の実施の形態における画像処理装置をＣ
ＣＤカメラと組み合わせた装置構成例を示す図。

【図１６】本発明の第４の実施の形態の全体的な処理を
説明するフローチャート。

【図１７】第４の実施の形態における画像処理装置をＣ
ＣＤカメラと組み合わせた装置構成例を示す図。

【図１８】本発明において画像を連続入力する場合の処
理を第４の実施の形態を例にとって説明するフローチャ
ート。

【図１９】レンズの収差に対処する処理を説明するため
の画像例とレンズ収差の影響を受けた画像の輝度分布例
を示す図。

【図２０】レンズの収差に対処する処理を説明するため
の図。

【符号の説明】

１ レンズ ２ ＣＣＤカメラ ３ Ａ／Ｄ変換器 ４ ＣＣＤ制御回路 ５ 画像処理装置 ５１ 画像データ用ラインメモリ ５２ 背景予測用ラインメモリ ５３ 背景予測手段 ５４ 予測結果修正手段 ５５ 背景補正手段 ５６ シェーディング補正部 ６１ しきい値算出手段 ６２ ｎ値化処理手段 ６３ 線画用階調処理部 ７１ 線画判断手段 ７２ シェーディング補正設定スイッチ ８１ 自然画用階調処理手段 ８２ 選択スイッチ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｈ０４Ｎ 5/335 Ｈ０４Ｎ 1/40 １０１Ｄ

Claims (16)

【特許請求の範囲】
1. 【請求項１】 入力された画像データの所定ラインごと
   にそのラインを構成する画素が線画のエッジ部を構成す
   る画素か否かを判断し、当該処理対象ラインにおいて、
   線画におけるエッジ部分の輝度の影響を除去した各画素
   ごとの輝度値を求める背景予測処理を行ったのち、 この背景予測処理で得られた処理対象ラインにおける各
   画素ごとの輝度値にエッジ部以外の線画部分の影響が含
   まれているか否かを判断し、エッジ部以外の線画部分の
   影響が含まれている場合に、その影響を除去した各画素
   ごとの輝度値を求める背景予測の修正処理を行い、 さらに、この背景予測の修正処理で得られた各画素ごと
   の輝度値を基に、所望とする輝度値となるように輝度値
   補正する背景補正処理を行うことを特徴とする画像処理
   方法。
2. 【請求項２】 入力された画像データの所定ラインごと
   にその所定ラインを構成する画素が線画のエッジ部を構
   成する画素か否かを判断し、エッジを構成する画素でな
   い場合は、それ以前に処理されたライン上の対応する画
   素位置の輝度値をもとに処理中の画素の輝度値を演算に
   より求め、この求められた輝度値により、それ以前に処
   理された輝度値を更新し、エッジを構成する画素である
   場合は、それ以前に処理されたライン上の対応する画素
   位置の輝度値をそのまま保持する処理を、所定ラインづ
   つその所定ラインを構成する画素ごとに繰り返した行う
   ことで、線画におけるエッジ部分の輝度の影響を除去し
   た各画素ごとの輝度値を所定ライン単位で求める背景予
   測処理を行ったのち、 この背景予測処理において得られた所定ラインにおける
   各画素ごとの輝度値が、所望とする輝度値以下であると
   判定された場合に、その輝度値を有する画素を含む所定
   の探索範囲を設定し、その探索範囲内における隣接画素
   との輝度変化を各画素ごとに調べ、探索範囲内において
   輝度変化の少ない画素が予め設定した数以上である場合
   には、その輝度変化の少ない画素の輝度値を基にして輝
   度値を決定し、探索範囲内において輝度変化の少ない画
   素が予め設定した数より少ない場合には、探索範囲全体
   の画素の輝度値をもとにして輝度値を決定して、この決
   定された値により背景予測結果の修正処理を行い、 さらに、この背景予測結果の修正処理により修正された
   結果と、所望とする値として設定された輝度値とを比較
   して、その差分を求め、求められた差分を前記入力され
   た画像データの対応する画素位置の輝度値に対して加減
   することにより、所望の輝度値となるような背景補正を
   行うことを特徴とする画像処理方法。
3. 【請求項３】 前記処理されたライン上の対応する画素
   位置の画素の輝度値をもとに処理対象画素の輝度値を演
   算により求める処理は、それ以前に処理されたライン上
   の対応する画素位置の輝度値と、処理中の画素の輝度値
   との平均をとる処理であることを特徴とする請求項２記
   載の画像処理方法。
4. 【請求項４】 入力された画像データの所定ライン単位
   の画像データからｎ値化を行う上で必要なｎ−１個のし
   きい値を求めるためのデータを所定ラインごとに取得
   し、ある１定のライン分の処理が終了したのち、ｎ−１
   個のしきい値を求め、前記入力された画像データを所定
   ライン単位でシェーディング補正を行い、このシェーデ
   ィング補正された画像を前記ｎ−１個のしきい値を用い
   てｎ値化処理することを特徴とする画像処理方法。
5. 【請求項５】 入力された画像データの所定ライン単位
   の画像データから画像が線画による画像か否かを判断す
   るために必要なデータを所定ラインごとに取得し、ある
   １定のライン分の処理が終了したのち、線画か否かを判
   断し、線画による画像であると判断された場合は、前記
   画像データを所定ライン単位でシェーディング補正する
   ことを特徴とする画像処理方法。
6. 【請求項６】 入力された画像データの所定ライン単位
   の画像データから画像が線画による画像か否かを判断す
   るために必要なデータを所定ラインごとに取得し、ある
   １定のライン分の処理が終了したのち、線画か否かを判
   断するとともに、入力された画像データの所定ライン単
   位の画像データからｎ値化を行う上で必要なｎ−１個の
   しきい値を求めるためのデータを所定ラインごとに取得
   し、ある１定のライン分の処理が終了したのち、ｎ−１
   個のしきい値を求め、 前記線画判断により線画であると判断された場合には、
   前記入力された画像データを所定ライン単位でシェーデ
   ィング補正を行い、このシェーディング補正された画像
   をｎ−１個のしきい値を用いてｎ値化処理を行い、 前記線画判断により線画でないと判断された場合は、面
   積的な階調を得る階調処理を行うことを特徴とする画像
   処理方法。
7. 【請求項７】 前記シェーディング補正処理は、入力さ
   れた画像データの所定ラインごとにその所定ラインを構
   成する画素が線画のエッジ部を構成する画素か否かを判
   断し、エッジを構成する画素でない場合は、それ以前に
   処理されたライン上の対応する画素位置の輝度値をもと
   に処理中の画素の輝度値を演算により求め、この求めら
   れた輝度値により、それ以前に処理された輝度値を更新
   し、エッジを構成する画素である場合は、それ以前に処
   理されたライン上の対応する画素位置の輝度値をそのま
   ま保持する処理を、所定ラインづつその所定ラインを構
   成する画素ごとに繰り返して行うことで、線画における
   エッジ部分の輝度の影響を除去した各画素ごとの輝度値
   を所定ライン単位で求める背景予測処理を行ったのち、 この背景予測処理において得られた所定ラインにおける
   各画素ごとの輝度値が、所望とする輝度値以下であると
   判定された場合に、その輝度値を有する画素を含む所定
   の探索範囲を設定し、その探索範囲内における隣接画素
   との輝度変化を各画素ごとに調べ、探索範囲内において
   輝度変化の少ない画素が予め設定した数以上である場合
   には、その輝度変化の少ない画素の輝度値を基にして輝
   度値を決定し、探索範囲内において輝度変化の少ない画
   素が予め設定した数より少ない場合には、探索範囲全体
   の画素の輝度値をもとにして輝度値を決定して、この決
   定された値により背景予測結果の修正処理を行い、 さらに、この背景予測結果の修正処理により修正された
   結果と、所望とする値として設定された輝度値とを比較
   して、その差分を求め、求められた差分を前記入力され
   た画像データの対応する画素位置の輝度値に対して加減
   することにより、所望の輝度値となるような背景補正を
   行うことを特徴とする請求項４、５、６のいずれかに記
   載の画像処理方法。
8. 【請求項８】 前記処理されたライン上の対応する画素
   位置の画素の輝度値をもとに処理対象画素の輝度値を演
   算により求める処理は、それ以前に処理されたライン上
   の対応する画素位置の輝度値と、処理中の画素の輝度値
   との平均をとる処理であることを特徴とする請求項７に
   記載の画像処理方法。
9. 【請求項９】 入力された画像データの所定ライン分の
   データを保持する画像データ用ラインメモリと、 この画像データ用ラインメモリに保持された所定ライン
   分の画像データを構成するそれぞれの画素が線画のエッ
   ジ部を構成する画素か否かを判断し、当該処理対象ライ
   ンにおいて、線画におけるエッジ部分の輝度の影響を除
   去した各画素ごとの輝度値を求めることで背景予測を行
   う背景予測手段と、 この背景予測手段で得られた処理対象ラインにおける各
   画素ごとの輝度値を保持する背景予測用ラインメモリ
   と、 この背景予測手段で得られた背景予測用ラインメモリの
   内容をもとに、処理対象ラインにおける背景予測された
   各画素ごとの輝度値にエッジ部以外の線画部分の影響が
   含まれているか否かを判断し、エッジ部以外の線画部分
   の影響が含まれている場合に、その影響を除去した各画
   素ごとの輝度値を求め、前記背景予測用ラインメモリの
   対応する位置の画素の輝度値をその求めた値に更新する
   背景予測修正手段と、 この背景予測修正手段による修正後の結果が保持された
   背景予測用ラインメモリの内容を基に、前記画像データ
   用ラインメモリの内容を所望とする輝度値となるように
   輝度補正する背景補正手段と、 を有することを特徴とする画像処理装置。
10. 【請求項１０】 入力された画像データの所定ライン分
    のデータを保持する画像データ用ラインメモリと、 この画像データ用ラインメモリに保持された画像データ
    の所定ラインごとにその所定ラインを構成する画素が線
    画のエッジ部を構成する画素か否かを判断し、エッジを
    構成する画素でない場合は、それ以前に処理されたライ
    ン上の対応する画素位置の輝度値をもとに、処理中の画
    素の輝度値を演算により求め、この求められた輝度値に
    より、それ以前に処理された輝度値を更新し、エッジを
    構成する画素である場合は、それ以前に処理されたライ
    ン上の対応する画素位置の輝度値をそのまま保持する処
    理を、所定ラインづつその所定ラインを構成する画素ご
    とに繰り返して行うことで、線画におけるエッジ部分の
    輝度の影響を除去した処理対象ラインにおける各画素ご
    との輝度値をライン単位で求める背景予測手段と、 この背景予測手段で得られた処理対象ラインにおける各
    画素ごとの輝度値を保持する背景予測用ラインメモリ
    と、 前記背景予測処理において得られた背景予測用ラインメ
    モリの内容をもとに、処理対象ラインにおいて、各画素
    位置対応の輝度値が、所望とする輝度値以下であると判
    定された場合に、その輝度値を有する画素を含む所定範
    囲の探索範囲を設定し、その探索範囲内における隣接画
    素との輝度変化を各画素ごとに調べ、探索範囲内におい
    て輝度変化の少ない画素が予め設定した数以上である場
    合には、その輝度変化の少ない画素の輝度値を基にして
    輝度値を決定し、探索範囲内において輝度変化の少ない
    画素が予め設定した数より少ない場合には、探索範囲全
    体の画素の輝度値を基にして輝度値を決定し、前記背景
    予測用ラインメモリの対応する画素位置の内容を前記決
    定された内容に更新して背景予測結果の修正を行う背景
    予測修正手段と、 前記背景予測結果修正手段により修正された結果と、所
    望とする値として設定された輝度値とを比較してその差
    分を求め、求められた差分を前記画像データ用ラインメ
    モリの対応する画素位置の輝度値に対して加減すること
    により所望とする輝度値に輝度補正する背景補正手段
    と、 を有することを特徴とする画像処理装置。
11. 【請求項１１】 前記処理されたライン上の対応する画
    素位置の画素の輝度値をもとに処理対象画素の輝度値を
    演算により求める処理は、それ以前に処理されたライン
    上の対応する画素位置の輝度値と現在処理している画素
    の輝度値の平均をとる処理であることを特徴とする請求
    項１０記載の画像処理装置。
12. 【請求項１２】 入力された画像データの所定ライン単
    位のデータを保持する画像データ用ラインメモリと、 この画像データ用ラインメモリに保持された画像データ
    をもとに、所定ライン単位で画像データのシェーディン
    グ補正を行うシェーディング補正手段と、 前記画像データ用ラインメモリに保持された画像データ
    から、ｎ値化を行う上で必要なｎ−１個のしきい値を求
    めるためのデータを取得し、ある１定のライン分の処理
    が終了した後に、ｎ−１個のしきい値を求めるしきい値
    算出手段と、 前記シェーディング補正手段によりシェーディング補正
    された画像を前記ｎ−１個のしきい値を用いてｎ値化処
    理するｎ値化処理手段と、 を有することを特徴とする画像処理装置。
13. 【請求項１３】 入力された画像データの所定ライン単
    位のデータを保持する画像データ用ラインメモリと、 この画像データ用ラインメモリに保持された画像データ
    をもとに、所定ライン単位で画像データが線画か否かを
    判断するために必要なデータを取得し、ある１定のライ
    ン分の処理が終了した後に、線画か否かを判断する線画
    判断手段と、 前記画像データ用ラインメモリに保持された画像データ
    をもとに、所定ライン単位で画像データのシェーディン
    グ補正を行うシェーディング補正手段と、 前記線画判断手段から線画による画像であるとの判断結
    果を受けると、前記画像データ用ラインメモリの内容を
    シェーディング補正手段に与えるスイッチ手段と、 を有することを特徴とする画像処理装置。
14. 【請求項１４】 入力された画像データの所定ライン単
    位のデータを保持する画像データ用ラインメモリと、 この画像データ用ラインメモリに保持された画像データ
    をもとに、所定ライン単位で画像データが線画か否かを
    判断するために必要なデータを取得し、ある１定のライ
    ン分の処理が終了したのちに、線画か否かを判断する線
    画判断手段と、 前記画像データ用ラインメモリに保持された画像データ
    からｎ値化を行う上で必要なｎ−１個のしきい値を求め
    るためのデータを取得し、ある１定のライン分の処理が
    終了したのちに、ｎ−１個のしきい値を求めるしきい値
    算出手段と、 前記画像データ用ラインメモリに保持された画像データ
    をもとに、所定ライン単位で画像データのシェーディン
    グ補正を行うシェーディング補正手段と、 前記シェーディング補正手段によりシェーディング補正
    された画像を前記ｎ−１個のしきい値を用いてｎ値化処
    理するｎ値化処理手段と、 線画以外の画像に対して面積的な階調処理を行う自然画
    用階調処理手段と、 前記線画判断手段からの線画か線画でないかの判断結果
    に応じて、前記しきい値算出手段、シェーディング補正
    手段、ｎ値化手段からなる線画用の階調処理手段か前記
    自然画用階調処理手段のいずれかを選択する選択手段
    と、 を有し、 線画の場合は前記線画用の階調処理手段によりシェーデ
    ィング補正を含んだ階調処理を行い、線画でない場合は
    前記自然画用の階調処理手段により階調処理を行うこと
    を特徴とする画像処理装置。
15. 【請求項１５】前記シェーディング補正手段は、入力さ
    れた画像データの所定ライン分のデータを保持する画像
    データ用ラインメモリと、 この画像データ用ラインメモリに保持された画像データ
    の所定ラインごとにその所定ラインを構成する画素が線
    画のエッジ部を構成する画素か否かを判断し、エッジを
    構成する画素でない場合は、それ以前に処理されたライ
    ン上の対応する画素位置の輝度値をもとに、処理中の画
    素の輝度値を演算により求め、この求められた輝度値に
    より、それ以前に処理された輝度値を更新し、エッジを
    構成する画素である場合は、それ以前に処理されたライ
    ン上の対応する画素位置の輝度値をそのまま保持する処
    理を、所定ラインづつその所定ラインを構成する画素ご
    とに繰り返して行うことで、線画におけるエッジ部分の
    輝度の影響を除去した処理対象ラインにおける各画素ご
    との輝度値をライン単位で求める背景予測手段と、 この背景予測手段で得られた処理対象ラインにおける各
    画素ごとの輝度値を保持する背景予測用ラインメモリ
    と、 前記背景予測処理において得られた背景予測用ラインメ
    モリの内容をもとに、処理対象ラインにおいて、各画素
    位置対応の輝度値が、所望とする輝度値以下であると判
    定された場合に、その輝度値を有する画素を含む所定範
    囲の探索範囲を設定し、その探索範囲内における隣接画
    素との輝度変化を各画素ごとに調べ、探索範囲内におい
    て輝度変化の少ない画素が予め設定した数以上である場
    合には、その輝度変化の少ない画素の輝度値を基にして
    輝度値を決定し、探索範囲内において輝度変化の少ない
    画素が予め設定した数より少ない場合には、探索範囲全
    体の画素の輝度値を基にして輝度値を決定し、前記背景
    予測用ラインメモリの対応する画素位置の内容を前記決
    定された内容に更新して背景予測結果の修正を行う背景
    予測修正手段と、 前記背景予測結果修正手段により修正された結果と、所
    望とする値として設定された輝度値とを比較してその差
    分を求め、求められた差分を前記画像データ用ラインメ
    モリの対応する画素位置の輝度値に対して加減すること
    により所望とする輝度値に輝度補正する背景補正手段
    と、 を有することを特徴とする請求項１２、１３、１４のい
    ずれかに記載の画像処理装置。
16. 【請求項１６】 前記処理されたライン上の対応する画
    素位置の画素の輝度値をもとに処理対象画素の輝度値を
    演算により求める処理は、それ以前に処理されたライン
    上の対応する画素位置の輝度値と処理中の輝度値の平均
    をとる処理であることを特徴とする請求項１５記載の画
    像処理装置。