JP5883715B2

JP5883715B2 - 画像処理ｌｓｉ、画像処理システムおよび画像処理方法

Info

Publication number: JP5883715B2
Application number: JP2012100950A
Authority: JP
Inventors: 秀幸小林; 石川　和幸; 和幸石川; 達也上田; 一憲薜
Original assignee: Renesas Electronics Corp
Current assignee: Renesas Electronics Corp
Priority date: 2012-04-26
Filing date: 2012-04-26
Publication date: 2016-03-15
Anticipated expiration: 2032-04-26
Also published as: JP2013229785A

Description

本発明は、画像処理ＬＳＩ、画像処理システムおよび画像処理方法に関し、特にマーキングを付された文字列と絵柄を含む画像からマーキング領域を抽出する画像処理プロセスに好適に利用できるものである。

原稿画像を撮像して公衆に表示する書画カメラが、教育現場などで例えば教師と生徒のコミュニケーションツールとして利用されている。そのような場面では、教師は教材である原稿画像の説明文の一部を隠して生徒に提示し、生徒にその部分を考えさせるような利用法がある。その場合、教師が原稿画像上で隠したい文字列を蛍光ペンなどのマーカーで塗っておくと、書画カメラを使って生徒に表示したときに、マーカーを塗った部分が塗りつぶされて文字が読めないようにする処理を施すことができ、このような処理を行うか否かを切り替えられることが望ましい。このような処理は、マーキングを付された文字列を含む画像からマーキング領域を抽出する画像処理プロセスを使って、実現することができる。

特許文献１には、マスク画像を作成するための入力作業を単純化することができる学習支援装置が開示されている。文字認識部によって文字表示領域を認識し、別途入力される位置指定情報に基づいて、マスクされるべきマスク領域を定めてマスク画像を作成する。

特許文献２には、必要な部分がマーキングされた文書画像から、画像データの色成分の相違に基づいてマーキング領域を抽出する技術が開示されている。通常の画像と、マーキングに使用する色成分のみを抽出した画像の２面を入力し、この２面の画像データを比較することにより、マーキング領域とマーキングによって指定された文字列を抽出する。

一方、特許文献３には、写真画像やグラデーションなどの背景と文字列を含む画像から、背景レイヤーと文字列に分離する技術が開示されている。ｍ×ｎ画素のブロックにおける最小濃度値と最大濃度値の差である最大濃度差に基づいて下地領域、写真領域、および文字領域に分離する。特許文献４には、文字と写真が混在したカラー文書画像から写真領域を抽出する技術が開示されている。

特開２０１１−２５７４５３号公報特開２００２−１８９８９４号公報特開２０１０−０１０８１９号公報特開２００９−０７１６２５号公報

特許文献１に記載される学習支援装置は、教師が指定する文字列を生徒から読めないようにマスクするマスク画像を作成し、マスクのオン・オフを切り替え可能に構成しているが、教師はマスクすべき位置を入力する必要がある。特許文献２にはマーキングされた文書画像からマーキング領域とマーキングによって指定された文字列を抽出するので、これを上記学習支援装置と組み合わせれば、マスクすべき文字の指定が容易になる。しかし、特許文献２に記載されている技術は、写真や絵、図柄などの文字以外の画像が混在していることを想定していない。特定の色成分をマーキング領域として抽出するので、もし、絵柄など文字以外の画像が混在していた場合には、絵柄などの中でマーキングと同じ色成分を持つ領域が、マーキング領域として抽出されてしまう。

一方、特許文献３と４に記載される技術によれば、文字と写真が混在した画像について、文字領域と写真領域に分離することができる。しかし、特許文献３に記載される技術は、文字領域にマーキングが付されていることを想定していないので、最大濃度差に基づいて分離するとマーキングされた文字領域が写真領域に分類される可能性がある。例えば上記特許文献２記載の文書画像からマーキング領域を抽出する技術の前処理として、特許文献３に記載される技術を組合せても、マーキングされた文字が誤って写真領域と判定されてしまうと、そもそも、マーキング領域を抽出する対象である文字領域から除外されてしまうので、マーキング領域を適切に抽出することができない。また、特許文献４に記載される技術は、カラーの文字やグラデーションの背景があっても、文字と写真の領域を分離することができるが、画像全体を２値化して文字領域における背景を無視するように処理するため、文字領域におけるマーキングは抽出することができない。

このような課題を解決するための手段を以下に説明するが、その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。

一実施の形態によれば、下記の通りである。

すなわち、一部の文字列をその文字列の色とは異なる色の領域で覆うマーキングを施された文字列と絵柄を含む原稿画像に対して、原稿画像全体の領域における、輝度、色成分または輝度差の頻度分布を求め、その頻度分布に基づいて文字領域を特定する。

文字領域の特定のため、複数画素よりなる画像ブロック内の最大輝度と最小輝度の差である輝度差を原稿画像内の画素ごとに求める。輝度差が所定の範囲以上または以下にある画素の位置を文字領域であると一次判定し、さらに、その結果に基づいて、画像ブロックよりも大きい領域単位で、絵柄領域と文字領域とを分離する二次判定を行う。

文字領域と特定された領域における、輝度、色成分または輝度差の頻度分布をさらに求め、その頻度分布に基づいて、マーカー領域を抽出する。

前記一実施の形態によって得られる効果を簡単に説明すれば下記のとおりである。

すなわち、絵柄を含んだ原稿画像からであっても、一部にマーキングを施された文字列画像からマーカー領域を抽出することができる。

図１は、実施形態１に係る画像処理の内容を示すフローチャートである。図２は、実施形態１の画像処理を書画カメラに適用した例におけるシステム全体の概要を表すブロック図である。図３は、実施形態１に係る画像処理部のハードウェア構成を表すブロック図である。図４は、実施形態１の画像処理を書画カメラに適用した例における画像処理の動作例を説明する模式図である。図５は、輝度差Ｐｄ算出処理の一例を示す説明図である。図６は、原稿画像の輝度差Ｐｄの頻度分布を使って閾値を求める方法の説明図である。図７は、変化量区別処理を実施した際の判定結果のイメージを示す説明図である。図８は、像域分離処理の過程を示した説明図である。図９は、２値画像の膨張処理と収縮処理の具体例を示す説明図である。図１０は、横軸を輝度とし、輝度の範囲に含まれる画素数を縦軸にカウントした、文字領域の頻度分布（ヒストグラム）の例である。図１１は、文字領域におけるマーカー領域抽出処理の過程を示す説明図である。図１２は、マーカー領域内の矩形領域生成処理（ステップ７）の処理過程を表す説明図である。図１３は、実施形態２に係る画像処理（前半）の経過の一例を示す説明図である。図１４は、実施形態２に係る画像処理（後半）の経過の一例を示す説明図である。図１５は、実施形態３に係る画像処理（前半）の経過の一例を示す説明図である。図１６は、実施形態３に係る画像処理（後半）の経過の一例を示す説明図である。図１７は、実施形態４に係る文字領域内の背景と文字の色レベルの判断についての説明図である。図１８は、実施形態４に係る文字とマーカーの色の特定方法を示す説明図である。図１９は、実施形態５に係る書画カメラシステムの構成例である。

１．実施の形態の概要
先ず、本願において開示される代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。

〔１〕＜変化量区別処理＋文字絵柄ブロック特定処理（画像処理ＬＳＩ）＞
一部の文字列（１１）を前記文字列の色とは異なる色の領域（１２）で覆うマーキングを施された文字列と絵柄（１３、１４）を含む原稿画像（１０１）から文字列をマーキングしているマーカー領域（１５）を抽出する画像処理部（１０４）を備える画像処理ＬＳＩ（２００）であって、以下のとおり構成される。

前記画像処理部（１０４）は、前記メモリに格納されている前記原稿画像に対して前記原稿画像内の画素ごとに、前記画素を含む複数画素よりなる画像ブロック内の最大輝度と最小輝度の差を前記画素における輝度差として求める（ステップ２）。前記輝度差が第１閾値から第２閾値までの範囲にある画素の位置を絵柄領域と、前記輝度差が前記範囲外にある画素の位置を文字領域と、それぞれ一次判定する変化量区別処理を行う（ステップ３）。前記変化量区別処理によって一次判定された結果に基づいて、前記画像ブロックよりも大きい領域単位で、絵柄領域と文字領域とを二次判定する文字絵柄ブロック特定処理を行なう（ステップ４）。前記二次判定によって文字領域と判定された領域における、輝度または色の強度または輝度差の第１頻度分布に基づいて（ステップ５）、前記マーカー領域を抽出する（ステップ６）。

これにより、絵柄を含んだ原稿画像からであっても、一部にマーキングを施された文字列画像からマーカー領域を抽出することができる。

〔２〕＜原稿画像全体の輝度差のヒストグラムに基づく変化量区別処理＞
項１において、前記画像処理部は、前記原稿画像の全領域を対象とした前記輝度差の第２頻度分布を算出し、前記第２頻度分布において、前記輝度差が０を含むピークの輝度差が大きい側の裾の輝度差を前記第１閾値とし、前記輝度差が最大値に近い側のピークの輝度差が小さい側の裾の輝度差を前記第２閾値として求める。

これにより、絵柄と一部にマーキングを施された文字列とが混在した原稿画像からであっても、精度よく文字領域を絵柄領域から分離することができる。

〔３〕＜変化量区別処理における閾値の学習＞
項１または２において、前記画像処理部は、前記第１閾値と前記第２閾値に初期値を与えその後入力される原稿画像ごとに適応的に前記第１閾値と前記第２閾値を更新する。

これにより、変化量区別処理において、前記第１閾値と前記第２閾値の適切な値を、短時間に算出することができる。

〔４〕＜ノイズ除去処理による文字絵柄ブロック特定処理＞
項１において、前記文字絵柄ブロック特定処理は、前記変化量区別処理によって一次判定された結果が文字領域か否かを表す２値を前記原稿画像内の各画素について求めて２値画像を作成し、前記２値画像に対するノイズ除去処理を行う。

これにより、変化量区別処理よりも広い領域を対象とした、文字絵柄ブロック特定処理を行うことができる。

〔５〕＜膨張収縮処理を含む文字絵柄ブロック特定処理＞
項４において、前記ノイズ除去処理は、前記２値画像に対する１回以上の膨張処理と、前記膨張処理後の同じ回数の収縮処理を含む。

これにより、簡便な画像信号処理によって、変化量区別処理よりも広い領域を対象とした、文字絵柄ブロック特定処理を行うことができる。

〔６〕＜色成分ごとに行う文字領域のヒストグラム処理＞
項１において、前記第１頻度分布は色の強度の頻度分布であり、前記第１頻度分布に基づいて、前記マーカー領域を抽出する。

これにより、多様な濃さおよび色、さらには複数種類の色のマーカーで、文字にマーキングが施されている場合であっても、正確にマーカー領域を抽出することができる。

〔７〕＜色成分ごとのヒストグラム処理＋同じ色の画素の連続数＞
項６において、前記第１頻度分布の同じ色強度の区分にある画素が、前記原稿画像内で連続する画素数に基づいて、前記マーカー領域を抽出する。

これにより、文字領域分析処理において、正確に文字とマーカーを区別することができる。

〔８〕＜ノイズ除去処理を含む文字領域分析処理＞
項１、項６または項７において、前記画像処理部は、前記第１頻度分布におけるピークの占める前記輝度または前記輝度差または前記色の強度の範囲に基づいて、画素ごとにマーカー領域と判定されるか否かによる２値画像を作成し、前記２値画像に対してノイズ除去処理を施して、前記マーカー領域を抽出する。

これにより、文字領域におけるマーカー領域を、より正確に抽出することができる。

〔９〕＜マーカー領域を覆う矩形領域生成＞
項１乃至８のうちの１項において、前記マーカー領域の外周を囲む矩形領域を求め、前記原稿画像の画像データのうち、前記矩形領域の画像データの輝度もしくは色または輝度及び色を変更した、表示画像（１６）を出力する。

これにより、抽出したマーカー領域を覆う矩形領域を生成し、マーキングの施された文字を読めないように処理し、あるいは逆に強調して表示することができる。

〔１０〕＜マーカー色登録領域＞
項１乃至項９のうちの１項において、前記原稿画像内にマーカー登録領域（９０）を設け、前記マーカー登録領域内における、輝度または輝度差または色の強度の第３頻度分布を算出し、前記第３頻度分布に基づいてマーカー領域と判定すべき輝度または輝度差または色の強度の範囲を求め、前記原稿画像から前記マーカー領域を抽出する。

これにより、より簡便かつ確実にマーカー領域を抽出することができ、複雑な色が混ざった原稿において特定色の色を抽出することができ、より汎用性が高くなる。

〔１１〕＜原稿の動きへのマーカー領域の追随処理＞
項１乃至項１０のうちの１項において、時系列的に撮像された複数のフレームを構成するそれぞれのフレームを前記原稿画像とする。前記画像処理部は、前記マーカー領域を抽出したフレームの原稿画像と、その後に撮像された後続フレームの原稿画像を比較して動きベクトルを抽出し、前記動きベクトルによって位置情報を補正したマーカー領域を前記後続フレームの原稿画像におけるマーカー領域とする。

これにより、全てのフレームごとにマーカー領域を抽出することなく、一つのマーカー領域の抽出結果を複数フレームに渡って利用することができる。

〔１２〕＜変化量区別処理＋文字絵柄ブロック特定処理（画像処理システム）＞
一部の文字列（１１）を前記文字列の色とは異なる色の領域（１２）で覆うマーキングを施された文字列と絵柄（１３、１４）を含む原稿画像（１０１）から文字列をマーキングしているマーカー領域（１５）を抽出する画像処理システムであって、以下のとおり構成される。

前記原稿画像に対して、前記原稿画像内の画素ごとに、前記画素を含む複数画素よりなる画像ブロック内の最大輝度と最小輝度の差を前記画素における輝度差として求める（ステップ２）。前記輝度差が第１閾値から第２閾値までの範囲にある画素の位置を絵柄領域と、前記輝度差が前記範囲外にある画素の位置を文字領域と、それぞれ一次判定する変化量区別処理を行う（ステップ３）。前記変化量区別処理によって一次判定された結果に基づいて、前記画像ブロックよりも大きい領域単位で、絵柄領域と文字領域とを二次判定する文字絵柄ブロック特定処理を行う（ステップ４）。前記二次判定によって文字領域と判定された領域における、輝度または色の強度または輝度差の第１頻度分布に基づいて（ステップ５）、前記マーカー領域を抽出する（ステップ６）。

〔１３〕＜原稿画像全体の輝度差のヒストグラムに基づく変化量区別処理＞
項１２において、前記原稿画像の全領域を対象とした前記輝度差の第２頻度分布を算出し、前記第２頻度分布において、前記輝度差が０を含むピークの輝度差が大きい側の裾の輝度差を前記第１閾値とし、前記輝度差が最大値に近い側のピークの輝度差が小さい側の裾の輝度差を前記第２閾値として求める。

〔１４〕＜ノイズ除去処理による文字絵柄ブロック特定処理＞
項１２において、前記文字絵柄ブロック特定処理は、前記変化量区別処理によって一次判定された結果が文字領域か否かを表す２値を前記原稿画像内の各画素について求めて２値画像を作成し、前記２値画像に対するノイズ除去処理を含む。

〔１５〕＜膨張収縮処理を含む文字絵柄ブロック特定処理＞
項１４において、前記ノイズ除去処理は、前記２値画像に対する１回以上の膨張処理と、前記膨張処理後の同じ回数の収縮処理を含む。

〔１６〕＜ノイズ除去処理を含む文字領域分析処理＞
項１２において、輝度または色の強度または輝度差の前記第１頻度分布におけるピークの占める前記輝度または前記輝度差または前記色の強度の範囲に基づいて、画素ごとにマーカー領域と判定されるか否かによる２値画像を作成し、前記２値画像に対してノイズ除去処理を施して、前記マーカー領域を抽出する。

〔１７〕＜書画カメラ＞
項１２乃至項１６のうちの１項において、前記画像処理システムは、カメラとメモリ（２０３）と表示装置（１０５、１０６）とをさらに備える。原稿を前記カメラによって撮像して入力して前記メモリに格納し、前記撮像された画像データにカラー信号処理（２０６）を施して前記原稿画像とし、前記原稿画像の画像データのうち、抽出した前記マーカー領域の画像データの輝度もしくは色または輝度及び色を変更した表示画像を前記表示装置に表示する。

これにより、絵柄を含んだ原稿画像からであっても、一部にマーキングを施された文字列画像からマーカー領域を抽出し、抽出したマーカー領域の画像データに対して所望の信号処理をかけて表示することができる、書画カメラを提供することができる。

〔１８〕＜教師用表示と生徒用表示＞
項１７において、前記表示装置を第１表示装置（１０６）とし、前記画像処理システムはさらに第２表示装置（１０５）を備え、前記第２表示装置に前記原稿画像を表示する。

これにより、教師用と生徒用のそれぞれに相異なる画像を表示することができる。

〔１９〕＜変化量区別処理＋文字絵柄ブロック特定処理（画像処理方法）＞
一部の文字列（１１）を前記文字列の色とは異なる色の領域（１２）で覆うマーキングを施された文字列と絵柄（１３、１４）を含む原稿画像（１０１）から文字列をマーキングしているマーカー領域（１５）を抽出する画像処理方法であって、以下のとおり構成される。

前記原稿画像に対して、前記原稿画像内の画素ごとに、前記画素を含む複数画素よりなる画像ブロック内の最大輝度と最小輝度の差を前記画素における輝度差として求める（ステップ２）。前記輝度差が第１閾値から第２閾値までの範囲にある画素の位置を絵柄領域と、前記輝度差が前記範囲外にある画素の位置を文字領域と、それぞれ一次判定する変化量区別処理を行う（ステップ３）。前記変化量区別処理によって一次判定された結果に基づいて、前記画像ブロックよりも大きい領域単位で、絵柄領域と文字領域とをそれぞれ二次判定する文字絵柄ブロック特定処理を行う（ステップ４）。前記文字領域における、輝度または色の強度または輝度差の頻度分布に基づいて（ステップ５）、前記マーカー領域を抽出する（ステップ６）。

〔２０〕＜原稿画像全体の輝度差のヒストグラムに基づく変化量区別処理＞
項１９において、前記原稿画像の全領域を対象とした前記輝度差の第２頻度分布を算出し、前記第２頻度分布において、前記輝度差が０を含むピークの輝度差が大きい側の裾の輝度差を前記第１閾値とし、前記輝度差が最大値に近い側のピークの輝度差が小さい側の裾の輝度差を前記第２閾値として求める。

〔２１〕＜ノイズ除去処理による文字絵柄ブロック特定処理＞
項１９において、前記文字絵柄ブロック特定処理は、前記変化量区別処理によって一次判定された結果が文字領域か否かを表す２値を前記原稿画像内の各画素について求めて２値画像を作成し、前記２値画像に対するノイズ除去処理を行う。

〔２２〕＜膨張収縮処理を含む文字絵柄ブロック特定処理＞
項２１において、前記ノイズ除去処理は、前記２値画像に対する１回以上の膨張処理と、前記膨張処理後の同じ回数の収縮処理を含む。

〔２３〕＜色成分ごとに行う文字領域のヒストグラム処理＞
項１９において、前記第１頻度分布は色の強度の頻度分布であり、前記第１頻度分布に基づいて、前記マーカー領域を抽出する。

〔２４〕＜色成分ごとのヒストグラム処理＋同じ色の画素の連続数＞
項２３において、前記第１頻度分布の同じ色強度の区分にある画素が、前記原稿画像内で連続する画素数に基づいて、前記マーカー領域を抽出する。

〔２５〕＜ノイズ除去処理を含む文字領域分析処理＞
項１９において、輝度または色の強度または輝度差の前記第１頻度分布におけるピークの占める前記輝度または前記輝度差または前記色の強度の範囲に基づいて、画素ごとにマーカー領域と判定されるか否かによる２値画像を作成し、前記２値画像に対してノイズ除去処理を施して、前記マーカー領域を抽出する。

〔２６〕＜原稿画像全体のヒストグラムによる像域分離＋文字領域のヒストグラムによるマーカー領域抽出（画像処理システム）＞
一部の文字列（１１）を前記文字列の色とは異なる色の領域（１２）で覆うマーキングを施された文字列と絵柄（１３、１４）を含む原稿画像（１０１）から文字列をマーキングしているマーカー領域（１５）を抽出する画像処理システムであって、以下のとおり構成される。

前記原稿画像に対して、前記原稿画像全体の領域における、輝度または色の強度または輝度差の第２頻度分布を求め、前記第２頻度分布に基づいて、前記原稿画像内の文字領域を特定する（ステップ２、３、４）。文字領域と特定された前記領域における、輝度または色の強度または輝度差の第１頻度分布に基づいて、前記マーカー領域を抽出する（ステップ５、６）。

〔２７〕＜変化量区別処理＋文字絵柄ブロック特定処理による像域分離＞
前記原稿画像全体の領域における画素単位で、文字領域か絵柄領域かを判断する変化量区別処理と、前記変化量区別処理による判断結果に基づく２値画像に対して、前記変化量区別処理の判断単位よりも広い領域を単位として文字領域か絵柄領域かを判断する文字絵柄ブロック特定処理により、文字領域を特定する。

これにより、マーカー領域における輝度や色が絵柄領域における輝度や色と共通する原稿であっても、正確に文字領域と絵柄領域を分離して文字領域を特定し、マーカー領域を精度よく抽出することができる。

〔２８〕＜原稿画像全体の輝度差のヒストグラムに基づく変化量区別処理＞
項２６または項２７において、前記第２頻度分布において、前記輝度差が０を含むピークの輝度差が大きい側の裾の輝度差を前記第１閾値とし、前記輝度差が最大値に近い側のピークの輝度差が小さい側の裾の輝度差を前記第２閾値として求める。

２．実施の形態の詳細
実施の形態について更に詳述する。

〔実施形態１〕
実施形態１について説明する。図１は実施形態１に係る画像処理の内容を示すフローチャートであり、図２は実施形態１の画像処理を書画カメラに適用した例におけるシステム全体の概要を表すブロック図であり、図３は画像処理部のハードウェア構成を表すブロック図であり、図４は実施形態１の画像処理を書画カメラに適用した例における画像処理の動作例を説明する模式図である。

図２において、被写体である原稿１０１は、レンズなどの光学系１０２を通して撮像され、イメージセンサ１０３によって電気信号に変換され、画像処理部１０４で必要な信号処理を施された後、モニタＡ１０５及びモニタＢ１０６などに表示される。イメージセンサ１０３は、例えばＣＣＤやＣＭＯＳセンサが一般的に用いられる。画像処理部１０４は、イメージセンサ１０３からの電気信号を元に画像の各種補正（クランプ、シェーディング補正、欠陥画素補正、色補正、γ補正など）を行う。教師用のモニタＡ１０５には、補正後の映像を出力する。生徒用のモニタＢ１０６には、教師用と同様の補正を行った後さらに本実施形態１に係る画像処理を施した画像を表示する。

図３は、図２に示したシステムのうち、画像処理部１０４のハードウェア構成の一例を表すブロック図である。ＣＰＵ２０１、不揮発性メモリ２０２、ＤＲＡＭなどのメモリ２０３、撮像系駆動制御部２０４、センサ画像入力部２０５、カラー信号処理部２０６、画像認識処理部２０７、および、表示画像処理部２０８が、バス２０９を介して接続されている。破線で囲まれた部分を１チップのＬＳＩ２００で構成すると、不揮発メモリやＤＲＡＭなどを混在させる複雑な製造工程を採用する必要がない。一方、不揮発性メモリ２０２、ＤＲＡＭなどのメモリ２０３を同一チップや同一モジュールに混載すると、実装面積と消費電力を抑えることができる。

ＣＰＵ２０１は、ＬＳＩ２００全体のフローを制御し、また、ＬＳＩ２００内の各信号処理部２０４〜２０８の演算結果をもとに、次のプロセスのためのパラメータを算出するなどの演算を行う。不揮発性メモリ２０２は、ＣＰＵ２０１のプログラムや初期パラメータ、定数データテーブルなどを格納するメモリである。メモリ２０３は、主に画像メモリとして使われる。撮像系駆動制御部２０４は、レンズのズーム制御やフォーカス制御、イメージセンサの動作モード、その他のタイミングの制御などを行う制御部である。センサ画像入力部２０５は、イメージセンサ１０３からの画素データを取り込むためのセンサ画像入力部であり、イメージセンサ１０３から入力された画像信号を画素ごとの画像データに整えて、メモリ２０３に格納する。カラー信号処理制御部２０６は、センサ画像入力部２０５がメモリ２０３に格納したデータを読み出して、映像信号に対し色をはじめとした各種補正（クランプ、シェーディング補正、欠陥画素補正、色補正、γ補正など）を行う。

画像認識処理部２０７は、入力画像を元に各種用途に応じてプログラマブルに処理を行うユニットで、主に画像認識を行う。画像認識には高いプログラマブル性が要求されることから、画像認識処理部２０７は、高性能のＣＰＵか、更には処理のリアルタイム性を維持するためにより高速なプログラマブルデバイスで実現するのが好適である。特に、処理の並列性が高いため、ＳＩＭＤ（Single Instruction Multiple Dataflow）などのアーキテクチャを持つ、並列プロセッサを採用することもできる。この画像認識処理部２０７は、画像の中の特定の色、物体形状、動きベクトルの計測などを行うことが可能である。

表示画像処理部２０８は、モニタで表示可能な画像サイズに画像の解像度を合わせ、さらにキャラクタ画像を重ねる処理などを適宜施して出力する。

各信号処理部２０４〜２０８は、メモリ２０３に格納された画像データを読み出して処理を行い、結果をメモリ２０３に格納する。センサ画像入力、カラー信号処理、画像認識処理、表示画像処理は、入力される画像に対して順次実行される処理であるので、バス２０９のトラフィックを緩和するために、各処理部の間を専用のバスで接続してもよい。各信号処理部２０４〜２０８は、専用のハードウェアで演算処理を行うが、ＣＰＵ２０１を演算性能の高いもの変更するか、別のプロセッサに置き換えて、それらの処理の一部もしくは全部をソフトウェアで実現しても良い。例えば、画像認識処理部２０７を構成する、プログラマブルユニットで、画像認識以外のセンサ画像入力、カラー信号処理、画像認識処理、表示画像処理などの処理の一部または全部を、実行させてもよい。

図３に示した画像処理部１０４の動作をさらに詳しく説明する。

電源投入後、不揮発性メモリ２０２に格納されているプログラムにより、ＣＰＵ２０１がブートされ動作可能となる。ＣＰＵ２０１は全てのモジュールの初期設定を終えると、映像入力を可能とするシーケンスに移る。まず撮像系駆動制御部２０４に対して駆動開始の指示を行う。この指示を元に、撮像系駆動制御部２０４は、イメージセンサ１０３に対してモードの初期設定を行った後、水平同期信号、垂直同期信号などの各種タイミング信号を発行し、それに同期した映像入力信号を得る。

映像入力された信号は、センサ画像入力部２０５にて、センサから送信されるフォーマットでの画像を取り込み、本システムで扱える画素順（画素並び）や、フォーマット、タイミングに変換して一旦メモリ２０３に格納する。映像入力された信号をそのフォーマットのまま一旦メモリ２０３に格納し、そのデータを改めて読み出して、センサ画像入力部２０５にて画素順（画素並び）や、フォーマット、タイミングに変換してもよい。バス２０９上のデータ転送量であるトラフィックが増えるが、センサ画像入力部２０５の処理に対する時間的な制約は緩和される。

その後所定のフォーマットに変換された画像信号はカラー信号処理部２０６で様々な変換が行われる。例えば、入力される撮像信号の波形の所定の部分を一定の電圧に固定するクランプ処理、レンズ周辺での光量を補正するシェーディング補正、欠陥のある画素を抽出して補正する欠陥画素補正、映像の色合いを調整する色補正、ディスプレイに表示される画像などの彩度や明るさを修正するためのγ補正などである。カラー信号処理部２０６は、例えば、これらの信号処理を始めとする、映像信号のリアルタイム処理を実行するハードウェアで構成されている。これらの信号処理は、ソフトウェアで実行してもよい。カラー信号処理部２０６で処理された映像信号は、一旦画像メモリ２０３に格納される。

格納されている画像はその後、画像認識処理部２０７に入力され、各種の認識処理を行う。画像認識処理部２０７では、目的とする出力が補正された画像、又は特定の量を表すパラメータを出力とすることができ、そのデータは再度メモリ２０３に格納される。

表示画像処理部２０８は、画像メモリ２０３に格納された画像をそのままモニタへ出力したり、特定の領域や文字列を塗りつぶすためのキャラクタを重ね合わせたりする制御を行い、映像出力を行う。ここでの映像出力は目的に応じた映像を出力するために、複数の映像出力から構成することもできる。

図４は実施形態１の画像処理を書画カメラに適用した例における画像処理の動作例を説明する模式図である。原稿１０１は、例えば（ａ）に示すように、説明文１１と写真１３、自然画１４などを含んで構成されている。ここで説明文１１には、例えば蛍光ペンで一部にマーキングが施されたマーカー領域１２がある。本実施形態１に係る画像処理では、原稿画像１０１を読み込んで、（ｂ）に示すようにマーカー領域１５を抽出し、抽出したマーカー領域を例えば黒く塗りつぶした矩形領域１６を生成し、（ｃ）に示すように原稿画像１０１と重ね合せて生徒向けに表示する。教師は生徒に対して思考を促すために重要項目を始めは隠した状態で表示し、後に表示して見せることで、生徒に強く印象付けることができる。実施形態１に係る画像処理は、例えばこのような画像処理に応用することが可能な画像処理であって、一部にマーキングが施された文字列と写真や自然画などの絵柄を含む原稿画像１０１から、文字列をマーキングしているマーカー領域を抽出する。

図１は実施形態１に係る画像処理の内容を示すフローチャートであり、例えば図４に示した上記書画カメラの機能を実現するために、図２の画像処理部１０４、さらにその中でも図３の画像認識処理部２０７で実行される。原稿画像を読み込む（ステップ１）と、画素ごとの輝度差Ｐｄを算出し（ステップ２）、これに基づいて変化量区別処理（ステップ３）を実行する。ここで原稿画像とは、センサから映像入力された画像そのものではなく、センサ画像入力部２０５で適切にフォーマット変換された画像を指し、カラー信号処理部２０７で適宜必要な補正処理を施された後の画像であってもよい。輝度差は後述するように、画像における輝度の空間的な（平面方向の）変化量を表すパラメータであり、これに基づいてそれぞれの画素が文字領域に位置しているか、絵柄領域に位置しているかを判定する。これは、画素ごとの微視的な判定であるので誤判定を生じやすく、一次判定と位置付ける。次に文字絵柄ブロック特定処理（ステップ４）を行う。これは上記一次判定結果を巨視的に見直す二次判定である。変化量区別処理（ステップ３）が画素ごとに判定したのに対して、それよりも大きな領域（広い領域）単位で判断し、文字領域と絵柄領域とに分離する。次に、文字領域分析処理（ステップ５）を行う。文字領域と判定された領域において、マーキングされた文字とマーキングされていない文字を区別し、マーカー領域を抽出する（ステップ６）。その後、マーカー領域内を覆う矩形領域の画像を生成し（ステップ７）、それを原稿画像に重ね合せて表示する（ステップ８）と、図４に示した、生徒向けに一部の文字列が隠された画像を生成することができる。

マーカー領域を適切に抽出することができれば、その後、マーカー領域を利用する他の処理に応用することもできる。例えば、文字列を隠すために文字の色をマーカーの色と同じ色に変換したり、文字を隠す代わりにマーカー領域を点滅させて強調したり、さらにマーキングされた文字列に対して文字認識を行って、文字や意味のデータとして扱うこともできる。

原稿画像を文字領域と絵柄領域に分離する像域分離処理のうち、輝度差Ｐｄ算出処理（ステップ２）について、さらに詳しく説明する。原稿画像に対して、複数画素よりなる画像ブロックを定め、その画像ブロック内の最大輝度と最小輝度の差である輝度差を、原稿画像内の画素ごとに求める。例えば、ｍ×ｎ画素の最大値・最小値フィルタを用いて、ｍ×ｎ画素の矩形の画像ブロック内の最大輝度Pmaxと最小輝度Pminを求め、その差を輝度差Pd＝Pmax−Pminとして算出し、ｍ×ｎ画像ブロックの中央の画素における輝度差とする。

図５は、輝度差Ｐｄ算出処理の一例を示す説明図である。（ａ）は、３×３マトリクスの例である。中心の画素P4が着目画素であり、周囲画素P0〜P3およびP5〜P8を含む９画素について、各画素（９個）の輝度情報から最大輝度をPmax(P0:P8)、最小輝度をPmin(P0:P8)を算出する。比較には比較器などを使うと良い。算出したPmax(P0:P8)とPmin(P0:P8)から輝度差Pd＝Pmax(P0:P8)−Pmin(P0:P8)を算出する。（ｂ）に矢印で示すように、原稿画像全体を対象に、１ラインごとに着目画素を１画素ごとに水平方向にシフトするラスタースキャンを行い、上記と同様に画素ごとの輝度差を算出する。（ｂ）は理想的に表示される文字の一部と格子状の画素を重ねて模式的に描いてあるが、画像データは画素ごとに輝度（Ｙ）と色（Ｃｒ、ＣｂまたはＩ、Ｑなど）、あるいは、ＲＧＢの三原色の強度成分情報で表される。輝度差算出処理は、輝度情報（Ｙ）を対象とするのが一般的であるが、文字領域の文字の色、背景色、マーカーの色などによっては、色ごとの強度成分情報を用いることもできる。また、原稿画像の周辺部分を着目画素とすると、ｍ×ｎ画像ブロックの周辺画素のうちの一部の画素が原稿画像の範囲外となってしまって輝度情報が得られないこともあるが、周知の末端処理などにより補償するか、あるいは、輝度情報が得られている画素のみを考慮して最大値・最小値を求めてもよい。

像域分離処理のために、次に、輝度差Ｐｄ算出処理（ステップ２）の結果に対して、変化量区別処理（ステップ３）を行う。一般に文字領域に対しては以下の特徴がある。即ち、
特徴Ａ：文字上の隣接画素間の輝度はほぼ同じであり、輝度差Ｐｄは０か極めて小さい。
特徴Ｂ：文字の背景内の隣接画素間の輝度はほぼ同じであり、輝度差Ｐｄは０か極めて小さい。
特徴Ｃ：文字と背景の境界部分では、輝度差が大きい。

一方、絵柄領域では、隣接画素の輝度はなだらかに変化する傾向があり輝度差は大きくない。

上記の特徴に基づき、輝度差についての２つの閾値レベルTH1、TH2を定義して、以下に示す評価条件によって変化量区別処理を行う。TH1は一定色（文字、背景のどちらかに相当）を判定するための閾値レベルであり、TH2は文字と背景を区別するための閾値レベルである。
条件Ａ： Pd≦TH1の場合、文字領域と判定する。
条件Ｂ： TH1＜Pd≦TH2の場合、絵柄領域と判定する。
条件Ｃ： TH2＜Pdの場合も文字領域と判定する。

条件Ａは、文字領域の背景又は文字のどちらかの領域であり、条件Ｃは、文字領域の文字と背景の境界領域である。

図６は、原稿画像の輝度差Ｐｄの頻度分布を使って上記閾値を求める方法の説明図である。原稿画像全体について、輝度差Ｐｄの頻度分布（ヒストグラム）を求める。横軸は輝度差を適当な範囲毎に刻んだもので、縦軸はその範囲に含まれる画素の数をカウントしたものである。短冊状のグラフとなるが、この包絡線を観察することにより、画像の特徴を抽出することができる。文字列が白地に黒文字で描かれているとすると、黒は輝度の最小値、白は輝度の最大値であるから、輝度差が最も小さいPd1の近傍のピークは、文字どうしまたは背景領域の白地どうしの輝度差であると考えられ、輝度差が最も大きいPd8の近傍のピークは、文字と背景の境界領域であると考えられる。その間の中間的な輝度差Pd4を中心とするなだらかなピークは、絵柄領域であると考えられる。自然画や写真では、極端に大きい輝度差や極端に小さい輝度差の頻度は小さく、画素間の輝度差は比較的中間的な値に広く分布しているのが一般的だからである。マーキングのない文字列のみからなる文字領域と自然画の絵柄領域とからなる原稿画像では、輝度差Pd1とPd8近傍の、２つのピークを含む包絡線８１のような頻度分布となる。

文字領域がマーキングされた文字列を含む場合には、マーカーの輝度と色が決まると、それに応じて決まるマーカーと文字の輝度差とマーカーと背景の輝度差においてピークが現れる。マーカーの輝度と色は一定しているので、マーカーと文字の輝度差とマーカーと背景の輝度差は、それぞれ特定の値をとり、広く分布することはない。マーカー領域と文字の輝度差は白地の背景と文字の輝度差よりも小さいので、Pd8よりも低い側に新たなピークが現れる。マーカーの色が文字の黒と近い場合には、輝度差の小さいPd2近傍にピーク８２が現れ、マーカーの色が薄く白地に近い場合には、例えばPd6近傍にピーク８３が現れる。

TH1は、一定色（文字、背景のどちらかに相当）を判定するための閾値レベルであり、TH2は、文字と背景を区別するための閾値レベルであるから、Pd2からPd3の範囲を中心に特にPd3の近傍にTH1を定め、Pd5からPd6の範囲を中心に特にPd5の近傍にTH2を定めると良い。画像認識処理では、輝度差Pd算出処理（ステップ２）の後若しくはこの処理と同時に頻度分布を求め、その頻度分布の特徴を解析することにより、閾値TH1とTH2を求めることができる。例えば、閾値の予想される範囲、Pd2からPd3の近傍までの範囲における包絡線の底からTH1を定め、Pd5からPd7の近傍までの範囲における包絡線の底からTH2を定めることができる。

図７は、変化量区別処理を実施した際の判定結果のイメージを示す説明図である。

（ａ）は、文字領域１１を拡大した図である。上側にマーカーなしの文字を、下側にマーキングを施された文字１２を示す。格子１個が１画素を表し、文字は画素内に文字と背景との境界がある画素は実際には中間的な輝度となるが、図７では擬似的に文字そのものを表示している。（ｂ）は（ａ）の画像に対して、上記の変化量区別処理を行った結果、上記条件Ａおよび条件Ｃに該当し文字領域２０と判定された画素を斜めの格子状のハッチングで表し、条件Ｂに該当して絵柄領域２１と判定された画素を右上がりの斜めのハッチングで表している。（ｃ）は絵柄領域を拡大した図であり、（ｂ）と同様に（ｄ）は、（ｃ）の画像に対して変化量区別処理を行った結果、上記条件Ａおよび条件Ｃに該当し文字領域と判定された画素２０を斜めの格子状のハッチングで表し、条件Ｂに該当して絵柄領域と判定された画素２１を右上がりの斜めのハッチングで表している。

文字領域では、条件Ａおよび条件Ｃに該当し文字領域と判定された画素２０が多いものの、特にマーキングを施された文字の領域では、絵柄領域と判定される画素２１が多い。マーキングを施された文字領域では、背景と文字の輝度差が、マーキングを施されておらず背景が白地の文字領域における輝度差よりも小さいため、TH2を下回って絵柄領域と判定されている。一方、絵柄領域でも、濃淡の変化が急な領域では、文字領域２０と判定されている。例示していないが、輝度差がさらに小さくTH1を下回る領域では、絵柄領域でも文字領域と判定される。

以上のような誤判定は、変化量区別処理（ステップ３）では、画素ごとという局所領域について文字か絵柄かを判定するために発生する。これを一次判定と位置付ける。この一次判定結果に対して、文字絵柄ブロック特定処理（ステップ４）を行う。これは、画素ごとという局所領域について行った変化量区別処理よりも大きい領域（広い領域）を単位として、文字領域か絵柄領域かを判定する二次判定である。

図８は、像域分離処理の過程を示した説明図である。（ａ）は変化量区別処理（ステップ３）の実行前の原稿画像１０１である。（ｂ）は変化量区別処理（ステップ３）の判定結果、（ｃ）はさらに文字絵柄ブロック特定処理（ステップ４）を実行した判定結果である。変化量区別処理（ステップ３）では、（ｂ）では、文字領域と判定された領域２０の中に、絵柄領域と判定された微小な領域２１が含まれ、絵柄領域と判定された領域２１の中にも、文字領域と判定された微小な領域２０が含まれている。（ｃ）では、大きな領域ごとに文字領域と絵柄領域に分離されている。

文字絵柄ブロック特定処理（ステップ４）は、具体的には例えば、２値画像の膨張処理と収縮処理を行うことができる。膨張処理を複数回（複数画素数分）行い、その後同じ回数分（同じ画素数分）だけ収縮する処理をすることで、ノイズを取り除くことができる。図９は、２値画像の膨張処理と収縮処理の具体例を示す説明図である。変化量区別処理（ステップ３）による一次判定結果は、画素ごとに文字領域か絵柄領域かの２値で表されるので、２値画像として扱うことができる。（ａ）に示すように、右下がりのハッチングを施した領域２２の中に、３×３画素の格子状のハッチングで示されたノイズによる微小領域２３が含まれている例を取り上げる。右下がりのハッチングを施した領域２２を１画素だけ膨張処理すると、四方に１画素ずつ膨張するとともに内側にも１画素ずつ膨張するので、格子状のハッチングで示された微小領域２３は、浸食されて１×１画素の領域２４になる。さらに１画素、（ａ）から２画素膨張処理を行うと、格子状のハッチングで示された微小領域は、浸食されて消失する（２５）。ここから、１画素縮小処理をしても、一旦消失した格子状のハッチングで示された微小領域が再生することはなく、（ｄ）に示すように、周囲から１画素ずつ縮小した領域となり、さらに１画素縮小処理をすると、（ｅ）に示すように（ａ）と同じ大きさの領域で内側の３×３画素の微小領域、即ちノイズ領域が消失した画像を生成することができる。文字絵柄ブロック特定処理（ステップ４）に２値画像の膨張処理と収縮処理を行う場合には、文字領域を膨張処理後収縮処理し、さらに絵柄領域を膨張処理後収縮処理するなど、文字領域と絵柄領域のそれぞれについて、膨張・収縮処理を行う。膨張・収縮処理に代えて、多数決処理やフィルタ処理によっても、同様の効果を得ることができる。

文字領域分析処理（ステップ５）について説明する。文字絵柄ブロック特定処理（ステップ４）によって文字領域と判定された領域において、輝度、色の強度または輝度差の頻度分布（ヒストグラム）を求める。
図１０はヒストグラムの例で、横軸を輝度とし、輝度の範囲に含まれる画素数を縦軸にカウントしたものである。この時、背景、文字、マーカーの３つの輝度値が想定される。一般に文字領域における画素値のヒストグラムでは、背景色に相当する輝度値の画素数が一番多く、文字色とマーカーに相当する画素数がピークとして現れる。（ａ）はマーカーがない場合のヒストグラムの例であり、輝度値Y2に文字色の画素数のピークが現れ、輝度値Y6に背景色の画素数のピークが現れている。（ｂ）はマーカーがある場合のヒストグラムの例であり、（ａ）の傾向に加えて、さらにマーカーの輝度値Y4に画素数のピークが現れている。

もし、マーカー記入前の原稿画像が撮影されていれば、マーカー記入前の画像のヒストグラム（ａ）とマーカーが記入されたヒストグラム（ｂ）を算出し、（ａ）と（ｂ）のヒストグラムの比較を行うことで、マーカーの輝度を抽出することができる。これにより、マーカーの輝度を正確に抽出することができる。

一方、既にマーカー記入済みの（ｂ）のヒストグラムしか得られない場合は、３つのピークを抽出することで、マーカーの領域を抽出することができる。即ち、輝度値Y3からY5の範囲内にある画素をマーカー領域の画素と判断することができる。分析対象の領域に絵柄が含まれていれば、輝度値Y3からY5の範囲に多くの画素が含まれる恐れがあるが、このステップでは、像域分離をした後の文字領域について分析を行っているので、輝度値Y3からY5の範囲に含まれる画素は、マーカー領域の画素であると判定することができる。仮に像域分離が不十分で誤差として絵柄が含まれていたとしても、その画素数は像域分離前に比べれば著しく少ないので、マーカー領域の判定に与える影響はほとんどない。

マーカー領域の特徴を、輝度についてのヒストグラムでは効率よく抽出することができない場合には、色成分のヒストグラムにより、マーカー領域を抽出することができる。マーカーは特徴的な色であることが多いからである。色成分のヒストグラムは、Y以外の色差成分であるCrとCbのヒストグラムを求めて判断することができる。さらに、色毎、例えばR（赤）成分での分析、G（緑）成分での分析、B（青）成分での分析を行うことでより精度よく抽出も可能である。YCrCbとRGBの間には線形の関係があり、3行3列の行列演算により簡単に相互に変換することができるので、輝度Y、色差成分CrとCbで抽出できなかった場合にRGBに変換してヒストグラムを求めればよい。

この他、ステップ２で算出した輝度差Pdについてのヒストグラムを求めて、マーカー領域に特徴的な輝度差を特定し、それに基づいてマーカー領域を抽出することもできる。さらに、変化量区別処理（ステップ３）の閾値を決めるために求めた、原稿画像全体の輝度差についてのヒストグラムからであっても、マーカー領域に特徴的な輝度差を特定することができれば、改めて文字領域のみのヒストグラムを求めることなく、マーカー領域を抽出することができる。一般に、マーカーと文字、マーカーと背景の輝度差は、中間値となり絵柄領域の輝度差との区別をつけることが困難であるが、絵柄領域がないか極めて小さい場合には、絵柄領域のヒストグラムにおける影響が小さいので、文字領域のみにおけるヒストグラム算出処理を省略することができる。

マーカー領域抽出処理（ステップ６）について説明する。文字領域における輝度レベルをYinとし、マーカーの輝度の左端（最小）輝度レベルをML、右端（最大）輝度レベルをMRとして再度変換処理を行う。文字領域全体の画素について、ML ≦ Yin ≦ MRを満たすか否かを判断し、その結果を２値で表した２値画像を生成する。図１１は、文字領域におけるマーカー領域抽出処理の過程を示す説明図である。図１０の（ｂ）の例において、輝度値Y4を中心とするピークがマーカー色であると判断されると、ML=Y3、MR=Y5として上記処理を行う。

図１１において（ａ）は、上記処理により文字領域におけるマーカー部分を抽出した結果である。マーカー領域と判定された領域２６を右下がりの太いハッチングで表し、それ以外の文字またはマーカーのない背景と判定された領域２７を右上がりの細いハッチングで表している。画素ごとに、上記判定式を満たすか否かの判断を行うので、生成した２値画像でみると、画素単位のノイズ成分が含まれている。本来のマーカー以外に、たまたまマーカーと判断されるノイズレベルがある可能性もあるからである。その対策として、（ａ）の２値画像に対して、ノイズ除去フィルタを通して、ノイズ対策を行う。例えば、３×３マトリクスにおいては、９画素から中間の値にするメディアンフィルタや、９画素から多数決を取り、多いものに中心画素を置き換えていく多数決を取るフィルタなどが考えられる。これにより（ｂ）のようにノイズ除去をしたマーカー領域を抽出することができる。

さらに、原稿画像全体に対して、以上の処理を行うことにより、複数存在するマーカー領域を抽出して、それぞれのマーカー領域の原稿画像における座標を算出することもできる。

マーカー領域内の矩形領域生成処理（ステップ７）について説明する。図１２は、マーカー領域内の矩形領域生成処理（ステップ７）の処理過程を表す説明図である。（ａ）はマーカー領域抽出処理（ステップ６）で特定された座標から抽出した、マーカー領域に相当する画像である。この特定されたマーカー領域において、内部の文字を覆い隠すための矩形領域の生成を行う。（ｂ）において、マーカー領域１５とされる画素において、上下左右の頂点から上下左右の各辺を求め、上辺、下辺、左辺、右辺の各辺に囲まれる矩形の領域を全て同じ色にする。この時の色合いは、含まれる文字色と同一の色合いにする。この文字色は、図１０のヒストグラムを解析して特定することができる。より精度を出すには、抽出したマーカー領域内において改めてヒストグラムを作成するなどでして確認しても良い。こうして特定した色によりマーカー領域全体を埋めたものが（ｃ）となる。

これらの説明は１か所のマーカー領域について説明したが、複数のマーカー領域について同時に実行してもよい。通常マーカーの数は限られているため、限定した数量であればハードウェアで実現することもできる。ソフトウェアで処理する場合は、複数のマーカー領域を順次処理する。処理時間は長くなるが、専用ハードウェアは必要としない。

矩形領域重ね合せ処理（ステップ８）について説明する。矩形領域決定後、この矩形データを通常出力画面に重ね合わせて表示する。マーカー領域内の矩形領域生成処理（ステップ７）によって生成された矩形領域のデータは、キャラクタ画像として画像メモリ２０３に格納される。一方、原稿画像をそのまま投影する通常の画面もこの画像メモリ２０３に格納されており、通常画面と矩形領域画面のデータを表示画像処理部２０８に送る。この表示画像処理部２０８では通常画面の画像データに矩形領域画面（キャラクタ画像）を上書し、モニタへの映像出力を行う。尚、この２つの画像重ね合せの例では、それぞれの画像を一旦画像メモリ２０３に格納し、表示画像処理部２０８で重ね合せているが、矩形領域画面（キャラクタ画像）については、画像メモリ２０３に格納せず、頂点乃至は始点、終点の座標を示すデータを表示処理部２０８に渡し、表示画像処理部２０８にて通常画面（原稿画像）における矩形領域の輝度を置き換える処理をしても良い。

矩形領域をマーカーの色から文字色に変更することにより文字を隠す処理について説明したが、マーカーの色を変更せず、文字の色をマーカーの色に変更して文字を読めないようにする処理に置き換えてもよい。

以上のような処理フローにより、蛍光ペンなどのマーカーで塗り潰したマーカー領域に対して、自動で輝度・色を認識し画面の移動と共に追従させ、特定の領域を塗り潰した表示を行うことができる。これにより、色が混ざった原稿や、絵柄と文字が混在した原稿において、文字の領域を特定する手段を前処理として行い、特定文字列をマーキングした文字列に対して、自動的にマーカー認識を行い、塗り潰し表示をすることが可能となる。

〔実施形態２〕
画面の所定のエリアを使い、ユーザーに初期特定色をマーカー色として登録させ、登録色に相当する色領域を判別して、黒に置き換える。これにより、より簡便かつ確実にマーカー領域を抽出し、原稿画像上のマーキングされた文字列を覆い隠す処理を行うことができる。

図１３と図１４は、実施形態２に係る画像処理の経過の一例を示す説明図である。

（ａ）はモニタＡの映像である。モニタＡ１０５の映像には原稿画像をそのまま表示し、さらに、ユーザーに初期特定色をマーカー色として登録させる登録領域を示す枠を重ねて表示する。その際、登録領域９０にマーカーの色を登録するよう促す。マーカー記載者が登録領域９０にマーカー色を用紙に書き込む。ハードウェア側は、登録領域９０の画像を抽出し、初期画像９１として画像メモリ２０３に登録する。（ｂ）は登録領域９０にマーカーが記入された後のモニタＡ１０５の映像である。登録領域９０の画像を抽出して、マーカー登録画像９２として画像メモリ２０３に登録する。次に、画像メモリ２０３から初期画像９１を読み出し、（ｃ）に示すように画像認識処理部２０７において色相別のヒストグラムをとる。ヒストグラム情報は、画像メモリ２０３に初期画像９１のヒストグラム情報として格納する。さらに、画像メモリ２０３からマーカー登録画像９２を読み出し、（ｄ）に示すように画像認識処理部２０７において色相別のヒストグラムをとる。ヒストグラム情報は、画像メモリ２０３にマーカー登録画像９２のヒストグラム情報として格納する。初期画像９１のヒストグラム情報とマーカー登録画像９２のヒストグラム情報の差分をとる。図１４の（ｅ）にその差分を取った結果の一例を示す。＋がマーカー登録画像９２で初期画像９１から増加した色相の増加分を表し、−は減少分を表す。一番大きく増加した色相をマーカーの色相と認識する。

次に、原稿画像を撮像する。原稿画像は、（ｆ）に示すように文字列１１の一部に登録領域９０を使って登録した色のマーキング１２が施されている。撮像された原稿画像から色相ｍに相当する画素を検出し、検出された領域から更に、文字色を特定するために、（ｇ）に示すように色相ｍに一致した画素が集中するマーカー領域を検出する。画像認識処理部２０７では、（ｈ）に示すように入力された画像のヒストグラムを抽出する。ヒストグラムの抽出の結果、マーカー色（色相m）とマーキングを施された単語（文字列）の色相値がそれぞれピークを持つヒストグラムとなる。他方の色相pが文字の色を表す色相である。

マーカー領域の色相ｍの画素を色相pに置き換えたキャラクタ画像１６を生成する処理を行ない、これを表示画像処理部２０８において原稿画像と重ね合わせることにより、（ｉ）に示すようにマーキングを施された文字列を覆い隠すことができる。

以降、本実施形態２では、センサから入力された映像をカラー信号処理部２０６の処理を経て画像メモリ２０３に格納した後（原稿画像）に、画像認識処理部２０７にて色相ｍを抽出した後に色相Ｐに置き換えたキャラクタを作成し、画像メモリ２０３に格納する（キャラクタ画像)。表示画像処理部２０８では、上記原稿画像を取り込み、キャラクタ画像を重ね合わせる処理を行い、映像出力を行って表示する。

これにより、マーカー領域が登録領域９０に制限されるので、より簡便かつ確実にマーカー領域を抽出することができ、複雑な色が混ざった原稿において特定色の色を抽出することができ、より汎用性が高くなる。

〔実施形態３〕
原稿画像が移動しても、高速にマーカー領域を追尾して重ね合せ表示処理を行う実施形態について説明する。

図１５と図１６は、実施形態３に係る画像処理の経過の一例を示す説明図である。

初期の原稿画像を撮像し、画像メモリ２０３に参照画像として保存し、原稿画像の一部の文字列にマーキングを行い、その画像を撮像して画像メモリ２０３にマーキング済画像として保存する。

画像認識処理部２０７において、画像メモリ２０３より参照画像とマーキング済画像を読み出す。画像の相関をとるために、画像の分割を行う。（ａ）に示すように参照画像の一部の領域を参照ブロック９４とし、マーキング済画像の対応する領域を探索範囲９５とする。（ｂ）に示すように、探索範囲９５には、種々の動きベクトル９７の方向と大きさを想定した複数の対象ブロック９６の画像を規定し、それぞれについて、参照ブロック９４との間で差分絶対値総和（SAD：Sum of Absolute Difference）をとる。このSADの演算値が最小となる方向が動きベクトル９７を表す。原稿画像全体をいくつかに分けて複数の参照ブロックをきめ、少なくとも２箇所以上でSAD演算を実行し、複数の結果から多数決演算などにより、全体の動き方向のベクトルを選ぶとよい。

（ｃ）に示すように、算出したベクトルから、参照画像とマーキング済画像の絶対座標のズレ量を算出し、このズレ量を元に参照画像の座標を補正する（ステップ９８）。その後マーキング済画像から参照画像を減算する（ステップ９９）。これにより、マーカー部分のみが抽出される。

抽出したマーカー部分についての追尾処理を行う。図１６の（ｄ）に示すように１フレーム前の画像と現画像との差分に基づいて、移動ベクトルを算出する。具体的な算出方法は、図１５の（ａ）と（ｂ）を参照して説明した、動きベクトルの抽出と同様である。（ｅ）に示すように、算出した移動ベクトル９７に合わせてマーカー部分を塗りつぶしたキャラクタ画像１６を移動させ、最新の原稿画像を追尾していく。これにより、全てのフレームごとにマーカー領域を抽出することなく、一つのマーカー領域の抽出結果を複数フレームに渡って利用することができる。一方、この追尾は、原稿画像が別の原稿に交換された場合に対応することができない。そこで、数フレームに１回の割合でマーカー領域の抽出を更新しながら行うことで、誤認識を改善することが可能である。

本実施形態３では、マーカーなしの原稿画像をベースとした差分を取ることにより、変更箇所のみに着目して塗り潰すため、複雑な色が混ざった原稿においても、色の誤認識が抑えられ、想定していなかった箇所の塗り潰しを防ぐことができる。また、周囲の照明条件の変動に対して、上述した実施形態１や実施形態２よりも精度よく塗り潰し箇所を特定することができる。また、追尾の処理は、全体の実施形態１の画像認識処理に比べて高速に行うことができる。

〔実施形態４〕
実施形態１では、文字領域内の背景と文字の色レベルの判断を、輝度Yのみで判断したが、本実施形態４では３原色の色成分であるR、G、Bで判断する実施形態である。輝度Yだけでの比較に比べて、処理回路の増加、計算時間の増加がある一方、R、G、B成分での解析は情報が多い分、より精度よく認識される効果がある。図１７は、実施形態４に係る文字領域内の背景と文字の色レベルの判断についての説明図であり、図１８は、文字とマーカーの色の特定方法を示す説明図である。

例えば、背景が白、文字が黒、マーカーがシアンと黄の２色であるとすると、RGBの3原色成分を3次元座標空間に表した場合、（ａ）に示すような分布となる。また、各画素におけるR、G、B各成分を仮に8bitとすると、３色で計24bitで色を表現することができる。この24bitと各色の対応は（ｂ）に示すようになる。（ｂ）のR、G、B各成分の各表記は16進で表した8bitのデータである。この24ビットを1次元の軸とみなして、文字領域における各画素のヒストグラムを取ると、（ｃ）に示す通りとなる。

次に、（ｃ）に示したヒストグラムで選別された４色からマーカーの色を特定する。まず、一般に文字領域における背景色が一番多くあることから、（ｃ）において一番分布の多いものが背景となる。次に、文字の特定に移る。文字とマーカーは画素数については同程度であるのが一般的であるため、（ｃ）のヒストグラムでは区別することができない。一方、空間的な画素の分布については、マーカーが互いに隣接した画素の連続になる傾向があるのに対し、文字は必ずしも隣接画素の連続が長くない特性を持つ。そこで、R、G、B各色において、ヒストグラムの同じ色区分にある画素が連続する画素数を、例えば水平方向にカウントする。図１８の（ａ）の文字については、黒が連続した部分をカウントし、これをH_Aとする。同様に（ｂ）のマーカーについてカウントしたものをH_B、（ｃ）のマーカーについてカウントしたものをH_Cとする。それぞれのカウント値のヒストグラムをとると、それぞれ（ｄ）（ｅ）（ｆ）のようになる。文字は、横方向の連続部分は少なく、且つ頻度は高い傾向がある。一方、マーカーは連続性がある反面、頻度は少ない方向である。この傾向を利用することにより、水平方向の連続する画素のカウント値のヒストグラムに基づいて、文字とマーカーの色を特定することができる。

これにより、輝度Yが同程度の文字色とマーカー色が複数混在する画像であっても、精度よくマーカー領域を抽出することができる。

〔実施形態５〕
図１９は、実施形態１乃至４に例示される実施形態の技術を、書画カメラに応用したシステムの構成例である。（ａ）は、画像処理部１０４に２個の表示データ出力部２０８＿１と２０８＿２を搭載した書画カメラシステムで、教師用のモニタＡ１０５と、生徒用のモニタＢ１０６に互いに異なる画像を表示することができる。例えば、教師用のモニタＡ１０５には、マーカーを通して文字が読める状態で原稿画像をそのまま表示し、生徒用のモニタＢ１０６には、実施形態１乃至４に例示される実施形態の画像処理を行い、マーカー領域を塗りつぶして原稿画像においてマーキングされた文字列を覆い隠した状態で表示することができる。

（ｂ）は、１個の表示データ出力部２０８を備える。出力信号形式として、ＰＣ１０７へ一旦出力し、ＰＣ１０７を介してモニタまたはプロジェクタ１０６に表示することができる。

以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

例えば、書画カメラにおいてマーキングされた文字列を、生成した矩形領域で覆い隠す処理について説明したが、他の画像処理システムにも同様に適用することができる。また、マーカー領域は、原稿画像の内容を覆い隠すために用いる代わりに、原稿画像の強調や文字認識のために用いることもできる。

１原稿画像入力
２輝度差Ｐｄ算出処理
３変化量区別処理
４文字絵柄ブロック特定処理
５文字領域分析処理
６マーカー領域抽出処理
７マーカー領域内矩形領域生成処理
８矩形領域重ね合せ処理
１１一部にマーキングを施された文字列
１２マーキングを施された文字列
１３、１４絵柄領域
１５マーカー領域
１６キャラクタ画像
２０文字領域と判定された画素またはその領域
２１絵柄領域と判定された画素またはその領域
２６マーカー領域と判定された画素またはその領域
２７マーカー以外の文字またはマーカーのない背景と判定された画素またはその領域
９０マーカー色登録領域
９４参照ブロック
９５探索範囲
９６対象ブロック
９７動きベクトル
１０１原稿画像
１０４画像処理部
１０５、１０６モニタ
２００画像処理ＬＳＩ
２０３メモリ
２０７画像認識処理部
２０８表示画像処理部

Claims

一部の文字列を前記文字列の色とは異なる色の領域で覆うマーキングを施された文字列と絵柄を含む原稿画像から文字列をマーキングしているマーカー領域を抽出する画像処理部を備える画像処理ＬＳＩであって、
前記画像処理部は、
前記原稿画像に対して前記原稿画像内の画素ごとに、前記画素を含む複数画素よりなる画像ブロック内の最大輝度と最小輝度の差を前記画素における輝度差として求め、前記輝度差が第１閾値から第２閾値までの範囲にある画素の位置を絵柄領域と、前記輝度差が前記範囲外にある画素の位置を文字領域と、それぞれ一次判定する変化量区別処理を行い、
前記変化量区別処理によって一次判定された結果に基づいて、前記画像ブロックよりも大きい領域単位で、絵柄領域と文字領域とを二次判定する文字絵柄ブロック特定処理を行い、
前記二次判定によって文字領域と判定された領域における、輝度または色の強度または輝度差の第１頻度分布に基づいて、前記マーカー領域を抽出する、画像処理ＬＳＩ。
請求項１において、前記文字絵柄ブロック特定処理は、前記変化量区別処理によって一次判定された結果が文字領域か否かを表す２値を前記原稿画像内の各画素について求めて２値画像を作成し、前記２値画像に対するノイズ除去処理を行う、画像処理ＬＳＩ。
請求項２において、前記ノイズ除去処理は、前記２値画像に対する１回以上の膨張処理と、前記膨張処理後の同じ回数の収縮処理を含む、画像処理ＬＳＩ。
請求項１において、前記第１頻度分布は色の強度の頻度分布であり、前記第１頻度分布に基づいて、前記マーカー領域を抽出する、画像処理ＬＳＩ。
請求項４において、前記第１頻度分布の同じ色強度の区分にある画素が、前記原稿画像内で連続する画素数に基づいて、前記マーカー領域を抽出する、画像処理ＬＳＩ。
請求項１において、前記画像処理部は、前記第１頻度分布におけるピークの占める前記輝度または前記輝度差または前記色の強度の範囲に基づいて、画素ごとにマーカー領域と判定されるか否かによる２値画像を作成し、前記２値画像に対してノイズ除去処理を施して、前記マーカー領域を抽出する、画像処理ＬＳＩ。
請求項１において、前記マーカー領域の外周を囲む矩形領域を求め、前記原稿画像の画像データのうち、前記矩形領域の画像データの輝度もしくは色または輝度及び色を変更した、表示画像を出力する、画像処理ＬＳＩ。
請求項１において、前記原稿画像内にマーカー登録領域を設け、前記マーカー登録領域内における、輝度または輝度差または色の強度の第３頻度分布を算出し、前記第３頻度分布に基づいてマーカー領域と判定すべき輝度または輝度差または色の強度の範囲を求め、前記原稿画像から前記マーカー領域を抽出する、画像処理ＬＳＩ。
請求項１において、時系列的に撮像された複数のフレームを構成するそれぞれのフレームを前記原稿画像とし、
前記画像処理部は、前記マーカー領域を抽出したフレームの原稿画像と、その後に撮像された後続フレームの原稿画像を比較して動きベクトルを抽出し、前記動きベクトルによって位置情報を補正したマーカー領域を前記後続フレームの原稿画像におけるマーカー領域とする、画像処理ＬＳＩ。
一部の文字列を前記文字列の色とは異なる色の領域で覆うマーキングを施された文字列と絵柄を含む原稿画像から文字列をマーキングしているマーカー領域を抽出する画像処理システムであって、
前記原稿画像に対して、前記原稿画像内の画素ごとに、前記画素を含む複数画素よりなる画像ブロック内の最大輝度と最小輝度の差を前記画素における輝度差として求め、前記輝度差が第１閾値から第２閾値までの範囲にある画素の位置を絵柄領域と、前記輝度差が前記範囲外にある画素の位置を文字領域と、それぞれ一次判定する変化量区別処理を行い、
前記変化量区別処理によって一次判定された結果に基づいて、前記画像ブロックよりも大きい領域単位で、絵柄領域と文字領域とを二次判定する文字絵柄ブロック特定処理を行い、
前記二次判定によって文字領域と判定された領域における、輝度または色の強度または輝度差の第１頻度分布に基づいて、前記マーカー領域を抽出する、画像処理システム。
請求項１０において、前記文字絵柄ブロック特定処理は、前記変化量区別処理によって一次判定された結果が文字領域か否かを表す２値を前記原稿画像内の各画素について求めて２値画像を作成し、前記２値画像に対するノイズ除去処理を含む、画像処理システム。
請求項１１において、前記ノイズ除去処理は、前記２値画像に対する１回以上の膨張処理と、前記膨張処理後の同じ回数の収縮処理を含む、画像処理システム。
請求項１０において、輝度または色の強度または輝度差の前記第１頻度分布におけるピークの占める前記輝度または前記輝度差または前記色の強度の範囲に基づいて、画素ごとにマーカー領域と判定されるか否かによる２値画像を作成し、前記２値画像に対してノイズ除去処理を施して、前記マーカー領域を抽出する、画像処理システム。
請求項１０において、前記画像処理システムは、カメラとメモリと表示装置とをさらに備え、原稿を前記カメラによって撮像して入力して前記メモリに格納し、前記撮像された画像データにカラー信号処理を施して前記原稿画像とし、前記原稿画像の画像データのうち、抽出した前記マーカー領域の画像データの輝度もしくは色または輝度及び色を変更した表示画像を前記表示装置に表示する、画像処理システム。
請求項１４において、前記表示装置を第１表示装置とし、前記画像処理システムはさらに第２表示装置を備え、前記第２表示装置に前記原稿画像を表示する、画像処理システム。
一部の文字列を前記文字列の色とは異なる色の領域で覆うマーキングを施された文字列と絵柄を含む原稿画像から文字列をマーキングしているマーカー領域を抽出する画像処理方法であって、
前記原稿画像に対して、前記原稿画像内の画素ごとに、前記画素を含む複数画素よりなる画像ブロック内の最大輝度と最小輝度の差を前記画素における輝度差として求め、前記輝度差が第１閾値から第２閾値までの範囲にある画素の位置を絵柄領域と、前記輝度差が前記範囲外にある画素の位置を文字領域と、それぞれ一次判定する変化量区別処理を行い、
前記変化量区別処理によって一次判定された結果に基づいて、前記画像ブロックよりも大きい領域単位で、絵柄領域と文字領域とをそれぞれ二次判定する文字絵柄ブロック特定処理を行い、
前記文字領域における、輝度または色の強度または輝度差の頻度分布に基づいて、前記マーカー領域を抽出する、画像処理方法。