JP5618719B2 - 画像処理装置、その方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、その方法およびプログラムに関し、特に文書画像処理結果の保存を行う画像処理装置、その方法およびプログラムに関する。

近年、コンピュータやネットワークの発達により会議資料を電子的に配布し、会議の際にはホワイトボード等の手書きを加えることが可能な投影板にプロジェクタ等の投影装置により、電子的に配布した会議資料をそのまま投影することが多い。このような形態の会議では、参加者は電子データを投影しているホワイトボードに文字や図などを書き加えて議論を進め、手書きが加えられたホワイトボードをデジタルカメラなどの撮影装置により撮影して撮影データを議事録資料とすることがある。

撮影データは撮影角度により歪みが生じたり、元の会議資料のどの部分と関連しているのか不明であったりするため、そのままでは議事録の代用には不便である。そこで、このような手書きの撮影データを議事録として電子配布可能なデータとする技術が提案されている。

例えば、投影画像面に書き込みがされると投影を一旦停止して記入された手書き画像をキャプチャして合成した画像データを生成する方法が提案されている（例えば、特許文献１参照）。また、通常このような撮影装置とホワイトボードとの位置関係により撮影データは投影板の正面から撮影できずに投影データが歪むため、単純に合成すると元の電子データと手書き画像とでずれを生ずる。このずれを除去するため、投影画像の外枠取得手段で歪みを取得して画像の歪みを補正する方法が提案されている（例えば、特許文献２参照）。

特開２００６−１０８８１３号公報 特開２００７−０１７５４３号公報

しかしながら、従来の投影装置により会議資料を投影するシステムでは、手書きされる場所は投影板に投影された投影領域内部のみではなく投影領域外となることも多い。例えば、ホワイトボードに投影している場合、会議資料は一定の領域に投影されているが、その領域以外に手書きで文字や絵を書くことは会議では通常行われることである。特許文献１では投影領域内部に手書きされた内容（あるいは、手書きオブジェクト）の合成について記載されているが、投影領域外に手書きオブジェクトがある場合の処理は不明である。実際の会議においては、投影領域外にも手書きされる可能性が高いことから、手書きオブジェクトの位置が投影領域の内外に限らず、元の電子データと合成してよりよい議事録を作成することが望ましい。

また、実際に非固定の可搬型のプロジェクタを用いて会議を行う際には、投影板とプロジェクタが正確に正対していない状態で運用する場合も多い。このような状況で撮影された画像には、投影板と撮影装置との位置関係による歪みの他に、投影装置と投影板との位置関係による歪みが存在し、かつ一般にはこの歪みは異なるものである。したがって、投影領域の外枠を基準に画像を補正すると手書き部分の形状が歪んでしまうという問題があった。一方、手書き部分の歪みをなくすために投影板の枠を補正に用いると、補正画像を投影画像データに合成する際に位置がずれてしまうという問題がある。特許文献２の方法では一方しか補正できないため、もう一方の歪みは残ったままになるという問題がある。

このような課題を解決するため、本願の画像処理装置は、手書きオブジェクトが手書きされ且つ投影手段により投影画像が投影された状態の投影板を撮影手段で撮影することによって生成された画像データを、入力する入力手段と、前記画像データに含まれる前記投影画像の電子データを特定する電子データ特定手段と、前記画像データから前記投影手段により前記投影板に投影された投影領域の枠を抽出する枠抽出手段と、前記画像データから前記手書きオブジェクトを抽出し、当該抽出された手書きオブジェクトが、前記投影領域の枠の内側に手書きされたオブジェクトと前記投影領域の枠の外側に手書きされたオブジェクトとのいずれであるか判定する抽出手段と、前記投影領域の枠の内側に手書きされたオブジェクトと、前記投影領域の枠の外側に手書きされたオブジェクトとを、前記電子データ特定手段により特定された電子データに配置して、当該オブジェクトが配置された電子データを出力する出力手段とを備えたことを特徴とする。

投影した電子データに対して加えられた手書きオブジェクトを本来の記述形状と位置関係が近い形で合成した電子データを得ることができる。

本発明の一実施形態の画像処理装置へと入力される画像が取得される環境を示す図である。 画像処理装置に入力される入力画像の例を示す図である。 画像処理装置の構成例を示す図である。 本発明の一実施形態の処理を説明するブロックダイアグラムを示す図である。 ブロックダイアグラム図４をフローチャートで表した図を示す図である。 図2の入力画像200に対してエッジ強調をおこなった画像の例を示す図である。 入力画像から白板領域を切り出し、歪みを補正した画像の例を示す図である。 表示・編集プログラムに実施形態1を適用した電子データの表示例を示す図である。 表示・編集プログラムのスライドプレビュー表示例を示す図である。 表示・編集プログラムに実施形態２を適用した電子データ表示例を示す図である。 表示・編集プログラムに実施形態3を適用した電子データ表示例を示す図である。 表示・編集プログラムに実施形態４を適用した電子データ表示例を示す図である。 表示・編集プログラムに実施形態５を適用した電子データ表示例を示す図である。 表示・編集プログラムに実施形態６を適用した電子データ表示例を示す図である。

［実施例１］
以下、図面を参照して本発明の好適な実施形態を詳細に説明する。

図1は、本発明の一実施例の画像処理装置へと入力される画像が取得される環境を示す図である。

図１を参照すると、白板101は投影板と記入板を兼ねており、ペン102により白板１０１へ記入を行う。投影装置103は白板１０１へ画像を投影するであり、パーソナルコンピューター104は投影装置１０３へ投影する画像を送信する。デジタルカメラなどの撮影装置105は投影領域を包含する白板１０１を撮影し、投影装置103より白板１０１上へ投影データ110が投影される。

図2に本実施例の画像処理装置に送信される画像の例200を示す図である。撮影装置105により撮影された画像200は、白板領域枠201と、投影領域枠202とで構成される。

同じく、入力画像200には、投影された画像の投影画像オブジェクト203(「Slide Title」)、ペン１０２により記入された手書きオブジェクト204(「Handwriting」)および205(「memo」)が存在する。また、撮影装置１０５の位置と対象物の位置との関係から傾き、すなわち線形歪みが生じ、投影領域枠202および投影画像オブジェクト203については、投影装置１０３と白板１０１との位置関係から、白板１０１の歪みとは別の歪みを生じている。ここで、手書きオブジェクト204は投影領域枠２０２の内側に、手書きオブジェクト205は投影領域枠２０２の外側に存在している。

図3は本発明を実施する画像処理装置300の構成例を示す図である。画像処理装置300は、撮影した画像データの入力を行うための外部記憶媒体I/F301および画像データに本発明の処理を施すための画像処理プログラムを実行するCPU302を備える。また、このような画像処理プログラムを実行する際のワークメモリやデータの一時保存に利用するメモリ303およびプログラムやデータを格納するハードディスク304を備える。以上の画像処理装置300の構成は一例であり、パーソナルコンピューター104を用いて画像処理を実行してもよいし、撮影装置105などの電子回路上で画像処理を実行しても構わない。

図4は本発明の処理を説明するブロックダイアグラムである。対象画像400は、撮影装置105で撮影され外部記憶媒体に記憶された画像を外部記憶媒体I/F301を介して入力される。枠抽出処理部401は、対象画像400から4つの直線で構成された枠を抽出する。投影領域枠形状402は、枠抽出処理部401で抽出された投影領域の輪郭に相当する。電子データ特定部403は、対象画像400から投影された電子データ４０４を特定する。オブジェクト抽出処理部405は、対象画像400と電子データ404とから手書きオブジェクト４０６を抽出する。

オブジェクト配置処理部407は、手書きオブジェクト406を電子データ404の内部に関連付けて配置する。

本実施例では、電子データ404に手書きオブジェクト406を配置して出力データ408とする。ここで、出力データ408は、電子データ404と同じ構造をしているが、手書きオブジェクト406が含まれる点で異なる。

出力データ408は、各データ409〜413によって構成され、PC104にある表示・編集プログラムによって表示・編集が可能である。データ409は、表示・編集プログラムおいてレイアウト編集用に用いられ、投影表示領域410と非投影表示領域411とによって構成される。表示・編集プログラムは、データ412を、テキスト編集用に用い、投影表示モード時には、投影表示領域上のデータのみをPC104のディスプレイに表示する。また、編集モード時にはレイアウトデータの投影表示領域４１０、非投影表示領域４１１およびテキスト編集データ４１２を表示する。なお、表示・編集プログラムとして、例えばマイクロソフト社のオフィス・パワーポイント（登録商標）などのアプリケーションを使用することができる。

図5は、図4のブロックダイアグラムに基づく本実施例の処理の詳細を示すフローチャートである。以下、対象画像400として図2の対象画像200を用い、出力データ408を生成する場合の例を図5のフローチャートを用いて説明する。

ステップS501で、電子データ特定部４０３は、撮影装置105が画像を撮影した際に投影装置103が投影していた電子データを特定し、ステップS502へ進む。電子データの特定は、PC104内に保存されている投影していた電子データである対象ファイル、文字列を用いた全文検索などの検索技術により検索して特定すればよい。具体的には、検索の為のキー情報は、撮影された画像の投影領域枠２０２内を投影歪で補正した画像や、その画像をOCR処理して得られた結果の文字列から取得することができる。あるいは、ユーザーに、対象ファイルのファイル名を入力するように促し、入力された結果を用いて特定するようにしても良い。ここでは電子データそのものの特定とともに、この電子データの投影領域枠２０２の幅wと高さhも特定する。

ステップS502で、枠抽出処理部401は、撮影された画像中から投影領域枠２０２および白版領域枠２０１に相当する不等辺四角形を抽出する。枠に相当する四角形の抽出は、公知の手法を用いて次のように行うことができる。すなわち、SobelやLaplacianフィルタなどを用いたエッジ強調手法により、対象画像中の白板領域の境界部分に該当する画素を極立たせる。この強調画像にハフ変換や最小近似法などの公知の直線抽出手法を用いて、四角形を構成する十分に長い4辺の直線を抽出する。図2の対象画像200に対してエッジ強調を行った画像の例を図6に示す。不等辺四角形601が、投影領域枠２０２に相当する四角形である。なお、図6に示すように、エッジ強調された画像からは投影領域枠601の外側に、白板領域枠602が抽出される。本ステップS501では、抽出された2つの枠のうち内側の枠を投影領域枠、外側の枠を白版領域枠として選択することとする。

ステップS504では、撮影された画像の歪みを補正するための歪補正値を抽出し、歪み補正処理をする。ここで歪み補正値とは、矩形領域を3次元的な角度をもって2次元平面に投影した場合に生じる不等辺四角形領域を、元の矩形領域へと補正する演算、いわゆる逆透視変換演算で用いられる変換行列のパラメータである。たとえば特開2003-288588号公報に開示されているように、逆透視変換の演算式に変換前の4頂点の座標と変換後の4頂点の座標をそれぞれ代入し、得られる連立方程式を解くことにより変換行列のパラメータは抽出される。

本実施例で変換前の4頂点の座標は、ステップS502で抽出された投影領域枠６０１の4頂点の座標とする。変換後の4頂点の座標は、ステップS501により特定された投影データの投影表示領域部分に対する出力サイズw×hの画像領域の4隅、すなわち、(0,0), (w,0), (w, h), (0, h)の4点となる。両座標を用いて作られた連立方程式を解いて得られた行列の各パラメータを、歪み補正値とする。

次にS502で抽出した白板領域枠を用いて撮影された画像から白板領域を切り出し、歪み補正値を用いて透視変換し、歪みを補正した画像を生成する。図7は、このようにして補正した後の画像例を示す図である。

ステップS504では、手書きオブジェクト抽出処理部405により、撮影された画像から手書き画像や投影データを各々オブジェクトとして分割する。分割されたオブジェクトは形状と位置に関するデータを記憶する。

オブジェクト分割の処理は次のようにして行う。まずオブジェクト画像が黒、背景画像が白となるようにS503で生成した歪み補正画像を二値画像へと変換する。本変換は、本技術分野で知られたいずれかのものにより行うことができる。例えば多値画像の輝度ヒストグラムを取得し、それらのピークから適応的に求めた閾値を用いて二値化画像へ変換することにより二値画像を得られるがこれに限られない。次に公知の手法によりラベリング画像を生成する。例えば以下のような手法が知られている。すなわち、二値画像を形成する各ラインの画素をスキャンし、黒画素が連続する区間について、開始位置と終了位置をテーブルに格納する。全ラインについてこの処理を終えると、ライン間で接している区間に同じラベルを与え、同一のラベルを有する黒画素が連続する領域を形成することによりラベリング画像を生成することができる。ここで、ラベリング画像内で同一のラベルを持つ画素塊を各々オブジェクトとみなす。

ステップS505は、ステップS504で抽出されたオブジェクトの各々に対し、以降繰り返し終端ステップS510までの繰り返し処理を実行することを意味するステップである。

ステップS506では、手書きオブジェクト抽出処理部405が、対象となるオブジェクトが手書き画像のオブジェクトであるか否かの判定を行う。手書き画像のオブジェクトであればステップS507に、それ以外であればステップS508にそれぞれ進む。手書き画像のオブジェクトか否かの判定は本技術分野で知られたいずれの方法でもよ使用することができる。例えば、予め投影画像と手書き画像とが異なる色になるように定めておき、撮影された画像から取得した各オブジェクトの色が投影画像用の色か、手書き画像用の色かにより判断することができる。あるいは、線の揺れ度合の大きさや濃淡の不均一性などで手書き画像の特性を考慮して判断してもよい。さらに、予め手書き用の色を指定し、対象オブジェクトの色情報と、手書き用の指定色情報とを比較することで判断してもよい。この場合、別の色であると判断された場合は、投影オブジェクトと判断できる。また、画像の撮影時に、手書きの判断のため投影装置による投影を停止して手書き画像だけを撮影して判断に用いてもよい。さらに、先に特定された電子データ404の投影表示領域にあるコンテンツの位置情報を比較し、一致するものがない場合、手書きオブジェクトと判定してもよい。

以上の判定結果は、各オブジェクトのデータに付随して保持される。本実施例では、撮影された画像２００中のオブジェクト204および205が手書きオブジェクトと判定されS507へ遷移し、オブジェクト203が手書きではないオブジェクトすなわち投影オブジェクトと判定されS510へ遷移する。

ステップS507では、オブジェクト配置処理部407によって、手書きオブジェクトの位置が投影領域枠の内側か外側かを判定する。手書きオブジェクトの位置が投影領域枠の内側であった場合はS508へ、そうでない場合、つまり投影領域の外側にある場合はS509へ遷移する。本実施例では、手書きオブジェクト204は投影領域２０２内に位置するのでS508へ、オブジェクト205は投影領域２０２の外側に位置するのでS509へ遷移する。

ステップS508では、オブジェクト配置処理部407によって、オブジェクトの線部分の輪郭や芯線などを公知のベクトル変換技術によりベクトルパスデータに変換し、電子データ404のレイアウトデータ上の投影表示領域４１０に配置する。ここで、公知のベクトル変換技術には、特許第3026592号公報に開示される方法がある。特許第3026592号公報では、画像をラスタ走査しながら注目画素とその近傍画素の状態に基づいて、水平方向及び垂直方向の画素間ベクトルを検出する。次に、これら画素間ベクトル同士の接続状態をもとに、画像データの輪郭を抽出することで、アウトラインベクトルと呼ばれる連結画素データの周回を画素間ベクトルの集合で記述する情報を生成する技術が開示されている。

ステップS509では、オブジェクト配置処理部407によって、オブジェクトを公知の文字認識技術を用いて文字コードデータに変換し、電子データ404のテキスト編集データ４１２に配置する。

ステップS510は繰り返し終端ステップであり、未処理のオブジェクトがあればS505へ、すべてのオブジェクトについて処理したのであれば終了へと遷移する。

図8は、本実施例1を適用して得られた出力データ408を表示・編集プログラムにより表示した例である。ウィンドウ800は、表示・編集プログラムの全体の表示ウインドウであり、以下に説明するウィンドウ801〜807を含む。レイアウト編集ウインドウ801は、スライドプレビュー802はおよびプリントプレビューウインドウ803は、本実施例の表示・編集プログラムにおいては切り替え表示され、図８は編集ウインドウ805が表示されている状態を示している。さらに、ウィンドウ800は、テキスト編集ウインドウ806および要約情報表示ウインドウ807を含む。

レイアウト編集ウインドウ801には、出力データ408のレイアウト編集データ４０９の内容に従った表示がなされる。本発明の実施例1においては、特定された電子データのレイアウトデータの投影表示領域804と、手書きオブジェクト204をベクトル化したオブジェクト808が描画されている。テキスト編集ウインドウ806には、出力データ408のテキスト編集データ412の内容に従った表示がなされる。本発明の実施例においては、手書きオブジェクト205を文字認識して文字コード化したオブジェクト809が描画されている。

図9は表示・編集プログラムのスライドプレビュー802を表示した例であり、出力データ408のレイアウトデータ409における投影表示領域410のみが表示され、投影非表示領域411およびテキスト編集データ４１２は表示されない。

以上説明したように、本実施例によれば、投影画面を含んだ白板画像から、手書きオブジェクトを抽出し、投影領域の内外で手書きオブジェクトのデータ変換形式および、投影画面の原本電子データへの格納先を変えた出力データを生成する。

このように生成した電子データは表示・編集プログラムにおいては、投影領域内の手書きオブジェクトはベクトルデータとして、投影領域外の手書きオブジェクトは文字コードデータとして元の電子データと関連で受けて保持しておく。これにより、議事録等として再利用可能な状態での提供が可能となる。

［実施例２］
実施例１では、投影領域外の手書きオブジェクトを文字認識して文字コードデータを格納したが、投影領域内と同じくベクトル化して格納してもよい。本実施例は、ベクトル化した投影領域外のオブジェクトは実際に撮影された画像と同じ位置関係を保持し、電子データ４０８の投影非表示領域４１２に配置する。すなわち、投影非表示領域の手書きオブジェクトは、ベクトル化してオブジェクト自体のデータを保持するとともに、その表示位置を投影表示領域との関係で保持するようにする。

図１０は、表示・編集プログラムに本実施例２を適用した出力データ408を表示した例である。オブジェクト１００１は手書きオブジェクト205をベクトル化したものであり投影表示領域804の外部に配置される。この時のオブジェクト１００１と投影表示領域804の位置関係は元の手書きオブジェクト205と投影領域枠202の位置関係を保持する。

本実施例によれば、生成した電子データは、表示・編集プログラムにおいて、投影領域外の手書きオブジェクトを撮影時に近い状態で編集操作可能となる。

［実施例３］
実施例２では、投影領域外の手書きオブジェクトの位置関係を保持したまま電子データに格納したが、投影表示領域内に格納してもよい。本実施例は、投影領域外の手書きオブジェクトを、投影表示領域８０４に表示できるようにするものである。

図11は、表示・編集プログラムに本実施例3を適用した出力データ408を表示した例である。オブジェクト１１０１は手書きオブジェクト205をベクトル化したものであり、それが配置される場所は投影表示領域804上の、他のオブジェクトが存在しないところとなる。

本実施例によれば、生成した電子データは表示・編集プログラムにおいて、投影表示領域内に手書きオブジェクトを表示するので、投影領域外の手書きオブジェクトをプレビュー時に表示可能な状態で提供が可能である。

［実施例４］
実施例３では、投影領域外の手書きオブジェクトをプレビューウインドウ上でも表示させることができるように投影表示領域内に位置をずらして電子データに格納したが、オブジェクトにアニメーションをつけてもよい。本実施例は、投影領域外の手書きオブジェクトにアニメーションをつけるものである。

図12は、表示・編集プログラムに本実施例4を適用した出力データ408を表示した例である。図12(A)はレイアウト表示ウインドウ、図12(B)はプレビューウインドウである。オブジェクト１２０１は手書きオブジェクト205をベクトル化したものであり、レイアウト表示ウインドウにおいて、投影非表示領域に配置される。ウィンドウ８００をプレビューウインドウ８０２に切り替えると、オブジェクト１２０１はレイアウトデータの投影表示領域804上であって、他のオブジェクトが存在しない余白領域を余白抽出して配置移動される。またレイアウト表示ウインドウ８０１に切り替えると、オブジェクト１２０１投影非表示領域に配置移動される。

本実施形態によれば、生成した電子データは表示・編集プログラムにおいて、投影領域外の手書きオブジェクトを、編集時はオブジェクトの位置関係を保持し、プレビュー時には表示可能な状態での提供が可能である。

［実施例５］
実施例４では、投影領域外の手書きオブジェクトを編集ウインドウ、プレビューウインドウ上でも表示ができるように電子データに格納したが、印刷時に表示できる領域に格納してもよい。本実施例は、投影領域外の手書きオブジェクトをプリントプレビュー８０３に表示して、印刷出力できるようにしたものである。

図13は、表示・編集プログラムに本実施例4を適用した出力データ408をプリントプレビューウインドウに表示した例である。オブジェクト１３０１は手書きオブジェクト205をベクトル化したものであり、プリントプレビューウインドウ８０３において、投影領域とオブジェクト813の位置関係は元の手書きオブジェクト205と投影領域枠202の位置関係を保持して配置される。

本実施例によれば、生成した電子データは表示・編集プログラムにおいて、投影領域外の手書きオブジェクトを投影領域との位置関係を保持して印刷可能な状態での提供が可能である。

［実施例６］
実施例５では、投影領域外の手書きオブジェクトを印刷ができるように電子データに格納したが、原本となる電子データの投影表示領域を拡張してもよい。本実施例は、投影領域外の手書きオブジェクトを処理するものである。

図14は、表示・編集プログラムに本実施形態6を適用した出力データ408を表示した例である。ウィンドウ１４０１は、拡張した投影表示領域であり、投影領域外の手書きオブジェクト１４０２も含まれる大きさに拡大してある。

本実施例によれば、生成した電子データは表示・編集プログラムにおいて、投影領域外の手書きオブジェクトを編集ウインドウ、プレビューウインドウの両方において投影領域との位置関係を保持した状態での提供が可能である。

手書き可能な投影板に電子データを投影し手書きを加えた状態を撮影し議事録にする画像処理装置。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。

Claims (9)

1. 手書きオブジェクトが手書きされ且つ投影手段により投影画像が投影された状態の投影板を撮影手段で撮影することによって生成された画像データを、入力する入力手段と、
   前記画像データに含まれる前記投影画像の電子データを特定する電子データ特定手段と、
   前記画像データから前記投影手段により前記投影板に投影された投影領域の枠を抽出する枠抽出手段と、
   前記画像データから前記手書きオブジェクトを抽出し、当該抽出された手書きオブジェクトが、前記投影領域の枠の内側に手書きされたオブジェクトと前記投影領域の枠の外側に手書きされたオブジェクトとのいずれであるか判定する抽出手段と、
   前記投影領域の枠の内側に手書きされたオブジェクトと、前記投影領域の枠の外側に手書きされたオブジェクトとを、前記電子データ特定手段により特定された電子データに配置して、当該オブジェクトが配置された電子データを出力する出力手段と
   を備えたことを特徴とする画像処理装置。
2. 前記出力手段は、当該出力される電子データが表示・編集プログラムにより表示される際に前記特定された電子データが表示される領域内に前記投影領域の枠の内側に手書きされたオブジェクトが表示されるように、前記投影領域の枠の内側に手書きされたオブジェクトを前記特定された電子データに配置して出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記投影領域の枠の外側に手書きされたオブジェクトを文字認識して文字コードを取得する手書き文字認識手段をさらに備え、
   前記出力手段は、前記投影領域の枠の内側に手書きされたオブジェクトと、前記文字認識手段で取得された前記投影領域の枠の外側に手書きされたオブジェクトの文字コードとを、前記電子データ特定手段により特定された電子データに配置して出力することを特徴とする請求項１または２記載の画像処理装置。
4. 前記出力手段は、当該出力される電子データが表示・編集プログラムにより表示される際に前記特定された電子データが表示される領域と異なる領域に、前記手書き文字認識手段により取得した文字コードが表示されるように、前記投影領域の枠の外側に手書きされたオブジェクトの文字コードを前記特定された電子データに配置して出力することを特徴とする請求項３に記載の画像処理装置。
5. 前記出力される電子データが表示・編集プログラムにより表示される際に前記電子データの表示される領域の内の何も表示されない余白の領域を抽出する余白抽出手段をさらに備え、
   前記出力手段は、当該出力される電子データが表示・編集プログラムにより表示される際に前記投影領域の枠の外側に手書きされたオブジェクトが前記余白の領域に表示されるように、前記投影領域の枠の外側に手書きされたオブジェクトを前記特定された電子データに配置して出力することを特徴とする請求項１または２に記載の画像処理装置。
6. 前記出力手段は、当該出力される電子データが表示・編集プログラムにより表示される際に前記特定された電子データが表示される領域の外部に前記投影領域の枠の外側に手書きされたオブジェクトが表示されるように、前記投影領域の枠の外側に手書きされたオブジェクトを前記特定された電子データに配置して出力するモードをさらに有することを特徴とする請求項５に記載の画像処理装置。
7. 前記出力手段は、前記特定された電子データが表示される領域を拡大して、当該出力される電子データが表示・編集プログラムにより表示される際に前記投影領域の枠の外側に手書きされたオブジェクトが当該拡大した領域に表示されるように、前記投影領域の枠の外側に手書きされたオブジェクトを前記特定された電子データに配置して出力することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 手書きオブジェクトが手書きされ且つ投影手段により投影画像が投影された状態の投影板を撮影手段で撮影することによって生成された画像データを、入力する入力ステップと、
   前記画像データに含まれる前記投影画像の電子データを特定する電子データ特定ステップと、
   前記画像データから前記投影ステップにおいて、前記投影板に投影された投影領域の枠を抽出する枠抽出ステップと、
   前記画像データから前記手書きオブジェクトを抽出し、当該抽出された手書きオブジェクトが、前記投影領域の枠の内側に手書きされたオブジェクトと前記投影領域の枠の外側に手書きされたオブジェクトとのいずれであるか判定する抽出ステップと、
   前記投影領域の枠の内側に手書きされたオブジェクトと、前記投影領域の枠の外側に手書きされたオブジェクトとを、前記電子データ特定ステップにおいて特定された電子データに配置して、当該オブジェクトが配置された電子データを出力する出力ステップと
   を備えたことを特徴とする画像処理方法。
9. 画像処理装置に画像処理方法を実行させるプログラムであって、該画像処理方法は、
   手書きオブジェクトが手書きされ且つ投影手段により投影画像が投影された状態の投影板を撮影手段で撮影することによって生成された画像データを、入力する入力ステップと、
   前記画像データに含まれる前記投影画像の電子データを特定する電子データ特定ステップと、
   前記画像データから前記投影ステップにおいて、前記投影板に投影された投影領域の枠を抽出する枠抽出ステップと、
   前記画像データから前記手書きオブジェクトを抽出し、当該抽出された手書きオブジェクトが、前記投影領域の枠の内側に手書きされたオブジェクトと前記投影領域の枠の外側に手書きされたオブジェクトとのいずれであるか判定する抽出ステップと、
   前記投影領域の枠の内側に手書きされたオブジェクトと、前記投影領域の枠の外側に手書きされたオブジェクトとを、前記電子データ特定ステップにおいて特定された電子データに配置して、当該オブジェクトが配置された電子データを出力する出力ステップと
   を備えたことを特徴とするプログラム。

Images