JP6872123B2 - 画像処理装置、及びプログラム - Google Patents

Description

本発明は、画像処理装置、及びプログラムに関する。

特許文献１には、議論参加者の発言の中からコンピュータ操作者が抽出したキーワードを図形オブジェクトとテキストとの組合せにより表示し、質問の結果、キーワードを修正する必要がある場合にはコンピュータ操作者の操作により修正する認識共有化支援方法が開示されている。
特許文献２には、タッチパネルを用いて手書き入力された手書き図形を、その作成過程、作成順序といった種々の観点から評価するプログラムが開示されている。
特許文献３には、ユーザの手書き操作によりタッチパネルに入力された手書き図形と、予め定められた手本図形との類似度を、手書き図形を構成する各ドットの相対的な位置と、手本図形を構成する各ドットの相対的な位置との異同に基づいて判定するプログラムが開示されている。

特開２００２−２５９６３５号公報 特開２００６−１３３８８６号公報 特開２００６−１３３８８８号公報

本発明は、描画の意図が伝わり難いときに、その描画の修正案を出力することを目的とする。

上述した課題を解決するため、本発明の請求項１に係る画像処理装置は、利用者により行われた描画を示す描画情報を取得する取得部と、前記描画情報から、画像処理の単位となる単位画像を抽出する抽出部と、描画の模範を示す複数の模範情報を記憶する記憶部と、複数の前記模範情報のうち、抽出された前記単位画像に応じた前記模範情報を特定する特定部と、特定された前記模範情報に基づいて、前記単位画像を評価する評価部と、前記評価部による評価が基準よりも低い場合に、特定された前記模範情報を出力する出力部と、を有し、前記特定部は、抽出された前記単位画像の周囲に描かれた文字列に応じた前記模範情報を特定することを特徴とする。

本発明の請求項２に係る画像処理装置は、請求項１に記載の態様において、前記描画情報は、描画に際して行われた利用者の動作を示す情報を含むことを特徴とする。

本発明の請求項３に係る画像処理装置は、請求項１又は２に記載の態様において、前記抽出部は、前記単位画像を該単位画像の種類ごとに抽出することを特徴とする。

本発明の請求項４に係る画像処理装置は、請求項３に記載の態様において、前記記憶部は、前記種類ごとに複数の前記模範情報の組を記憶し、前記特定部は、抽出された前記単位画像の前記種類に応じた前記組に属する複数の前記模範情報から、前記模範情報を特定することを特徴とする。

本発明の請求項５に係る画像処理装置は、請求項１から４のいずれか１項に記載の態様において、前記出力部は、前記評価部による評価が基準よりも低くない場合に、特定された前記模範情報を出力しないことを特徴とする。

本発明の請求項６に係るプログラムは、コンピュータを、利用者により行われた描画を示す描画情報を取得する取得部と、前記描画情報から、画像処理の単位となる単位画像を抽出する抽出部と、描画の模範を示す複数の模範情報を記憶する記憶部と、複数の前記模範情報のうち、抽出された前記単位画像に応じた前記模範情報を特定する特定部と、特定された前記模範情報に基づいて、前記単位画像を評価する評価部と、前記評価部による評価が基準よりも低い場合に、特定された前記模範情報を出力する出力部として機能させるとともに、前記特定部が、抽出された前記単位画像の周囲に描かれた文字列に応じた前記模範情報を特定するように前記コンピュータを機能させるためのプログラムである。

請求項１、６に係る発明によれば、描画者による描画の意図が伝わり難いときに描画者を指導することができる。また、請求項１、６に係る発明によれば、単位画像の周囲に描かれた文字列を用いない場合に比べて描画の意図を誤って解釈する可能性が低減する。
請求項２に係る発明によれば、描画情報が利用者の動作を含まない場合に比べて単位画像を抽出する精度が向上する。
請求項３に係る発明によれば、種類ごとに単位画像を抽出しない場合に比べて描画者の描いた描画の意図を誤って解釈する可能性が低減する。
請求項４に係る発明によれば、模範情報を単位画像の種類に応じた組に属する複数の模範情報から特定しない場合に比べて、模範情報の特定が速くなる。
請求項５に係る発明によれば、修正が不要な場合に描画者の個性が描画に反映される。

本実施形態に係る画像処理システム９の全体構成を示す図。 描画者端末３の構成の一例を示す図。 参加者端末２の構成を示す図。 画像処理装置１の構成を示す図。 図記号ＤＢ１２１の例を示す図。 評価ＲＢ１２２の例を示す図。 画像処理装置１の機能的構成を示す図。 画像処理装置１の動作の流れを説明するフロー図。 画像処理システム９を利用した会議の様子を説明するための図。 模範図記号に基づいて描画者の図記号が評価されることを説明するための図。 図記号の大きさを修正する模範情報の例を示す図。 図記号の配置を修正する模範情報の例を示す図。

１．実施形態
１−１．画像処理システムの全体構成
図１は、本実施形態に係る画像処理システム９の全体構成を示す図である。画像処理システム９は、ＬＡＮ（Local Area Network）及びＷＡＮ（Wide Area Network）等を形成する通信回線４と、この通信回線４に接続された画像処理装置１、参加者端末２、及び描画者端末３を有する。また、画像処理システム９の描画者端末３には、スクリーン７を撮像する撮像装置５、及びスクリーン７に画像を映写する映写装置６が接続されている。図１に示す描画者端末３は、撮像装置５及び映写装置６を制御する。

図１に示す描画者端末３は、通信回線４を介して画像処理装置１及び参加者端末２と接続する。描画者端末３の利用者を「描画者」ともいう。描画者は、会議において筆記具等を使ってスクリーン７に図形や記号等を描画して説明をする。

描画者端末３は、描画者が行った描画を例えば撮像装置５に撮像させて、その描画の内容を示す描画情報を画像処理装置１に送信する。なお、撮像装置５は、位置を符号化した位置符号化パターンを用いて描画した位置を検知する電子ペンであってもよい。この場合、スクリーン７には、その描画される面の位置を示す位置符号化パターンが印刷されていればよい。そして撮像装置５としての電子ペンにより、スクリーン７に対して行われた描画のそれぞれの位置が検知され、この検知結果に基づいて描画情報が生成され、画像処理装置１に送信される。

また、描画者端末３は、画像処理装置１から出力された情報を受信し、この情報に基づく画像を映写装置６によりスクリーン７に表示させる。画像処理システム９が有する描画者端末３は図１に示す通り１つであってもよいし、複数であってもよい。

図１に示す参加者端末２は、描画者端末３から画像処理装置１に送信された描画情報が示す画像であって、予め決められた条件に基づいて画像処理装置１により加工された画像を表示画面に表示する端末である。参加者端末２の利用者を「参加者」ともいう。参加者とは、参加者端末２を利用してこの参加者端末２で表示される画像を見て会議に参加する利用者である。画像処理システム９が有する参加者端末２は図１に示す通り、複数であってもよいし１つであってもよい。

図１に示す画像処理装置１は、描画者端末３が撮像装置５に撮像させた、描画者の描画を示す描画情報を取得し、その描画情報から画像処理の単位となる単位画像を抽出して、その単位画像を評価し、評価の結果に応じて描画の模範を示す模範情報を出力する装置である。画像処理システム９が有する画像処理装置１は図１に示す通り１つであってもよいし、複数であってもよい。

１−２．描画者端末の構成
図２は、描画者端末３の構成の一例を示す図である。描画者端末３は、制御部３１、記憶部３２、通信部３３、表示部３４、操作部３５、及び接続部３６を有する。

制御部３１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有し、ＣＰＵがＲＯＭや記憶部３２に記憶されているコンピュータプログラム（以下、単にプログラムという）を読み出して実行することにより描画者端末３の各部を制御する。

記憶部３２は、ソリッドステートドライブ、ハードディスクドライブ等の大容量の記憶手段であり、制御部３１のＣＰＵに読み込まれる各種のプログラムを記憶する。

通信部３３は、無線又は有線により通信回線４に接続する通信回路である。描画者端末３は、通信部３３により通信回線４を介して画像処理装置１及び参加者端末２と情報を遣り取りする。

操作部３５は、各種の指示をするための操作ボタン等の操作子を備えており、利用者による操作を受付けてその操作内容に応じた信号を制御部３１に供給する。また、操作部３５は、利用者の指やスタイラスペン等の操作体の接触又は圧力等を検知するタッチパネルを有していてもよい。

表示部３４は、液晶ディスプレイを有しており、制御部３１の制御の下、画像を表示する。表示部３４の液晶ディスプレイの上には、操作部３５の透明のタッチパネルが重ねて配置されてもよい。

なお、描画者端末３は、例えば通信回線４を介して外部の操作端末から操作を受付けてもよい。外部の操作端末から操作を受付ける場合、描画者端末３には操作部３５を有しなくてもよい。また、描画者端末３は、表示部３４を有しなくてもよい。

接続部３６は、撮像装置５及び映写装置６に接続するインタフェースであり、制御部３１からの制御信号をこれらの外部装置に伝達するとともに、外部装置から出力信号を受付ける。

１−３．参加者端末の構成
図３は、参加者端末２の構成を示す図である。参加者端末２は、制御部２１、記憶部２２、通信部２３、表示部２４、及び操作部２５を有する。

制御部２１は、ＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＣＰＵがＲＯＭや記憶部２２に記憶されているプログラムを読み出して実行することにより参加者端末２の各部を制御する。

記憶部２２は、ソリッドステートドライブ、ハードディスクドライブ等の大容量の記憶手段であり、制御部２１のＣＰＵに読み込まれる各種のプログラムを記憶する。

通信部２３は、無線又は有線により通信回線４に接続する通信回路である。参加者端末２は、通信部２３により通信回線４を介して画像処理装置１及び描画者端末３と情報を遣り取りする。

操作部２５は、各種の指示をするための操作ボタン等の操作子を備えており、参加者による操作を受付けてその操作内容に応じた信号を制御部２１に供給する。また、操作部２５は、参加者の指やスタイラスペン等の操作体を検知するタッチパネルを有していてもよい。

表示部２４は、液晶ディスプレイ等の表示画面を有しており、制御部２１の制御の下、画像を表示する。表示部２４の表示画面の上には、操作部２５の透明のタッチパネルが重ねて配置されてもよい。

１−４．画像処理装置の構成
図４は、画像処理装置１の構成を示す図である。画像処理装置１は、制御部１１、記憶部１２、及び通信部１３を有する。また、画像処理装置１は、図４に破線で示す表示部１４、及び操作部１５を有してもよい。

制御部１１は、ＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＣＰＵがＲＯＭや記憶部１２に記憶されているプログラムを読み出して実行することにより画像処理装置１の各部を制御する。

通信部１３は、無線又は有線により通信回線４に接続する通信回路である。画像処理装置１は、通信部１３により通信回線４を介して参加者端末２及び描画者端末３と情報を遣り取りする。

操作部１５は、各種の指示をするための操作ボタン等の操作子を備えており、利用者による操作を受付けてその操作内容に応じた信号を制御部１１に供給する。また、操作部１５は、利用者の指やスタイラスペン等の操作体を検知するタッチパネルを有していてもよい。

表示部１４は、液晶ディスプレイ等の表示画面を有しており、制御部１１の制御の下、画像を表示する。表示部１４の表示画面の上には、操作部１５の透明のタッチパネルが重ねて配置されてもよい。

記憶部１２は、ハードディスクドライブ等の大容量の記憶手段であり、制御部１１のＣＰＵに読み込まれる各種のプログラムを記憶する。また、記憶部１２は、図記号ＤＢ１２１、及び評価ＲＢ１２２を記憶する。

図５は、図記号ＤＢ１２１の例を示す図である。図記号ＤＢ１２１は、図を描画する際に用いられる様々な記号（図記号という）のうち、模範的な図記号（模範図記号という）を記憶するデータベースである。図５に示す通り、図記号ＤＢ１２１には、各種の模範図記号を識別する識別情報である「図記号ＩＤ」と、その模範図記号を示す「図記号データ」とが対応付けて記憶される。また、図記号ＤＢ１２１には、「図記号データ」ごとにその図記号データで表される模範図記号の「名称」が対応付けて記憶される。名称は、複数の言語ごとに対応付けられていてもよいし、一つの言語につき、複数の名称が記憶されていてもよい。

図記号ＤＢ１２１に記憶された複数の図記号データは、描画者が描画した単位画像の種類が図記号である場合に、その単位画像に応じた模範情報の候補とされる。すなわち、図記号ＤＢ１２１には、描画の模範を示す複数の模範情報の組が記憶される。

図６は、評価ＲＢ１２２の例を示す図である。評価ＲＢ１２２は、抽出した単位画像から描画の模範を示す模範情報を特定するためのルール（特定条件という）と、特定された模範情報に基づき単位画像を評価するためのルール（評価基準という）とが記憶されているルールベースである。

図６に示す通り、評価ＲＢ１２２には、描画情報が示す描画の種類ごとに特定条件及び評価基準が定められていてもよい。例えば、図６に示す例で、描画情報が示す描画の種類が「図記号」である場合、模範情報として模範図記号が特定される特定条件とは、その模範図記号と描画情報との類似度が６０％以上であること、である。そして、特定された模範情報（模範図記号）に基づいて、描画者が描いた図記号を「修正が必要なレベルである」と評価する評価基準は、両者の類似度が７０％未満であること、である。なお、単位画像を「修正が必要なレベルである」と評価することは、その単位画像を基準よりも低く評価する一例である。

また、例えば、図６に示す例で評価ＲＢ１２２は、描画の種類が「線図」である描画情報に対応する複数の模範情報の組を記憶しており、そのそれぞれに特定条件を記憶している。

例えば「線図に含まれる線が３本であり、そのうち２本の組合せがそれぞれ成す角度が決められた範囲（例えば１０度以上１００度未満等）内である」といった特定条件を満たす場合、描画情報が示す描画は、描画者が三角形を描くことを意図して描かれた線図であると判断される。この場合、模範情報として例えば正三角形が特定され、上記の特定条件に対応付けて記憶されている評価基準により、正三角形と、描画者が描いた線図との差が評価される。

例えば、描画者が描いた各線の曲率のバラつきを分散の算出によって評価し、それら各線の曲率が閾値を超えてバラついていると判断する場合、画像処理装置１は、描画者が描いた線図を「修正が必要なレベルである」と評価する。他に、線図に対する評価基準には、例えば、線図の角が丸みを帯びているほど高評価にするもの、複数の線分の端点同士が決められた距離を超えていると低評価にするもの、等が挙げられる。

なお、図６に示す例で評価ＲＢ１２２は、描画の種類が「文字」である描画情報に対しても、これに対応する複数の模範情報を記憶しており、そのそれぞれに特定条件と評価基準とを記憶している。すなわち、図６に示す評価ＲＢ１２２は、「図記号」「線図」「文字」といった描画の種類ごとに複数の模範情報の組を記憶する。

１−５．画像処理装置の機能的構成
図７は、画像処理装置１の機能的構成を示す図である。図７に示す画像処理装置１の制御部１１は、記憶部１２に記憶されたプログラムを実行することにより、取得部１１１、抽出部１１２、特定部１１３、評価部１１４、及び出力部１１５として機能する。

取得部１１１は、描画者（利用者）により行われた描画を示す描画情報を取得する。この描画情報は、通信回線４及び通信部１３を介して描画者端末３から送信される。取得部１１１は、描画者端末３に対して描画情報を要求し、この要求に応じて描画者端末３が送信する描画情報を取得してもよい。また、取得部１１１は、描画者端末３が自発的に送信する描画情報を取得してもよい。

抽出部１１２は、取得部１１１が取得した描画情報から、画像処理の単位となる単位画像を抽出する。単位画像は、例えば、描画された画像を示す画像データに対して１次微分演算をするキャニー法等、様々な画像処理によりエッジ検出をし、検出されたエッジ間の距離が閾値を超えるものを互いに別の単位画像であると判定することで抽出される。エッジ検出には、例えばラプラシアンフィルタ、ラプラシアンフィルタにガウシアンフィルタを組合せたＬＯＧ（Laplace of Gaussian）フィルタ等を用いてもよい。

なお、描画情報は、完成した画像に限られず、利用者の動作を示す情報を含んでいてもよい。描画情報は、例えば、描画動作（ストローク）の履歴であってもよい。描画動作を用いる場合、抽出部１１２は、描画したタイミングが連続した複数のストロークを、単位画像を描画するためのストローク群として解釈して、ストローク群ごとにそれぞれの単位画像を区別してもよい。

さらに描画動作には、描画そのものの動作に加えて、描画前後の動作を含んでいてもよい。例えば、描画者端末３は、人感センサや感圧床板等と接続し、描画者がスクリーン７の前に立った期間を特定してもよい。また、描画者端末３は、操作部３５により描画者から１つの単位画像を描く期間の前後に、例えば操作部３５に備えられたボタンを押すといった、その旨を示す操作を受付けてもよい。画像処理装置１は、この期間の区切りを示す情報を描画者端末３から取得して、期間ごとに描かれたそれぞれの単位画像を区別してもよい。

また、描画情報は、描画者が描いた単位画像の形状に限られず、その色や線幅の情報を含んでいてもよい。また、描画情報は、単位画像の周囲に描いた文字列の情報を含んでいてもよい。ここで単位画像の「周囲」とは、例えば、単位画像から決められた距離よりも小さい距離に位置していることをいう。抽出部１１２は、描画情報のうち単位画像の周囲に描かれた文字列を検出するとその文字列に対して文字認識処理を行い、認識された情報を単位画像に付随する付随情報として記憶してもよい。なお、付随情報は、単位画像の周囲に描いた文字列に限られない。付随情報は、例えば、単位画像を描いたときに描画者が発言した言葉を音声認識処理により符号化したデータであってもよい。この場合、描画者端末３の接続部３６には、マイクロフォン等の収音装置が接続されていればよい。

特定部１１３は、図記号ＤＢ１２１又は評価ＲＢ１２２に記憶された複数の模範情報のうち、抽出された単位画像に応じた模範情報を特定する。単位画像に応じた模範情報は、例えば単位画像の種類が図記号である場合、評価ＲＢ１２２に定められた特定条件に従い、図記号ＤＢ１２１に記憶されている模範図記号のうち、類似度が６０％以上である模範図記号が選ばれる。

なお、類似度が６０％以上である模範図記号が複数ある場合に、特定部１１３は、例えばそれら複数の模範図記号について使用頻度の高い方を選択してもよい。この場合、図記号ＤＢ１２１には、模範図記号ごとにその使用頻度が記憶されていればよい。この使用頻度は会議が行われるごとに更新されてもよい。

図記号を示す単位画像と、模範情報として特定された模範図記号とが閾値を超えて類似しているか否かは様々なアルゴリズムによって判定される。特定部１１３は、例えば、単位画像及び模範図記号をそれぞれの形状の特徴が反映される方法で、多次元空間におけるベクトル等に変換する数値化を行い、それぞれ変換された数値同士の距離を決められた方法で算出してもよい。単位画像と模範図記号との距離の算出にはユークリッド距離、ハミング距離、等を採用してもよい。

評価部１１４は、特定部１１３により特定された模範情報に基づいて、抽出部１１２が描画情報から抽出した単位画像を評価する。描画の種類が図記号である場合、評価部１１４は、例えば、評価ＲＢ１２２に定められた評価基準に従い、単位画像と模範図記号との類似度を算出し、算出した類似度が例えば７０％未満である場合に、この単位画像が「修正が必要なレベルである」と評価する。

出力部１１５は、評価部１１４による評価が基準よりも低い場合に、特定された模範情報を出力する。出力部１１５は、例えば、通信部１３を介して描画者端末３に模範情報を含む制御信号を出力してもよい。この制御信号を受信した描画者端末３は、例えば、映写装置６を制御して受信した制御信号に応じた画像をスクリーン７に映写してもよい。また、描画者端末３は、受信した制御信号に応じた画像を表示部３４に表示してもよい。描画者端末３は、模範情報が示す模範図記号等の画像を透過レイヤに形成することで、描画者が描いた描画に重ねて表示してもよい。

なお、画像処理装置１が表示部１４を有する場合、出力部１１５は、模範情報を表示部１４に表示してもよい。

また、出力部１１５は、単位画像の種類が図記号である場合、複数の模範図記号のそれぞれに対する単位画像の類似度を、その模範図記号とともに描画者に提示する制御信号を描画者端末３に出力してもよい。この場合、例えば７０％以上というように、出力する模範図記号の類似度の範囲が予め決められていてもよい。

１−６．画像処理装置の動作
図８は、画像処理装置１の動作の流れを説明するフロー図である。画像処理装置１の制御部１１は、描画者端末３から描画者により行われた描画を示す描画情報を取得すると（ステップＳ１０１）、その描画情報から、画像処理の単位となる単位画像を抽出する（ステップＳ１０２）。

制御部１１は、記憶部１２に記憶されている複数の模範情報のうち、抽出した単位画像に応じた模範情報を特定し（ステップＳ１０３）、特定したその模範情報に基づいて、単位画像を評価する（ステップＳ１０４）。

制御部１１は、ステップＳ１０４における評価が基準よりも低いか否かを判定する（ステップＳ１０５）。評価が基準よりも低いと判定しない場合（ステップＳ１０５；ＮＯ）、制御部１１は、ステップＳ１０７に処理を進める。一方、評価が基準よりも低いと判定する場合（ステップＳ１０５；ＹＥＳ）、制御部１１は、特定した模範情報を出力する（ステップＳ１０６）。

制御部１１は、描画者端末３及び参加者端末２から受信する制御信号に基づいて会議が終了したか否かを判断する（ステップＳ１０７）。会議が終了したと判断する場合（ステップＳ１０７；ＹＥＳ）、制御部１１は、処理を終了する。会議が終了していないと判断する場合（ステップＳ１０７；ＮＯ）、制御部１１は、処理をステップＳ１０１に戻し、描画情報の取得を続ける。

図９は、画像処理システム９を利用した会議の様子を説明するための図である。図９に示す例において、スクリーン７はホワイトボードであり、描画者はこのスクリーン７にホワイトボード用のマーカーで文字、図記号又は線図を描画する。描画者端末３には撮像装置５と映写装置６とが接続されており、これらの装置は描画者端末３によって制御されている。撮像装置５はスクリーン７を撮像して撮像データを描画者端末３に送り、描画者端末３は撮像データに基づいて描画者がどの描画動作をしたかを示す描画情報を生成する。

図７に示す画像処理装置１の制御部１１によって実現する取得部１１１が、描画者端末３から描画情報を取得すると、抽出部１１２は、取得したその描画情報から単位画像を、その単位画像の種類ごとに抽出する。例えば、図９に示すスクリーン７に描かれた複数の単位画像のうち単位画像ｇ４の種類は、その形状、線の長さ、線幅の平均、描画者の動作等に基づいて図記号であると画像処理装置１により判定される。

画像処理装置１は、図記号として判定した単位画像ｇ４を、図記号ＤＢ１２１に記憶された模範図記号と照合して類似度を算出する。図１０は、模範図記号に基づいて描画者の図記号が評価されることを説明するための図である。画像処理装置１は、図記号ＤＢ１２１に記憶された複数の模範図記号のそれぞれと、単位画像とを比較してそれぞれ類似度を算出する。

例えば、図１０（ａ）に示した単位画像ｇ１は、図記号ＤＢ１２１に図記号ＩＤ「Ｇ０６」で記憶された、名称「ノートＰＣ」の模範図記号と合致するため、類似度は１００％と判定される。したがって、単位画像ｇ１は、対応する模範情報としてこの図記号ＩＤ「Ｇ０６」で識別される模範図記号が特定されるが、評価基準を上回っているため、出力されない。また、単位画像ｇ２（類似度９０％）及び単位画像ｇ３（類似度７５％）も評価基準を上回っているため、出力されない。つまり、図７に示す画像処理装置１の制御部１１によって実現する出力部１１５は、評価部１１４による単位画像の評価が基準よりも低くない場合に、特定部１１３が特定した模範情報を出力しない。

一方、図１０（ａ）に示した単位画像ｇ１は、図記号ＤＢ１２１に図記号ＩＤ「Ｇ０６」で記憶された模範図記号に対する類似度が５５％である。これは特定条件を満たさないため、単位画像ｇ１に対応する模範情報としてこの図記号ＩＤ「Ｇ０６」で識別される模範図記号は特定されない。

図９及び図１０（ａ）に示した単位画像ｇ４は、図記号ＩＤ「Ｇ０６」で識別される模範図記号に対する類似度が６８％であるため、評価ＲＢ１２２に記憶された特定条件を満たす。したがって、単位画像ｇ４に対応する模範情報には、図記号ＩＤ「Ｇ０６」で識別される模範図記号が特定される。

そして、上述した模範図記号に対する単位画像ｇ４の類似度は、評価ＲＢ１２２に記憶された評価基準よりも低いため、画像処理装置１は、単位画像ｇ４が「修正が必要なレベルである」と評価する。したがって、画像処理装置１は、特定した模範情報を描画者端末３に出力する。具体的に画像処理装置１は、図記号ＩＤ「Ｇ０６」の模範図記号をスクリーン７に映写するように映写装置６を制御するための制御信号を描画者端末３に出力する。描画者端末３は、この制御信号を受取ると、映写装置６を制御して、例えば図１０（ｂ）に示す通り、スクリーン７において単位画像ｇ４が描かれた領域から矢印を引いた余白の領域ｒ１に上述した模範図記号を映写させる。描画者端末３は映写装置６を制御して単位画像ｇ４が描かれた領域に重ねて模範図記号を映写してもよい。

なお、画像処理装置１により特定される模範情報には、図記号同士の配置や大きさのバランス等が含まれていてもよい。図１１は、図記号の大きさを修正する模範情報の例を示す図である。描画者が図１１（ａ）に示す画像を描画すると、画像処理装置１は、この画像に含まれる単位画像ｇ１１、単位画像ｇ１２、及び単位画像ｇ１３を抽出する。また、画像処理装置１は、単位画像ｇ１１、単位画像ｇ１２、及び単位画像ｇ１３にそれぞれ付随する情報として、付随情報ｃ１１、付随情報ｃ１２、及び付随情報ｃ１３を抽出する。付随情報ｃ１１は「認知性」という文字列を、付随情報ｃ１２は「操作性」という文字列を、付随情報ｃ１３は「感性」という文字列をそれぞれ表す。

これらをまとまった画像として見たときに、それぞれの単位画像の大きさは揃っていない。評価ＲＢ１２２は、図記号の大きさを揃える描画を模範として定めている。したがって、閾値を超えて単位画像の大きさがバラついている場合、画像処理装置１は、これらの大きさが揃えられた画像を模範情報として生成して出力する。この場合、図１１（ｂ）に示す通り、模範情報が示す画像で、相対的に小さい単位画像ｇ１１は拡大された単位画像ｇ２１に修正され、相対的に大きい単位画像ｇ１２は縮小された単位画像ｇ２２に修正される。

また、単位画像ｇ１１、単位画像ｇ１２、及び単位画像ｇ１３にそれぞれ付随した付随情報ｃ１１、付随情報ｃ１２、及び付随情報ｃ１３は、文字認識されて活字に変換され、図１１（ｂ）に示す通り、それぞれ付随情報ｃ２１、付随情報ｃ２２、及び付随情報ｃ２３に修正されてもよい。

また、図１２は、図記号の配置を修正する模範情報の例を示す図である。描画者が図１２（ａ）に示す画像を描画すると、画像処理装置１は、この画像に含まれる単位画像ｇ３１から単位画像ｇ３７までの７つの単位画像を抽出する。

これらをまとまった画像として見たときに、それぞれの単位画像のベースラインや間隔は揃っていない。評価ＲＢ１２２は、図記号の配置を揃える描画を模範として定めている。したがって、閾値を超えて単位画像の配置がバラついている場合、画像処理装置１は、これらの配置が揃えられた画像を模範情報として生成して出力する。この場合、図１２（ｂ）に示す通り、模範情報が示す画像で、上述した７つの単位画像は、それぞれの上下方向の中心点が水平に並び、かつ、それぞれが左右方向に等間隔になるように再配置される。

以上の動作により、画像処理システム９は、描画者が熟練していないためにその描画の意図が伝わり難いとき、描画者の意図に応じた模範的な描画の示唆をするため、描画者は、自身の描いた画像を修正する機会が与えられる。

２．変形例
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例を組合せてもよい。

２−１．変形例１
上述した実施形態において、画像処理システム９の画像処理装置１は、会議中に模範情報を出力していたが、会議後に出力してもよい。例えば、会議後に描画者が議事録を作成する際に、画像処理装置１は、描画者端末３に模範情報を含む制御信号を出力し、会議で描かれた画像についての修正案を提示させてもよい。この場合、描画者は、過去に会議で行った描画について修正すべき点を確認する。

また、この場合、画像処理システム９の利用者は、議事録を作成する段階で提示される修正案に対し、その提示が妥当であるか否かについての評価を画像処理装置１に蓄積させてもよい。画像処理装置１は、蓄積されたこの評価に基づいていわゆる教師あり学習を行うことにより特定条件を更新し、単位画像に対応する模範情報の特定の精度を向上させてもよい。

また、上述した実施形態において、出力部１１５は、通信部１３を介して描画者端末３に模範情報を含む制御信号を出力していたが、この模範情報を含む制御信号を参加者端末２に出力してもよい。この場合、この制御信号を受信した参加者端末２は、例えば、受信した制御信号に応じた画像を表示部２４に表示してもよい。これにより、描画者が自身の描画を修正しなくても、参加者に模範情報が伝わる。

なお、出力部１１５による出力は、描画者端末３の表示部３４又は参加者端末２の表示部２４に模範情報に基づく画像を表示させるための制御信号に限られない。出力部１１５は、例えば、模範情報に基づく描画の修正方法を音声で伝えるための制御信号を描画者端末３又は参加者端末２に送信してもよい。

また、画像処理装置１が参加者端末２から会議の終了の要件を取得したり、参加者端末２へ模範情報を含む制御信号を出力したりしない場合、画像処理システム９は参加者端末２を有しないでもよい。

２−２．変形例２
上述した実施形態において、画像処理装置１と描画者端末３とは別体であったが、描画者端末３の機能を画像処理装置１が有していてもよい。

また、上述した実施形態において、描画者端末３には、撮像装置５及び映写装置６が接続されていたが、操作部３５及び表示部３４によりこれらの機能を代替してもよい。例えば、描画者端末３は、描画者が操作部３５に対して例えばスタイラスペン等により描いた図記号を検出して描画情報を生成し、この描画情報を画像処理装置１に送信してもよい。また、描画者端末３は、表示部３４により画像処理装置１の指示に応じた代替図を表示してもよい。

２−３．変形例３
上述した実施形態において、抽出部１１２は、取得したその描画情報から単位画像を、その単位画像の種類ごとに抽出していたが、種類を区別せずに単位画像を抽出してもよい。

２−４．変形例４
上述した実施形態において、評価ＲＢ１２２は、「図記号」「線図」「文字」といった描画の種類ごとに複数の模範情報の組を記憶していたが、画像処理装置１が単位画像に対応する模範情報を特定できればよく、例えば、描画の種類のいずれか１つに対しては、一つの模範情報が対応付けて記憶されていてもよい。また、評価ＲＢ１２２は、複数の模範情報を種類ごとに記憶しなくてもよい。

なお、上述した実施形態の通り、種類ごとに複数の模範情報の組を記憶し、抽出した単位画像に対応する模範情報を、その単位画像の種類に対応付けられた模範情報の組から特定する場合、検索する対象が種類ごとに絞られ、処理の負荷が低減する。

２−５．変形例５
上述した実施形態において、特定部１１３は、例えば単位画像と模範図記号とが閾値を超えて類似しているか否か等、特定条件について判定することにより、図記号ＤＢ１２１又は評価ＲＢ１２２に記憶された複数の模範情報のうち、抽出された単位画像に応じた模範情報を特定していたが、この特定条件は単位画像そのものに関するものに限られない。

例えば、特定部１１３は、抽出した単位画像に付随して付随情報を記憶する場合、この付随情報を用いて模範情報を特定してもよい。例えば、描画者の描いた図記号の周囲に文字列が描かれていることを検出すると、画像処理装置１は、この文字列に対して文字認識処理を行い、この文字列と図記号ＤＢ１２１に記憶された模範図記号の名称とを照合して、対応する模範図記号を特定してもよい。

この構成において画像処理装置１は、文字認識処理により得られた文字列と模範図記号の名称とが決められた割合で共通する文字を含んでいるとき、上述した単位画像に応じた模範情報として、この模範図記号を特定すればよい。これにより単位画像が特定条件を満たさず、いずれの模範情報も特定しない場合であっても、単位画像に付随した付随情報に基づいて模範情報が特定される。

２−６．変形例６
上述した実施形態において、出力部１１５は、評価部１１４による単位画像の評価が基準よりも低くない場合に、特定部１１３が特定した模範情報を出力しなかったが、出力してもよい。この場合、例えば、出力部１１５は、評価部１１４による単位画像の評価が基準よりも低くない場合と、基準よりも低い場合とで、異なる態様により模範情報を出力してもよい。

２−７．変形例７
画像処理装置１の制御部１１によって実行されるプログラムは、磁気テープや磁気ディスク等の磁気記録媒体、光ディスク等の光記録媒体、光磁気記録媒体、半導体メモリ等の、コンピュータ装置が読取り可能な記録媒体に記憶された状態で提供し得る。また、このプログラムを、インターネット等の通信回線経由でダウンロードさせることも可能である。なお、上記の制御部１１によって例示した制御手段としてはＣＰＵ以外にも種々の装置が適用される場合があり、例えば、専用のプロセッサ等が用いられる。

１…画像処理装置、１１…制御部、１１１…取得部、１１２…抽出部、１１３…特定部、１１４…評価部、１１５…出力部、１２…記憶部、１２１…図記号ＤＢ、１３…通信部、１４…表示部、１５…操作部、２…参加者端末、２１…制御部、２２…記憶部、２３…通信部、２４…表示部、２５…操作部、３…描画者端末、３１…制御部、３２…記憶部、３３…通信部、３４…表示部、３５…操作部、３６…接続部、４…通信回線、５…撮像装置、６…映写装置、７…スクリーン、９…画像処理システム。

Claims (6)

1. 利用者により行われた描画を示す描画情報を取得する取得部と、
   前記描画情報から、画像処理の単位となる単位画像を抽出する抽出部と、
   描画の模範を示す複数の模範情報を記憶する記憶部と、
   複数の前記模範情報のうち、抽出された前記単位画像に応じた前記模範情報を特定する特定部と、
   特定された前記模範情報に基づいて、前記単位画像を評価する評価部と、
   前記評価部による評価が基準よりも低い場合に、特定された前記模範情報を出力する出力部と、
   を有し、
   前記特定部は、抽出された前記単位画像の周囲に描かれた文字列に応じた前記模範情報を特定する
   ことを特徴とする画像処理装置。
2. 前記描画情報は、描画に際して行われた利用者の動作を示す情報を含む
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出部は、前記単位画像を該単位画像の種類ごとに抽出する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記記憶部は、前記種類ごとに複数の前記模範情報の組を記憶し、
   前記特定部は、抽出された前記単位画像の前記種類に応じた前記組に属する複数の前記模範情報から、前記模範情報を特定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記出力部は、前記評価部による評価が基準よりも低くない場合に、特定された前記模範情報を出力しない
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. コンピュータを、
   利用者により行われた描画を示す描画情報を取得する取得部と、
   前記描画情報から、画像処理の単位となる単位画像を抽出する抽出部と、
   描画の模範を示す複数の模範情報を記憶する記憶部と、
   複数の前記模範情報のうち、抽出された前記単位画像に応じた前記模範情報を特定する特定部と、
   特定された前記模範情報に基づいて、前記単位画像を評価する評価部と、
   前記評価部による評価が基準よりも低い場合に、特定された前記模範情報を出力する出力部
   として機能させるとともに、
   前記特定部が、抽出された前記単位画像の周囲に描かれた文字列に応じた前記模範情報を特定するように前記コンピュータを機能させるためのプログラム。

Images