JP7447908B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、筆記対象に筆記された情報を適切に記録できるようにした情報処理装置、情報処理方法、およびプログラムに関する。

一般的に、黒板や白板などの筆記対象に情報が筆記されたり消去されたりしながら、会議や講義などが進行することが多い。

筆記対象に筆記された情報を記録しておくことは、後にその情報を参照することが可能となるため利便性が高い。他方、その情報を常時記録しておくことは、記憶容量の無駄遣いにもなり得る。そのため、筆記対象に筆記された情報を効率的に記録する技術が求められている。

例えば、特許文献１には、筆記者が黒板消しを保持した（例えば、持ち上げた）ときに、デジタルカメラによって黒板の情報を撮影することで、黒板に記載された情報が消し取られる前に黒板の情報を記録する技術が開示されている。

特開２００５－１２５６２８号公報

しかしながら、特許文献１に開示されているような技術では、筆記対象に筆記された情報を適切に記録できない可能性もあった。

本開示は、このような状況に鑑みてなされたものであり、筆記対象に筆記された情報を適切に記録できるようにするものである。

本開示の情報処理装置は、筆記情報が筆記された筆記対象を示す筆記画像において、前記筆記情報を含む筆記領域を設定する領域設定部と、前記筆記領域の増加に応じて、前記筆記画像により記録画像の候補となる記録候補画像を更新し、前記筆記領域の減少に応じて、前記記録候補画像を前記記録画像として記録する記録制御部とを備え、前記記録制御部は、前記筆記領域が減少したとき、消去された前記筆記領域の残存時間に基づいて、前記記録候補画像を前記記録画像として記録するか否かを決定する情報処理装置である。

本開示の情報処理方法、または、プログラムは、情報処理装置が、筆記対象に筆記された筆記情報を含む筆記画像において、前記筆記情報を含む筆記領域を設定し、前記筆記領域の増加に応じて、前記筆記画像により記録画像の候補となる記録候補画像を更新し、前記筆記領域の減少に応じて、前記記録候補画像を前記記録画像として記録し、前記筆記領域が減少したとき、消去された前記筆記領域の残存時間に基づいて、前記記録候補画像を前記記録画像として記録するか否かを決定する情報処理方法、または、コンピュータにそれらの処理を実行させるためのプログラムである。

本開示においては、筆記対象に筆記された筆記情報を含む筆記画像において、前記筆記情報を含む筆記領域が設定され、前記筆記領域の増加に応じて、前記筆記画像により記録画像の候補となる記録候補画像が更新され、前記筆記領域の減少に応じて、前記記録候補画像が前記記録画像として記録され、前記筆記領域が減少したとき、消去された前記筆記領域の残存時間に基づいて、前記記録候補画像を前記記録画像として記録するか否かが決定される。

本開示の実施の形態に係る板書記録システムの概要を示す図である。 板書記録システムの機能構成例を示すブロック図である。 板書記録処理の流れについて説明するフローチャートである。 撮像画像の例を示す図である。 板書画像の抽出について説明する図である。 板書画像の抽出について説明する図である。 板書画像の例を示す図である。 板書領域の設定について説明する図である。 板書領域の変化に応じた記録制御について説明する図である。 記録制御処理の詳細について説明するフローチャートである。 記録制御処理の詳細について説明するフローチャートである。 モード遷移の例を示す図である。 モード遷移の例を示す図である。 情報処理装置の他の機能構成例を示すブロック図である。 板書記録処理について説明するフローチャートである。 板書残存時間のセットの例を示す図である。 記録済み領域のマスキングについて説明する図である。 記録制御処理の詳細について説明するフローチャートである。 モード遷移の例を示す図である。 板書残存時間に応じた記録について説明する図である。 記録制御処理の詳細について説明するフローチャートである。 モード遷移の例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。

以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。

１．板書記録システムの概要
２．板書記録システムの構成例
３．板書記録処理の流れ
３－１．モードに応じた記録制御の詳細
３－２．モード遷移の例
４．板書記録システムの他の構成例
５．板書記録処理の流れ
５－１．記録済み領域のマスキング
５－２．板書残存時間に応じた記録制御
６．コンピュータの構成例

＜１．板書記録システムの概要＞
図１は、本実施の形態に係る板書記録システムの概要を示す図である。

図１に示されるように、板書記録システム１は、情報処理装置１０と、情報処理装置１０に接続される入力装置２０を含むように構成される。

筆記対象２は、点、線、文字、文章、数式、記号、絵、図形、または画像などの視覚的な情報（以下、筆記情報３という）が筆記される物体である。

筆記対象２は、黒板、ホワイトボード、電子ペーパー、またはタッチパネルなどで構成される。筆記情報３は、チョーク、マーカー、スタイラス、または指などにより筆記対象２に筆記され、黒板消しまたはイレーサなどにより筆記対象２から消去される。

筆記者４は、筆記対象２に対して動作を行う人である。

筆記者４は、筆記対象２に筆記情報３を筆記し、筆記対象２に筆記された筆記情報３を消去する。例えば、筆記者４は、講義または会議などにおいて、筆記対象２に筆記された筆記情報３を、手やレーザーポインタ、指示棒などで指示しながら、筆記情報３に関する説明を行う。

入力装置２０は、入力装置２０が設置された物理空間に関する情報を入力する装置である。入力装置２０は、例えば、撮像装置と音声入力装置を含むように構成される。

撮像装置は、撮像レンズ、絞り、ズームレンズ、フォーカスレンズなどにより構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成するイメージセンサなどを含む。

音声入力装置は、周囲の音を収音するマイクロフォン、マイクロフォンで得られた音声信号を増幅処理するマイクアンプ回路、Ａ／Ｄ変換器、およびノイズキャンセラなどの信号処理回路を含む。

入力装置２０は、デジタル信号に変換された画像データと撮像時の音声データを出力する。

入力装置２０は、物理空間における物体を撮像対象として撮像可能である。本実施の形態においては、入力装置２０は、筆記情報３が筆記された筆記対象２を撮像対象として撮像し、撮像時刻と取得された画像とを対応付けて、情報処理装置１０に出力する。

但し、撮像により取得された画像には、筆記対象２以外も含まれ得る。その場合、入力装置２０は、撮像により取得された画像から抽出された画像を、情報処理装置１０に出力する。例えば、撮像により取得された画像から筆記対象２が映った領域が抽出された画像が、情報処理装置１０に出力される。

また、入力装置２０としての機能は、筆記対象２に備えられていてもよい。例えば、入力装置２０と筆記対象２は、筆記対象２の状態をスキャニングすることで画像を取得し出力する電子黒板として実現される。この場合、入力装置２０は、筆記対象２の画像を取得し、取得時刻と取得した画像とを対応付けて、情報処理装置１０に出力する。

入力装置２０により入力される画像は、動画像であってもよい。動画像とは、複数の静止画像（画像データ）と各々の静止画像の再生時刻（撮像時刻に対応する）を含むデータである。動画像が再生される場合、再生時刻の順に静止画像が連続的に再生される。動画像を構成する静止画像は、フレームともいう。単位時間当たりのフレーム数は、フレームレートともいわれ、１秒間当たりのフレームの数（ＦＰＳ：Frame Per Second）で表される。

また、入力装置２０により入力される画像は、静止画像であってもよい。その場合、入力装置２０は、連続的に画像を入力する。本明細書では、単位時間当たりに入力される画像数を、動画像に倣ってフレームレートともいう。

以下においては、入力装置２０により入力される、筆記情報３が筆記された筆記対象２の画像を、筆記画像または板書画像という。板書画像は、静止画像であるものとする。入力装置２０により入力される画像が動画像であれば、板書画像は、動画像を構成する１枚の静止画像である。

情報処理装置１０は、入力装置２０により入力される板書画像のうち、記録すべき板書画像を選択的に記録する。本明細書において、記録とは、記憶媒体に情報を記憶することをいう。情報処理装置１０は、板書画像をモニタリングして、筆記対象２に筆記された筆記情報３に変化が発生したことを検出することで、板書画像を記録する。筆記情報の変化に基づいて選択的に記録される板書画像を、以下では記録画像ともいう。

筆記情報３の変化は、筆記情報３の消去であってもよい。その場合、情報処理装置１０は、消去開始前の板書画像を記録画像として記録する。典型的には、筆記情報３の消去開始前の筆記対象２には、筆記情報３が最も多く筆記されている。したがって、消去開始前の板書画像を選択的に記録することで、無駄な記録が抑制され、板書画像を効率的に記録することができる。

筆記情報３の変化は、筆記情報３の筆記（すなわち、追記）であってもよい。その場合、情報処理装置１０は、追記終了後の板書画像を記録画像として記録する。典型的には、筆記情報３の追記終了後の筆記対象２には、筆記情報３が最も多く筆記されている。したがって、追記終了後の板書画像を選択的に記録することで、無駄な記録が抑制され、板書画像を効率的に記録することができる。

＜２．板書記録システムの構成例＞
図２は、板書記録システム１の機能構成例を示すブロック図である。

図２の板書記録システム１は、情報処理装置１０、入力装置２０、および出力装置３０を含むように構成される。

入力装置２０は、上述したように、連続的に板書画像を入力し、その板書画像それぞれを情報処理装置１０に出力する。

出力装置３０は、情報処理装置１０の制御に基づいて情報を出力する装置である。

出力装置３０は、液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬ（Electro-Luminescence）ディスプレイ装置、レーザープロジェクタ、ＬＥＤ（Light Emitting Diode）プロジェクタ、およびランプなどの表示装置により実現される。

出力装置３０が板書画像（記録画像）を表示することで、例えば講義室で講義を受講している受講者や、その講義を遠方の教室で視聴している視聴者は、筆記対象２に筆記された筆記情報３をリアルタイムに確認することができる。

情報処理装置１０は、板書記録システム１全体の動作を制御する装置である。情報処理装置１０は、ＰＣ（Personal Computer）、スマートフォン、タブレット端末、または専用の機器などの任意の装置により実現される。

図２に示されるように、情報処理装置１０は、画像取得部５１、板書画像抽出部５２、板書領域設定部５３、記録制御部５４、記憶部５５、および出力制御部５６から構成される。

画像取得部５１は、入力装置２０により入力される、例えばフレーム単位の画像を取得し、板書画像抽出部５２に供給する。

板書画像抽出部５２は、画像取得部５１からの画像から筆記対象２が映った領域を板書画像として抽出する。抽出された板書画像は、板書領域設定部５３に供給される。

板書領域設定部５３は、筆記対象２を示す板書画像（筆記画像）において、筆記情報３を含む領域である筆記領域を設定する。筆記領域は、筆記対象２全体において筆記情報３が筆記された範囲の占める割合を示す領域である。以下においては、筆記領域を板書領域ともいう。板書領域が設定された板書画像は、記録制御部５４に供給される。

記録制御部５４は、フレーム単位の板書画像における筆記領域の変化に応じて、具体的には、板書領域が増加したか、または、減少したかに応じて、板書画像の記憶部５５への記録を制御する。

記録制御部５４は、モード設定部６１を備えている。モード設定部６１は、板書画像（筆記対象２）における筆記情報３の変化の状態を示す板書状態モードを設定する。板書状態モードには、筆記対象２において筆記情報３が筆記（追記）されている状態を示す「板書作成中」モードと、筆記対象２において筆記情報３が消去されている状態を示す「板書消去中」モードがある。

記録制御部５４は、モード設定部６１により設定された板書状態モードに応じて、板書画像の記憶部５５への記録を制御する。

記憶部５５は、記録制御部５４の制御に基づいて、板書画像を記録画像として記録する。

出力制御部５６は、記憶部５５に記憶された板書画像に基づいて出力情報を生成し、出力装置３０に出力させる。

＜３．板書記録処理の流れ＞
次に、図３のフローチャートを参照して、板書記録システム１における板書記録処理の流れについて説明する。図３の処理は、入力装置２０から入力される画像の１フレーム毎に実行される。

ステップＳ１１において、画像取得部５１は、入力装置２０から入力される画像を取得する。

図４は、入力装置２０から入力される撮像画像の例を示している。図４に示される撮像画像８０には、筆記情報３が筆記されている筆記対象２と筆記者４が映っている。撮像画像８０は、動画像の１フレームであってもよいし、静止画像であってもよい。

撮像画像８０において、筆記対象２が小さく映ったり、ホワイトバランスが適切に調整されていない場合、筆記情報３の追記や消去の判断に誤りが生じるおそれがある。そのため、撮像画像８０においては、筆記対象２が十分大きく映るようにし、筆記対象２に筆記される筆記情報３が肉眼で見る色合いに近い色で映るようにする。

ステップＳ１２において、板書画像抽出部５２は、画像取得部５１により取得された撮像画像から、板書画像を抽出する。板書画像の抽出は、自動で行われてもよいし、手動で行われてもよい。

板書画像の抽出が手動で行われる場合、図５に示されるように、撮像画像８０において、筆記対象２の四隅の４点ｃ１，ｃ２，ｃ３，ｃ４が指定されることで、筆記対象２の領域が特定され、その４点ｃ１乃至ｃ４が射影変換されることで、板書画像９０が抽出される。

次いで、板書画像９０において筆記者４の形状が認識され、筆記者４が映り込んだ領域が除外されることで、図６に示されるように、筆記対象２のみが映る板書画像９０が得られる。板書画像９０から筆記者４が映り込んだ領域を除去する手法としては、例えば、動体除去などの技術が用いられるが、その他の技術が用いられてもよい。

さらに、筆記者４が除去された板書画像９０に対して、筆記対象２のうち筆記情報３が筆記された画素を白色（例えば、１）に、それ以外の画素を黒色（例えば、０）に変換する二値化処理が施される。これにより、図７に示されるような、黒画素と白画素からなる二値化画像が、板書画像１００として得られる。

ステップＳ１３において、板書領域設定部５３は、板書画像抽出部５２により抽出された板書画像において、板書領域を設定する。

具体的には、板書領域設定部５３は、板書画像における筆記情報３に対して膨張処理を施すことで、板書領域を設定する。さらに、板書領域設定部５３は、板書領域が設定された板書画像に対して低解像度化処理を施す。

例えば、図８左側に示される板書画像１１０が、板書画像抽出部５２により抽出されたとする。板書画像１１０は、１９２０×１０８０画素の解像度を有し、白画素の面積が板書画像１１０全体の約５％を占める二値化画像である。

このような板書画像１１０に対して、注目画素の周辺に１画素でも白画素が存在すれば、その注目画素を白画素に置き換える膨張処理が施される。さらに、膨張処理が施された板書画像１１０に対して、低解像度化処理が施される。

これにより、図８左側に示される板書画像１１０が、図８右側に示される板書画像１２０に変換される。板書画像１２０は、３２０×１８０画素の解像度を有し、白画素の面積が板書画像１２０全体の約２２％を占める二値化画像である。

以下においては、板書画像１２０のように板書領域が設定された板書画像を板書領域画像ともいう。

板書領域画像においては、白画素の領域が、筆記対象２において筆記情報３が筆記された範囲の占める割合を示す板書領域となる。板書領域の大きさは、筆記対象２の何割程度が筆記に使用されているかを表す指標となる。

具体的には、図８の例で、板書画像１１０においては、白画素の面積が板書画像１１０全体の約５％であったのに対し、板書画像１２０においては、白画素の面積が板書画像１２０全体の約２２％となる。

単に、筆記情報の変化に応じて板書画像の記録を制御するようにした場合、チョークやマーカーで筆記された線や点の増減の大きさによって、板書画像が記録されるか否かが決まる。

しかしながら、板書画像において同じ面積を占有する筆記情報であっても、筆記された複数の文字の密度や、文字自体の線の密度によっては、板書画像が記録されるか否かが定まらず、人間の感覚とずれてしまう可能性がある。例えば、筆記された文字の密度が低い場合に、それらの文字が消去されたにも関わらず、板書画像が記録されないおそれがある。

そこで、板書画像において設定された板書領域の変化に応じて記録を制御することで、より人間の感覚に近い状態で、板書画像が記録されるか否かが決まるようにすることができる。

なお、板書画像における筆記情報に対して膨張処理を施すことで板書領域が設定される以外にも、板書画像において文字認識が行われるようにし、その文字認識が行われた文字領域が、板書領域に設定されるようにしてもよい。

さて、図３のフローチャートの説明に戻り、ステップＳ１４において、記録制御部５４は、板書状態モードに応じた記録制御処理を実行する。

まず、記録制御部５４のモード設定部６１は、板書領域の変化に応じて、板書状態モードを設定する。具体的には、モード設定部６１は、板書領域が増加したときには、板書状態モードとして「板書作成中」モードを設定する。一方、モード設定部６１は、板書領域が減少したときには、板書状態モードとして「板書消去中」モードを設定する。

そして、記録制御部５４は、設定された板書状態モードに基づいて、板書画像の記憶部５５への記録を制御する。具体的には、「板書作成中」モードが設定されたときには、板書画像において筆記情報が追記されていることから、記録制御部５４は、記録画像の候補となる記録候補画像を更新する。一方、「板書消去中」モードが設定されたときには、板書画像において筆記情報が消去されていることから、記録制御部５４は、その時点の記録候補画像を記録画像として記録する。

図９は、板書画像における板書領域の変化に応じた記録制御について説明する図である。

図９には、時刻ｔ１乃至ｔ４それぞれにおける板書画像、板書領域画像、および記録候補画像が示されている。

まず、時刻ｔ１の板書画像においては、筆記情報として“ＡＢ”が筆記され、“ＡＢ”が筆記された範囲が白画素に設定された板書領域画像が得られている。時刻ｔ１における記録候補画像は、“ＡＢ”が筆記された板書画像により更新された記録候補画像となる。

時刻ｔ２の板書画像において、筆記情報として“ＡＢ”に加えて“Ｃ”が筆記されると、“ＡＢＣ”が筆記された範囲が白画素に設定された板書領域画像が得られる。このとき、板書領域が増加していることから、「板書作成中」モードが設定され、記録候補画像は、“ＡＢＣ”が筆記された板書画像により更新される。

時刻ｔ３の板書画像において、筆記情報としての“ＡＢＣ”が全て消去されると、全ての画素が黒画素に設定された板書領域画像が得られる。このとき、板書領域が減少していることから、「板書消去中」モードが設定され、“ＡＢＣ”が筆記された記録候補画像が、記録画像として記録される。

さらに、時刻ｔ４の板書画像において、筆記情報として“ＤＥＦ”が筆記されると、“ＤＥＦ”が筆記された範囲が白画素に設定された板書領域画像が得られる。このとき、板書領域が増加していることから、「板書作成中」モードが設定され、記録候補画像は、“ＤＥＦ”が筆記された板書画像により更新される。

このようにして、板書領域の変化に応じて板書状態モードが設定され、設定された板書状態モードに基づいて、板書画像の記録が制御される。

以上の処理によれば、板書画像における筆記情報の変化ではなく、板書画像において設定された板書領域の変化に応じて板書画像の記録が制御される。これにより、筆記された文字の密度によらず、より人間の感覚に近い状態で、板書画像が記録されるか否かが決まるので、筆記対象に筆記された情報を適切に記録することが可能となる。

（３－１．モードに応じた記録制御の詳細）
ここで、図１０および図１１のフローチャートを参照して、図３のステップＳ１４における板書状態モードに応じた記録制御処理の詳細について説明する。図１０および図１１の処理もまた、１フレーム毎の板書画像に対して実行される。

ステップＳ３１において、記録制御部５４は、板書状態モードが「板書作成中」モードであるか否かを判定する。後述するように、現在フレームについての板書状態モードは、前フレームにおける板書領域の変化によって決まる。なお、最初のフレームについての板書状態モードは、「板書消去中」モードとされる。

板書状態モードが「板書作成中」モードであると判定された場合、処理はステップＳ３２に進む。

ステップＳ３２において、記録制御部５４は、板書領域が現在値より１画素以上増加したか否かを判定する。板書領域の大きさは、画素単位で記憶されるものとする。板書領域の現在値は、所定の記憶領域に保持されており、板書画像のフレーム毎に適宜更新される。

板書領域が現在値より１画素以上増加したと判定された場合、すなわち、筆記対象２において筆記情報が追記されているような場合、処理はステップＳ３３に進む。

ステップＳ３３において、記録制御部５４は、その時点での板書画像により、記録候補画像を更新する。記録候補画像は、所定の記憶領域に保持されており、例えば板書領域が増加することで、その時点での板書画像により更新される。

記録候補画像が更新されると、ステップＳ３４において、記録制御部５４は、板書領域の現在値と最大値を、そのときの板書領域の画素数（板書領域の大きさ）に更新する。板書領域の最大値もまた、所定の記憶領域に保持されており、板書画像のフレーム毎に適宜更新される。

そして、ステップＳ３５において、記録制御部５４は、板書状態モードとして「板書作成中」モードを維持し、処理は次のフレームの板書記録処理に進む。

ここで、ステップＳ３１乃至Ｓ３５の処理の流れを、適宜、フローＦ１ということとする。

さて、ステップＳ３２において、板書領域が現在値より１画素以上増加していないと判定された場合、処理はステップＳ３６に進む。

ステップＳ３６において、記録制御部５４は、板書領域が最大値より５％以上減少したか否かを判定する。

板書領域が最大値より５％以上減少したと判定された場合、すなわち、筆記対象２において筆記情報が一定以上消去された場合、処理はステップＳ３７に進む。

ステップＳ３７において、記録制御部５４は、その時点での記録候補画像を記録画像として記録する。

記録画像が記録されると、ステップＳ３８において、記録制御部５４は、板書領域の最小値を、そのときの板書領域の画素数（板書領域の大きさ）に更新する。板書領域の最小値もまた、所定の記憶領域に保持されており、板書画像のフレーム毎に適宜更新される。

そして、ステップＳ３９において、記録制御部５４は、板書状態モードを「板書消去中」モードへ移行し、処理は次のフレームの板書記録処理に進む。

ここで、ステップＳ３１，Ｓ３２，Ｓ３６乃至Ｓ３９の処理の流れを、適宜、フローＦ２ということとする。

さて、ステップＳ３６において、板書領域が最大値より５％以上減少していないと判定された場合、処理はステップＳ４０に進む。

ステップＳ４０において、記録制御部５４は、板書領域の現在値を、そのときの板書領域の画素数（板書領域の大きさ）に更新する。

そして、ステップＳ４１において、記録制御部５４は、板書状態モードとして「板書作成中」モードを維持し、処理は次のフレームの板書記録処理に進む。

ここで、ステップＳ３１，Ｓ３２，Ｓ３６，Ｓ４０，Ｓ４１の処理の流れを、適宜、フローＦ３ということとする。

ところで、ステップＳ３１において、板書状態モードが「板書作成中」モードでないと判定された場合、すなわち、板書状態モードが「板書消去中」モードである場合、処理は図１１のステップＳ４２に進む。

ステップＳ４２において、記録制御部５４は、板書領域が最小値より１画素以上減少したか否かを判定する。

板書領域が最小値より１画素以上減少したと判定された場合、すなわち、筆記対象２において筆記情報が消去されているような場合、処理はステップＳ４３に進む。

ステップＳ４３において、記録制御部５４は、板書領域の最小値を、そのときの板書領域の画素数（板書領域の大きさ）に更新する。

そして、ステップＳ４４において、記録制御部５４は、板書状態モードとして「板書消去中」モードを維持し、処理は次のフレームの板書記録処理に進む。

ここで、ステップＳ３１，Ｓ４２乃至Ｓ４４の処理の流れを、適宜、フローＦ４ということとする。

さて、ステップＳ４２において、板書領域が最小値より１画素以上減少していないと判定された場合、処理はステップＳ４５に進む。

ステップＳ４５において、記録制御部５４は、板書領域が最小値より１％以上増加したか否かを判定する。

板書領域が最小値より１％以上増加したと判定された場合、すなわち、筆記対象２において筆記情報が一定以上追記された場合、処理はステップＳ４６に進む。

ステップＳ４６において、記録制御部５４は、その時点での板書画像により、記録候補画像を更新する。

記録候補画像が更新されると、ステップＳ４７において、記録制御部５４は、板書領域の現在値を、そのときの板書領域の画素数（板書領域の大きさ）に更新する。

そして、ステップＳ４８において、記録制御部５４は、板書状態モードを「板書作成中」モードへ移行し、処理は次のフレームの板書記録処理に進む。

ここで、ステップＳ３１，Ｓ４２，Ｓ４５乃至Ｓ４８の処理の流れを、適宜、フローＦ５ということとする。

さて、ステップＳ４５において、板書領域が最小値より１％以上増加していないと判定された場合、処理はステップＳ４９に進む。

ステップＳ４９において、記録制御部５４は、板書状態モードとして「板書消去中」モードを維持し、処理は次のフレームの板書記録処理に進む。

以上のようにして、板書状態モードに応じて、板書画像の記録が制御される。

（３－２．モード遷移の例）
図１２は、図１０および図１１のフローチャートを参照して説明した記録制御処理における板書状態モードのモード遷移の例を示す図である。

図１２においては、時刻Ｔ１乃至Ｔ６の各時刻での、板書画像における筆記情報の変化が示されている。

図１２の例では、時刻Ｔ１において板書記録処理が開始される。このときの板書状態モードは、「板書消去中」モードとされる。

時刻Ｔ２においては、板書画像においていずれの筆記情報も筆記されておらず、上述した記録制御処理におけるフローＦ６の処理が実行される。その結果、「板書消去中」モードが維持される。

時刻Ｔ３において、板書画像において“Ａ”が筆記されると、上述した記録制御処理におけるフローＦ５の処理が実行される。その結果、“Ａ”が筆記された板書画像により記録候補画像が更新され、「板書作成中」モードへ移行される。

時刻Ｔ４においては、時刻Ｔ３の状態から筆記情報が追記されておらず、上述した記録制御処理におけるフローＦ３の処理が実行される。その結果、「板書作成中」モードが維持される。

時刻Ｔ５において、時刻Ｔ４の状態から“Ａ”の右側に“Ｂ”が追記されると、上述した記録制御処理におけるフローＦ１の処理が実行される。その結果、“ＡＢ”が筆記された板書画像により記録候補画像が更新され、「板書作成中」モードが維持される。

時刻Ｔ６において、時刻Ｔ５の状態から“ＡＢ”の右側に“ＣＤＥ”が、その下側に“ＦＧＨＩＪ”，“ＫＬＭＮＯ”が追記されると、上述した記録制御処理におけるフローＦ１の処理が実行される。その結果、“ＡＢＣＤＥ”，“ＦＧＨＩＪ”，“ＫＬＭＮＯ”が筆記された板書画像により記録候補画像が更新され、「板書作成中」モードが維持される。

図１３は、図１２の時刻Ｔ６より後のモード遷移の例を示す図である。

図１３においては、時刻Ｔ１１乃至Ｔ１６の各時刻での、板書画像における筆記情報の変化が示されている。

時刻Ｔ１１において、図１２の時刻Ｔ６の状態から“ＡＢＣ”が消去されると、上述した記録制御処理におけるフローＦ２の処理が実行される。その結果、“ＡＢＣＤＥ”，“ＦＧＨＩＪ”，“ＫＬＭＮＯ”が筆記された記録候補画像が記録画像１５１として記録され、「板書消去中」モードへ移行される。

時刻Ｔ１２においては、時刻Ｔ１１の状態から筆記情報がさらに消去されておらず、上述した記録制御処理におけるフローＦ６の処理が実行される。その結果、「板書消去中」モードが維持される。

時刻Ｔ１３において、時刻Ｔ１２の状態から“ＤＥ”がさらに消去されると、上述した記録制御処理におけるフローＦ４の処理が実行される。その結果、「板書消去中」モードが維持される。

時刻Ｔ１４において、時刻Ｔ１３の状態から、消去前の“Ａ”が筆記されていた箇所に“Ｐ”が筆記されると、上述した記録制御処理におけるフローＦ５の処理が実行される。その結果、“Ｐ”，“ＦＧＨＩＪ”，“ＫＬＭＮＯ”が筆記された板書画像により記録候補画像が更新され、「板書作成中」モードへ移行される。

時刻Ｔ１５において、時刻Ｔ１４の状態から“Ｐ”の右側に“ＱＲ”が追記されると、上述した記録制御処理におけるフローＦ１の処理が実行される。その結果、“ＰＱＲ”，“ＦＧＨＩＪ”，“ＫＬＭＮＯ”が筆記された板書画像により記録候補画像が更新され、「板書作成中」モードが維持される。

その後、時刻Ｔ１６において、時刻Ｔ１５の状態から“ＦＧＨＩＪ”が消去されると、上述した記録制御処理におけるフローＦ２の処理が実行される。その結果、“ＰＱＲ”，“ＫＬＭＮＯ”が筆記された記録候補画像が記録画像１５２として記録され、「板書消去中」モードへ移行される。

ここで、図１３のモード遷移の中で記録された記録画像１５１と記録画像１５２を比較すると、記録画像１５２の点線の枠で示される“ＦＧＨＩＪ”，“ＫＬＭＮＯ”が、記録画像１５１として一度記録されているにも関わらず、再び記録されてしまう。

すなわち、上述した板書記録システム１の構成では、記録済みの記録画像に含まれる筆記情報を含んだ記録候補画像が、記録画像として再び記録されてしまうため、無駄な記録が発生する場合がある。

そこで、以下においては、上述したような、一度記録されている筆記情報が再び記録されてしまうことを避ける例について説明する。

＜４．板書記録システムの他の構成例＞
図１４は、板書記録システム１の他の機能構成例を示すブロック図である。

図１４の情報処理装置１０は、図２の情報処理装置１０と比較して、記録制御部５４が画素情報セット部１６１をさらに備える点で異なる。

画素情報セット部１６１は、板書画像（板書領域画像）における板書領域の画素毎に、その画素の状態を表す画素情報をセットする。

例えば、画素情報セット部１６１は、板書領域画像において、筆記されてから消去されていない（残存している）筆記情報に対応する板書領域を形成する画素に、画素情報として、筆記情報が筆記されてからの経過時間である板書残存時間をセットする。

また、画素情報セット部１６１は、板書領域画像において、記録画像として記録済みで、かつ、消去されていない筆記情報に対応する板書領域（以下、記録済み領域という）を形成する画素に、画素情報として、板書残存時間に代えて、記録済みフラグをセットする。

＜５．板書記録処理の流れ＞
次に、図１５のフローチャートを参照して、図１４の板書記録システム１における板書記録処理の流れについて説明する。図１５の処理もまた、入力装置２０から入力される画像の１フレーム毎に実行される。

なお、図１５のフローチャートにおけるステップＳ１１１乃至Ｓ１１４の処理は、図３のフローチャートにおけるステップＳ１１乃至Ｓ１４の処理と同様であるので、その説明は省略する。

すなわち、ステップＳ１１４においてモードに応じた記録制御処理が実行された後、ステップＳ１１５において、画素情報セット部１６１は、板書領域画像における板書領域の画素毎に、画素情報（板書残存時間）をセットする。

図１６は、板書残存時間のセットの例を示す図である。

図１６には、時刻ｔ１１乃至ｔ１５それぞれにおける板書領域画像と、板書残存時間がセットされる画素情報配列が示されている。

板書領域画像（板書画像）が、３２０×１８０画素の解像度を有する場合、同一サイズ（３２０×１８０画素）の画素情報配列が用意される。画素情報配列の各画素に対応する値には、板書残存時間がセットされる。

図１６の例では、説明の簡単のため、５×５画素の板書領域画像と画素情報配列が示されている。以下では、例えば上から２画素目、左から２画素目の画素を（２，２）の画素などという。

時刻ｔ１１の板書領域画像においては、白画素の領域が存在せず、画素情報配列の全ての値が０にセットされている。

時刻ｔ１２の板書領域画像において、（２，２）の画素が白画素に設定されると、画素情報配列において、（２，２）の画素に対応する値には、板書残存時間として１がセットされる。

時刻ｔ１３の板書領域画像において、（２，３），（２，４）の２画素が白画素に設定されると、画素情報配列において、（２，３），（２，４）の２画素に対応する値には、板書残存時間として１がセットされ、（２，２）の画素に対応する値には、板書残存時間として２がセットされる。

時刻ｔ１４の板書領域画像において、（３，３），（４，３）の２画素が白画素に設定されると、画素情報配列において、（３，３），（４，３）の２画素に対応する値には、板書残存時間として１がセットされ、（２，３），（２，４）の２画素に対応する値には、板書残存時間として２がセットされ、（２，２）の画素に対応する値には、板書残存時間として３がセットされる。

そして、時刻ｔ１４の状態から、いずれの画素も白画素に設定されずに時刻ｔ１５になると、画素情報配列において、（３，３），（４，３）の２画素に対応する値には、板書残存時間として２がセットされ、（２，３），（２，４）の２画素に対応する値には、板書残存時間として３がセットされ、（２，２）の画素に対応する値には、板書残存時間として４がセットされる。

以上のようにして、時間の経過とともに、板書領域（白画素）の板書残存時間がカウントアップされていく。

（５－１．記録済み領域のマスキング）
図１７を参照して、一度記録されている筆記情報が再び記録されてしまうことを避けるために、記録候補画像を更新する際に、記録済み領域をマスキングする例について説明する。

図１７には、時刻ｔ２１乃至ｔ２４それぞれにおける板書画像、板書領域画像、板書残存時間がセットされる画素情報配列、および記録候補画像が示されている。

図１７の例でも、５×５画素の板書領域画像と画素情報配列が示されている。

時刻ｔ２１の板書画像においては、筆記情報として“ＡＢＣ”，“ＤＥＦ”が筆記され、板書領域画像においては、（２，２），（２，３），（２，４），（４，２），（４，３），（４，４）の画素が白画素に設定されている。このとき、記録候補画像は、“ＡＢＣ”，“ＤＥＦ”が筆記された板書画像により更新されている。

このとき、画素情報配列において、（２，２），（２，３），（２，４）の３画素に対応する値には、板書残存時間として６，５，４がそれぞれセットされ、（４，２），（４，３），（４，４）の３画素に対応する値には、板書残存時間として３，２，１がそれぞれセットされている。すなわち、板書画像においては、“Ａ”が最も前の時間に筆記され、“Ｆ”が最も直近の時間に筆記されている。

時刻ｔ２２の板書画像において、時刻ｔ２１の状態から“ＡＢＣ”が消去されると、板書領域画像においては、（２，２），（２，３），（２，４）の画素が黒画素に設定され、“ＡＢＣ”，“ＤＥＦ”が筆記された記録候補画像が、記録画像として記録される。

このとき、画素情報配列において、（２，２），（２，３），（２，４）の３画素に対応する値には、板書残存時間として０がそれぞれセットされ、筆記情報が残存した（４，２），（４，３），（４，４）の３画素に対応する値には、板書残存時間として－１がそれぞれセットされる。すなわち、記録済み領域を形成する（４，２），（４，３），（４，４）の３画素には、記録済みフラグがセットされる。

時刻ｔ２３の板書画像において、時刻ｔ２２の状態から、消去前の“ＡＢＣ”が筆記されていた箇所に“ＧＨＩ”が筆記されると、板書領域画像においては、（２，２），（２，３），（２，４）の画素が再び白画素に設定される。このとき、画素情報配列において、記録済みフラグである－１がセットされている記録済み領域（板書画像において“ＤＥＦ”が筆記されている領域）の画素がマスキングされることで、“ＧＨＩ”のみが筆記された記録候補画像が、記録画像として記録される。

このとき、画素情報配列において、（２，２），（２，３），（２，４）の３画素に対応する値には、板書残存時間として３，２，１がそれぞれセットされる。

時刻ｔ２４の板書画像において、時刻ｔ２３の状態から“ＧＨ”，“ＤＥ”が消去されると、板書領域画像においては、（２，２），（２，３），（４，２），（４，３）の画素が黒画素に設定され、“ＧＨＩ”のみが筆記された記録候補画像が、記録画像として記録される。

このとき、画素情報配列において、（２，２），（２，３），（４，２），（４，３）の４画素に対応する値には、板書残存時間として０がそれぞれセットされ、筆記情報が残存した（２，４）の１画素に対応する値には、板書残存時間として－１がセットされる。すなわち、記録済み領域を形成する（２，４），（４，４）の２画素には、記録済みフラグがセットされる。

次に、図１８のフローチャートを参照して、上述した記録済み領域のマスキングを実現する記録制御処理の詳細について説明する。

図１８のステップＳ１３１乃至Ｓ１４３における処理の流れは、基本的には、図１０のステップＳ３１乃至Ｓ４１における処理の流れ（フローＦ１，Ｆ２，Ｆ３）と同様であるが、ステップＳ１３３の処理が加わる点で異なる。

具体的には、「板書作成中」モードでのステップＳ１３２において、板書領域が現在値より１画素以上増加したと判定された場合、例えば、図１７の時刻ｔ２３のように、記録画像の記録後に筆記情報が追記されているような場合、処理はステップＳ１３３に進む。

ステップＳ１３３において、記録制御部５４は、板書画像において、記録済み領域をマスキングする。記録済み領域は、１フレーム前の板書記録処理（図１５）のステップＳ１１５において、記録済みフラグである－１がセットされた画素に対応する。これにより、ステップＳ１３４においては、記録済み領域（記録済みフラグがセットされた画素）をマスキングした板書画像により、記録候補画像が更新される。

図１９は、図１８のフローチャートを参照して説明した記録制御処理における板書状態モードのモード遷移の例を示す図であり、図１２の時刻Ｔ６より後のモード遷移の例を示す図である。

図１９においては、時刻Ｔ２１乃至Ｔ２６の各時刻での、板書画像における筆記情報の変化が示されている。

時刻Ｔ２１において、図１２の時刻Ｔ６の状態から“ＡＢＣ”が消去されると、上述した記録制御処理におけるフローＦ２の処理が実行される。その結果、“ＡＢＣＤＥ”，“ＦＧＨＩＪ”，“ＫＬＭＮＯ”が筆記された記録候補画像が記録画像１７１として記録されるとともに、残存した“ＤＥ”，“ＦＧＨＩＪ”，“ＫＬＭＮＯ”に対応する板書領域画像１７２の白画素の領域が、記録済み領域に設定され、「板書消去中」モードへ移行される。

時刻Ｔ２２においては、時刻Ｔ２１の状態から筆記情報がさらに消去されておらず、上述した記録制御処理におけるフローＦ６の処理が実行される。その結果、「板書消去中」モードが維持される。

時刻Ｔ２３において、時刻Ｔ２２の状態から“ＤＥ”がさらに消去されると、上述した記録制御処理におけるフローＦ４の処理が実行される。その結果、板書領域画像１７２において、消去された“ＤＥ”に対応する白画素の領域が、記録済み領域から解除され、「板書消去中」モードが維持される。

時刻Ｔ２４において、時刻Ｔ２３の状態から、消去前の“Ａ”が筆記されていた箇所に“Ｐ”が筆記されると、上述した記録制御処理におけるフローＦ５の処理が実行される。その結果、“ＦＧＨＩＪ”，“ＫＬＭＮＯ”に対応する記録済み領域の画素がマスキングされ、“Ｐ”のみが筆記された板書画像により記録候補画像１７３が更新され、「板書作成中」モードへ移行される。

時刻Ｔ２５において、時刻Ｔ２４の状態から“Ｐ”の右側に“ＱＲ”が追記されると、上述した記録制御処理におけるフローＦ１の処理が実行される。その結果、“ＦＧＨＩＪ”，“ＫＬＭＮＯ”に対応する記録済み領域の画素がマスキングされた、“ＰＱＲ”のみが筆記された板書画像により記録候補画像１７３が更新され、「板書作成中」モードが維持される。

その後、時刻Ｔ２６において、時刻Ｔ２５の状態から“ＦＧＨＩＪ”が消去されると、上述した記録制御処理におけるフローＦ２の処理が実行される。その結果、“ＰＱＲ”のみが筆記された記録候補画像が記録画像１７４として記録され、「板書消去中」モードへ移行される。

ここで、図１９のモード遷移の中で記録された記録画像１７１と記録画像１７４を比較すると、記録画像１７４においては、点線の枠で示されるように、記録画像１７１として一度記録されている“ＦＧＨＩＪ”，“ＫＬＭＮＯ”が記録されていない。その結果、記録済みの記録画像に含まれる筆記領域を除いた記録候補画像が、記録画像として記録されるようになる。

すなわち、以上の処理によれば、記録済みの記録画像に含まれる筆記情報を含んだ記録候補画像が、再び記録画像として記録されなくなるので、無駄な記録が発生することを防ぐことが可能となる。

以上の例では、記録済み領域を形成する画素に設定される記録済みフラグとして、－１の値がセットされるものとしたが、板書残存時間と区別することができる値であれば、任意の値がセットされるようにもできる。

ところで、上述した処理では、「板書作成中」モードにおいて一定以上の筆記情報が消去されると（具体的には、板書領域が最大値より５％以上減少すると）、その時点での記録候補画像が記録画像として記録される。

したがって、筆記者４が、筆記情報３を筆記している最中に、誤記の書き直しなどのために一定以上の筆記情報を消去した場合にも、誤記を含んだ板書画像が記録されてしまうため、結果として、無駄な記録が発生することになる。

そこで、以下においては、上述したような、誤記を含んだ板書画像が記録されてしまうことを避ける例について説明する。

（５－２．板書残存時間に応じた記録制御）
図２０は、誤記を含んだ板書画像が記録されてしまうことを避けるために、板書残存時間に応じた記録制御を行う例について説明する図である。

図２０には、時刻ｔ３１乃至ｔ３４それぞれにおける板書画像、板書領域画像、板書残存時間がセットされる画素情報配列、および記録候補画像が示されている。

図２０の例でも、５×５画素の板書領域画像と画素情報配列が示されている。

時刻ｔ３１の板書画像においては、筆記情報として“ＡＢＣ”，“ＤＥＦ”が筆記され、板書領域画像においては、（２，２），（２，３），（２，４），（４，２），（４，３），（４，４）の画素が白画素に設定されている。このとき、記録候補画像は、“ＡＢＣ”，“ＤＥＦ”が筆記された板書画像により更新されている。

このとき、画素情報配列において、（２，２），（２，３），（２，４）の３画素に対応する値には、板書残存時間として６，５，４がそれぞれセットされ、（４，２），（４，３），（４，４）の３画素に対応する値には、板書残存時間として３，２，１がそれぞれセットされている。すなわち、板書画像においては、“Ａ”が最も前の時間に筆記され、“Ｆ”が最も直近の時間に筆記されている。

時刻ｔ３２の板書画像において、時刻ｔ３１の状態から“ＤＥＦ”が消去されると、板書領域画像においては、（４，２），（４，３），（４，４）の画素が黒画素に設定され、板書領域が減少するものの、“ＡＢＣ”，“ＤＥＦ”が筆記された記録候補画像は、記録画像として記録されない。

このとき、画素情報配列において、（２，２），（２，３），（２，４）の３画素に対応する値には、“ＡＢＣ”が筆記されてからの経過時間に伴って、板書残存時間として９，８，７がそれぞれセットされ、“ＤＥＦ”が消去された（４，２），（４，３），（４，４）の３画素に対応する値には、板書残存時間として０がそれぞれセットされる。

時刻ｔ３３の板書画像において、時刻ｔ３２の状態から、消去前の“ＤＥＦ”が筆記されていた箇所に“ＧＨＩ”が筆記されると、板書領域画像においては、（４，２），（４，３），（４，４）の画素が再び白画素に設定される。記録候補画像は、“ＡＢＣ”，“ＧＨＩ”が筆記された板書画像により更新される。

このとき、画素情報配列において、（２，２），（２，３），（２，４）の３画素に対応する値には、板書残存時間として１２，１１，１０がそれぞれセットされ、（４，２），（４，３），（４，４）の３画素に対応する値には、板書残存時間として３，２，１がそれぞれセットされる。

時刻ｔ３４の板書画像において、時刻ｔ３３の状態から“ＡＢ”，“ＧＨ”が消去されると、板書領域画像においては、（２，２），（２，３），（４，２），（４，３）の画素が黒画素に設定され、“ＡＢＣ”，“ＧＨＩ”が筆記された記録候補画像が、記録画像として記録される。

このとき、画素情報配列において、（２，２），（２，３），（４，２），（４，３）の４画素に対応する値には、板書残存時間として０がそれぞれセットされ、筆記情報が残存した（２，４），（４，４）の２画素に対応する値には、板書残存時間として－１がセットされる。すなわち、記録済み領域を形成する（２，４），（４，４）の２画素には、記録済みフラグがセットされる。

次に、図２１のフローチャートを参照して、上述した板書残存時間に応じた記録制御を実現する記録制御処理の詳細について説明する。

図２１のステップＳ２３１乃至Ｓ２４３における処理の流れは、基本的には、図１８のステップＳ１３１乃至Ｓ１４２における処理の流れ（フローＦ１，Ｆ２，Ｆ３）と同様であるが、ステップＳ２３８の処理が加わる点で異なる。

具体的には、「板書作成中」モードでのステップＳ２３７において、板書領域が最大値より５％以上減少したと判定された場合、処理はステップＳ２３８に進む。

ステップＳ２３８において、記録制御部５４は、消去された板書領域の板書残存時間が所定時間より長いか否かを判定する。ここでは、例えば、消去された板書領域の板書残存時間が、６単位時間より長いか否かが判定される。

消去された板書領域の板書残存時間が所定時間より長いと判定された場合、ステップＳ２３９に進み、これ以降、フローＦ２の処理が実行される。すなわち、その時点での記録候補画像が記録画像として記録され、「板書消去中」モードへ移行される。

一方、ステップＳ２３８において、消去された板書領域の板書残存時間が所定時間より長くない（短い）と判定された場合、すなわち、図２０の時刻ｔ３２のように、消去された板書領域の板書残存時間が６単位時間以下であるような場合、処理はステップＳ２４２に進み、これ以降、フローＦ３の処理が実行される。すなわち、その時点での記録候補画像は記録画像として記録されない。

図２２は、図２１のフローチャートを参照して説明した記録制御処理における板書状態モードのモード遷移の例を示す図であり、図１２の時刻Ｔ６より後のモード遷移の例を示す図である。

図２２においては、時刻Ｔ３１，３２の各時刻での、板書画像における筆記情報の変化が示されている。

時刻Ｔ３１において、図１２の時刻Ｔ６の状態から、板書残存時間が所定時間より短い“ＭＮＯ”が消去されると、上述した記録制御処理におけるフローＦ３の処理が実行される。その結果、板書領域の現在値が減少し（最大値は維持され）、「板書作成中」モードが維持される。

時刻Ｔ３２において、時刻Ｔ３１の状態から、所定時間経過後の板書領域、すなわち、板書残存時間が所定時間より長い“ＫＬ”までが消去された場合、上述した記録制御処理におけるフローＦ２の処理が実行される。その結果、“ＡＢＣＤＥ”，“ＦＧＨＩＪ”，“ＫＬＭＮＯ”が筆記された記録候補画像が記録画像２１１として記録され、「板書消去中」モードへ移行される。

一方、時刻Ｔ３２において、時刻Ｔ３１の状態から、残存した“ＫＬ”の下側に“ＳＴＵ”が追記された場合、上述した記録制御処理におけるフローＦ１の処理が実行される。その結果、“ＡＢＣＤＥ”，“ＦＧＨＩＪ”，“ＫＬ”“ＳＴＵ”が筆記された板書画像により記録候補画像２２１が更新され、「板書作成中」モードが維持される。

このとき、所定時間が経過する前に消去された“ＭＮＯ”が筆記された画像は、メモ画像２２２として記録されてもよいし、記録されずに破棄されてもよい。

このように、図２２のモード遷移の中では、「板書作成中」モードにおいて一定以上の筆記情報が消去された場合であっても、記録候補画像は、所定時間が経過する前に消去された“ＭＮＯ”を含む板書画像により更新されない。

すなわち、以上の処理によれば、筆記者４が、筆記情報３を筆記している最中に、誤記の書き直しなどのために一定以上の筆記情報を消去した場合であっても、誤記を含んだ板書画像が記録されなくなることで、無駄な記録が発生することを防ぐことが可能となる。

＜６．コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

上述した情報処理装置１０は、図２３に示す構成を有するコンピュータにより実現される。

ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。

バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。

以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５およびバス１００４を介してＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。

ＣＰＵ１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。

本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

さらに、本開示は以下のような構成をとることができる。
（１）
筆記情報が筆記された筆記対象を示す筆記画像において、前記筆記情報を含む筆記領域を設定する領域設定部と、
前記筆記領域の変化に応じて、前記筆記画像の記録を制御する記録制御部と
を備える情報処理装置。
（２）
前記筆記領域は、前記筆記対象において前記筆記情報が筆記された範囲の占める割合を示す
（１）に記載の情報処理装置。
（３）
前記領域設定部は、前記筆記画像における前記筆記情報に対して膨張処理を施すことで、前記筆記領域を設定する
（１）または（２）に記載の情報処理装置。
（４）
前記領域設定部は、前記筆記領域が設定された前記筆記画像に対して低解像度化処理をさらに施す
（３）に記載の情報処理装置。
（５）
前記領域設定部は、前記筆記画像において文字認識が行われた文字領域を、前記筆記領域に設定する
（１）または（２）に記載の情報処理装置。
（６）
前記記録制御部は、
前記筆記領域の増加に応じて、前記筆記画像により、記録画像の候補となる記録候補画像を更新し、
前記筆記領域の減少に応じて、前記記録候補画像を前記記録画像として記録する
（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記記録制御部は、記録済みの前記記録画像に含まれる前記筆記領域を除いた前記記録候補画像を前記記録画像として記録する
（６）に記載の情報処理装置。
（８）
前記記録制御部は、前記記録画像が記録された後、前記筆記領域の一部が残存した状態から前記筆記領域が増加したとき、残存した前記筆記領域をマスキングした前記筆記画像により、前記記録候補画像を更新する
（７）に記載の情報処理装置。
（９）
前記記録画像が記録されたとき、前記筆記画像において残存している前記筆記領域の画素に記録済みフラグをセットするセット部をさらに備え、
前記記録制御部は、前記筆記領域が増加したとき、前記記録済みフラグがセットされた前記画素をマスキングした前記筆記画像により、前記記録候補画像を更新する
（８）に記載の情報処理装置。
（１０）
前記記録制御部は、前記筆記領域が減少したとき、消去された前記筆記領域の残存時間に基づいて、前記記録候補画像を前記記録画像として記録するか否かを決定する
（６）に記載の情報処理装置。
（１１）
前記筆記画像の画素毎に、前記筆記領域の前記残存時間をセットするセット部をさらに備え、
前記記録制御部は、消去された前記筆記領域の前記画素にセットされている前記残存時間に基づいて、前記記録候補画像を前記記録画像として記録するか否かを決定する
（１０）に記載の情報処理装置。
（１２）
前記記録制御部は、消去された前記筆記領域の前記画素にセットされている前記残存時間が所定時間より短い場合、前記記録候補画像を前記記録画像として記録しない
（１１）に記載の情報処理装置。
（１３）
前記記録制御部は、前記残存時間が前記所定時間より短い前記筆記領域を、前記記録画像とは別のメモ画像として記録する
（１２）に記載の情報処理装置。
（１４）
前記筆記対象が撮像された撮像画像から前記筆記画像を抽出する画像抽出部をさらに備える
（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
前記撮像画像は、動画像の１フレームである
（１４）に記載の情報処理装置。
（１６）
前記撮像画像は、静止画像である
（１４）に記載の情報処理装置。
（１７）
情報処理装置が、
筆記対象に筆記された筆記情報を含む筆記画像において、前記筆記情報を含む筆記領域を設定し、
前記筆記領域の変化に応じて、前記筆記画像の記録を制御する
情報処理方法。
（１８）
コンピュータに、
筆記対象に筆記された筆記情報を含む筆記画像において、前記筆記情報を含む筆記領域を設定し、
前記筆記領域の変化に応じて、前記筆記画像の記録を制御する
処理を実行させるためのプログラム。

１ 板書記録システム， １０ 情報処理装置， ２０ 入力装置， ３０ 出力装置， ５１ 画像取得部， ５２ 板書画像抽出部， ５３ 板書領域設定部， ５４ 記録制御部， ５５ 記録部， ５６ 出力制御部， ６１ モード設定部， １６１ 画素情報セット部

Claims (16)

1. 筆記情報が筆記された筆記対象を示す筆記画像において、前記筆記情報を含む筆記領域を設定する領域設定部と、
   前記筆記領域の増加に応じて、前記筆記画像により記録画像の候補となる記録候補画像を更新し、前記筆記領域の減少に応じて、前記記録候補画像を前記記録画像として記録する記録制御部と
   を備え、
   前記記録制御部は、前記筆記領域が減少したとき、消去された前記筆記領域の残存時間に基づいて、前記記録候補画像を前記記録画像として記録するか否かを決定する
   情報処理装置。
2. 前記筆記領域は、前記筆記対象において前記筆記情報が筆記された範囲の占める割合を示す
   請求項１に記載の情報処理装置。
3. 前記領域設定部は、前記筆記画像における前記筆記情報に対して膨張処理を施すことで、前記筆記領域を設定する
   請求項２に記載の情報処理装置。
4. 前記領域設定部は、前記筆記領域が設定された前記筆記画像に対して低解像度化処理をさらに施す
   請求項３に記載の情報処理装置。
5. 前記領域設定部は、前記筆記画像において文字認識が行われた文字領域を、前記筆記領域に設定する
   請求項１に記載の情報処理装置。
6. 前記記録制御部は、記録済みの前記記録画像に含まれる前記筆記領域を除いた前記記録候補画像を前記記録画像として記録する
   請求項１に記載の情報処理装置。
7. 前記記録制御部は、前記記録画像が記録された後、前記筆記領域の一部が残存した状態から前記筆記領域が増加したとき、残存した前記筆記領域をマスキングした前記筆記画像により、前記記録候補画像を更新する
   請求項６に記載の情報処理装置。
8. 前記記録画像が記録されたとき、前記筆記画像において残存している前記筆記領域の画素に記録済みフラグをセットするセット部をさらに備え、
   前記記録制御部は、前記筆記領域が増加したとき、前記記録済みフラグがセットされた前記画素をマスキングした前記筆記画像により、前記記録候補画像を更新する
   請求項７に記載の情報処理装置。
9. 前記筆記画像の画素毎に、前記筆記領域の前記残存時間をセットするセット部をさらに備え、
   前記記録制御部は、消去された前記筆記領域の前記画素にセットされている前記残存時間に基づいて、前記記録候補画像を前記記録画像として記録するか否かを決定する
   請求項１に記載の情報処理装置。
10. 前記記録制御部は、消去された前記筆記領域の前記画素にセットされている前記残存時間が所定時間より短い場合、前記記録候補画像を前記記録画像として記録しない
    請求項９に記載の情報処理装置。
11. 前記記録制御部は、前記残存時間が前記所定時間より短い前記筆記領域を、前記記録画像とは別のメモ画像として記録する
    請求項１０に記載の情報処理装置。
12. 前記筆記対象が撮像された撮像画像から前記筆記画像を抽出する画像抽出部をさらに備える
    請求項１に記載の情報処理装置。
13. 前記撮像画像は、動画像の１フレームである
    請求項１２に記載の情報処理装置。
14. 前記撮像画像は、静止画像である
    請求項１２に記載の情報処理装置。
15. 情報処理装置が、
    筆記対象に筆記された筆記情報を含む筆記画像において、前記筆記情報を含む筆記領域を設定し、
    前記筆記領域の増加に応じて、前記筆記画像により記録画像の候補となる記録候補画像を更新し、前記筆記領域の減少に応じて、前記記録候補画像を前記記録画像として記録し、
    前記筆記領域が減少したとき、消去された前記筆記領域の残存時間に基づいて、前記記録候補画像を前記記録画像として記録するか否かを決定する
    情報処理方法。
16. コンピュータに、
    筆記対象に筆記された筆記情報を含む筆記画像において、前記筆記情報を含む筆記領域を設定し、
    前記筆記領域の増加に応じて、前記筆記画像により記録画像の候補となる記録候補画像を更新し、前記筆記領域の減少に応じて、前記記録候補画像を前記記録画像として記録し、
    前記筆記領域が減少したとき、消去された前記筆記領域の残存時間に基づいて、前記記録候補画像を前記記録画像として記録するか否かを決定する
    処理を実行させるためのプログラム。

Images