JP2014063457A - 注釈の管理システム及びその管理システムをコンピュータに実行させるためのプログラム。 - Google Patents

Abstract

【課題】物理的な書類に手書きした注釈を迅速に見つけ出すことができる注釈管理システム及びその注釈管理システムをコンピュータに実行させるためのプログラムを提供する。
【解決手段】物理的な書類には、予め書類の種類とページ番号を印刷する。また、予め物理的な書類を電子化した書類を作成する。物理的な書類に手書きした注釈を書いた場合、それをスマートフォン等に搭載されているカメラなどの光学読取装置で撮影し、手書きした注釈を抽出し、その抽出した注釈を予め作成した電子化した書類へ合成する。プログラムを実装したスマートフォン等の端末から注釈の種類や注釈を保存した日時などを指定し、検索することにより、手書きした注釈を迅速に見つけることができる。
【選択図】図１

Description

本発明は、注釈の管理システム及びその管理システムをコンピュータに実行させるためのプログラムに関する。

従来、読者は物理的な書類を読んでいる最中にアンダーライン等の注釈を付け、それを目印に後から読み返していたが、注釈の数が多くなった場合や注釈を付けてから時間が経過すると、その注釈を探すのが難しかった。特に、注釈を付けた書類の数が多くなると、更にその注釈を見つけるのは困難であった。

前記の課題を解決する手法としては、電子書籍等の電子化した書類がある。電子書籍等では、電子書籍等へ栞やアンダーライン等の注釈を設定し、その注釈を後から検索することはできるが、物理的な書籍と比べるとコンピュータ等の物理的な装置を介して読むために、読み辛かったり、注釈を入れる場合にもコンピュータ等の物理的な装置を操作しなければならないので、手間と時間がかかる問題があった。

また、特許文献１の様な技術はあるが、前記の電子書籍等の電子化した書類と同様の問題や、物理的な書類には利用できない等の問題がある。
特開２００１−０２２７４９ 特開２０１１−１００３２７

本発明の課題は、前記従来技術の問題点を解決することにあり、読者が物理的な書類に書いたアンダーライン等の注釈を一元化して管理し、その注釈を容易に検索し、表示しようとするものである。

本発明は、栞やアンダーライン等の注釈が記入された物理的な書類を光学的に読み取り閲覧する装置（図１の端末装置２００。以下、端末装置２００という。）と、その装置で動作するプログラム、そして、その端末装置２００で読み取った情報を保管し、合成する装置（図１のサーバ装置１００。以下、サーバ装置１００という。）と、その装置で動作するプログラムとデータベースで構成する。

まず、アンダーライン等の注釈が記入される前の物理的な書類から電子化した書類を作成し、それと物理的な書類の種類情報（例えば、書類が書籍ならＩＳＢＮコード）を、サーバ装置１００で保管する。

物理的な書類には予め、書類の種類（例えば、書類が書籍ならＩＳＢＮコード）、ページ番号、撮影画像の歪み補正用のマークを印刷しておく。

まず、アンダーライン等の注釈が書かれた物理的な書類の任意なページを端末装置２００で読み取り、サーバ装置１００へ情報を保存するまでを説明する。アンダーライン等の注釈が書かれた物理的な書類の任意なページを端末装置２００で読み取り、その装置上で動作するプログラムによって撮影画像の歪み補正用のマークを検出し、読み取った画像の歪み補正し、書かれている注釈とその位置を抽出する。また、ＯＣＲ技術によって書類の種類とページ番号を認識する。

端末装置２００は、前記の抽出した注釈とその位置、そして書類の種類とページ番号をサーバ装置１００へ通信ネットワーク（図１のネットワーク３００。以下、ネットワーク３００という。）を介して送信する。

その情報を受け取ったサーバ装置１００は、その情報を注釈情報データベース（図１の注釈情報データベース１０３）へ保存する。

前記の注釈とその位置の抽出、そしてＯＣＲ技術による書類の種類とページ番号の認識は、サーバ装置１００で処理する場合もある。

前記の抽出した注釈とその位置、そして書類の種類とページ番号を受け取ったサーバ装置１００は、その情報を注釈情報データベースへ保存する処理は、書類の種類情報とページ番号情報から事前に準備した電子化した書類を検索し、該当ページを探し出し、抽出した注釈をその位置情報に従って合成する場合もある。

次に、サーバ装置１００にて管理している電子化した書類を端末装置２００からの操作で読み出し、表示するまでの処理を説明する。端末装置２００で書類名や注釈の種類などの検索条件を入力し、その検索条件をネットワーク３００を介してサーバ装置１００へ送信する。

サーバ装置１００では、検索条件に従って電子化した書類と注釈情報を検索し、抽出し、電子化した書類に注釈情報を合成した画像を生成し、その画像を端末装置２００へ送信し、端末装置２００では、その画像を表示する。

前記の処理は、注釈情報が既に電子化した書類に合成している場合もあるので、その時は、合成することなく電子化した書類を端末装置２００へ送信する。

以下、図面を参照して本発明の一実施例を説明する。図１は、本発明の物理的構成である。実施例では、書籍を対象にしているが、書籍以外にも雑誌や写真集、アルバムなどを対象にした場合も本実施例と同一の構成になる。また、注釈情報を電子化した書類に合成することなく、データベースへ保存する構成にしているが、それらを合成する場合も同じ装置の構成となる。

本発明は、サーバ装置１００と端末装置２００からなり、お互いがネットワーク３００で結ばれている。

サーバ装置１００は、電子化書籍ＤＢ１０１と、書籍情報ＤＢ１０２と、注釈情報ＤＢ１０３と、利用者情報ＤＢ１０４の各データベースと、画像解析部１１０と、注釈合成部１２０と、受信・送信部１３０と、利用者認証部１４０の各プログラムを持つ。本発明の特徴は、電子化書籍ＤＢ１０１と、注釈情報ＤＢ１０３の各データベースと画像解析部１１０と、注釈合成部１２０の各プログラムを持つことにある。物理的な書籍と同じ内容の電子化した書籍データ（例えばＰＤＦファイルなど）と、物理的な書籍に手書きされたアンダーライン等の注釈を抽出した注釈情報をそれぞれ電子化書籍ＤＢ１０１と注釈情報ＤＢへ保存し、本発明によって検索性を向上させると伴に、その両データを合成することによって物理的な書籍と比べて検索性と視認性を向上させるところに特徴がある。

電子化書籍ＤＢ１０１は、物理的な書籍を電子化した書籍データを管理するデータベースで、ＩＳＢＮコードから書籍データを探し出す時に利用する。テーブル構造は図２の通りである。ＩＳＢＮコードカラムにはＩＳＢＮコードを、書籍データカラムには物理的な書籍と同じ内容の電子化した書籍データ（例えばＰＤＦファイルなど）を保存する。

書籍情報ＤＢ１０２は、紙書籍に印刷されているＩＳＢＮコードとページ番号の印刷位置を管理するデータベースで、紙書籍をＯＣＲ処理する場合に、処理範囲を限定し、処理を高速化するために利用する。テーブル構造は図３の通りである。ＩＳＢＮコードカラムにはＩＳＢＮコードを、ＩＳＢＮコード位置には、ＩＳＢＮコードが書かれている範囲を囲む矩形の紙面の左上からその矩形の左上の位置座標（Ｘ、Ｙ）とその範囲の幅と高さ（Ｗ、Ｈ）を、ページ番号位置には、ページ番号が書かれている範囲を囲む矩形の紙面の左上からその矩形の左上の位置座標（Ｘ、Ｙ）とその範囲の幅と高さ（Ｗ、Ｈ）を保存する。

注釈情報ＤＢ１０３は、注釈データを管理するデータベースで、利用者が書籍に書いたアンダーライン等の注釈を端末装置２００で撮影し、抽出し、サーバ装置１００に送信した注釈データを管理する。テーブル構造は図４の通りである。利用者ＩＤカラムには、その利用者の利用者番号を、ＩＳＢＮコードカラムにはその書籍のＩＳＢＮコードを、ページ番号カラムにはそのページ番号を、注釈種類カラムには、注釈の種類（例えば、ドッグイヤー、手書きアンダーライン、蛍光ペンでの塗りつぶし、付箋紙の貼り付け、手書きメモなど。）を、注釈位置には、注釈が書かれている範囲を囲む矩形の紙面の左上からその矩形の左上の位置座標（Ｘ、Ｙ）とその範囲の幅と高さ（Ｗ、Ｈ）を、処理日時には、注釈データを本データベースへ保存した日時を、注釈情報ＩＤには注釈情報を作成する毎にユニークな連番を保存する。

利用者情報ＤＢは、利用者を管理するデータベースで、利用者認証に利用する。テーブル構造は図５の通りである。利用者ＩＤカラムには利用者を識別するユニークな利用者番号を、氏名カラムには利用者の氏名を、メールアドレスカラムには利用者のメールアドレスを、パスワードカラムには利用者のパスワードを保存する。

受信・送信部１３０は、端末装置２００とデータ通信を行うプログラムであり、画像解析部１１０へのデータの送信、注釈合成部１２０及び利用者認証部１４０とのデータの送受信も行う。

利用者認証部１４０は、利用者情報の登録、変更、削除及び本発明の利用認証を行うプログラムである。まず、利用認証の場合は、受信・送信部１３０から利用認証に必要な利用者ＩＤとパスワードを受け取り、利用者情報ＤＢ１０４をその利用者ＩＤとパスワードで検索し、一致するレコードがあれば、利用者認証正常終了データを受信・送信部１３０へ送る。レコードがなければ、利用者認証異常終了データを受信・送信部１３０へ送る。

利用者情報登録の場合は、受信・送信部１３０から利用者情報登録に必要な氏名、メールアドレス、パスワードを受け取り、そのメールアドレが利用者情報ＤＢ１０４に既に登録されているかを確認し、登録されていなければ利用者ＩＤを発行し、氏名、メールアドレス、パスワード、利用者ＩＤを利用者情報ＤＢ１０４へ保存し、利用者登録正常終了データを受信・送信部１３０へ送る。登録されていれば、利用者登録異常終了データを受信・送信部１３０へ送る。

利用者情報変更の場合は、先に前記の利用者認証を終えていなければならない。その後、受信・送信部１３０から利用者情報変更に必要な利用者ＩＤ、氏名、メールアドレス、パスワードを受け取り、変更箇所を利用者情報ＤＢ１０４へ保存し、利用者変更正常終了データを受信・送信部１３０へ送る。

利用者情報削除の場合は、先に前記の利用者認証を終えていなければならない。その後、受信・送信部１３０から利用者情報削除に必要な利用者ＩＤを受け取り、該当レコードを利用者情報ＤＢ１０４から削除し、利用者削除正常終了データを受信・送信部１３０へ送る。

画像解析部１１０は、注釈データの登録、変更、削除及び注釈データの抽出を行うプログラムである。注釈データ登録の場合は、先に前記の利用者認証を終えていなければならない。その後、受信・送信部１３０から注釈データ登録に必要な利用者ＩＤ、ＩＳＢＮコード、ページ番号、注釈種類、注釈位置情報、注釈内容を受け取り、注釈情報ＩＤを発行し、それらの情報とそれを受け取った日時を注釈情報ＤＢ１０３へ保存し、注釈データ登録正常終了データを受信・送信部１３０へ送る。

注釈データ変更の場合は、先に前記の利用者認証を終えていなければならない。その後、受信・送信部１３０から注釈データ変更に必要な利用者ＩＤ、ＩＳＢＮコード、ページ番号、注釈種類、注釈位置情報、注釈内容、処理日時を受け取り、変更箇所を注釈情報ＤＢ１０３へ保存し、注釈データ登録正常終了データを受信・送信部１３０へ送る。

注釈データ削除の場合は、先に前記の利用者認証を終えていなければならない。その後、受信・送信部１３０から利用者情報削除に必要な注釈情報ＩＤを受け取り、該当レコードを注釈情報ＤＢ１０３から削除し、注釈削除正常終了データを受信・送信部１３０へ送る。

また、画像解析部１１０は、端末装置２００で注釈の抽出を行わず、サーバ装置１００で行う場合には、端末装置２００で撮影した画像を解析し、注釈を抽出する処理も行う。

注釈合成部１２０は、電子化した書籍データと注釈情報を合成するプログラムである。注釈情報を合成する場合は、先に前記の利用者認証を終えていなければならない。その後、受信・送信部１３０から合成に必要な注釈情報ＩＤを受け取り、電子化書籍ＤＢ１０１から電子化した書籍データと注釈情報ＤＢ１０３から注釈データを読み込み、それらを合成し受信・送信部１３０へ送る。

端末装置２００は、受信・送信部２１０と、画像解析部２２０と、画像表示部２３０と、画像撮影部２４０と、入力部２５０の各プログラムを持つ。

受信・送信部２１０は、サーバ装置１００とデータ通信を行うプログラムであり、画像解析部２２０及び入力部２５０からのデータの受信、画像表示部２３０へのデータの送信も行う。

画像撮影部２４０は、アンダーライン等の注釈が書かれた紙面を撮影するプログラムである。本実施例では、端末装置２００をｉＰｈｏｎｅやＡｎｄｒｏｉｄ端末などのスマートフォンを想定しているので、このプログラムでは、その端末に搭載されたカメラを制御スし、撮影をする。撮影した画像データは、画像解析部２２０へ送る。

画像解析部２２０は、画像撮影部２４０が撮影した画像を歪み補正し、画像処理技術によってアンダーラインなどの注釈の抽出、ＯＣＲ技術によってＩＳＢＮコードとページ番号を抽出するプログラムである。抽出したアンダーラインなどの注釈、ＩＳＢＮコード、ページ番号は、画像表示部２３０に表示し、正常に抽出できたかを利用者が確認できるようにする。その後、抽出した情報を受信・送信部２１０へ送る。

画像表示部２３０は、画像情報や文字情婦を表示するプログラムである。表示する情報は、画像解析部２２０が抽出したアンダーラインなどの注釈、ＩＳＢＮコード、ページ番号、サーバ装置１００から送信された合成画像、端末装置２００で動作する本発明のプログラムを動作させるために必要な情報等、利用者に提供する全ての画像データ及び文字データを表示する。

入力部２５０は、端末装置２００で動作する本発明のプログラムを動作させるために必要な指示を利用者が入力し、その入力された情報を読み取り、受信・送信部２１０、画像解析部２２０、画像表示部２３０へ送るプログラムである。

まず、端末装置２００で本発明のプログラムを起動すると、利用者ＩＤとパスワードを入力する窓と利用者ＩＤとパスワードを確認処理するアイコンを画像表示部２３０に表示する。利用者が利用者ＩＤとパスワードを入力し、利用者ＩＤとパスワードを確認処理するアイコンを押すと、利用者ＩＤとパスワードを受信・送信部２１０とネットワーク３００を介してサーバ装置１００へ送る。

サーバ装置１００は、受信・送信部１３０に届いた利用者ＩＤとパスワードを利用者認証部１４０に渡す。利用者認証部１４０は、利用者情報ＤＢ１０４を利用者ＩＤとパスワードを検索キーとして検索し、一致したレコードがあれば認証結果として認証合格データを受信・送信部１３０とネットワーク３００を介して端末装置２００へ送る。また、一致したレコードがない場合は、認証不合格データを送る。

端末装置２００は、受信・送信部２１０に届いた認証結果が認証不合格だった場合は、画像表示部２３０に利用者認証の再実施と新規利用者登録をする案内文を表示する。認証結果が認証合格だった場合は、利用者の操作を待機する。

書籍に利用者によって手書きされたアンダーライン等の注釈が書かれたページを端末装置２００の画像撮影部２４０で読み取る。読み取った画像は、画像解析部２２０にて歪補正をした上でアンダーライン等の注釈の解析と、ＯＣＲ技術によって書籍の種類とページ番号を抽出する。その抽出が完了すると、画像表示部２３０へ表示する。

利用者は、画像表示部２３０へ表示された画像から抽出したアンダーライン等の注釈と書籍の種類とページ番号が正常に抽出されているかを確認し、問題なければ、抽出したデータをサーバ装置１００へ送信する為のアイコンを押す。そうすると画像解析部２２０は、抽出したデータを受信・送信部２１０へ送る。そして、受信・送信部２１０は、その抽出したデータをネットワーク３００を介してサーバ装置１００へ送る。

次に、サーバ装置１００の受信・送信部１３０でその抽出したデータを受け取る。受け取った抽出したデータは、画像解析部１１０へ送る。画像解析部１１０は、抽出したデータから書籍の種類情報とページ番号とアンダーライン等の注釈情報を注釈情報ＤＢ１０３へ保存する。

また、本実施例では、端末装置２００で読み取った画像を解析し、書籍の種類情報とページ番号とアンダーライン等の注釈情報を抽出したが、端末装置２００の処理能力が低い等の場合は、端末装置２００の画像撮影部２４０で撮影したデータをそのままサーバ装置１００へ送り画層解析部１１０にて画像解析と前述の抽出処理を行う。

次に、既に利用者がサーバ装置１００へ登録しているアンダーライン等の注釈を端末装置２００から検索し、該当内容を表示する手順を説明する。

まず、利用者は、端末装置２００から過去に設定した見つけたいアンダーライン等の注釈を探すための条件を入力する（例えば、注釈情報をサーバ装置００１へ送った日時や注釈の種類など）。入力された条件は、入力部２５０にて読み取り、利用者ＩＤと共に受信・送信部２１０とネットワーク３００を介しサーバ装置１００へ送る。また、検索条件は、１つでも複数でも構わない。

サーバ装置１００は、受信・送信部１３０で受信し、注釈合成部１２０へ送る。注釈合成部１２０は、検索条件と利用者ＩＤから電子化書籍ＤＢ１０１、書籍情報ＤＢ１０２、注釈情報ＤＢ１０３、利用者情報ＤＢ１０４を検索し、その検索結果である書籍データへ注釈情報を合成し、合成画像を作成し、受信・送信部１３０を経由して端末装置２００へ送る。

端末装置１００は、その合成画像を受信・送信部２１０で受信し、画像表示部２３０で表示する。

発明の効果

本発明により、読者は物理的な書類を読んでいる最中にアンダーライン等の注釈を付け、それを目印に後から読み返す時、注釈の数が多くなった場合や注釈を付けてから時間が経過した時でも、その注釈を探しやすくなる。特に、注釈を付けた書類の数が多くなると、更にその効果は増大する。

本発明の一実施例である書籍注釈管理システムの装置構成。 本発明の一実施例である書籍注釈管理システムの電子化書籍データベースのテーブル構造。 本発明の一実施例である書籍注釈管理システムの書籍情報データベースのテーブル構造。 本発明の一実施例である書籍注釈管理システムの注釈情報データベースのテーブル構造。 本発明の一実施例である書籍注釈管理システムの利用者データベースのテーブル構造。

１００…サーバ装置、１０１…電子化書籍データベース、１０２…書籍情報データベース、１０３…注釈情報データベース、１０４…利用者情報データベース、１１０…画像解析部、１２０…注釈合成部、１３０…受信・送信部、１４０…利用者認証部、
２００…端末装置、２１０…受信・送信部、２２０…画像解析部、２３０…画像表示部、２４０…画像撮影部、２５０…入力部

Claims (1)

1. 物理的な書類と同じ内容の電子データ化した書類を作成しておき、物理的な書類に対して、利用者がアンダーラインなどの注釈を付加し、その物理的な書類を光学的な読取手段で読み取り、その注釈を抽出し、その注釈を電子データ化した書類と合成し、その合成した注釈を検索、表示することができる方法であって、
   物理的な書類を光学的な読取手段で読み取る事によって書類の種類を識別することを特徴とする注釈管理システム。

Images