JP6382720B2

JP6382720B2 - 書画カメラ

Info

Publication number: JP6382720B2
Application number: JP2014535581A
Authority: JP
Inventors: 吉田　健治; 健治吉田
Original assignee: Gridmark Inc
Current assignee: Gridmark Inc
Priority date: 2012-09-11
Filing date: 2013-09-11
Publication date: 2018-08-29
Anticipated expiration: 2033-09-11
Also published as: JPWO2014042203A1; WO2014042203A1; US20150229792A1

Description

本発明は、書類や立体物を表示手段に表示させるための、いわゆる書画カメラ（Document camera）に関するものである。

書画カメラは、撮影している対象物をディスプレイに表示したり、プロジェクタでスクリーンに表示することができる。事前に書類をデータ化しておかなくても、その場で対象物を投射して説明できるため、主に学校教育やプレゼンテーションなどの用途で利用されている。

特開平６−１３８５４３号特開平１０−２２９５１５号特開平１１−２５２４５４号

従来の書画カメラは、撮影している対象物をディスプレイに表示したり、プロジェクタでスクリーンに表示することができるが、講師が受講者に対して注目して欲しい対象物の位置を示したり、印刷物に文字や図形を書き込んで説明することが容易にできなかった。

さらに、事前にデータとして用意した写真や動画、プレゼンテーションファイル（Presenter、Powerpoint（登録商標）、Keynote（登録商標）等のプレゼンテーションソフトウェアのファイル）に切り替えるのが面倒であり、対応するデータの検索や頭出しを瞬時に行うことができなかった。

確かに、情報処理装置に対象物の画像や様々なデータを発表する順番に従って登録し、講義用の完璧な電子テキストを予め作成すればできないこともないが、そのような完璧なテキストを作成するには、相当な時間と技術を持ち合わせていないと困難である。特に、教育の現場では、教員は授業、採点、クラブ活動の顧問等の仕事に忙殺され、そのような作業を行うだけの時間を確保することは困難である。

本発明は上記の課題を解決するために、書画カメラにドット技術を導入することを提案したものである。

すなわち、本発明の書画カメラは、前記対象物を撮影するカメラと、前記対象物を照射する照明装置と、前記カメラに有線または無線で接続された情報処理装置と、前記情報処理装置から出力される映像を表示する少なくとも１つの、該情報処理装置に有線または無線で接続された表示装置と、前記情報処理装置に有線または無線で接続する、コード情報が定義された所定の規則で媒体面に形成されたドットパターンを読み取り、該コード情報に復号化する光学読み取り装置と、を備えた書画カメラであって、前記光学読み取り装置は、前記コード情報および/または前記情報処理装置に対する制御指示を前記情報処理装置に送信する送信手段を備え、前記情報処理装置は、前記送信手段から送信された前記コード情報および/または制御指示に基づき対応した処理を実行し所定の映像を前記表示装置に表示する書画カメラである。

本発明では、対象物の映像を表示している状態で、光学読み取り装置で対象物をタッチするだけで、タッチした箇所に対応する写真や動画、プレゼンテーションファイルを瞬時に表示することができるため、情報処理装置における操作量を減らすことができる。また、本やテキストなどの印刷物を映しながら、重要な箇所にマークを付けたり、文字や図形を加えることも容易にできるため、授業やプレゼンテーションの中で、質問されたことやその場で伝えたいと思ったことをその場で図にして一度に共有することができる。

さらに、講義時に表示された対象物の映像や写真や動画、プレゼンテーションファイルは、講師の声と共に遠隔視聴も可能であり、誰でも情報処理装置やスマートフォンに記録できる。これにより、最小限の準備で最大限の発表効果が期待できる。

なお、対象物は、立体物でも本やコピー、チラシなどの印刷物でもよい。ドットパターンを撮像してドットコードを読み取る光学読み取り装置はペン持ちできるペン型のスキャナが望ましい。

本発明の書画カメラの最も基本的な構成を示した図である。対象物のタッチした箇所に対応するコンテンツを表示する図である。対象物の重要な箇所にマークを付けたり、文字や図形を加える図である。手書き入力のアプリケーションを示す図である。コンテンツの遠隔視聴を示す図である。情報入力装置が接続された実施形態を示す図である。第2の情報処理装置が接続された実施形態を示す図である。本発明の書画カメラの最も基本的な構成を示した図である。キャリブレーションの実施例を示す図（１）である。キャリブレーションの実施例を示す図（２）である。キャリブレーションの実施例を示す図（３）である。キャリブレーションの実施例を示す図（４）である。キャリブレーションの実施例を示す図（５）である。キャリブレーションの実施例を示す図（６）である。キャリブレーションの実施例を示す図（７）である。キャリブレーションの実施例を示す図（８）である。キャリブレーションの実施例を示す図（９）である。キャリブレーションの実施例を示す図（１０）である。キャリブレーションの実施例を示す図（１１）である。

本発明の実施形態を説明する。なお本発明の実施形態はそれぞれ適宜組み合わせて実施することが許容される。

図１は本発明の書画カメラの最も基本的な構成を示した図である。書画カメラは、対象物を撮影するカメラと、対象物を照射する照明装置と、カメラに有線または無線で接続された情報処理装置と、情報処理装置から出力される映像を表示する少なくとも１つの、該情報処理装置に有線または無線で接続された表示装置と、情報処理装置に有線または無線で接続する、コード情報が定義された所定の規則で媒体面に形成されたドットパターンを読み取り、該コード情報に復号化する光学読み取り装置と、を備えた書画カメラであって、光学読み取り装置は、コード情報および/または情報処理装置に対する制御指示を情報処理装置に送信する送信手段を備え、情報処理装置は、送信手段から送信されたコード情報および/または制御指示に基づき対応した処理を実行し所定の映像を表示装置に表示する。

また、対象物を載置する台座を備えてもよい。

ここで、本発明に特有の構成であるドット技術について説明する。

本発明において「ドットパターン」とは、複数のドットの配置アルゴリズムにより情報ないしは数値を符号化したものである。

情報ないしは数値をどのようにドットパターンにより符号化するかのアルゴリズムについては、日本国特許第3706385号、日本国特許第3858051号、日本国特許第3771252号、日本国特許第4834872号、日本国特許第4899199号、等に詳細に開示されたドットパターンを用いることができる。代表的なドットパターンの規格を挙げると、Grid Onput（登録商標）、アノトパターン、等が考えられる。また、後述する手書き入力を実装しない場合はコード数が少なくて済むため、より多くのドットパターンが採用できる。

また、本発明の時点においてドットパターンの規格は市場にいくつか存在するが、本発明においては現時点で存在するドットパターンの他に、将来開発されるドットパターンを含めた、あらゆるドットパターンを用いることが可能である。

また、ドットパターンは通常のデザインと重畳可能な、目に見えない（または見えにくい）、不可視パターンであることが好ましい。ただし、いわゆるステルスインクを用いて印刷する場合はQRコード（登録商標）等の通常は目に見えるパターンを用いてもよい。

また、ドットパターンの規格は座標値とコード値を１つのフォーマットによりパターン化することができる規格であることが好ましい。前述のGrid Onput（登録商標）は座標値とコード値を１つのフォーマットによりパターン化することが可能である。

上記のようなドット技術を導入する最大の利点は、書画カメラを利用するオペレーターが表示させたいと思った情報にワンタッチでアクセス可能ということである。

ある実施形態においては、図２に示すように、対象物の映像を表示している状態で、光学読み取り装置で対象物をタッチするだけで、タッチした箇所に対応する写真や動画、プレゼンテーションファイルを瞬時に表示することができる。印刷物の「START」のアイコンをスキャナによりタッチすると、対応する専用アプリケーションが起動することができる。ただし、「START」アイコンは設けずに印刷物全体に専用アプリケーションの起動コードをパターン化したドットパターンを印刷してもよい。

ドットパターンを撮像してドットコードを読み取る光学読み取り装置はペン持ちできるペン型スキャナが望ましい。

そして、書き込み入力ができるペン型スキャナ（いわゆる電子ペン、デジタルペン）を用いて軌跡上のドットパターンを読み取ることにより表示装置に軌跡を表示することができる。

図３に示すように、本やテキストなどの印刷物を映しながら、重要な箇所にマークを付けたり、文字や図形を加えることも容易にできる。印刷物の右側のパレット部分のアイコンをタッチすると線の色、太さ等を変更することができる。これらのアイコンには、線の色、太さを変更する指示をするコード値がパターン化されたドットパターンが印刷されており、このように紙に印刷したドットパターンにより情報処理装置に対する指示が可能なためペーパーコントローラと呼ぶ。

他の実施形態においては、図４に示すように、印刷物の「START」のアイコンをスキャナによりタッチすると手書き入力のアプリケーションが情報処理装置において起動し、表示手段に手書き入力のアプリケーションのウィンドウが表示される。

ペン型スキャナを用いて正しい書き順により文字を書くと、正解を示すファンファーレ音が図示しないスピーカにより再生されて、あるいは正解を示すアニメーションが表示され、生徒に対してその書き順が正しいということをとてもわかりやすく教えることができる。

さらに、図５に示すように、講義時に表示された対象物の映像や写真や動画、プレゼンテーションファイルは、講師の声と共に遠隔視聴も可能であり、誰でも情報処理装置やスマートフォンに記録できる。これにより、最小限の準備で最大限の発表効果が期待できる。

＜情報入力装置との接続＞
情報処理装置は、図６に示すようにさらに情報入力装置が有線または無線で接続することができる。情報処理装置は情報入力装置からデータの入力を受け処理する。

試験や質問に対する回答を受講者から採点や、アンケートの結果を記録・表示することにより、理解度に合わせて講義を進行するなど、より効果的な講義が可能となる。また、情報入力装置には、IDが振られており、誰の回答かが分かりながら講義を進行できる。

また、情報入力装置は表示装置を備えてもよい。これにより、講義用で表示している映像やコンテンツの巻き戻しや拡大が行え、受講者が自由に繰り返し閲覧できる。

この情報入力装置は、コード情報が定義された所定の規則で媒体面に形成されたドットパターンを読み取り、該コード情報に復号化する光学読み取り装置であることが好ましい。

受講者の入力用にペン型スキャナを用いることにより、容易に試験や質問に対する回答を入力するだけでなく、講師と同様のテキストでコンテンツを閲覧できる。さらに、音声ペンを使用すれば、語学教育の正確な発音や、テキストのガイドを音声でも聞ける。なお、このペン型スキャナは固有のIDを保有し、どの受講者がペン型スキャナで媒体面のどこをタッチしたか、または媒体面をなぞった軌跡を、時間情報と共に、情報処理装置に送信される。それらの入力データは解析・編集され表示装置に複数同時にも表示することができ、受講者の回答や理解度を把握できる。

また、情報入力装置は、表示装置にタッチパネルを搭載することにより、直感的な操作でさらに利便性を向上させることができる。

これらの情報入力装置は、受講者個人が所有する携帯電話またはスマートフォン、携帯型ゲーム機、情報処理装置を使用することにより、対象物の映像やコンテンツを記録して、自宅でも繰り返し学習できる。

＜情報処理装置の構成＞
本発明が備える情報処理装置の構成を説明する。

情報処理装置は、光学読み取り装置からの制御指示がない場合または、対象物の映像の表示を指示する制御指示がある場合は、カメラが撮影した対象物の映像を少なくとも表示装置に表示する。

情報処理装置は、コード情報および/または制御指示に基づき対応した処理により実行されたコンテンツを表示装置に表示する。このコンテンツは、カメラが撮影した対象物の映像と共に表示装置に表示される。

また、コンテンツと対象物の映像は、異なるウィンドウで表示されてもよい。

また、コンテンツまたは対象物の映像が表示するウィンドウの一部の領域に、他方の対象物の映像またはコンテンツが表示されてもよい。

また、コンテンツは、対象物の映像に合成されて表示されてもよい。

情報処理装置は、コード情報および/または制御指示に基づき対応した処理により表示装置に、光学読み取り装置で読み取った同一のコード情報が定義されたドットパターンが形成されたマスク領域を、対象物の映像に重ねて表示されることが好ましい。

また、マスク領域の表示は、不透明または半透明の所定の色で該マスク領域の外枠を描くか、または該マスク領域内を塗りつぶすかのいずれかにより表示してもよい。

情報処理装置は、コード情報および/または制御指示に基づき対応した処理により表示装置に、光学読み取り装置でドットパターンが形成された媒体面をなぞった軌跡を、対象物の映像に重ねて表示されることが好ましい。

ここで、軌跡の表示は、不透明または半透明の所定の色、所定の太さ、所定の線分で描くことにより表示されることが好ましい。

また、図７に示すように、情報処理装置は、さらに表示装置を備えた第2の情報処理装置をインターネットまたは通信回線を介して接続し、映像を送信すると共に、該第2の情報処理装置からデータの入力を受け処理することができる。これにより、遠隔地における受講であっても、同様に講義用で表示している映像やコンテンツの巻き戻しや拡大が行え、受講者が自由に繰り返し閲覧できる。

この第2の情報処理装置は、コード情報が定義された所定の規則で媒体面に形成されたドットパターンを読み取り、該コード情報に復号化する光学読み取り装置であることが好ましい。これにより、遠隔地における受講であっても、受講者の入力用にペン型スキャナを用いることにより、容易に試験や質問に対する回答を入力するだけでなく、講師と同様のテキストでコンテンツを閲覧できる。さらに、音声ペンを使用すれば、語学教育の正確な発音や、テキストのガイドを音声でも聞ける。なお、このペン型スキャナは固有のIDを保有し、どの受講者がペン型スキャナで媒体面のどこをタッチしたか、または媒体面をなぞった軌跡を、時間情報と共に、第1の情報処理装置に送信される。それらの入力データは解析・編集され表示装置に複数同時にも表示することができ、受講者の回答や理解度を把握できる。

また、第2の情報処理装置は、受講者個人が所有する携帯電話またはスマートフォン、携帯型ゲーム機、情報処理装置を使用することにより、対象物の映像やコンテンツを記録して、自宅でも繰り返し学習できる。

これまでに説明した、光学読み取り装置と情報処理装置は一体となっていることが好ましい。一体とすることにより、大容量データの送信が可能となり、電子部品の小型化によって、さらに利便性を増し、個人用の光学読み取り装置（情報処理装置）を所有することができ、いちいちコンテンツをインストールすることなく、講義がスタートでき情報管理も図れる。

＜光学読み取り装置＞
光学読み取り装置の構成を以下のとおり説明する。

制御指示は、対象物の映像とコンテンツの表示方法と表示の切り替えおよび、該コンテンツが映像である場合の停止・一時停止・巻き戻し・早送り・リピートの表示制御を指示することが好ましい。

また、光学読み取り装置は、時間情報出力装置を設け、制御指示は該時間情報に基づくことが好ましい。

また、制御指示は、コード情報に基づくことが好ましい。

また、光学読み取り装置には少なくとも1以上のボタンが設けられ、制御指示はボタン操作に基づくことが好ましい。

また、光学読み取り装置は、ドットパターンを撮像する領域または、該領域近傍を目視可能な光でポインティングする発光装置を設けてもよい。

また、光学読み取り装置は、携帯電話またはスマートフォン、携帯型ゲーム機であることが好ましい。すなわち、光学読み取り装置は特別な装置である必要はなく、カメラ等で画像入力したドットパターンを携帯電話またはスマートフォン、携帯型ゲーム機に記録したアプリケーションによりドットコードとして復号するものとしてもよい。

＜ドットパターン印刷物の構成＞
光学読み取り装置により読み取られるドットパターンが印刷された印刷物の構成について以下のとおり説明する。

ドットパターンは、通常、カメラにより撮影される対象物の表面に形成されている。なお、対象物は、立体物でも本やコピー、チラシなどの印刷物でもよい。

また、ドットパターンは、ペーパーコントローラとして所定の媒体に制御指示を意味するアイコンと重畳的に形成されることが好ましい。

また、ドットパターンは、対象物上に載置する透明シートに形成されることが好ましい。この場合、前述の透明シートの表面に赤外線を吸収するインクでドットパターンを形成し、該透明シートの裏面に赤外線拡散反射層を設け、赤外線を照射するLEDおよび赤外線のみを透過させるフィルターを備えた光学読み取り装置でドットパターンを読み取る構成としてもよい。

また、ドットパターンは、対象物を覆う透明ケースに形成されてもよい。この場合、透明ケースの表面に赤外線を吸収するインクでドットパターンを形成し、透明ケースの裏面に赤外線拡散反射層を設け、赤外線を照射するLEDおよび赤外線のみを透過させるフィルターを備えた光学読み取り装置でドットパターンを読み取る構成としてもよい。

ドットパターンは、赤外線を吸収するインクで形成されていることが好ましい。この場合、光学読み取り装置は、赤外線を照射するLEDおよび赤外線のみを透過させるフィルターを備え、赤外線を吸収するインクで形成されたドットパターンを撮像することとなる。

また、ドットパターンは、紫外線に反応するインクで形成されていてもよい。この場合、光学読み取り装置は、紫外線を照射するLEDを備え、紫外線で反応するインクで形成されたドットパターンを撮像することとなる。

＜カメラ、照明装置＞
カメラ、照明装置、表示装置の構成を以下のとおり説明する。

これらの構成は、従来の書画カメラおよび書画カメラを用いた表示システムに備えられていた構造であるため、既存の書画カメラと表示装置をそのまま用いてよい。また、台座を設ける場合も同様に既存の台座を備えた書画カメラを用いることができる。

カメラは有線または無線による、あらゆる接続手段により情報処理装置と接続されており、対象物を撮影した映像が情報処理装置を介して表示装置に出力される。

ただし、カメラは有線または無線による、あらゆる接続手段により表示装置と直接接続されて、対象物を撮影した映像を表示装置に直接出力してもよい。

また、照明装置を赤外線を照射するLEDとし、カメラ自身をドットパターンを読み取る光学読み取り装置としてもよい。カメラは可視光を読み取るものと赤外光を読み取るものとをそれぞれ設けてもよいし、１つのカメラにおいて可視光を読み取るタイミングと赤外光を読み取るタイミングを切り替える制御をするものとしてもよい。

＜表示装置＞
表示装置の構成を以下のとおり説明する。

表示装置は情報処理装置もしくはカメラから出力された映像を表示するものであり、ありとあらゆる表示手段を用いることができる。なお表示装置は図８に示すようなプロジェクタを用いるのが最適である。

また、表示装置は情報処理装置から出力された映像とカメラから出力された映像を切り替えて、あるいは同時に表示してもよい。

＜キャリブレーションについて＞
次に、書画カメラのためのキャリブレーション方法について説明する。

従来の書画カメラでは、書画カメラの下に対象物を配置し、そのまま撮影して表示装置に表示していた。しかし、カメラの撮影範囲に比べて対象物が小さい場合、表示画面に余白ができてしまい、見てくれが悪いという問題があった。また、対象物が正位の位置に傾けて載置された場合は、表示画面に傾いて表示されるために極めて見づらくなる。そこで本発明は、対象物の大きさに関わらず、対象物がどのように載置されてもユーザが表示したい範囲を適正に表示装置に表示させることができるキャリブレーション方法について提案する。

＜第１の実施例＞
第１の実施例は、カメラにポインタを設けてキャリブレーションを行う方法である。

図９は、カメラに設けられたポインタについての図である。カメラには、隅角部にレーザーポインタ等のポインタが４個設けられている。なお、ポインタは４個に限られず、２個以上であればよい。さらには、後述のように１個でもよい。

ユーザは、カメラの下に対象物を配置する。すると、印刷物の四隅にポインタが照射される。ユーザは、所定の順番で、ポインタが照射された箇所をタッチする。すると、光学読み取り装置は、タッチ位置のドットパターンを読み取り、情報処理装置に送信する。情報処理装置は、送信されたドットパターンから対象物の座標系でのタッチ位置のドットｘｙ座標（ｘｔ，ｙｔ）を認識し、表示装置の座標系（ＸＹ座標）と対象物の座標系とを適正に関連付けるためのキャリブレーションを行う。このキャリブレーションには、座標変換関数を用いる。なお、対象物の座標系と表示装置の座標系に変換するための変換係数を求めるために、タッチ位置のドットコード値（インデックス）に対応する様々なパラメータを取得するテーブルを用いる。

これにより、表示装置に、対象物の全体が適正に配置される。

図１０は、小さなサイズの対象物に対してキャリブレーションを実行する場合について説明する図である。

本発明に用いるポインタは可動式である。もちろん、固定であってもよい。

小さなサイズの対象物に対してキャリブレーションを行う場合には、ポインタの照射範囲を狭くする。それにより、図１０に示すように、対象物内にポインタがすべて照射されることができる。

図１１は、任意に配置されたキャリブレーションを実行する場合について説明する図である。

同図に示すように、例えば、表示装置の座標系に対して対象物が斜めに配置された場合には、四隅に照射されるように、ポインタを移動する。

このように、本発明に用いるポインタは、対象物の大きさや向きに応じて、自在に動かすことが可能である。操作は書画カメラに取り付けられたボタンにより操作してもよいし、接続された情報処理装置の様々なデバイスで操作してもよい。

図１２は、ポインタが１個の場合について説明する図である。

ドットパターンの座標系（単位長さ当たりの座標値）を、予め情報処理装置の記憶手段に記憶させておく。これにより、ポインタが１個であっても、キャリブレーションを実行することが可能となる。

ポインタは、カメラの撮影範囲の中央に照射される。ユーザは、光学読み取り装置で、ポインタが照射された箇所をタッチする。対象物の回転角を求めて、キャリブレーションを行うことが可能である。

さらには、対象物の最大座標値が分かれば、後述する計算式によってその最大座標値をもとに、その領域を所定の領域に表示できるようにキャリブレーションすることもできる。なお、対象物の最少の座標値は（0、0）とする。もちろん、予め始点とした座標を設定してもよい。

図１３は、ポイントが１個の場合の他の例について説明する図である。

図１３では、任意の位置にポインタを当てている。この場合、書画カメラは、ポインタの位置を把握しなければならない。具体的には、情報処理装置の記憶手段に、照射位置を記憶しておく。さらに記憶手段には、図１２の場合と同様に、ドットパターンの座標系（単位長さ当たりの座標値、対象物の最大座標値）を、予め情報処理装置の記憶手段に記憶させておく。これにより、ユーザが照射位置をタッチしたときに、タッチ位置、ドットパターンの座標系、回転角との関係から、キャリブレーションを行うことが可能である。

さらには、対象物の最大座標値が分かれば、その最大座標値をもとに、その領域を所定の領域に表示できるように、後述する計算式によってキャリブレーションすることもできる。インデックスを読むことにより、最大座標値が分かる。

以上は第１のキャリブレーションである。本発明では、さらに第２のキャリブレーションを行うことができる。

一旦対象物全体を表示させた後に、対象物中の特定の箇所について説明を行うときなど、対象物の一部を拡大して表示させたいことがある。そのような場合に、第２のキャリブレーションを行う。

第２のキャリブレーションでは、表示したい箇所の四隅をタッチする。すると、そのタッチした領域が切り取られ、その部分のみが拡大して表示される。ここで、当該領域のアスペクト比が予め分かっていれば、最低２か所の位置で矩形の領域を判定し、表示することができる。図示しないが、２か所の位置は矩形の縦横いずれかの辺を形成する２か所か、または相対する二隅とすればよい。

＜第２の実施例＞
第２の実施例は、透明マークシートを用いてキャリブレーションを行う方法である。

図１４に示すように、透明マークシートは、四隅にキャリブレーションマークが印刷された透明シートである。透明マークシートは固定した位置に載置しなければならない。

ユーザは、透明シートを対象物の上に被せる。そして、透明シートに印刷されたキャリブレーションマークを、光学読み取り装置でタッチする。すると、光学読み取り装置は、タッチ位置のドットパターンを読み取り、情報処理装置に送信する。情報処理装置は、送信されたドットパターンから対象物の座標系でのタッチ位置のドットｘｙ座標（ｘ_１，ｙ_１）を認識し、表示装置の座標系（ＸＹ座標）と対象物の座標系とを適正に関連付けるためのキャリブレーションを行う。このキャリブレーションには、座標変換関数を用いる。なお、対象物の座標系と表示装置の座標系に変換するための変換係数を求めるために、タッチ位置のドットコード値（インデックス）に対応する様々なパラメータを取得するテーブルを用いる。

なお、光学読み取り装置がドットパターンを読み取ることができるように、キャリブレーションマークは、赤外線透過性のインクで印刷されていることが好ましい。

図１５は、小さなサイズの対象物についてキャリブレーションを行う場合について説明する図である。

このように、小さなサイズの対象物についてキャリブレーションを行う場合には、中央近傍にキャリブレーションマークが印刷された透明マークシートを用いる。

図１６は、キャリブレーションマークが１個の場合について説明する図である。

この場合のキャリブレーション方法については、上述のポインタの場合と同様であるので、ここでは説明を省略する。

図１７、１８は、キャリブレーションマークに番号を備えた場合について説明する図である。

番号を備えることにより、その順番でキャリブレーションマークをタッチすることができるため、ユーザにとっては操作が容易となる。

＜その他の実施例＞
その他、透明マークシートを固定した位置に載置するために、対象物を載置するための台座にマークを設けてもよい。また、台座にくぼみを設けてもよい。また、ユーザが、台座の上に対象物を載置し、マークやくぼみの上をタッチすることにより、キャリブレーションが行われるようにすることができる。

また、上述の透明マークシートは、ドットパターンが設けられたグリッドシートに印刷されていてもよい。グリッドシートの詳細については、特許第４１２９８４１号に記載されている。

＜表示装置の座標系の求め方＞
次に、図１９を用いて、キャリブレーションの計算式について説明する。

対象物の、対象物の座標系（ドット座標系）における座標値は、対象物の左下からＰ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）、Ｐ３（ｘ３、ｙ３）、Ｐ４（ｘ４、ｙ４）である。この対象物の座標系を表示装置の座標系（Ｘ１、Ｙ１）（Ｘ２，Ｙ２）（Ｘ３，Ｙ３）（Ｘ４，Ｙ４）に変換する。

表示装置の中心の座標値を（Ｘｃ、Ｙｃ）、表示装置の垂直方向と、対象物とのなす角度をθとすると、表示装置の座標系は、

ただし、単位距離あたりの座標値Δｘ、ΔＸ、Δｙ、ΔＹ
α＝ΔＸ／Δｘ＝ΔＹ／Δｙ
なお、ΔＸ／ΔｘとΔＹ／Δｙは異なってもよい。
これにより、（Ｘ１，Ｙ１）〜（Ｘ４、Ｙ４）までの領域を、表示装置に正位で、所定の領域または全領域に表示することができる。

＜各種操作について＞
本発明の書画カメラでは、所定の操作により、表示画面を回転、移動、拡大・縮小することができる。

また、上述のキャリブレーションにおいて、所定の操作を行ってからキャリブレーションを行うようにすることもできる。

このような所定の操作は、光学読み取り装置に設けられたボタンの押圧であってもよい。また、対象物、または、対象物とは別体に設けられたペーパーコントローラに印刷されたアイコンであってもよい。さらには、ユーザによる光学読み取り装置に対する種々の動作であってもよい。このような動作としては、光学読み取り装置を傾ける動作であるグリッドティルト、光学読み取り装置をジョイスティックのように回転させる動作であるグリッドグラインド、光学読み取り装置を軸回転させる動作であるグリッドターン、光学読み取り装置を移動する動作であるグリッドスライディング、光学読み取り装置を小刻みに移動を反復させる動作であるグリッドスクラッチ、光学読み取り装置を１または複数回媒体面に接触・離反させる動作であるグリッドタッピング等がある。動作の詳細については、特許第3830956号、3879106号、4268659号等に開示されているため、ここでは説明を省略する。

本発明の書画カメラは、授業、プレゼンテーション等の資料作成を簡単にするものであり、主に学校教育の分野での利用可能性がある（ただしこれ以外の利用方法を本発明の技術的範囲から排除するものではない）。

Claims

対象物を撮影するカメラと、
前記対象物を照射する照明装置と、
前記カメラに有線または無線で接続された情報処理装置と、
前記情報処理装置から出力される映像を表示する少なくとも１つの、該情報処理装置に有線または無線で接続された表示装置と、
前記情報処理装置に有線または無線で接続する、コード情報が定義された所定の規則で媒体面に形成されたドットパターンを読み取り、該コード情報に復号化する光学読み取り装置と、
を備えた書画カメラであって、
前記光学読み取り装置は、前記コード情報および／または前記情報処理装置に対する制御指示を前記情報処理装置に送信する送信手段を備え、
前記情報処理装置は、前記送信手段から送信された前記コード情報および／または制御指示に基づき対応した処理を実行し所定の映像を前記表示装置に表示し、
前記コード情報は、座標値、または、コード値および座標値であり、
前記情報処理装置は、前記光学読み取り装置により読み取られた前記ドットパターンの座標値を認識することにより、前記表示装置の座標系と前記対象物の座標系とを関連付ける処理であるキャリブレーションを行う、
書画カメラ。
前記ドットパターンは前記対象物表面に形成されており、
前記カメラには１または複数のポインティングデバイスが設けられており、
前記ポインティングデバイスによって形成されるポインタは、前記対象物上に形成され、
前記情報処理装置は、前記光学読み取り装置により前記ポインタがタッチされると、タッチ位置における前記ドットパターンの座標値を認識して前記キャリブレーションを行う、
請求項１記載の書画カメラ。
前記ドットパターンは前記対象物表面に形成されており、
該対象物上に、１または複数のマークが設けられた透明シートが載置され、
前記情報処理装置は、前記光学読み取り装置により前記マークがタッチされると、タッチ位置における前記ドットパターンの座標値を認識して前記キャリブレーションを行う、
請求項１記載の書画カメラ。
前記ドットパターンは前記対象物上に載置する透明シートに形成されており、
該透明シートに、１または複数のマークが設けられており、
前記情報処理装置は、前記光学読み取り装置により前記マークがタッチされると、タッチ位置における前記ドットパターンの座標値を認識して前記キャリブレーションを行う、
請求項１記載の書画カメラ。
前記表示装置は、前記情報処理装置からインターネットまたは通信回線を介して接続される第2の情報処理装置に接続されたディスプレイであることを特徴とする、請求項１に記載の書画カメラ。
前記情報処理装置は、さらに情報入力装置が有線または無線で接続され、該情報入力装置からデータの入力を受け処理することを特徴とする、請求項１に記載の書画カメラ。
前記情報入力装置は表示装置を備え、前記所定の映像および／または他の映像を表示することを特徴とする、請求項６に記載の書画カメラ。
前記情報入力装置は、コード情報が定義された所定の規則で媒体面に形成されたドットパターンを読み取り、該コード情報に復号化する光学読み取り装置であることを特徴とする請求項６または請求項７のいずれかに記載の書画カメラ。
前記情報入力装置は、前記表示装置にタッチパネルを備えてデータを入力することを特徴とする、請求項７に記載の書画カメラ。
前記情報入力装置は、携帯電話またはスマートフォン、携帯型ゲーム機、PCであることを特徴とする、請求項６に記載の書画カメラ。
前記情報処理装置は、さらに表示装置を備えた第2の情報処理装置がインターネットまたは通信回線を介して接続され、前記所定の映像を送信すると共に、該第2の情報処理装置からデータの入力を受け処理することを特徴とする、請求項１に記載の書画カメラ。
前記第2の情報処理装置は、コード情報が定義された所定の規則で媒体面に形成されたドットパターンを読み取り、該コード情報に復号化する光学読み取り装置であることを特徴とする請求項１１に記載の書画カメラ。
前記第2の情報処理装置は、携帯電話またはスマートフォン、携帯型ゲーム機、PCであることを特徴とする、請求項１１に記載の書画カメラ。
前記光学読み取り装置と前記情報処理装置が一体となっていることを特徴とする、請求項１〜１３のいずれかに記載の書画カメラ。
前記情報処理装置は、前記光学読み取り装置からの制御指示がない場合または、前記対象物の映像の表示を指示する制御指示がある場合は、前記カメラが撮影した対象物の映像を少なくとも前記表示装置に表示することを特徴とする、請求項１〜１４のいずれかに記載の書画カメラ。
前記情報処理装置は、前記コード情報および／または制御指示に基づき対応した処理により実行されたコンテンツを前記表示装置に表示することを特徴とする、請求項１〜１４のいずれかに記載の書画カメラ。
前記コンテンツは、前記カメラが撮影した対象物の映像と共に前記表示装置に表示されることを特徴とする、請求項１６に記載の書画カメラ。
前記コンテンツと前記対象物の映像は、異なるウィンドウで表示されることを特徴とする、請求項１７に記載の書画カメラ。
前記コンテンツまたは前記対象物の映像が表示するウィンドウの一部の領域に、他方の対象物の映像またはコンテンツが表示されることを特徴とする、請求項１７に記載の書画カメラ。
前記コンテンツは、前記対象物の映像に合成されて表示されることを特徴とする、請求項１７に記載の書画カメラ。
前記情報処理装置は、前記コード情報および／または制御指示に基づき対応した処理により前記表示装置に、
前記光学読み取り装置で読み取った同一のコード情報が定義されたドットパターンが形成されたマスク領域を、前記対象物の映像に重ねて表示されることを特徴とする、請求項１〜２０のいずれかに記載の書画カメラ。
前記マスク領域の表示は、不透明または半透明の所定の色で該マスク領域の外枠を描くか、または該マスク領域内を塗りつぶすかのいずれかにより表示することを特徴とする、請求項２１に記載の書画カメラ。
前記情報処理装置は、前記コード情報および／または制御指示に基づき対応した処理により前記表示装置に、
前記光学読み取り装置で前記ドットパターンが形成された媒体面をなぞった軌跡を、前記対象物の映像に重ねて表示されることを特徴とする、請求項１〜２０のいずれかに記載の書画カメラ。
前記軌跡の表示は、不透明または半透明の所定の色、所定の太さ、所定の線分で描くことにより表示されることを特徴とする、請求項２３に記載の書画カメラ。
前記制御指示は、前記対象物の映像と前記コンテンツの表示方法と表示の切り替えおよび、該コンテンツが映像である場合の停止・一時停止・巻き戻し・早送り・リピートの表示制御を指示することを特徴とする、請求項１６〜２０のいずれかに記載の書画カメラ。
前記光学読み取り装置は、時間情報出力装置を設け、前記制御指示は該時間情報に基づくことを特徴とする、請求項１〜２５のいずれかに記載の書画カメラ。
前記制御指示は、前記コード情報に基づくことを特徴とする、請求項１〜２５のいずれかに記載の書画カメラ。
前記光学読み取り装置には少なくとも1以上のボタンが設けられ、前記制御指示は該ボタン操作に基づくことを特徴とする、請求項１〜２５のいずれかに記載の書画カメラ。
前記ドットパターンは、前記対象物表面に形成されることを特徴とする、請求項１、５〜２８のいずれかに記載の書画カメラ。
前記ドットパターンは、ペーパーコントローラとして所定の媒体に前記制御指示を意味するアイコンと重畳的に形成されることを特徴とする、請求項１、５〜２８のいずれかに記載の書画カメラ。
前記ドットパターンは、前記対象物上に載置する透明シートに形成されることを特徴とする、請求項１、５〜２８のいずれかに記載の書画カメラ。
前記ドットパターンは、前記対象物を覆う透明ケースに形成されることを特徴とする、請求項１、５〜２８のいずれかに記載の書画カメラ。
前記ドットパターンは、赤外線を吸収するインクで形成されていることを特徴とする、請求項１〜３２のいずかに記載の書画カメラ。
前記光学読み取り装置は、赤外線を照射するLEDおよび赤外線のみを透過させるフィルターを備え、赤外線を吸収するインクで形成されたドットパターンを撮像することを特徴とする、請求項３３に記載の書画カメラ。
前記透明シートの表面に赤外線を吸収するインクでドットパターンを形成し、該透明シートの裏面に赤外線拡散反射層を設け、請求項３４に記載の光学読み取り装置で該ドットパターンを読み取ることを特徴とする、請求項４または３１に記載の書画カメラ。
前記透明ケースの表面に赤外線を吸収するインクでドットパターンを形成し、該透明ケースの裏面に赤外線拡散反射層を設け、請求項３４に記載の光学読み取り装置で該ドットパターンを読み取ることを特徴とする、請求項３２に記載の書画カメラ。
前記ドットパターンは、紫外線に反応するインクで形成されていることを特徴とする、請求項１〜３２のいずかに記載の書画カメラ。
前記光学読み取り装置は、紫外線を照射するLEDを備え、紫外線で反応するインクで形成されたドットパターンを撮像することを特徴とする、請求項３７に記載の書画カメラ。
前記光学読み取装置は、ドットパターンを撮像する領域または、該領域近傍を目視可能な光でポインティングする発光装置を設けることを特徴とする、請求項１〜３８のいずれかに記載の書画カメラ。
前記照明装置は、さらに赤外線を照射するLEDを設け、
前記光学読み取り装置は、赤外線のみを透過させるフィルターを備え、赤外線を吸収するインクで形成されたドットパターンを撮像することを特徴とする、請求項３３に記載の書画カメラ。
前記光学読み取り装置は、携帯電話またはスマートフォン、携帯型ゲーム機であることを特徴とする、請求項１〜４０のいずれかに記載の書画カメラ。
前記カメラは有線または無線で前記表示装置と直接接続され、
前記表示装置は、前記情報処理装置から出力される映像および／または前記カメラから出力される映像、を表示する
請求項１〜４１のいずれかに記載の書画カメラ。