JP3817691B2 - 画面を用いた通信方法及び通信システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、画面に任意のデータを表示し、前記画面に描かれた前記データを読み取り装置で読み取ることにより通信することを目的とした画面を用いた通信方法及び通信システムに関する。
【０００２】
【従来の技術】
従来、機器により通信を行うためには、様々なインタフェースが用いられて、機器の価格にも影響を与えると共に、互換性の問題などを生じてきた。従来様々な機器が備えている装置として、画面があり、画像による通信手法も提案されてきたが、それらの方法は、バーコードなどの記号を表示してレーザースキャナやカメラなどの読み取り装置に認識させる方式である。
【０００３】
【発明が解決しようとする課題】
前記従来の通信手法では、データの量は画面や読み取り装置の解像度に制限を受け、通常の画面や読み取り装置では送ることができるデータの量に制限があるという問題点があった。また、走査線を用いた方式は、液晶などの残光が多く走査方式が異なる表示画面では利用することができない問題点があった。更に、任意の長さのデータを送信することは不可能であるので、送信すべきデータ量は用途によって異なるにもかかわらず、送信できるデータ量に制限があるために、大量のデータの伝送を利用したシステムが実現できないこともある。また、コードに他の可視画像を重ねたり、コードに可視画像を含めることにより人間の目視による識別、情報の伝達が可能となるが、可視画像を重ねることも含めることも不可能となるなどの幾多の問題点があった。
【０００４】
【課題を解決するための手段】
この発明では、各種表示画面に表示されるバーコードや模様などを連続表示することにより、任意の長さのデータを通信することを可能とする。また、プリアンブルや機種解像度識別信号を用い前記画面の残光特性や解像度や描き換え速度などを読み取り装置側に知らせることにより、前記画面の機種を問わず、各画面で最速の状態で通信を行うことも可能となる。画面の描き換えのタイミングは同期用マーカ若しくはフレーム番号マーカによって読み取り装置に通知するか、前記読み取り装置が前記画面の変化を検知することで認識することができるなど、前記従来の問題点を解決したのである。更に、この発明によれば、画面を備えるあらゆる端末、たとえば携帯電話、携帯型端末、ノート型計算機、卓上型計算機、テレビゲーム機、テレビなどを用いて、前記各問題点を改善し、任意の長さのデータを送信することができる。
【０００５】
この発明は、プリアンブルの表示法によりデータ送信開始点を知らせた後、データ送信を開始し、該送信データを符号化処理すると共に、同期用マーカ及びフレーム番号マーカを表示した後、画像化処理して得た画像を送信し、通信条件を認識して前記画像を受信し、画面位置・角度を検出し、これを修正処理した後、パラメータ決定処理して画面の描き換えタイミングを図って、この情報をデータエラーを回避して読み取り、読み取った情報を復号処理して復号データとし、この復号データを読み取ることを特徴とした画面を用いた通信方法である。請求項２の発明は、請求項１記載の方法において、データは、端末又はサーバから送られることを特徴とした画面を用いた通信方法である。
【０００６】
また、請求項３記載の発明は、受信した画像を処理することにより、画面の向きにかかわらず前記画面を認識可能にする手法であり、状態が変化しないマーカを特定の箇所に使用することにより、前記画面の向きを読み取り装置に認識させることを特徴とする。前記マーカを前記読み取り装置に認識させ、その位置から、前記画面の向き（上下左右）を判別することが可能となる。前記画面の傾きに関しては、アフィン変換（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）若しくは回転変換若しくは位置ベクトル演算を用いて座標を変換する。
【０００７】
請求項４記載の発明は、請求項１記載の方法において、通信条件は機種解像度識別信号を用いて認識させることを特徴とした画面を用いた通信方法である。
【０００８】
請求項５記載の発明は、請求項１記載の方法において、画面を描き換えるタイミングは同期用マーカを読み取り装置に認識させることにより行うことを特徴とした画面を用いた通信方法である。
【０００９】
請求項６記載の発明は、請求項１記載の方法において、画面の描き換えるタイミングは、画面のフレーム番号マーカを読み取り装置に認識させることにより行うことを特徴とした画面を用いた通信方法である。
【００１０】
請求項７記載の発明は、請求項１記載の方法において、モノクロ階調の違いによる画面の通信法並びに色信号を用いた画面の通信法を特徴とした画面を用いた通信方法である。
【００１１】
請求項８記載の発明は、請求項１記載の方法において、データエラーの回避は読み取りエラーによるエラー訂正符号を用いることを特徴とした画面を用いた通信方法である。
【００１２】
請求項９記載の発明は、請求項１記載の方法において、局所的な読み取り不良を拡散するためのインタリーブを用いることを特徴とした画面を用いた通信方法である。
【００１３】
請求項１０記載の発明は、送信すべきデータ又はサーバから得たデータは、インタリーブを掛けて前処理して符号化処理し、これを画像に変換して画像化処理すること、その出力を画面表示の端末に入力し、該画面表示の画像を送信処理すること、この送信から得た受信画像を画面位置・角度について修正すること、ついでパラメータ決定処理し、この処理した情報を読み取り器で読み取り、これを復号処理して、復号データを得ることの各処理を順次結合させたことを特徴とする画面を用いた通信システムである。
【００１９】
【発明の実施の形態】
この発明の第１の実施形態は、利用者が所持する端末の画面に、二次元バーコードに類する画像を連続表示し、カメラ等で構成される読み取り装置で読み取ることで通信することである。
【００２０】
この発明における画面への描画はプログラムによるもの、ＧＩＦ、ＰＮＧ画像などによる画面の描き変え、ビデオ信号の表示など様々である。
【００２１】
この発明は、画面で通信を行うものである。画面は画素によって構成されたブロックによって構成される。前記ブロックは任意のドット数で構成され、機種別性能差がある場合でもそれぞれの機種で適切な速度で通信を行うことができる。
【００２２】
通信はプリアンブルによって開始点を示される。プリアンブルのフレームは特定の信号を含み、通信開始を知らせる。プリアンブルのフレームは何枚であってもよい。フレーム番号を各フレームに表示する場合は、プリアンブルは必須ではなく、通信途中から読み取りを開始することが可能である。このプリアンブルに情報を含めることで、読み取り装置は、通信の開始点を知ることができる。
【００２３】
画面の位置は、位置マーカによって示される。位置マーカは、画面からデータを読み取るために、前記画面の位置、向き、傾きなどをしめす。
【００２４】
画面の描き換え速度は、機器の性能による。このため、同期を取るためのブロック若しくはフレーム番号を設け、前記の影響を防ぐようにする。ブロックが描き出すパターンを変化させることによって、データを受信機側に送信する。特定のブロック（例えば画面左上の１つ）は、必ず交互に点灯と消灯を繰り返し、これを画面が描き変わる同期用マーカの信号とするか、フレーム番号を示すブロックを表示する。それ以外のブロックでコードを送信する。読み取り装置側で画像の変化を検出することで、自動的に同期を取ることも可能である。
【００２５】
前記におけるブロックの分割数は、画面の応答速度、解像度が異なっているため、自由度を持たせる必要がある。画面が信号送信に使用するブロック数（フレームあたりのビット数）は、プリアンブルの段階で受信機側に知らせるか、若しくは機種解像度識別信号で送信する。描画速度（フレームを描き変えるまでの時間）は、同期用マーカ若しくはフレーム番号マーカを用いて送信するか、読み取り装置が自動的に同期を取る。
【００２６】
ブロックの分割数は、携帯電話のｉモード端末の画面を基準に考えた場合、８×８ドットを１ブロックとすると、１２０×１６０ドットの解像度を持っていれば、３００ブロックということになる。全ブロックをコードの送信用に使用すれば、１フレームで３００ビットの信号を送信することが可能であり、同期用のブロックを設けた場合は２９９ビットとなる。
【００２７】
また画面の応答速度は、立ち上がりと残光処理を含めて遅いもので２００ｍｓとすると、１秒間に５フレームは送信可能なため、毎秒約１５００ビットの送信が可能となる。
【００２８】
次に画面の性能によっては、５０ｍｓ以下の応答速度を持つものもあり、より高速に送信が可能であると思われる。また、１フレームあたりのブロック数も、読み取り装置の精度が高ければ増加可能であろう。
【００２９】
前記における高速通信について説明する。画面による通信の理想の状態では、１フレームで送信可能なビット数は、画面の画素数分である。１２０×１６０ドットの解像度を持つ画面であれば１９．２キロビットにもなる。また、５０ｍｓ程度の応答速度で描画すれば、秒間２０フレームの送信が可能である。
【００３０】
カラー画面の場合は色別の信号を送信することも可能であり、モノクロ端末であっても画素の輝度の違いで送信信号を分けることも可能である。この場合は１フレームあたりの送信ビット数をさらに増加できる。理想的な理論値では、モノクロで２５６階調（８ビット）、カラーの場合６５５３６色（１６ビット）とすると、１フレームあたりに送信可能なビット数は、１２０×１６０ドットの画面の場合、それぞれ、１２０×１６０×８＝１５３，６００ビット＝１５４キロビット、１２０×１６０×１６＝３０７，２００ビット＝３０７キロビットとなる。
【００３１】
前記通信において、誤り補償と信頼性確保のために、エラー訂正符号とインタリーブを用いることが望ましい。
【００３２】
表示画面に可視画像を重ねるか、一部に表示することで、読み取り装置が読み取るデータとは別の人間が目視で理解できる記号や意匠などを表示することができる。
【００３３】
【実施例】
この発明の一実施例について図面に基づいて説明する。図１は同実施例におけ読み取り処理の流れ図である。図１に示すように、表示画面１３にはデータ１０が符号化処理１１，画像化処理１２によって任意の枚数の画像すなわちフレームの連続として表示される。符号化処理１１はデータ１０にエラー訂正信号を付加する、インタリーブを掛けるなどの前処理を行う。画像化処理１２は符号化処理１１によって処理されたデータを画像に変換する。読み取り装置２１は、撮像器１４でこの画面を電気信号に変換し、画面位置角度検出処理１５によって表示画面の位置、向き、傾きを検出する。さらにパラメータ決定処理１６が画面の解像度、表示性能、表示フレームの描き換え、プリアンブルフレーム、フレーム番号などを検出する。データ読み取り１７は画面を読み取り、復号処理１８で符号化処理１１の逆の処理をおこなって、データ１９を復元する。
【００３４】
図２は実施例において端末とは異なるサーバ２２によって画像が生成されている例である。端末２０ではすでにサーバ２２から送られた画像を表示する。
【００３５】
図３に同実施例における１枚のフレームの構成を示す。フレーム３６には位置を決定するための位置マーカ３０、機種識別信号３１、解像度識別信号３２、フレーム番号マーカ３３、方向識別マーカ３４、符号化データ３５からなる。画面１４の位置、向き、傾きは位置マーカ３０と方向識別マーカ３４で検出し、画面の性能や解像度は機種識別信号３１、解像度識別信号３２で検出する。フレームの番号はフレーム番号マーカ３３で識別する。これらを図１で示した処理で用いる。フレーム番号マーカ３３の代わりに同期用マーカの点滅を用いてもよい。また、機種識別信号３１、解像度識別信号３２はフレーム３６に含めず独立したプリアンブル画像によって通信してもよい。符号化データ３５は画面１３や撮像器１４の性能に応じて中間調や色などを用いてもよい。
【００３６】
必要があれば、通信画面の一部若しくは全体に、何らかの可視画像を重ねる若しくは含めることも可能である。図４に可視画像を重ねた可視画像付きフレーム４０を示す。可視画像は広告などに利用できる。図５に示すように、ベース画像４０ａと「ＫＥＩＯ ＵＮＩＶ」の文字４０ｂとを重ねる。
【００３７】
符号化処理１１でエラー訂正などを含めている場合は、この画像が読み取りに与える影響を小さくすることができる。また、フレーム３６に重ねずに画面の一部に独立して表示してもよいし、符号化データ３５の中に含めてもよい。
【００３８】
【発明の効果】
画面に任意の長さのデータを表示し、前記画面に描かれたデータを読み取り装置で読み取ることで通信を行うことを可能とする。この通信は、チケットや入場券、商品などの引換券、ドアなどの電子鍵、クーポンなどの認証若しくは前記チケットや入場券、商品などの引換券、ドアなどの電子鍵、クーポンなどのデータ送信に用いることや、商品の識別情報の送信、工場におけるラインの監視用情報の送信、街頭端末の位置情報の送信、テレビ番組からの他の機器への情報送信などに様々な用途に利用可能である。
【図面の簡単な説明】
【図１】この発明において通信装置の構成を示したブロック図。
【図２】同じく表示装置の構成を変更したブロック図。
【図３】同じく表示するフレームの構成を示した図。
【図４】同じく可視画像を重ねたフレームの例示図。
【図５】同じく図４の説明図。
【符号の説明】
１０ 送信するデータ
１１ 符号化処理
１２ 符号化されたデータを画像化する処理
１３ 表示画面
１４ 画面を電気信号とする撮像器
１５ 画面位置角度検出処理
１６ 画面のパラメータ決定処理
１７ 画像からのデータ読み取り処理
１８ データを復号する処理
１９ 送信されたデータ
２０ 端末
２１ 読み取り装置
２２ サーバ
３０ 位置マーカ
３１ 機種識別信号
３２ 解像度識別信号
３３ フレーム番号マーカ
３４ 方向識別マーカ
３５ 符号化データ
３６ 符号フレーム
４０ 可視画像を重ねたフレーム

Claims (10)

1. プリアンブルの表示法によりデータ送信開始点を知らせた後、データ送信を開始し、該送信データを符号化処理すると共に、同期用マーカ及びフレーム番号マーカを表示した後、画像化処理して得た画像を送信し、通信条件を認識して前記画像を受信し、画面位置・角度を検出し、これを修正処理した後、パラメータ決定処理して画面の描き換えタイミングを図って、この情報をデータエラーを回避して読み取り、読み取った情報を復号処理して復号データとし、この復号データを読み取ることを特徴とした画面を用いた通信方法。
2. 請求項１記載の方法において、データは、端末又はサーバから送られることを特徴とした画面を用いた通信方法。
3. 請求項１記載の方法において、受信した画面の位置角度を検出して、修正処理することにより、受信した画面の向きにかかわらず、正しい画面位置で読み取り装置に認識させるようにすることを特徴とした画面を用いた通信方法。
4. 請求項１記載の方法において、通信条件は機種解像度識別信号を用いて認識させることを特徴とした画面を用いた通信方法。
5. 請求項１記載の方法において、画面を描き換えるタイミングは同期用マーカを読み取り装置に認識させることにより行うことを特徴とした画面を用いた通信方法。
6. 請求項１記載の方法において、画面の描き換えるタイミングは、画面のフレーム番号マーカを読み取り装置に認識させることにより行うことを特徴とした画面を用いた通信方法。
7. 請求項１記載の方法において、モノクロ階調の違いによる画面の通信法並びに色信号を用いた画面の通信法を特徴とした画面を用いた通信方法。
8. 請求項１記載の方法において、データエラーの回避は読み取りエラーによるエラー訂正符号を用いることを特徴とした画面を用いた通信方法。
9. 請求項１記載の方法において、局所的な読み取り不良を拡散するためのインタリーブを用いることを特徴とした画面を用いた通信方法。
10. 送信すべきデータ又はサーバから得たデータは、インタリーブを掛けて前処理して符号化処理し、これを画像に変換して画像化処理すること、その出力を画面表示の端末に入力し、該画面表示の画像を送信処理すること、この送信から得た受信画像を画面位置・角度について修正すること、ついでパラメータ決定処理し、この処理した情報を読み取り器で読み取り、これを復号処理して、復号データを得ることの各処理を順次結合させたことを特徴とする画面を用いた通信システム。

Images