JP4725473B2 - Portable terminal device, information display method, and program - Google Patents
Portable terminal device, information display method, and program Download PDFInfo
- Publication number
- JP4725473B2 JP4725473B2 JP2006271633A JP2006271633A JP4725473B2 JP 4725473 B2 JP4725473 B2 JP 4725473B2 JP 2006271633 A JP2006271633 A JP 2006271633A JP 2006271633 A JP2006271633 A JP 2006271633A JP 4725473 B2 JP4725473 B2 JP 4725473B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- display
- document
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Telephone Function (AREA)
Description
本発明は、携帯端末装置、情報表示方法、及びプログラムに関する。 The present invention relates to a mobile terminal device, an information display method, and a program.
第1の画像情報を有する基体からコード化された埋め込みデータをキャプチャし、このコード化された埋め込みデータを復号化して、位置合わせ情報を展開し、この位置合わせ情報に基づいて第1の情報と位置合わせされた第2の情報をディスプレイする方法が、知られている(例えば、特許文献1参照)。 Capturing the embedded data encoded from the substrate having the first image information, decoding the encoded embedded data, developing the alignment information, and the first information based on the alignment information A method of displaying the aligned second information is known (for example, see Patent Document 1).
この特許文献1は、この方法を実現する第1のシステムとして、以下の構成を開示する。即ち、埋め込みデータを上に有する基体は、半透明のミラーの下に位置決めされる。基体からの画像は画像キャプチャデバイスによってキャプチャされる。画像キャプチャデバイスはキャプチャ画像をデコーダへ送り、デコーダは画像を復号化し、キャプチャ画像からコードを決定する。デコーダはコードを画像ジェネレータへ送る。画像ジェネレータはコードを処理し、これらのコードに基づいて画像情報を生成/検索し、この画像情報を半透明ミラーへ送る。半透明のミラーを見下ろすオブザーバは、基体からの画像上にオーバーレイされる、画像ジェネレータによって生成された画像を見る。 This patent document 1 discloses the following configuration as a first system for realizing this method. That is, the substrate having the embedded data thereon is positioned under the translucent mirror. An image from the substrate is captured by an image capture device. The image capture device sends the captured image to a decoder, which decodes the image and determines a code from the captured image. The decoder sends the code to the image generator. The image generator processes the codes, generates / retrieves image information based on these codes, and sends this image information to the translucent mirror. An observer looking down at the translucent mirror sees the image generated by the image generator overlaid on the image from the substrate.
また、この方法を実現する第2のシステムとして、以下の構成を開示する。即ち、基体からの画像は、半透明のミラーから投影表面へ反射される。基体からの画像は、画像キャプチャデバイスによってもキャプチャされる。画像キャプチャデバイスは、この画像をデコーダへ転送し、デコーダは、画像を処理して、位置合わせ情報を復号化し、更なる情報を生成すべきか否かを判定する。その判定に基づいて、デコーダは信号を画像ジェネレータへパスして、画像ジェネレータが画像を生成するように仕向ける。画像ジェネレータが投影表面へ投影される画像を生成する。投影表面をビューするオブザーバは、画像ジェネレータによって生成された画像にオーバーレイされる基体からの画像を見る。 Moreover, the following structure is disclosed as a second system for realizing this method. That is, the image from the substrate is reflected from the translucent mirror to the projection surface. Images from the substrate are also captured by an image capture device. The image capture device forwards this image to the decoder, which processes the image to decode the alignment information and determine whether further information should be generated. Based on the determination, the decoder passes the signal to the image generator and directs the image generator to generate an image. An image generator generates an image that is projected onto the projection surface. An observer viewing the projection surface sees the image from the substrate overlaid on the image generated by the image generator.
ここで、従来、文書の各位置に関連付けられた情報のうち、特定の範囲に関連付けられた情報を表示する場合に、文書を動かすことなくその特定の範囲を指定することはできなかった。従って、そのような情報を表示する際の操作性が良くないという課題があった。 Here, conventionally, when displaying information associated with a specific range among information associated with each position of the document, the specific range cannot be designated without moving the document. Accordingly, there is a problem that the operability when displaying such information is not good.
本発明は、以上のような背景の下でなされたものであって、その目的は、文書上の各位置に関連付けられた情報のうち、特定の範囲に関連付けられた情報を表示する際の操作性を良くすることにある。 The present invention has been made under the background as described above, and the object thereof is an operation for displaying information associated with a specific range among information associated with each position on a document. It is to improve sex.
請求項1に記載の発明は、
被写体を撮像する撮像手段と、
画像を表示する表示手段と、
各位置に位置情報が埋め込まれた文書上の特定の箇所を前記撮像手段で撮像することにより得られた画像の中から、当該特定の箇所における当該位置情報を取得する取得手段と、
前記取得手段により取得された前記位置情報と、前記撮像手段と前記表示手段の位置関係に関する情報とを用いて、前記表示手段の真下に存在する前記文書上の特定の範囲を決定する決定手段と、
前記文書上の各位置に関連付けられた情報のうち、前記決定手段により決定された前記特定の範囲に関連付けられた情報を前記表示手段が表示するよう制御する制御手段と
を備えたことを特徴とする携帯端末装置である。
請求項2に記載の発明は、
前記制御手段は、前記特定の範囲に関連付けられた情報を、前記文書の当該特定の範囲内の部分の画像に重ねて前記表示手段が表示するよう制御することを特徴とする請求項1記載の携帯端末装置である。
請求項3に記載の発明は、
前記制御手段は、前記特定の範囲に関連付けられた情報のうち、ユーザにより選択された分類に属する情報を前記表示手段が表示するよう制御することを特徴とする請求項1記載の携帯端末装置である。
請求項4に記載の発明は、
被写体を撮像する撮像手段と、画像を表示する表示手段とを備えた携帯端末装置における情報表示方法であって、
各位置に位置情報が埋め込まれた文書上の特定の箇所を前記撮像手段で撮像するステップと、
前記撮像手段で撮像することにより得られた画像の中から前記特定の箇所における前記位置情報を取得するステップと、
取得された前記位置情報と、前記撮像手段と前記表示手段の位置関係に関する情報とを用いて、前記表示手段の真下に存在する前記文書上の特定の範囲を決定するステップと、
前記文書上の各位置に関連付けられた情報のうち、決定された前記特定の範囲に関連付けられた情報を前記表示手段に表示するステップと
を含むことを特徴とする情報表示方法である。
請求項5に記載の発明は、
被写体を撮像する撮像手段と、画像を表示する表示手段とを備えた携帯端末装置に、
各位置に位置情報が埋め込まれた文書上の特定の箇所を前記撮像手段で撮像することにより得られた画像の中から、当該特定の箇所における当該位置情報を取得する機能と、
取得された前記位置情報と、前記撮像手段と前記表示手段の位置関係に関する情報とを用いて、前記表示手段の真下に存在する前記文書上の特定の範囲を決定する機能と、
前記文書上の各位置に関連付けられた情報のうち、決定された前記特定の範囲に関連付けられた情報を前記表示手段に表示する機能と
を実現させるためのプログラムである。
請求項6に記載の発明は、
前記表示する機能では、前記特定の範囲に関連付けられた情報を、前記文書の当該特定の範囲内の部分の画像に重ねて表示することを特徴とする請求項5記載のプログラムである。
請求項7に記載の発明は、
前記表示する機能では、前記特定の範囲内に関連付けられた情報のうち、ユーザにより選択された分類に属する情報を表示することを特徴とする請求項5記載のプログラムである。
The invention described in claim 1
Imaging means for imaging a subject;
Display means for displaying an image;
An acquisition means for acquiring the position information at the specific location from the image obtained by imaging the specific location on the document in which the position information is embedded at each position by the imaging means;
Determining means for determining a specific range on the document existing directly below the display means by using the position information acquired by the acquiring means and information on the positional relationship between the imaging means and the display means; ,
Control means for controlling the display means to display information associated with the specific range determined by the determination means among the information associated with each position on the document. Mobile terminal device.
The invention described in claim 2
2. The control unit according to claim 1, wherein the control unit controls the display unit to display the information associated with the specific range so as to be superimposed on an image of a portion within the specific range of the document. It is a portable terminal device.
The invention according to claim 3
2. The mobile terminal device according to claim 1, wherein the control unit controls the display unit to display information belonging to a classification selected by a user among information associated with the specific range. is there.
The invention according to claim 4
An information display method in a mobile terminal device comprising an imaging means for imaging a subject and a display means for displaying an image,
Imaging a specific location on the document in which position information is embedded at each position with the imaging means ;
Obtaining the position information at the specific location from the image obtained by imaging with the imaging means ;
Determining a specific range on the document existing directly below the display unit using the acquired position information and information on a positional relationship between the imaging unit and the display unit ;
Of the information associated with each position on the document, the information display method, characterized in that the information associated with the determined the specific range and displaying on the display means.
The invention described in claim 5
In a portable terminal device comprising an imaging means for imaging a subject and a display means for displaying an image ,
From among the image obtained by imaging by the imaging means a specific position on the document location information is embedded in each position, a function of acquiring the position information in the specific location,
A function for determining a specific range on the document existing directly below the display unit using the acquired position information and information on a positional relationship between the imaging unit and the display unit;
Of the information associated with each position on the document, a program for causing the information associated with the determined the specific range and a function to be displayed on said display means.
The invention described in claim 6
6. The program according to claim 5, wherein the display function superimposes information associated with the specific range on an image of a portion within the specific range of the document.
The invention described in claim 7
6. The program according to claim 5, wherein the display function displays information belonging to a category selected by a user among information associated with the specific range.
請求項1の発明は、文書の各位置に関連付けられた情報のうち、特定の範囲に関連付けられた情報を表示する場合に、文書を動かすことなくその特定の範囲を指定することができるので、本構成を有していない場合に比較して、そのような情報を表示する際の操作性が良くなり、かつ、文書上の特定の箇所を撮像した際の特定の範囲を携帯端末装置の構造に応じて決定できるようになるという効果を有する。
請求項2の発明は、文書の特定の範囲内の部分の画像も重ねて表示できるので、表示された情報を元の文書との関連で把握できるようになるという効果を有する。
請求項3の発明は、複数種類の情報のうちユーザが希望する情報を表示できるようになるという効果を有する。
請求項4の発明は、文書の各位置に関連付けられた情報のうち、特定の範囲に関連付けられた情報を表示する場合に、撮像する箇所に関わらずその特定の範囲を決定することができるので、本構成を有していない場合に比較して、適切な範囲における情報を表示できるようになり、かつ、文書上の特定の箇所を撮像した際の特定の範囲を携帯端末装置の構造に応じて決定できるようになるという効果を有する。
請求項5の発明は、文書の各位置に関連付けられた情報のうち、特定の範囲に関連付けられた情報を表示する場合に、撮像する箇所に関わらずその特定の範囲を決定することができるので、本構成を有していない場合に比較して、適切な範囲における情報を表示でき、かつ、文書上の特定の箇所を撮像した際の特定の範囲を携帯端末装置の構造に応じて決定できるようになるという効果を有する。
請求項6の発明は、文書の特定の範囲内の部分の画像も重ねて表示できるので、表示された情報を元の文書との関連で把握できるようになるという効果を有する。
請求項7の発明は、複数種類の情報のうちユーザが希望する情報を表示できるようになるという効果を有する。
In the invention of claim 1, when displaying information associated with a specific range among information associated with each position of the document, the specific range can be designated without moving the document. as compared with the case not having this constitution, such Ri information good operability in displaying, and a specific range at the time of capturing a specific location on the document of the mobile terminal device This has the effect that it can be determined according to the structure .
According to the second aspect of the present invention, since an image of a portion within a specific range of the document can be displayed in an overlapping manner, the displayed information can be grasped in relation to the original document.
The invention of claim 3 has an effect that information desired by the user among a plurality of types of information can be displayed.
According to the fourth aspect of the present invention, when displaying information associated with a specific range among information associated with each position of the document, the specific range can be determined regardless of the location to be imaged. , as compared with the case not having this constitution, Ri Na as display information in a proper range, and a specific range at the time of capturing a specific location on the document structure of the portable terminal device This has the effect that it can be determined accordingly .
According to the fifth aspect of the present invention, when displaying information associated with a specific range among information associated with each position of the document, the specific range can be determined regardless of the location to be imaged. Compared to the case where this configuration is not provided, information in an appropriate range can be displayed , and a specific range when a specific location on the document is imaged can be determined according to the structure of the mobile terminal device It has the effect of becoming
According to the sixth aspect of the present invention, since an image of a part within a specific range of the document can be displayed in an overlapping manner, the displayed information can be grasped in relation to the original document.
The invention of claim 7 has an effect that information desired by the user among a plurality of types of information can be displayed.
以下、添付図面を参照して、本発明を実施するための最良の形態(以下、「実施の形態」という)について詳細に説明する。
図1は、本実施の形態が適用されるコンピュータシステムの構成を示している。
図示するように、このコンピュータシステムは、携帯電話10と、サーバ20とが、基地局80及びネットワーク90を介して接続されている。
The best mode for carrying out the present invention (hereinafter referred to as “embodiment”) will be described below in detail with reference to the accompanying drawings.
FIG. 1 shows the configuration of a computer system to which this embodiment is applied.
As shown in the figure, in this computer system, a
携帯電話10は、一般的な携帯電話であり、一般ユーザが所持する。但し、本実施の形態において、携帯電話10は、撮像機能を備えた所謂「カメラ付き携帯電話」であるものとする。また、音声により通信する機能の他に、サーバ20との間でデータ通信を行うための機能を有するものとする。
サーバ20は、パーソナルコンピュータやワークステーション、その他のコンピュータにて実現され、携帯電話10向けのサービスを提供する企業等の管理センター等に設置される。
基地局80は、携帯電話10をネットワーク90に接続させるための装置である。
ネットワーク90は、サーバ20と基地局80との間に存在するネットワークである。尚、ネットワーク90は、携帯電話10用のパケット通信網と、インターネットとを含むが、図ではこれらを区別せずに示している。
The
The
The
The
次に、図1に示した携帯電話10及びサーバ20のハードウェア構成について、図2を参照して説明する。
図2(a)は、携帯電話10のハードウェア構成の例を模式的に示した図である。
図示するように、携帯電話10は、演算手段であるCPU(Central Processing Unit:中央処理装置)10aと、記憶手段であるメモリ10bと、LCD(Liquid Crystal Display)等のディスプレイを含む表示機構10cと、操作キー等の入力デバイス10dと、マイクロフォン等の音声入力機構10eと、スピーカ等の音声出力機構10fとを備える。また、被写体を撮像するカメラを含む撮像機構10gを備える。更に、基地局80を介して無線通信を行うための無線回路10h及びアンテナ10iを備える。ここで、無線回路には、図示しないが、無線で送受信されるデジタルデータの信号処理を行なうベースバンドLSIが含まれるものとする。
Next, the hardware configuration of the
FIG. 2A is a diagram schematically illustrating an example of the hardware configuration of the
As shown in the figure, the
また、図2(b)は、サーバ20のハードウェア構成の例を模式的に示した図である。
図示するように、サーバ20は、演算手段であるCPU20aと、記憶手段であるメインメモリ20b及び磁気ディスク装置(HDD:Hard Disk Drive)20cとを備える。ここで、CPU20aは、OS(Operating System)やアプリケーション等の各種ソフトウェアを実行し、上述した各機能を実現する。また、メインメモリ20bは、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置20cは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、サーバ20は、外部との通信を行うための通信I/F20dと、ビデオメモリやディスプレイ等からなる表示機構20eと、キーボードやマウス等の入力デバイス20fとを備える。
FIG. 2B is a diagram schematically illustrating an example of the hardware configuration of the
As shown in the figure, the
Further, the
ところで、本実施の形態では、まず、携帯電話10のカメラを用いて文書上の特定の箇所を撮影する。そして、その特定の箇所に応じて決定された特定の範囲に関連する情報をサーバ20から取得し、携帯電話10のディスプレイに表示する。
ここで、撮影対象の文書は、紙等の媒体に画像が形成されたものであるが、関連する情報を特定できるようにその文書の識別情報を表すコード画像が埋め込まれている。また、撮影箇所を認識できるように、文書上の各位置を特定する位置情報を表すコード画像も埋め込まれている。
By the way, in this embodiment, first, a specific portion on a document is photographed using the camera of the
Here, the document to be photographed is an image formed on a medium such as paper, but a code image representing identification information of the document is embedded so that related information can be specified. Also, a code image representing position information for specifying each position on the document is embedded so that the photographing location can be recognized.
そこで、このコード画像について説明しておく。
図3は、コード画像の元となるコードパターンについて説明するための図である。
まず、コードパターンを構成するビットパターンについて説明する。
図3(a)に、ビットパターンの配置の一例を示す。
ビットパターンとは、情報埋め込みの最小単位である。ここでは、図3(a)に示すように、9箇所の中から選択した2箇所にビットを配置する。図では、黒の四角が、ビットが配置された位置を示し、斜線の四角が、ビットが配置されていない位置を示している。9箇所の中から2箇所を選択する組み合わせは、36(=9C2)通りある。従って、このような配置方法により、36通り(約5.2ビット)の情報を表現することができる。
Therefore, this code image will be described.
FIG. 3 is a diagram for explaining the code pattern that is the basis of the code image.
First, the bit pattern constituting the code pattern will be described.
FIG. 3A shows an example of bit pattern arrangement.
A bit pattern is the minimum unit of information embedding. Here, as shown in FIG. 3A, bits are arranged at two locations selected from nine locations. In the figure, black squares indicate positions where bits are arranged, and hatched squares indicate positions where bits are not arranged. There are 36 (= 9 C 2 ) combinations for selecting 2 locations out of 9 locations. Therefore, 36 kinds (about 5.2 bits) of information can be expressed by such an arrangement method.
ところで、図3(a)に示した最小の四角は、600dpiにおける2ドット×2ドットの大きさを有している。600dpiにおける1ドットの大きさは0.0423mmなので、この最小の四角の一辺は、84.6μm(=0.0423mm×2)である。コードパターンを構成するドットは、大きくなればなるほど目に付きやすくなるため、できるだけ小さいほうが好ましい。ところが、あまり小さくすると、プリンタで印刷できなくなってしまう。そこで、ドットの大きさとして、50μmより大きく100μmより小さい上記の値を採用している。これにより、プリンタで印刷可能な最適な大きさのドットを形成することができる。つまり、84.6μm×84.6μmが、プリンタで安定的に形成可能な最小の大きさなのである。
尚、ドットをこのような大きさにすることで、1つのビットパターンの一辺は、約0.5mm(=0.0423mm×2×6)となる。
By the way, the minimum square shown in FIG. 3A has a size of 2 dots × 2 dots at 600 dpi. Since the size of one dot at 600 dpi is 0.0423 mm, one side of this minimum square is 84.6 μm (= 0.0423 mm × 2). The larger the dots that make up the code pattern, the more likely it is to be noticeable. However, if it is too small, printing with a printer becomes impossible. Therefore, the above value is adopted as the dot size, which is larger than 50 μm and smaller than 100 μm. Thereby, it is possible to form dots of an optimum size that can be printed by the printer. That is, 84.6 μm × 84.6 μm is the minimum size that can be stably formed by the printer.
In addition, by setting the dot to such a size, one side of one bit pattern becomes about 0.5 mm (= 0.0423 mm × 2 × 6).
また、このようなビットパターンから構成されるコードパターンについて説明する。
図3(b)に、コードパターンの配置の一例を示す。
ここで、図3(b)に示した最小の四角が、図3(a)に示したビットパターンに相当する。尚、図3(a)では、1つのビットパターンで36通りの情報を表現できるものとして説明したが、このコードパターンにおいて、1つのビットパターンは、同期符号を除き、32通り(5ビット)の情報を表現するものとする。
A code pattern composed of such bit patterns will be described.
FIG. 3B shows an example of the arrangement of code patterns.
Here, the minimum square shown in FIG. 3B corresponds to the bit pattern shown in FIG. In FIG. 3A, it has been described that 36 kinds of information can be expressed by one bit pattern. However, in this code pattern, one bit pattern has 32 kinds (5 bits) except for a synchronous code. It shall represent information.
そして、識別情報を符号化した識別符号は、16(=4×4)個のビットパターンを使用して埋め込まれる。また、X方向の位置情報を符号化したX位置符号と、Y方向の位置情報を符号化したY位置符号とは、それぞれ、4個のビットパターンを使用して埋め込まれる。更に、左上角部に、コードパターンの位置と回転を検出するための同期符号が、1つのビットパターンを使用して埋め込まれる。
尚、1つのコードパターンの大きさは、ビットパターンの5個分の幅に等しいため、約2.5mmとなる。本実施の形態では、このように生成したコードパターンを画像化したコード画像を、用紙全面に配置する。
The identification code obtained by encoding the identification information is embedded using 16 (= 4 × 4) bit patterns. Also, the X position code obtained by encoding the position information in the X direction and the Y position code obtained by encoding the position information in the Y direction are each embedded using four bit patterns. Further, a synchronization code for detecting the position and rotation of the code pattern is embedded in the upper left corner using one bit pattern.
Note that the size of one code pattern is approximately 2.5 mm because it is equal to the width of five bit patterns. In the present embodiment, a code image obtained by imaging the code pattern generated in this way is arranged on the entire sheet surface.
尚、識別情報及び位置情報の具体的な符号化方法については、ここでは述べなかったが、次のような方法で符号化を行う。
まず、識別情報の符号化には、ブロック符号化方式のRS(リードソロモン)符号が使用される。図3で説明した通り、本実施の形態では、5ビットの情報を表現できるビットパターンを用いて情報を埋め込む。従って、情報の誤りも5ビット単位で発生するため、ブロック符号化方式で符号化効率が良いRS符号を使用している。但し、符号化方式はRS符号に限定するものでなく、その他の符号化方式、例えば、BCH符号等を使用することもできる。
また、位置情報の符号化には、擬似乱数系列の一種であるM系列符号が使用される。ここで、M系列とは、K段の線形シフトレジスタで発生できる最大周期の系列であり、2K−1の系列長をもつ。このM系列から取り出した任意の連続したKビットは、同じM系列中の他の位置に現れない性質を持つ。そこで、この性質を利用して位置情報を符号化する。
Although a specific encoding method of identification information and position information has not been described here, encoding is performed by the following method.
First, an RS (Reed-Solomon) code of a block coding method is used for encoding identification information. As described with reference to FIG. 3, in the present embodiment, information is embedded using a bit pattern that can represent 5-bit information. Accordingly, since an information error also occurs in units of 5 bits, an RS code having good coding efficiency is used in the block coding method. However, the encoding method is not limited to the RS code, and other encoding methods such as a BCH code can also be used.
In addition, an M-sequence code, which is a kind of pseudo-random sequence, is used for encoding position information. Here, the M sequence is a sequence of the maximum period that can be generated by a K-stage linear shift register, and has a sequence length of 2 K −1. Arbitrary consecutive K bits extracted from the M sequence have a property that they do not appear at other positions in the same M sequence. Therefore, the position information is encoded using this property.
次に、本実施の形態における概要動作について説明する。
図4は、本実施の形態の概要動作を説明するための図である。
本実施の形態では、まず、ユーザが、携帯電話10を用いて文書を撮影し、画像を得る(A)。これにより、携帯電話10は、撮影した画像に埋め込まれた識別符号及び位置符号を復号し、識別情報及び位置情報を得る(B)。また、このとき、携帯電話10は、撮影した画像に関連する画像(以下、「関連画像」という)の分類を選択するための画面を表示し、ユーザが、画面上で分類を選択する(C)。
Next, the outline | summary operation | movement in this Embodiment is demonstrated.
FIG. 4 is a diagram for explaining the outline operation of the present embodiment.
In the present embodiment, first, a user uses a
すると、情報はサーバ20に送信される。ここで、サーバ20には、撮影対象となった文書の電子データである文書画像と、この文書画像に関連する関連画像とが記憶されている。そこで、サーバ20は、受信した情報に従い、文書画像と関連画像とをデータベースから検索する(D)。そして、検索された画像から携帯電話10のディスプレイに対応する範囲の画像を切り出し、これを表示画像とする(E)。例えば、文書のある箇所を真上から撮影したとすると、そのときにディスプレイの真下に存在する範囲の画像を切り出して表示画像とする。
Then, the information is transmitted to the
そして、サーバ20は、携帯電話10にこの表示画像を送信し、携帯電話10では、この表示画像がディスプレイに表示される(F)。
尚、このAからFまでの処理は、携帯電話10の移動に応じて繰り返される(G)。即ち、携帯電話10が文書上を移動する間、一定の時間間隔で文書を撮影するよう自動制御される。或いは、携帯電話10を移動させながらユーザが撮影の指示を行うことによって撮影するようにしてもよい。
Then, the
The processes from A to F are repeated according to the movement of the mobile phone 10 (G). That is, while the
このような概略動作により、携帯電話10のディスプレイには、図5に示すような画像が表示される。尚、ここでは、撮影対象の文書として地図を例示する。
図5(a)は、撮影対象となっている地図の上に関連画像を合成して表示した例を示したものである。元の地図に関連画像を付加して表示することから、以下では、このような表示形態を「付加型」と称する。尚、図4は、元の文書の電子データである文書画像とその文書画像に関連する関連画像とを合わせて表示画像としているので、この「付加型」について説明したものである。
一方、図5(b)は、撮影対象となっている地図は表示せず、関連画像のみを表示した例を示したものである。あたかも撮影対象となっている地図を透視してその裏に隠れている関連画像を表示しているように感じられることから、以下では、このような表示形態を「透視型」と称する。
With such a schematic operation, an image as shown in FIG. 5 is displayed on the display of the
FIG. 5A shows an example in which related images are synthesized and displayed on a map to be photographed. Since a related image is added and displayed on the original map, such a display form is hereinafter referred to as “additional type”. FIG. 4 illustrates the “additional type” because the document image which is electronic data of the original document and the related image related to the document image are combined into a display image.
On the other hand, FIG. 5B shows an example in which only a related image is displayed without displaying a map to be photographed. In the following, such a display form is referred to as a “perspective type” because it feels as if a map to be photographed is seen through and a related image hidden behind the map is displayed.
次に、本実施の形態における携帯電話10の機能構成について説明する。
図6は、携帯電話10の機能構成を示したブロック図である。
図示するように、携帯電話10は、画像解析部11と、識別情報取得部12と、位置情報取得部13と、範囲情報生成部14と、選択情報取得部15と、表示制御部16と、通信制御部17とを備える。
Next, the functional configuration of the
FIG. 6 is a block diagram showing a functional configuration of the
As shown in the figure, the
画像解析部11は、撮像機構10gが撮影した画像を取得し、その画像を解析して識別符号及び位置符号を取り出す。
識別情報取得部12は、画像解析部11が取り出した識別符号を復号して識別情報を取得する。
位置情報取得部13は、画像解析部11が取り出した位置符号を復号して位置情報を取得する。
範囲情報生成部14は、位置情報取得部13が取得した位置情報を、表示機構10cと撮像機構10gの位置関係に基づいて補正し、撮影時に表示機構10cに対応していた範囲を示す範囲情報を生成する。
選択情報取得部15は、同じ文書画像に対して複数の分類に属する関連画像が存在する場合において、ユーザによる分類の選択に関する情報(以下、「選択情報」という)を取得する。
表示制御部16は、表示機構10cが関連画像等を表示する際の制御を行う。
通信制御部17は、無線回路10hがアンテナ10i、基地局80、ネットワーク90を介してサーバ20と通信する際の制御を行う。
The image analysis unit 11 acquires an image captured by the
The identification
The position
The range
The selection
The
The
尚、これらの機能は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、CPU10aが、画像解析部11、識別情報取得部12、位置情報取得部13、範囲情報生成部14、選択情報取得部15、表示制御部16、通信制御部17の各機能を実現するプログラムを、メモリ10bから読み込むことにより、これらの機能を実現する。
These functions are realized by cooperation between software and hardware resources. That is, the program in which the
次に、本実施の形態におけるサーバ20の機能構成について説明する。
図7は、サーバ20の機能構成を示したブロック図である。
図示するように、サーバ20は、通信制御部21と、検索部22と、抽出部23と、データベース24とを備える。
通信制御部21は、通信I/F20dが基地局80及びネットワーク90を介して携帯電話10と通信する際の制御を行う。
検索部22は、通信制御部21が受信した情報に基づいてデータベース24を検索し、検索結果を通信制御部21に返却する。
抽出部23は、検索部22による検索結果から特定の範囲を抽出する。
データベース24は、文書画像と関連画像とを、文書の識別情報と、関連画像に関する分類とに基づいて検索可能なように記憶している。
Next, the functional configuration of the
FIG. 7 is a block diagram showing a functional configuration of the
As illustrated, the
The
The
The
The
尚、これらの機能は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、CPU20aが、通信制御部21、検索部22、抽出部23の各機能を実現するプログラムを、例えば磁気ディスク装置20cからメインメモリ20bに読み込むことにより、これらの機能を実現する。
また、データベース24は、例えば磁気ディスク装置20cを用いて実現することができる。
These functions are realized by cooperation between software and hardware resources. That is, the
The
以下、このデータベース24の内容について具体的に説明する。尚、ここでも、文書として地図を例示する。
まず、データベース24においては、地図を一意に識別する識別情報である地図IDごとに、地図画像及び関連画像が記憶されている。図7では、地図ID「1001」、「1002」、…について、地図画像及び関連画像を例示している。
ここで、地図画像とは、撮影対象となっている地図を予め電子化した電子データである。
また、関連画像とは、この地図画像に含まれるのと全く同じ地域に関する他の情報を電子化した電子データである。
Hereinafter, the contents of the
First, in the
Here, the map image is electronic data obtained by digitizing a map to be photographed in advance.
The related image is electronic data obtained by digitizing other information related to the same region as that included in the map image.
この関連画像としては、例えば、図7のデータベース24内の左側に示すように、バス路線図、電車路線図、一般道路図、高速道路図等の画像がある。
ところで、これらの関連画像は、地図画像に関連する他の情報を予め画像データとして作成し記憶するものであるが、関連画像の記憶方法は必ずしもこれには限られない。
即ち、図7のデータベース24内の右側に示すような記憶方法も考えられる。ここでは、地図画像に関連する他の情報を、画像データとしてではなく、座標値と施設名の対応情報として記憶している。この場合は、座標値で示される位置に対応する施設があることを示す画像データを必要に応じて作成することで、関連画像が動的に得られることになる。
Examples of the related image include images such as a bus route map, a train route map, a general road map, and an expressway map as shown on the left side in the
By the way, these related images are for creating and storing other information related to the map image in advance as image data, but the storage method of the related images is not necessarily limited to this.
That is, a storage method as shown on the right side in the
次に、本実施の形態の動作について詳細に説明する。
図8は、本実施の形態における携帯電話10とサーバ20の動作を示したシーケンス図である。
携帯電話10では、まず、撮像機構10gが撮影した画像を、画像解析部11が取得する(ステップ101)。そして、この取得した画像を解析する(ステップ102)。
Next, the operation of the present embodiment will be described in detail.
FIG. 8 is a sequence diagram showing operations of the
In the
ここで、画像解析部11が行う処理には、次のようなものがある。
まず、取得した画像において、文書の画像(例えば、地図自体の画像)と、コード画像とを切り分ける処理がある。例えば、文書を印刷するのに用いていない色でコード画像を印刷しておけば、この色を検出することで切り分けを行うことは可能である。
或いは、撮像機構10gにおけるイメージセンサとして、赤外光用のセンサを設けることも考えられる。この場合、文書は可視トナーで印刷し、コード画像は赤外領域に吸収波長を持つ不可視トナーで印刷する。そして、赤外LEDにより赤外光を照射し、その反射光を赤外光用のイメージセンサで受光することにより、文書の画像とコード画像を切り分けることができる。
Here, the processing performed by the image analysis unit 11 includes the following.
First, in the acquired image, there is a process of separating a document image (for example, an image of the map itself) and a code image. For example, if a code image is printed in a color that is not used to print a document, it is possible to perform separation by detecting this color.
Alternatively, an infrared sensor may be provided as an image sensor in the
次に、切り分けられたコード画像に含まれるノイズを除去するための処理がある。ここで、ノイズとしては、CMOS感度のばらつきや電子回路により発生するノイズ等がある。ノイズを除去するために如何なる処理を行うかは、撮像機構10gの特性に応じて決定すべきである。例えば、ぼかし処理やアンシャープマスキング等の先鋭化処理を適用することができる。
Next, there is a process for removing noise included in the cut code image. Here, the noise includes variations in CMOS sensitivity, noise generated by an electronic circuit, and the like. What processing is performed to remove noise should be determined according to the characteristics of the
その次に行う処理としては、画像からドットパターン(ドット画像の位置)を検出する処理がある。例えば、2値化処理によりドットパターン部と背景部とを切り分け、2値化された個々の画像位置からドットパターンを検出することができる。2値化画像にノイズ成分が多数含まれる場合は、例えば、2値化画像の面積や形状によりドットパターンの判定を行うフィルタ処理を組み合わせる必要がある。
また、検出したドットパターンを2次元配列上のデジタルデータに変換する。例えば、2次元配列上で、ドットがある位置を「1」、ドットがない位置を「0」というように変換する。
The next process is a process of detecting a dot pattern (position of a dot image) from an image. For example, the dot pattern portion and the background portion are separated by binarization processing, and the dot pattern can be detected from each binarized image position. When a binarized image contains a lot of noise components, for example, it is necessary to combine a filter process for determining a dot pattern based on the area and shape of the binarized image.
The detected dot pattern is converted into digital data on a two-dimensional array. For example, on a two-dimensional array, a position where there is a dot is converted to “1”, and a position where there is no dot is converted to “0”.
次いで、デジタルデータから、図3(a)に示した2つのドットの組み合わせからなるビットパターンを検出する処理がある。例えば、ビットパターンに対応するブロックの境界位置を2次元配列上で動かし、ブロック内に含まれるドットの数が2つになるような境界位置を検出することにより、ビットパターンを検出することができる。
このようにしてビットパターンが検出されると、ビットパターンの種類を参照することにより、同期符号を検出する。そして、同期符号からの位置関係に基づいて、識別符号及び位置符号を検出する。
Next, there is processing for detecting a bit pattern composed of a combination of two dots shown in FIG. 3A from digital data. For example, the bit pattern can be detected by moving the boundary position of the block corresponding to the bit pattern on the two-dimensional array and detecting the boundary position so that the number of dots included in the block is two. .
When the bit pattern is detected in this way, the synchronization code is detected by referring to the type of the bit pattern. And an identification code and a position code are detected based on the positional relationship from a synchronous code.
その後、識別情報取得部12は、識別符号を復号して識別情報を取得し、通信制御部17に受け渡す(ステップ103)。尚、識別情報は、識別符号に対してRS復号処理を施すことで得られる。
また、位置情報取得部13は、位置符号を復号して位置情報を取得し、範囲情報生成部14に受け渡す(ステップ104)。尚、位置情報は、読み出した部分系列の位置を、画像生成時に使用したM系列と比較することで得られる。
次に、範囲情報生成部14は、ステップ104で取得した位置情報と、表示機構10cと撮像機構10gの位置関係に関する情報とに基づいて、携帯電話10のディスプレイに表示すべき画像の範囲を求め、通信制御部17に受け渡す(ステップ105)。尚、表示機構10cと撮像機構10gの位置関係に関する情報は、メモリ10bに記憶されているものとする。
Thereafter, the identification
In addition, the position
Next, the range
ここで、携帯電話10のディスプレイに表示すべき画像の範囲の求め方について具体的に説明する。
図9(a)に、携帯電話10を水平にして上部から見た状態を示している。
図示するように、例えば、カメラ18のレンズの中心点を原点Oとし、ディスプレイ19の横枠に平行な方向にX軸をとり、縦枠に平行な方向にY軸をとる。そして、ディスプレイ19の左上角の点をA、右上角の点をB、左下角の点をC、右下角の点をDとする。
一方、携帯電話10で文書を撮影する際には、文書上に次のように座標を設定する。
即ち、携帯電話10のカメラ18による撮影範囲38の中心点を原点O’とし、撮影範囲38の横枠に平行な方向にX軸をとり、縦枠に平行な方向にY軸をとる。そして、この文書上の座標において、携帯電話10における点A、B、C、Dにそれぞれ対応する点A’、B’、C’、D’を求める。そして、これらの点A’、B’、C’、D’で囲まれた範囲を表示範囲39とする。
Here, how to obtain the range of the image to be displayed on the display of the
FIG. 9A shows a state in which the
As shown in the figure, for example, the center point of the lens of the
On the other hand, when shooting a document with the
That is, the center point of the
再び図8に戻って本実施の形態の動作の説明を続ける。
識別情報取得部12により識別情報が取得され、範囲情報生成部14により範囲情報が生成されると、選択情報取得部15が、表示制御部16に対し、関連画像に関する分類を選択するための選択肢を表示するよう指示する。すると、表示制御部16による制御の下、表示機構10cが、関連画像に関する分類を選択するための選択肢を表示する(ステップ106)。
そこで、ユーザが、関連画像に関する特定の分類を選択すると、選択情報取得部15は、その選択内容を示す選択情報を取得し、通信制御部17に受け渡す(ステップ107)。尚、このとき、ユーザは、携帯電話10で画像を表示する際の表示形態も指定する。そして、選択情報取得部15は、この表示形態の指定も選択情報に含めて通信制御部17に受け渡す。
これにより、通信制御部17は、無線回路10hを制御し、アンテナ10i、基地局80、ネットワーク90を介して、識別情報、範囲情報、選択情報をサーバ20に送信する(ステップ108)。
Returning to FIG. 8 again, the description of the operation of the present embodiment will be continued.
When the identification information is acquired by the identification
Therefore, when the user selects a specific classification related to the related image, the selection
Thereby, the
これにより、サーバ20では、通信I/F20dが、識別情報、範囲情報、選択情報を受信し、通信制御部21を介してこれらの情報を検索部22に渡す(ステップ201)。
次に、検索部22は、識別情報及び選択情報をキーにデータベース24を検索し、関連画像を検索する(ステップ202)。即ち、識別情報に対応し、かつ、選択情報が示す分類に属する関連画像を特定する。例えば、ユーザが携帯電話10を用いて地図ID「1001」の地図を撮影し、表示したい関連画像として「バス路線図」を選択したとすると、地図ID「1001」に対応付けられたバス路線図の画像を特定する。また、ユーザが携帯電話10を用いて地図ID「1002」の地図を撮影し、表示したい関連画像として「施設名」を選択したとすれば、地図ID「1002」に対応付けられた施設の画像(「C銀行本店」、「△△デパート」等の場所を示した画像)を特定する。
Thereby, in the
Next, the
次いで、検索部22は、表示形態が「透視型」であるか「付加型」であるかを判定する(ステップ203)。
ここで、表示形態が「透視型」であると判定された場合は、検索された関連画像をそのまま抽出部23に受け渡す。尚、このとき、抽出部23には、通信制御部21から渡された範囲情報も渡される。
一方、表示形態が「付加型」であると判定された場合は、識別情報をキーに再びデータベース24を検索し、地図画像を検索する(ステップ204)。そして、ステップ202で検索した関連画像とこの地図画像とを合成し、この合成画像を抽出部23に受け渡す(ステップ205)。尚、このとき、抽出部23には、通信制御部21から渡された範囲情報も渡される。
Next, the
Here, when it is determined that the display form is “perspective type”, the retrieved related image is directly transferred to the
On the other hand, when it is determined that the display form is “additional type”, the
すると、抽出部23は、検索部22から渡された画像から、範囲情報が示す範囲を切り出す(ステップ206)。そして、抽出部23は、これを携帯電話10に表示すべき表示画像として検索部22に返却し、検索部22は、この表示画像を通信制御部21に受け渡す。その後、通信制御部21が、通信I/F20dを介して表示画像を携帯電話10に送信する(ステップ207)。
Then, the
これにより、携帯電話10では、アンテナ10i、無線回路10hを介して、通信制御部17が表示画像を取得する(ステップ109)。そして、表示画像は表示制御部16に渡され、表示制御部16による制御の下、表示機構10cが、表示画像を表示する(ステップ110)。
Thereby, in the
以上、本実施の形態について述べてきた。
尚、本実施の形態では、文書から取得した位置情報に基づいて、表示すべき画像の範囲を示す範囲情報を生成する処理を、携帯電話10内の範囲情報生成部14で行う構成とした。しかしながら、範囲情報の生成は、サーバ20にて行うことも可能である。その場合、携帯電話10は、識別情報と、位置情報と、選択情報と、自身の機種を特定する情報とをサーバ20に送る。ここで、サーバ20の磁気ディスク装置20cには、携帯電話10の機種と、その構造に関する情報(特に、表示機構10cと撮像機構10gの位置関係)との対応関係が記憶されているものとする。これにより、サーバ20は、情報を送信した携帯電話10の構造に関する情報を取得し、この情報と位置情報とに基づき、切り出すべき画像の範囲を特定する。
The embodiment has been described above.
In the present embodiment, the range
また、本実施の形態では、文書画像と関連画像を合成した後に、合成画像から特定の範囲を切り出して表示画像を生成するようにしたが、必ずしもこのような順序で処理を行う必要はない。即ち、文書画像から特定の範囲を切り出すと共に、関連画像からも同じ範囲を切り出し、これらを合成して表示画像を生成するようにしてもよい。 In the present embodiment, after a document image and a related image are combined, a specific range is cut out from the combined image to generate a display image. However, it is not always necessary to perform processing in this order. That is, a specific range may be cut out from the document image, the same range may be cut out from the related image, and these may be combined to generate a display image.
ここで、本実施の形態に到った背景について簡単に説明しておく。
昨今、多くの携帯電話にはカメラが付属しており、このカメラは、写真の撮影だけでなく、バーコードやQRコード等の入力装置として利用されることも多くなっている。例えば、地図上にQRコードが印刷してあり、このコードを入力することで地図上の施設等の情報を入手することも可能となっている。
しかしながら、これらのコードは、地図上のある一地点の情報を表現しているに過ぎない。つまり、地図の特性を活かした2次元の情報は表現できていない。2次元の情報としては、例えば、2地点間を結ぶバス経路等があるが、このような情報は表現できていない。
そこで、本実施の形態では、連続的な情報の埋め込みが可能なコードを利用することで、連続的な2次元情報を表現することができるようにしたのである。
Here, the background to the present embodiment will be briefly described.
Nowadays, many mobile phones are provided with a camera, and this camera is often used not only as a photographer but also as an input device such as a barcode or a QR code. For example, a QR code is printed on a map, and it is also possible to obtain information on facilities on the map by inputting this code.
However, these codes only represent information at a certain point on the map. That is, two-dimensional information utilizing the characteristics of the map cannot be expressed. As the two-dimensional information, for example, there is a bus route that connects two points, but such information cannot be expressed.
Therefore, in this embodiment, continuous two-dimensional information can be expressed by using a code that can embed continuous information.
ところで、本実施の形態では、文書として地図を例示し、関連画像として、地図上に表示すると有効なバス路線図や施設名を例示した。しかしながら、本実施の形態は、他の文書に対しても応用可能である。
例えば、文書を、ある言語で書かれたテキスト文書とし、関連画像を、そのテキスト文書を他の言語に翻訳した結果とすることも可能である。
また、文書を図面とし、関連画像をその図面に対するコメントとすることも考えられる。
By the way, in this Embodiment, the map was illustrated as a document and the bus route map and facility name which were effective when displayed on a map as a related image were illustrated. However, this embodiment can be applied to other documents.
For example, the document may be a text document written in a certain language, and the related image may be a result of translating the text document into another language.
It is also conceivable that a document is a drawing and a related image is a comment on the drawing.
また、本実施の形態では、文書を撮影可能で、画像を表示可能で、かつ、文書上で簡単に移動できるデバイスとして、カメラ付き携帯電話を想定したが、同じように撮像機能と表示機能とを有するものであれば、如何なる携帯端末装置を利用してもよい。
更に、本実施の形態では、文書画像及び関連画像を企業等のサーバから取得する構成としたが、このような構成には限らない。例えば、サーバと同様の機能を、携帯電話と同じく一般ユーザが有するパーソナルコンピュータにて実現してもよい。或いは、携帯端末装置の記憶容量が許すのであれば、携帯端末装置が文書画像及び関連画像を記憶するようにしてもよい。
In this embodiment, a camera-equipped mobile phone is assumed as a device that can shoot a document, display an image, and can be easily moved on the document. Any portable terminal device may be used as long as it has the following.
Furthermore, in this embodiment, the document image and the related image are acquired from a server such as a company. However, the present invention is not limited to this configuration. For example, the same function as that of the server may be realized by a personal computer that a general user has as in the case of the mobile phone. Alternatively, if the storage capacity of the mobile terminal device permits, the mobile terminal device may store the document image and the related image.
尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。 The program for realizing the present embodiment can be provided not only by communication means but also by storing it in a recording medium such as a CD-ROM.
10…携帯電話、20…サーバ、80…基地局、90…ネットワーク 10 ... mobile phone, 20 ... server, 80 ... base station, 90 ... network
Claims (7)
画像を表示する表示手段と、
各位置に位置情報が埋め込まれた文書上の特定の箇所を前記撮像手段で撮像することにより得られた画像の中から、当該特定の箇所における当該位置情報を取得する取得手段と、
前記取得手段により取得された前記位置情報と、前記撮像手段と前記表示手段の位置関係に関する情報とを用いて、前記表示手段の真下に存在する前記文書上の特定の範囲を決定する決定手段と、
前記文書上の各位置に関連付けられた情報のうち、前記決定手段により決定された前記特定の範囲に関連付けられた情報を前記表示手段が表示するよう制御する制御手段と
を備えたことを特徴とする携帯端末装置。 Imaging means for imaging a subject;
Display means for displaying an image;
An acquisition means for acquiring the position information at the specific location from the image obtained by imaging the specific location on the document in which the position information is embedded at each position by the imaging means;
Determining means for determining a specific range on the document existing directly below the display means by using the position information acquired by the acquiring means and information on the positional relationship between the imaging means and the display means; ,
Control means for controlling the display means to display information associated with the specific range determined by the determination means among the information associated with each position on the document. Mobile terminal device.
各位置に位置情報が埋め込まれた文書上の特定の箇所を前記撮像手段で撮像するステップと、
前記撮像手段で撮像することにより得られた画像の中から前記特定の箇所における前記位置情報を取得するステップと、
取得された前記位置情報と、前記撮像手段と前記表示手段の位置関係に関する情報とを用いて、前記表示手段の真下に存在する前記文書上の特定の範囲を決定するステップと、
前記文書上の各位置に関連付けられた情報のうち、決定された前記特定の範囲に関連付けられた情報を前記表示手段に表示するステップと
を含むことを特徴とする情報表示方法。 An information display method in a mobile terminal device comprising an imaging means for imaging a subject and a display means for displaying an image,
Imaging a specific location on the document in which position information is embedded at each position with the imaging means ;
Obtaining the position information at the specific location from the image obtained by imaging with the imaging means ;
Determining a specific range on the document existing directly below the display unit using the acquired position information and information on a positional relationship between the imaging unit and the display unit ;
Wherein among the information associated with each position on the document, information display method, which comprises the step of displaying information associated with the determined the specific range on the display means.
各位置に位置情報が埋め込まれた文書上の特定の箇所を前記撮像手段で撮像することにより得られた画像の中から、当該特定の箇所における当該位置情報を取得する機能と、
取得された前記位置情報と、前記撮像手段と前記表示手段の位置関係に関する情報とを用いて、前記表示手段の真下に存在する前記文書上の特定の範囲を決定する機能と、
前記文書上の各位置に関連付けられた情報のうち、決定された前記特定の範囲に関連付けられた情報を前記表示手段に表示する機能と
を実現させるためのプログラム。 In a portable terminal device comprising an imaging means for imaging a subject and a display means for displaying an image ,
From among the image obtained by imaging by the imaging means a specific position on the document location information is embedded in each position, a function of acquiring the position information in the specific location,
A function for determining a specific range on the document existing directly below the display unit using the acquired position information and information on a positional relationship between the imaging unit and the display unit;
Wherein among the information associated with each position on the document, the program for causing the information associated with the determined the specific range and a function to be displayed on said display means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006271633A JP4725473B2 (en) | 2006-10-03 | 2006-10-03 | Portable terminal device, information display method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006271633A JP4725473B2 (en) | 2006-10-03 | 2006-10-03 | Portable terminal device, information display method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008092326A JP2008092326A (en) | 2008-04-17 |
JP4725473B2 true JP4725473B2 (en) | 2011-07-13 |
Family
ID=39375981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006271633A Expired - Fee Related JP4725473B2 (en) | 2006-10-03 | 2006-10-03 | Portable terminal device, information display method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4725473B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5948731B2 (en) * | 2011-04-19 | 2016-07-06 | 富士ゼロックス株式会社 | Image processing apparatus, image processing system, and program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004179783A (en) * | 2002-11-25 | 2004-06-24 | Nippon Telegr & Teleph Corp <Ntt> | Mobile client apparatus, mobile client support system, id interpreting method, and id interpreting program |
JP2006091390A (en) * | 2004-09-24 | 2006-04-06 | Mitsubishi Electric Corp | Information display system and method, program and information display terminal device for making computer perform information display method |
-
2006
- 2006-10-03 JP JP2006271633A patent/JP4725473B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004179783A (en) * | 2002-11-25 | 2004-06-24 | Nippon Telegr & Teleph Corp <Ntt> | Mobile client apparatus, mobile client support system, id interpreting method, and id interpreting program |
JP2006091390A (en) * | 2004-09-24 | 2006-04-06 | Mitsubishi Electric Corp | Information display system and method, program and information display terminal device for making computer perform information display method |
Also Published As
Publication number | Publication date |
---|---|
JP2008092326A (en) | 2008-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006270418A (en) | Image processor, and processing method | |
JP2007049388A (en) | Image processing apparatus and control method thereof, and program | |
JP2007034625A (en) | Information display device | |
JP5948731B2 (en) | Image processing apparatus, image processing system, and program | |
JP2013255014A (en) | Image processing system, imaging apparatus and server apparatus | |
JP2007133550A (en) | Information management system, and information management method | |
US20080074691A1 (en) | Print information management apparatus, print information management method, image forming apparatus, print information management system and program | |
US20070285696A1 (en) | Image generating apparatus, image processing apparatus, recording medium and computer readable recording medium | |
JP4323453B2 (en) | Information acquisition method and information acquisition program | |
JP4725473B2 (en) | Portable terminal device, information display method, and program | |
JP4962233B2 (en) | Image generation apparatus, document management system, document management program | |
JP2007304890A (en) | Reading method of two-dimensional code, and electronic document generation device | |
JP2009182823A (en) | Image processor and program | |
JP2008117190A (en) | Processor and program | |
US10997410B2 (en) | Information processing device and information processing system | |
JP5098267B2 (en) | WRITING INFORMATION PROCESSING DEVICE, WRITING INFORMATION PROCESSING METHOD, AND PROGRAM | |
US8534542B2 (en) | Making an ordered element list | |
JP4692265B2 (en) | Printing instruction apparatus, printing apparatus, printing system, and program | |
JP2006041624A (en) | Print control apparatus and method thereof | |
JP2006020144A (en) | Document processing system | |
JP2008021120A (en) | Writing information processing system, writing information processing method, and program | |
JP2007318341A (en) | Device for calculating position on printed matter, system for calculation position on printed matter, method for calculating position on printed matter, and printed matter | |
JP2008071247A (en) | Print information management and program | |
JP4760666B2 (en) | Information generating apparatus, information generating method, information generating program, information reading system, information reading program, and electronic pen | |
JP4340900B2 (en) | Image information processing system, image information processing apparatus, image information processing method, image information processing program, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110328 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4725473 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |