JP2007094672A - Mobile terminal device and program - Google Patents

Mobile terminal device and program Download PDF

Info

Publication number
JP2007094672A
JP2007094672A JP2005282057A JP2005282057A JP2007094672A JP 2007094672 A JP2007094672 A JP 2007094672A JP 2005282057 A JP2005282057 A JP 2005282057A JP 2005282057 A JP2005282057 A JP 2005282057A JP 2007094672 A JP2007094672 A JP 2007094672A
Authority
JP
Japan
Prior art keywords
product
information
purchased
code
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005282057A
Other languages
Japanese (ja)
Inventor
Kenichi Sakai
健一 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Hitachi Mobile Communications Co Ltd
Original Assignee
Casio Hitachi Mobile Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Hitachi Mobile Communications Co Ltd filed Critical Casio Hitachi Mobile Communications Co Ltd
Priority to JP2005282057A priority Critical patent/JP2007094672A/en
Publication of JP2007094672A publication Critical patent/JP2007094672A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To enable a user to output a recognition result on condition that the user is a purchaser of merchandise in recognizing code information such as a QR code related to the merchandise to output the recognition result. <P>SOLUTION: A CPU 1 receives a "merchandise ID" from a selling terminal 21 with a reader-writer and adds it to an electronic money purchased merchandise list 2C for management in purchasing merchandise by paying with electronic money, and extracts the "merchandise ID" included in the two-dimensional code by image recognition when the two-dimensional code added to merchandise itself such as a book or a magazine, or to an advertising medium such as a poster or a newspaper is photographed by a camera imaging section 13. The CPU 1 discriminates the purchased merchandise or not by collating the "merchandise ID" with the contents of the purchased merchandise list 2C, and carries out the display output of a decoded result of the two-dimensional code on condition that it is the purchased merchandise. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

この発明は、電子マネー支払い機能を構成する非接触IC処理部とカメラ機能を構成する撮像部とを備えた携帯端末装置及びプログラムに関する。   The present invention relates to a portable terminal device and a program including a non-contact IC processing unit that constitutes an electronic money payment function and an imaging unit that constitutes a camera function.

従来、カメラ機能付き携帯端末装置としては、広告物に印刷されているQRコード(2次元コード)をカメラ撮影すると、この撮影画像のコード部分を認識することによって得られた「URL」に基づいてインターネット上のWebサイトをアクセス可能とした技術が知られている(特許文献1参照)。
また、カメラ撮影された画像内から電子透かしを検出すると共に、この電子透かしから書籍識別情報を検出してサーバに送信すると、サーバは、この書籍識別情報に基づいて書籍の購入有無を判別し、書籍購入者に対して撮影画像の保存を許可するようにした技術が知られている(特許文献2参照)。
特開2003−281010号公報 特開2005−151125号公報
Conventionally, as a portable terminal device with a camera function, when a QR code (two-dimensional code) printed on an advertising material is photographed by a camera, based on the “URL” obtained by recognizing the code portion of the photographed image. There is known a technology that makes it possible to access a website on the Internet (see Patent Document 1).
Further, when detecting the digital watermark from the image taken by the camera and detecting the book identification information from the digital watermark and transmitting it to the server, the server determines whether or not the book is purchased based on the book identification information, A technique is known that allows a book purchaser to save a photographed image (see Patent Document 2).
JP 2003-281010 A JP 2005-151125 A

しかしながら、上述した特許文献1の技術にあっては、例えば、商品キャンペーンのプレゼント応募資格などをその商品購入者に限定するために、この商品自体にQRコードを付加しているような場合において、このQRコードが盗み撮られると、その商品の未購入者に対してもプレゼントの応募資格などが与えられることになる。
また、上述した特許文献2の技術にあっては、書籍の購入者に対して撮影画像の保存を許可するようにしているために、例えば、書店、コンビニエンスストアなどで雑誌、書籍を購入することなく、その掲載記事、写真などの情報をカメラ撮影して持ち帰る、所謂デジタル万引きを防止することは可能であるが、撮影画像を保存できるかどうかは、サーバ側での判断が必要となり、ネットワーク接続が不可能な環境では撮影画像を保存することはできなかった。
However, in the technique of Patent Document 1 described above, for example, a QR code is added to the product itself in order to limit the gift application qualification of the product campaign to the product purchaser. If this QR code is stolen, eligibility for applying for gifts will be given to those who have not purchased the product.
In the technique of Patent Document 2 described above, since a book purchaser is allowed to save a photographed image, for example, a magazine or a book is purchased at a bookstore or a convenience store. It is possible to prevent so-called digital shoplifting, where the information such as posted articles and photos is taken home with the camera, but it is necessary to judge whether the captured image can be saved on the server side. It was not possible to save the captured images in an environment where this was impossible.

第1の発明の課題は、商品に関連するQRコードなどのコード情報を認識してその認識結果を出力する際に、当該商品の購入者であることを条件としてその認識結果を出力できるようにすることである。
第2の発明の課題は、電子マネー支払いによる商品購入時にその販売端末から商品購入済み情報を取得することができ、この商品購入者であることを条件として雑誌、書籍などの商品を撮影した画像を保存できるようにすることである。
The subject of the first invention is that when recognizing code information such as a QR code related to a product and outputting the recognition result, the recognition result can be output on condition that the product is a purchaser. It is to be.
The subject of 2nd invention is the image which image | photographed goods, such as a magazine and a book, on condition that it can acquire product purchase completed information from the sales terminal at the time of the product purchase by electronic money payment, and is this product purchaser Is to be able to save.

請求項1記載の発明(第1の発明)は、電子マネー支払い機能を構成する非接触IC処理部とカメラ機能を構成する撮像部を備えた携帯端末装置であって、電子マネー支払いによる商品購入時に、販売端末から当該商品に関する情報を受信取得する取得手段と、この取得手段によって得られた商品情報を購入済みの商品情報として記憶管理する購入済み情報記憶手段と、商品に関連するコード情報がカメラ撮影された際に、この画像認識によって当該コード情報内に含まれている商品情報を抽出する画像認識手段と、この画像認識手段によって得られた商品情報と前記購入済みの商品情報とを照合することによって購入済みの商品であるか否かを判別し、購入済みの商品であることを条件に前記コード情報の認識結果を出力する制御手段とを具備したことを特徴とする。   The invention according to claim 1 (first invention) is a portable terminal device comprising a non-contact IC processing unit constituting an electronic money payment function and an image pickup unit constituting a camera function, and purchasing a product by electronic money payment Sometimes, an acquisition means for receiving and acquiring information about the product from the sales terminal, a purchased information storage means for storing and managing the product information obtained by the acquisition means as purchased product information, and code information related to the product When the image is taken by the camera, the image recognition means for extracting the product information contained in the code information by this image recognition, the product information obtained by the image recognition means and the purchased product information are collated. Control means for determining whether or not the product is a purchased product and outputting the recognition result of the code information on the condition that the product is a purchased product. Characterized in that Bei was.

更に、コンピュータに対して、上述した請求項1記載の発明に示した主要機能を実現させるためのプログラムを提供する(請求項9記載の発明)。
なお、「コード情報」は、例えば、QRコードなどの2次元コード、バーコードなどの1次元コードなどである。また、「商品情報」は、商品番号、製造番号、会社名などに限らず、その商品の詳細情報が掲載されているインターネット上のWebページをアクセスする「URL」であってもよく、購入済みの商品を特定可能な識別情報であれば、その内容は任意である(以下、同様)。
Furthermore, a program for realizing the main functions shown in the invention described in claim 1 is provided to the computer (the invention described in claim 9).
The “code information” is, for example, a two-dimensional code such as a QR code, a one-dimensional code such as a barcode. The “product information” is not limited to the product number, manufacturing number, company name, etc., and may be a “URL” for accessing a web page on the Internet where detailed information about the product is posted. As long as the identification information can identify the product, the content is arbitrary (hereinafter the same).

なお、上述した請求項1記載の発明は次ぎのようなものであってもよい。
前記コード情報が付加されている商品を購入した際に、前記取得手段は、前記販売端末を経由して当該商品情報を受信取得し、商品に付加されているコード情報をカメラ撮影した際に、前記画像認識手段は、この画像認識によって当該コード情報内に含まれている商品情報を抽出する(請求項2記載の発明)。
The invention described in claim 1 described above may be as follows.
When purchasing the product with the code information added, the acquisition means receives and acquires the product information via the sales terminal, and when the code information added to the product is photographed by the camera, The image recognition means extracts the product information included in the code information by the image recognition (the invention according to claim 2).

商品広告媒体に付加されているコード情報をカメラ撮影した際に、前記画像認識手段は、この画像認識によって当該コード情報内に含まれている商品情報を抽出する(請求項3記載の発明)。   When the code information added to the product advertisement medium is photographed by the camera, the image recognition means extracts the product information included in the code information by the image recognition (the invention according to claim 3).

前記画像認識手段によってコード情報を画像認識した結果、このコード情報内に複数の商品情報が含まれている場合には、この複数の商品情報の中に購入済みの商品が1つでも含まれていることを条件に、前記制御手段は、前記コード情報の認識結果を出力する(請求項4記載の発明)。   As a result of image recognition of the code information by the image recognition means, when a plurality of product information is included in the code information, at least one purchased product is included in the plurality of product information. The control means outputs a recognition result of the code information (the invention according to claim 4).

前記制御手段は、未購入の商品であると判別した際に、当該商品の購入が必要であることを示すメッセージを案内出力する(請求項8記載の発明)。   When the control means determines that the product is an unpurchased product, the control means guides and outputs a message indicating that the product needs to be purchased (the invention according to claim 8).

請求項5記載の発明(第2の発明)は、電子マネー支払い機能を構成する非接触IC処理部とカメラ機能を構成する撮像部を備えた携帯端末装置であって、電子マネー支払いによる商品購入時に、販売端末から当該商品に関する情報を受信取得する取得手段と、この取得手段によって得られた商品情報を購入済みの商品情報として記憶管理する購入済み情報記憶手段と、少なくとも商品の一部分がカメラ撮影された際に、この撮影画像を認識して商品情報を抽出する画像認識手段と、この画像認識手段によって得られた商品情報と前記購入済みの商品情報とを照合することによって購入済みの商品であるか否かを判別し、購入済みの商品であることを条件に前記撮影画像を記録保存する制御手段とを具備したことを特徴とする。
更に、コンピュータに対して、上述した請求項5記載の発明に示した主要機能を実現させるためのプログラムを提供する(請求項10記載の発明)。
Invention of Claim 5 (2nd invention) is a portable terminal device provided with the non-contact IC processing part which comprises an electronic money payment function, and the imaging part which comprises a camera function, Comprising: Product purchase by electronic money payment Sometimes, an acquisition means for receiving and acquiring information about the product from the sales terminal, a purchased information storage means for storing and managing the product information obtained by the acquisition means as purchased product information, and at least a part of the product is captured by the camera The image recognition means for recognizing the captured image and extracting the product information, and the product information obtained by the image recognition means and the purchased product information And a control means for recording and storing the photographed image on the condition that the product is a purchased product.
Furthermore, a program for realizing the main functions shown in the invention described in claim 5 is provided to the computer (the invention described in claim 10).

なお、上述した請求項5記載の発明は次ぎのようなものであってもよい。
前記画像認識手段は、カメラ撮影された画像内に付加されているコード情報を認識して商品情報を抽出する(請求項6記載の発明)。
The invention described in claim 5 described above may be as follows.
The image recognition means recognizes code information added in an image taken by a camera and extracts product information (invention of claim 6).

前記画像認識手段は、カメラ撮影された画像内に知覚不能な電子透かし情報が埋め込まれている場合、この電子透かし情報を認識して商品情報を抽出する(請求項7記載の発明)。   The image recognition means extracts product information by recognizing the digital watermark information when the non-perceptible digital watermark information is embedded in the image photographed by the camera (the invention according to claim 7).

前記制御手段は、商品未購入であれば、商品購入が必要であることを示すメッセージを案内出力する(請求項8記載の発明)。   If the product has not been purchased, the control means guides and outputs a message indicating that the product needs to be purchased (the invention according to claim 8).

請求項1記載の発明(第1の発明)によれば、電子マネー支払いによる商品購入時に、販売端末から当該商品に関する情報を受信取得して購入済みの商品情報として記憶管理しておき、商品に関連するコード情報(例えば、QRコードなどの2次元コード)がカメラ撮影された際に、この画像認識によって当該コード情報内に含まれている商品情報を抽出し、この商品情報と購入済みの商品情報とを照合することによって購入済みの商品であるか否かを判別し、購入済みの商品であることを条件にコード情報の認識結果を出力するようにしたから、商品購入者に限定して2次元コードの認識結果を出力させることができる。したがって、例えば、キャンペーンプレゼント用の応募資格としての2次元コードが雑誌などから盗み撮られたとしても、そのプレゼント用のWebサイトを見ることはできず、プレゼントの応募資格などがその商品の未購入者に対して与えられることはない。   According to the first aspect of the present invention (first invention), when purchasing a product by electronic money payment, information related to the product is received and acquired from a sales terminal and stored and managed as purchased product information. When related code information (for example, a two-dimensional code such as a QR code) is photographed by a camera, product information included in the code information is extracted by this image recognition, and the product information and a purchased product are extracted. Since it is determined whether it is a purchased product by collating with the information, and the code information recognition result is output on the condition that it is a purchased product, it is limited to the product purchaser. The recognition result of the two-dimensional code can be output. Therefore, for example, even if a two-dimensional code as an application qualification for a campaign gift is stolen from a magazine or the like, the website for the gift cannot be viewed, and the application qualification for a gift is not purchased. It is not given to the person.

請求項2記載の発明によれば、上述した請求項1記載の発明と同様の効果を有するほか、例えば、書籍、雑誌などの商品自体にコード情報が付加されている場合、この商品からコード情報を盗み撮っても無意味なものとなり、一種のデジタル万引きであるコード情報の盗み撮りを効果的に抑止することが可能となる。   According to the invention described in claim 2, in addition to having the same effect as that of the invention described in claim 1 described above, for example, when code information is added to a product such as a book or a magazine, the code information is obtained from this product. It would be meaningless to sneak a snippet, and it would be possible to effectively deter sneak sneaking of code information, which is a kind of digital shoplifting.

請求項3記載の発明によれば、上述した請求項1記載の発明と同様の効果を有するほか、例えば、キャンペーンプレゼントとしてポスター、新聞などに印刷されているコード情報を商品未購入者が撮影したとしても、その詳細を知ることができないため、逆にプレゼントは何か、何人に当たるかなど、プレゼント自体に興味をもたせることができ、広告媒体をとおして商品購買意欲を逆説的に喚起させることが可能となる。   According to the invention described in claim 3, in addition to having the same effect as that of the invention described in claim 1, the code information printed on a poster, a newspaper, etc. as a campaign present was photographed by a person who has not purchased the product. However, since the details cannot be known, it is possible to make the present itself interested, such as what the present is and how many people are hit, and paradoxically arouse the willingness to purchase goods through the advertising medium. It becomes possible.

請求項4記載の発明によれば、上述した請求項1記載の発明と同様の効果を有するほか、コード情報を画像認識した結果、このコード情報内に複数の商品情報が含まれている場合には、この複数の商品情報の中に購入済みの商品が1つでも含まれていることを条件に、コード情報の認識結果を出力するようにしたから、商品情報とコード情報とは、1:1の関係である必要はなく、コード情報に複数の商品情報が含められていても商品購入者を確実に特定することが可能となる。   According to the invention described in claim 4, in addition to having the same effect as the invention described in claim 1 described above, when the code information is image-recognized, a plurality of product information is included in the code information. Since the code information recognition result is output on condition that at least one purchased product is included in the plurality of product information, the product information and the code information are: It is not necessary for the relationship to be one, and even if a plurality of product information is included in the code information, the product purchaser can be reliably identified.

請求項8記載の発明によれば、上述した請求項1記載の発明と同様の効果を有するほか、商品未購入であれば、当該商品の購入が必要であることを示すメッセージを案内出力するようにしたから、ユーザにあっては、コード情報の認識結果の出力条件を知ることができ、素早い対応が可能となる。   According to the invention described in claim 8, in addition to having the same effect as the invention described in claim 1 described above, if the product is not purchased, a message indicating that the purchase of the product is necessary is guided and output. Therefore, the user can know the output condition of the recognition result of the code information, and can respond quickly.

請求項5記載の発明(第2の発明)によれば、電子マネー支払いによる商品購入時に、販売端末から当該商品に関する情報を受信取得して購入済みの商品情報として記憶管理しておき、少なくとも商品の一部分がカメラ撮影された際に、この撮影画像を認識して商品情報を抽出すると共に、この商品情報と購入済みの商品情報とを照合することによって購入済みの商品であるか否かを判別し、購入済みの商品であることを条件に撮影画像を記録保存するようにしたから、電子マネー支払いによる商品購入時にその販売端末から商品購入済み情報を取得することができ、この商品購入者であることを条件として雑誌、書籍などの商品を撮影した画像を保存することができる。したがって、大規模なネットワーク環境の有無に拘らず、商品購入者であるか否かを即座に判断することができ、正規な購入者が撮影した画像だけを保存することが可能となる。   According to the invention described in claim 5 (second invention), at the time of purchasing a product by electronic money payment, information related to the product is received and acquired from a sales terminal and stored and managed as purchased product information. When a part of the camera is photographed by the camera, the photographed image is recognized to extract product information, and the product information is compared with the purchased product information to determine whether the product is a purchased product. Since the captured image is recorded and saved on the condition that the product has already been purchased, the product purchase information can be obtained from the sales terminal when purchasing the product by electronic money payment. It is possible to store an image of a product such as a magazine or a book on the condition that it exists. Therefore, regardless of whether there is a large-scale network environment, it is possible to immediately determine whether or not the user is a product purchaser, and it is possible to store only images taken by a legitimate purchaser.

請求項6記載の発明によれば、上述した請求項5記載の発明と同様の効果を有するほか、カメラ撮影された画像内に付加されているコード情報を認識して商品情報を抽出するようにしたから、印刷という簡単な方法で商品自体にQRコードなどを付加することができる。   According to the invention described in claim 6, in addition to having the same effect as the invention described in claim 5, the product information is extracted by recognizing the code information added in the image taken by the camera. Therefore, a QR code or the like can be added to the product itself by a simple method of printing.

請求項7記載の発明によれば、上述した請求項5記載の発明と同様の効果を有するほか、カメラ撮影された画像内に知覚不能な電子透かし情報が埋め込まれている場合、この電子透かし情報を認識して商品情報を抽出するようにしたから、商品自体に多くの電子透かし情報を埋め込んだとしても、商品の見た目を悪くしたり、デザインを制約することもなく、多くの情報を埋め込むことができる。   According to the seventh aspect of the invention, in addition to the same effect as that of the fifth aspect of the invention described above, when digital watermark information that cannot be perceived is embedded in an image taken by the camera, the digital watermark information is provided. The product information is extracted by recognizing the product, so even if a lot of digital watermark information is embedded in the product itself, a lot of information can be embedded without deteriorating the appearance of the product or restricting the design. Can do.

請求項8記載の発明によれば、上述した請求項5記載の発明と同様の効果を有するほか、商品未購入であれば、当該商品の購入が必要であることを示すメッセージを案内出力するようにしたから、ユーザにあっては、画像保存の条件を知ることができ、素早い対応が可能となる。   According to the invention described in claim 8, in addition to having the same effect as that of the invention described in claim 5 described above, if a product is not purchased, a message indicating that the purchase of the product is necessary is guided and output. As a result, the user can know the conditions for image storage and can respond quickly.

以下、図1〜図5を参照して本発明の実施例を説明する。
この実施例は、携帯端末装置として携帯電話装置に適用した場合を例示したもので、図1は、この携帯電話装置の基本的な構成要素を示したブロック図である。
この携帯電話装置は、折り畳み式、スライド式、回転式などのように複数の筐体が開閉可能に取り付けられた構成となっており、通話機能、メール機能などのほか、電子マネー支払い機能、カメラ機能を備えている。この電子マネー支払い機能は、電子財布管理機能を構成するもので、現在の電子マネー残高を記憶管理すると共に、電子マネーの入金出金の管理を行う。カメラ機能は、例えば、有効画素数200万画素、光学ズーム搭載など、コンパクトデジタルカメラ並みの機能を備えている。
なお、この実施例の特徴部分を詳述する前に、この実施例のハードウェア上の構成について以下、説明しておく。
Hereinafter, embodiments of the present invention will be described with reference to FIGS.
This embodiment exemplifies a case where the present invention is applied to a mobile phone device as a mobile terminal device, and FIG. 1 is a block diagram showing basic components of the mobile phone device.
This mobile phone device has a structure in which a plurality of cases such as a foldable type, a slide type, and a rotary type are attached to be openable and closable. In addition to a call function, a mail function, etc., an electronic money payment function, a camera It has a function. This electronic money payment function constitutes an electronic wallet management function, which stores and manages the current electronic money balance and manages the deposit and withdrawal of electronic money. The camera function has functions similar to those of a compact digital camera, for example, having 2 million effective pixels and an optical zoom.
Before detailed description of the features of this embodiment, the hardware configuration of this embodiment will be described below.

CPU1は、記憶部2内の各種のプログラムに応じてこの携帯電話装置の全体動作を制御する中央演算処理装置である。記憶部2は、不揮発性メモリ(内部メモリ)であり、例えば、フラッシュメモリなどによって構成され、プログラム領域とデータ領域とを有し、このプログラム領域には、後述する図4及び図5に示す動作手順に応じて本実施例を実現するためのプログラムが格納されている。また、記憶部2のデータ領域には、電子マネー残高メモリ2A、電子マネー利用履歴メモリ2B、電子マネー購入済み商品リスト2Cなどが設けられている。記録メディア3は、着脱自在な可搬型メモリで、撮影画像データ、各種のデータ、プログラムを外部供給するもので、例えば、スマートメディア、ICカードなどによって構成されている。メモリ4は、ワーク領域を有する内部メモリで、例えば、DRAM(Direct Random Access Memory)、SDRAM(Synchronous DRAM)などによって構成されている。   The CPU 1 is a central processing unit that controls the overall operation of the mobile phone device according to various programs in the storage unit 2. The storage unit 2 is a non-volatile memory (internal memory), which is configured by, for example, a flash memory, and has a program area and a data area. In the program area, operations shown in FIGS. 4 and 5 described later are performed. A program for realizing the present embodiment is stored according to the procedure. The data area of the storage unit 2 is provided with an electronic money balance memory 2A, an electronic money usage history memory 2B, an electronic money purchased product list 2C, and the like. The recording medium 3 is a detachable portable memory that supplies photographed image data, various types of data, and programs to the outside. The recording medium 3 includes, for example, smart media and an IC card. The memory 4 is an internal memory having a work area, and is composed of, for example, a DRAM (Direct Random Access Memory), an SDRAM (Synchronous DRAM), or the like.

電話通信部5は、アンテナ5Aに接続された送受信デュプレクサの受信側から信号を取り込んで受信ベースバンド信号に復調したのちに、音声データを音声スピーカ6から出力させる。また、電話通信部5は、音声マイク7から入力された音声データを送信ベースバンド信号に符号化したのちに、送受信デュプレクサの送信側に与えられ、アンテナ5Aから発信出力させる。一方、電子メール機能、インターネット接続によって電話通信部5を介して受信した表示データは、LCD(液晶表示器)などのメイン表示部8に与えられて表示出力される。   The telephone communication unit 5 takes in a signal from the reception side of the transmission / reception duplexer connected to the antenna 5A and demodulates it into a reception baseband signal, and then outputs audio data from the audio speaker 6. In addition, the telephone communication unit 5 encodes the audio data input from the audio microphone 7 into a transmission baseband signal, and then provides the transmission baseband signal to the transmission side of the transmission / reception duplexer for transmission from the antenna 5A. On the other hand, the display data received via the telephone communication unit 5 by the electronic mail function and the Internet connection is given to the main display unit 8 such as an LCD (Liquid Crystal Display) and displayed and output.

メイン表示部8は、文字情報、テレビ映像、各種のメッセージなどを高品位に表示するもので、このメイン表示部8のほか、装置本体の背面部にはサブ表示部9が設けられており、現在日時、簡易なメッセージ、アイコンなどが表示される。報知部10は、着信報知などの報知用のスピーカ、LED(発光ダイオード)、振動モータを備え、電話・メール着信時には着信報知を行ったり、警告アラームなどの報知時にも駆動される。キー操作部11は、押しボタン式の各種のキーを備え、ダイヤル入力、文字入力、コマンド入力などを行うもので、CPU1は、キー操作部11からのキー入力信号に応じた処理を実行する。   The main display unit 8 displays character information, TV images, various messages, and the like with high quality. In addition to the main display unit 8, a sub display unit 9 is provided on the back side of the apparatus body. The current date and time, simple messages, icons, etc. are displayed. The notification unit 10 includes a speaker for notification such as an incoming notification, an LED (light emitting diode), and a vibration motor. The notification unit 10 performs an incoming notification when a call / mail is received or is driven when a warning alarm is issued. The key operation unit 11 includes various push button type keys and performs dial input, character input, command input, and the like. The CPU 1 executes processing according to a key input signal from the key operation unit 11.

非接触IC処理部12は、電子マネー支払い機能を構成するもので、専用CPU12A、メモリ部12B、コイルアンテナ部12Cを有し、リーダライタ付きの販売端末21との間で微弱電波によってデータの送受信を行う。なお、コイルアンテナ部12Cは、電波を送受信すると共に、この受信電波によって電磁誘導される起電力が非接触IC処理部12の電源となる。ここで、電子マネーでの支払い時に、装置本体を閉じた状態で販売端末21にかざすと、非接触IC処理部12と販売端末21との間でデータの送受信が行われる。   The non-contact IC processing unit 12 constitutes an electronic money payment function, has a dedicated CPU 12A, a memory unit 12B, and a coil antenna unit 12C, and transmits / receives data to / from a sales terminal 21 with a reader / writer by weak radio waves. I do. The coil antenna unit 12C transmits and receives radio waves, and an electromotive force electromagnetically induced by the received radio waves serves as a power source for the non-contact IC processing unit 12. Here, when the electronic money is paid, if the apparatus main body is closed and held over the sales terminal 21, data transmission / reception is performed between the non-contact IC processing unit 12 and the sales terminal 21.

この場合、CPU1は、今回の支払い額(請求金額)に応じて電子マネー残高メモリ2Aの内容を減額更新すると共に、今回の取引情報を利用履歴として追加登録するようにしている。このように電子マネーによる商品購入時にCPU1は、販売端末21から当該商品に関する情報(商品ID)を受信取得して電子マネー購入済み商品リスト2Cに追加記憶させる。この購入済み商品リスト2Cは、図示省略したが、電子マネーによって商品を購入した場合にその商品(商品ID)を購入済みの商品として記憶管理するためのメモリである。   In this case, the CPU 1 updates the contents of the electronic money balance memory 2A in accordance with the current payment amount (billed amount), and additionally registers the current transaction information as a usage history. As described above, when purchasing a product using electronic money, the CPU 1 receives and acquires information (product ID) related to the product from the sales terminal 21, and additionally stores it in the electronic money purchased product list 2C. Although not shown, the purchased product list 2C is a memory for storing and managing the product (product ID) as a purchased product when the product is purchased with electronic money.

カメラ撮像部13は、静止画撮影のほかに動画撮影も可能なもので、撮影レンズ、ミラー等のレンズ・ミラーブロック、CCDイメージセンサ等の撮像素子、その駆動系のほか、測距センサ、光量センサ、アナログ処理回路、信号処理回路、圧縮伸張回路等を備え、光学ズームを調整制御したり、オートフォーカス時の駆動制御、シャッタ駆動制御、露出、ホワイトバランス等を制御する。   The camera imaging unit 13 can shoot moving images in addition to still images, and includes a photographing lens, a lens / mirror block such as a mirror, an imaging element such as a CCD image sensor, its driving system, a distance measuring sensor, a light quantity A sensor, an analog processing circuit, a signal processing circuit, a compression / decompression circuit, and the like are provided to adjust and control the optical zoom, and to control drive control during autofocus, shutter drive control, exposure, white balance, and the like.

図2は、書籍、雑誌などの商品自体あるいはポスター、新聞などの広告媒体に付加されている2次元コード(QRコード)を例示したもので、「読者へのプレゼントの応募方法。抽選で100名様‥‥」の案内文に対応付けて2次元コードが付加されている。
この2次元コードは、商品を識別可能な「商品ID」、インターネット上のWebサイトをアクセスする「URL」などを含むもので、このWebサイトには、キャンペーンプレゼント用の応募方法などが掲載されている。
FIG. 2 shows an example of a two-dimensional code (QR code) added to a product itself such as a book or magazine, or an advertising medium such as a poster or newspaper. “Application method of present for readers. A two-dimensional code is added in association with the guidance sentence “Sama ...”.
This two-dimensional code includes a “product ID” that can identify a product, a “URL” that accesses a website on the Internet, and the like. An application method for a campaign present is posted on this website. Yes.

ここで、商品自体あるいはポスターなどに付加されている2次元コードがカメラ撮像部13によって撮影されると、CPU1は、この撮影画像を認識して2次元コードをデコードすることによって「商品ID」などに変換すると共に、その結果、2次元コード内に1又は2以上の「商品ID」が含まれている場合には、その中に購入済みの商品が1つでも含まれていることを条件に、つまり、この「商品ID」が電子マネー購入済み商品リスト2Cに記憶されていることを条件に当該デコード結果である「URL」などを表示出力させるようにしている。   Here, when the two-dimensional code added to the product itself or the poster is photographed by the camera imaging unit 13, the CPU 1 recognizes the photographed image and decodes the two-dimensional code to thereby obtain “product ID” or the like. As a result, if one or two or more “product IDs” are included in the two-dimensional code, on the condition that at least one purchased product is included in the two-dimensional code. That is, on the condition that this “product ID” is stored in the electronic money purchased product list 2C, “URL” or the like as the decoding result is displayed and output.

図3は、書店などにおいて書籍、雑誌などに掲載されている記事、写真などが盗み撮り(デジタル万引き)されることの防止策として、記事、写真などの近傍に2次元コードを印刷した場合を例示した図である。
ここで、書籍、雑誌などに掲載されている記事、写真などがカメラ撮像部13によって撮影された場合、CPU1は、この撮影画像を認識して当該画像内に2次元コードが含まれているかをチェックし、2次元コードが含まれていれば、それをデコードして「商品ID」などに変換し、この商品が購入済みであることを条件に、つまり、この「商品ID」が電子マネー購入済み商品リスト2Cに記憶されていることを条件に当該撮影画像を記録保存させるようにしている。
FIG. 3 shows an example in which a two-dimensional code is printed in the vicinity of an article, a photo, etc., as a measure to prevent theft and photography (digital shoplifting) of articles, photos, etc. published in books, magazines, etc. FIG.
Here, when an article, a photograph, or the like published in a book, magazine, or the like is captured by the camera imaging unit 13, the CPU 1 recognizes the captured image and determines whether a two-dimensional code is included in the image. Check and if 2D code is included, decode it and convert it to “Product ID”, etc., on the condition that this product has been purchased, that is, this “Product ID” is electronic money purchase The captured image is recorded and saved on the condition that it is stored in the finished product list 2C.

また、この実施例においては、デジタル万引きの防止策として、記事、写真などの近傍に2次元コードを印刷する代わりに、記事、写真内に知覚不能に埋め込まれた電子透かし情報を画像認識するようにしている。この電子透かし情報は、記事、写真などの画像内において、例えば、所定ドットの印刷色などの状態を変更することによって各種の情報が知覚不能に埋め込まれたもので、CPU1は、書籍、雑誌などに掲載されている記事、写真などが撮影された場合、この撮影画像を認識して当該画像内に電子透かし情報が含まれているかをチェックし、電子透かし情報が含まれている場合には、それをデコードして「商品ID」に変換すると共に、この「商品ID」が電子マネー購入済み商品リスト2Cに記憶されていることを条件に当該撮影画像を記録保存させるようにしている。   Also, in this embodiment, as a digital shoplifting preventive measure, instead of printing a two-dimensional code in the vicinity of an article, a photo, etc., the digital watermark information embedded in the article, the photo in an unperceivable manner is recognized as an image. I have to. This digital watermark information is information in which various information is embedded in an image such as an article or a photograph by changing the state of the printing color of a predetermined dot, for example. When an article, a photograph, etc. published in is taken, the photographed image is recognized and checked whether digital watermark information is included in the image, and if digital watermark information is included, It is decoded and converted into “product ID”, and the photographed image is recorded and saved on condition that this “product ID” is stored in the electronic money purchased product list 2C.

次ぎに、この実施例における携帯電話装置の動作概念を図4及び図5に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施例においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用してこの実施例特有の動作を実行することもできる。   Next, the operation concept of the mobile phone device in this embodiment will be described with reference to the flowcharts shown in FIGS. Here, each function described in these flowcharts is stored in the form of a readable program code, and operations according to the program code are sequentially executed. In addition, the operation according to the above-described program code transmitted via the transmission medium can be sequentially executed. This is the same in other embodiments described later. In addition to the recording medium, the program / data supplied from the outside via the transmission medium can be used to execute operations specific to this embodiment.

図4及び図5は、電源投入に伴って実行開始される携帯電話装置の全体動作を示したフローチャートである。
先ず、CPU1は、待ち受け状態において所定の待ち受け画像を読み出して表示出力させる(ステップS1)。この待ち受け状態において、電話あるいはメールの着信有無をチェックし(ステップS2)、電話着信あるいはメール着信を検出すると、着信対応処理を実行して報知部10を駆動させるほかに通話処理あるいは受信メール格納処理を実行する(ステップS3)。
4 and 5 are flowcharts showing the overall operation of the mobile phone device that starts executing when the power is turned on.
First, in the standby state, the CPU 1 reads a predetermined standby image and displays and outputs it (step S1). In this standby state, the presence or absence of incoming calls or mails is checked (step S2). When incoming calls or incoming mails are detected, incoming call handling processing is executed to drive the notification unit 10 and call processing or received mail storage processing. Is executed (step S3).

そして、非接触IC処理部12側においては販売端末21からの受信電波で電磁誘導が起こったかに基づいて電子マネーによる支払い時か否かを判別しており(ステップS4)、電子マネーによる支払い時であれば、非接触IC処理部12は、販売端末21から今回の取引金額(請求金額)を受信取得すると共に(ステップS5)、この取引金額を支払い金額として販売端末21に対して送信出力する(ステップS6)。これによって電子マネー残高メモリ2Aの内容は、今回の支払い金額に基づいて減額更新される(ステップS7)。   Then, the non-contact IC processing unit 12 side determines whether or not it is time to pay with electronic money based on whether electromagnetic induction has occurred in the received radio wave from the sales terminal 21 (step S4). If so, the non-contact IC processing unit 12 receives and acquires the current transaction amount (billed amount) from the sales terminal 21 (step S5), and transmits this transaction amount to the sales terminal 21 as a payment amount. (Step S6). As a result, the contents of the electronic money balance memory 2A are reduced and updated based on the current payment amount (step S7).

ここで、販売端末21側においては、今回の取引商品に添付されているバーコードをそのスキャナによって読み取ると、このバーコードをデコードして「商品ID」に変換すると共に、この「商品ID」を発信出力するようにしている。この場合、非接触IC処理部12は、今回取引分の1又は2以上の商品に対応してその「商品ID」を販売端末21経由で受信取得すると(ステップS8)、これらの商品を購入済みの商品とするために各「商品ID」を電子マネー購入済み商品リスト2Cに記憶保持しておく(ステップS9)。以下、電子マネーによる商品購入毎にその「商品ID」が電子マネー購入済み商品リスト2Cに追加記憶される。   Here, on the sales terminal 21 side, when the barcode attached to the current transaction product is read by the scanner, the barcode is decoded and converted into a “product ID”, and the “product ID” is also converted. Outgoing output is made. In this case, when the contactless IC processing unit 12 receives and acquires the “product ID” corresponding to one or more products for the current transaction via the sales terminal 21 (step S8), these products have already been purchased. Each “product ID” is stored and held in the electronic money purchased product list 2C (step S9). Thereafter, each time a product is purchased with electronic money, the “product ID” is additionally stored in the electronic money purchased product list 2C.

ここで、商品自体あるいはポスターなどに付加されている2次元コードを撮影する場合、つまり、ユーザ操作によって2次元コードの読み取りが指示された場合(ステップS10でYES)、CPU1は、カメラ撮像部13を起動させたのち(ステップS11)、このモニタ画像をメイン表示部8に表示出力させる(ステップS12)。そして、このモニタ画像を解析して2次元コードが含まれているコード部分をサーチし(ステップS13)、コード部分の有無をチェックする(ステップS14)。この結果、コード部分が無ければ、ステップS12に戻って新たなモニタ画像を表示出力させるが、2次元コード部分が有れば、このモニタ画像からコード部分を抽出して当該2次元コードをデコードし(ステップS15)、このデコード結果に商品条件データとしての「商品ID」が含まれているか否かをチェックする(ステップS16)。   Here, when photographing the two-dimensional code added to the product itself or the poster, that is, when reading of the two-dimensional code is instructed by a user operation (YES in step S10), the CPU 1 performs the camera imaging unit 13. Is activated (step S11), and the monitor image is displayed on the main display unit 8 (step S12). Then, the monitor image is analyzed to search for a code portion including a two-dimensional code (step S13), and the presence or absence of the code portion is checked (step S14). As a result, if there is no code part, the process returns to step S12 to display and output a new monitor image. If there is a two-dimensional code part, the code part is extracted from the monitor image and the two-dimensional code is decoded. (Step S15), it is checked whether or not the decoding result includes “product ID” as product condition data (step S16).

この結果、「商品ID」が1つも含まれていなければ(ステップS16でNO)、このデコード結果を無条件に表示出力させるが(ステップS20)、2次元コード内に1又は2以上の「商品ID」が含まれている場合には、この「商品ID」と電子マネー購入済み商品リスト2Cの内容とを比較し(ステップS17)、この「商品ID」が購入済み商品リスト2Cに記憶されていることを条件、つまり、その中に購入済みの商品が1つでも含まれていることを条件として(ステップS18でYES)、当該デコード結果を表示出力させる(ステップS20)。このようにデコード結果が表示出力されると、当該「商品ID」は、購入済み商品リスト2Cから消去される。なお、購入済みの商品でなければ(ステップS18でNO)、商品の購入が必要であることを示すメッセージを案内表示させる(ステップS19)。   As a result, if no “product ID” is included (NO in step S16), the decoding result is displayed and output unconditionally (step S20). One or more “product” is included in the two-dimensional code. If "ID" is included, the "product ID" is compared with the contents of the electronic money purchased product list 2C (step S17), and the "product ID" is stored in the purchased product list 2C. On the condition that there is at least one purchased product (YES in step S18), the decoding result is displayed and output (step S20). When the decoding result is displayed and output in this way, the “product ID” is deleted from the purchased product list 2C. If the product has not been purchased (NO in step S18), a message indicating that the product needs to be purchased is displayed as a guide (step S19).

いま、この表示画面から撮影ミス、デコード不能などを確認したユーザから再処理のためのリトライ指示が要求されると(ステップS21でYES)、ステップS12に戻って新たなモニタ画像を表示出力させるが、ユーザから終了指示を受けた場合には(ステップS22でYES)、図5のステップS23に移り、その他の操作有無をチェックする。ここで、その他のキーが操作された場合には、このキー操作に応答して操作キー対応の処理を実行する(ステップS24)。いま、この表示画面内の「URL」が指定されると、それに応答してインターネットに接続され、キャンペーンプレゼント用の応募方法などが掲載されているWebサイトがアクセスされるので、ユーザは応募ページ内に必要事項を記入して返信すればよい(ステップS23、S24)。   Now, when a retry instruction for reprocessing is requested from a user who has confirmed that there has been a photographing error or decoding is impossible from this display screen (YES in step S21), the process returns to step S12 to display and output a new monitor image. If an end instruction is received from the user (YES in step S22), the process proceeds to step S23 in FIG. 5 to check whether there is any other operation. Here, when another key is operated, a process corresponding to the operation key is executed in response to the key operation (step S24). Now, when “URL” in this display screen is specified, the website is connected to the Internet in response to this, and the website on which the application method for the campaign present is posted is accessed. A necessary item may be filled in and returned (steps S23 and S24).

一方、ユーザ操作によってカメラ撮像部13の起動が指示された場合(図5のステップS25)、CPU1は、カメラ撮像部13を起動させたのち(ステップS26)、このモニタ画像を表示出力させる(ステップS27)。ここで、シャッタ操作が行われると(ステップS28)、そのときのモニタ画像を仮保存したのち(ステップS29)、この画像を解析して2次元コードが含まれているかをチェックする(ステップS30)。ここで、書籍、雑誌などに掲載されている記事、写真などを撮影した際に、その近傍に付加されている2次元コードが撮影画像内に含まれていれば、この2次元コードを抽出してデコードすると共に(ステップS31)、このデコード結果に商品条件データとしての「商品ID」が含まれているかをチェックする(ステップS32)。   On the other hand, when activation of the camera imaging unit 13 is instructed by a user operation (step S25 in FIG. 5), the CPU 1 activates the camera imaging unit 13 (step S26) and then displays and outputs the monitor image (step S26). S27). When a shutter operation is performed (step S28), the monitor image at that time is temporarily stored (step S29), and then the image is analyzed to check whether a two-dimensional code is included (step S30). . Here, when an article, a photograph, or the like published in a book or magazine is photographed, if the photographed image includes a two-dimensional code added in the vicinity thereof, the two-dimensional code is extracted. (Step S31), and it is checked whether the decoding result includes “product ID” as product condition data (step S32).

いま、「商品ID」が含まれていなければ(ステップS32でNO)、この仮保存画像を無条件に正規な画像として本保存するが(ステップS40)、2次元コード内に「商品ID」が含まれている場合には、この「商品ID」と電子マネー購入済み商品リスト2Cの内容とを比較し(ステップS33)、この「商品ID」が購入済み商品リスト2Cに記憶されていることを条件、つまり、その中に購入済みの商品が含まれていることを条件として(ステップS34でYES)、この仮保存画像を正規な画像として本保存する(ステップS40)。このように正規な画像として本保存されると、当該「商品ID」は購入済み商品リスト2Cから消去される。なお、購入済みの商品でなければ(ステップS34でNO)、書籍、雑誌などに掲載されている記事、写真などを撮影するためには、その商品の購入が必要であることを示すメッセージを案内表示させる(ステップS35)。そして、仮保存画像を消去したのち(ステップS36)、最初のステップS1に戻る。   If the “product ID” is not included (NO in step S32), the temporarily stored image is unconditionally stored as a regular image (step S40), but the “product ID” is included in the two-dimensional code. If it is included, this “product ID” is compared with the contents of the electronic money purchased product list 2C (step S33), and it is confirmed that this “product ID” is stored in the purchased product list 2C. Under the condition, that is, the condition that the purchased product is included in the condition (YES in step S34), the temporarily stored image is stored as a regular image (step S40). When the main image is stored as a regular image in this way, the “product ID” is deleted from the purchased product list 2C. If the product has not been purchased (NO in step S34), a message indicating that the product needs to be purchased in order to take an article, a photograph, etc. published in a book, magazine, etc. is provided. It is displayed (step S35). Then, after erasing the temporarily stored image (step S36), the process returns to the first step S1.

また、CPU1は、撮影画像内に2次元コードが含まれていなければ(ステップS30でNO)、この画像内に電子透かし情報が埋め込まれているか否かをサーチする(ステップS37)。いま、2次元コード及び電子透かし情報の両方が含まれていない場合には(ステップS38でNO)、仮保存画像を無条件に正規な画像として本保存するが(ステップS40)、2次元コードが付加されていなくても、電子透かし情報が埋め込まれている場合には(ステップS38でYES)、この画像内から電子透かし情報を抽出してデコードする(ステップS39)。   If the photographed image does not include a two-dimensional code (NO in step S30), the CPU 1 searches whether or not digital watermark information is embedded in the image (step S37). If both the two-dimensional code and the digital watermark information are not included (NO in step S38), the temporary storage image is unconditionally stored as a regular image (step S40). If digital watermark information is embedded even if it is not added (YES in step S38), the digital watermark information is extracted from this image and decoded (step S39).

そして、このデコード結果に「商品ID」が含まれているかをチェックし(ステップS32)、以下、上述した2次元コードの場合と同様に、「商品ID」が含まれていなければ(ステップS32でNO)、この仮保存画像を無条件に正規な画像として本保存するが(ステップS40)、「商品ID」が含まれていれば、この「商品ID」が購入済み商品リスト2Cに記憶されていることを条件(ステップS34でYES)、仮保存画像を正規な画像として本保存する(ステップS40)。   Then, it is checked whether or not the “product ID” is included in the decoding result (step S32). Hereinafter, similarly to the above-described two-dimensional code, if “product ID” is not included (in step S32). NO), the temporary storage image is unconditionally stored as a regular image (step S40). If “product ID” is included, this “product ID” is stored in the purchased product list 2C. The temporary storage image is stored as a regular image (step S40).

以上のように、この実施例においてCPU1は、電子マネー支払いによる商品購入時に、販売端末21から当該「商品ID」を受信取得して電子マネー購入済み商品リスト2Cに追加管理しておき、書籍、雑誌などの商品自体あるいはポスター、新聞などの広告媒体に付加されている2次元コードがカメラ撮像部13によってカメラ撮影された際に、この画像認識によって当該2次元コード内に含まれている「商品ID」を抽出し、この「商品ID」と購入済み商品リスト2Cの内容とを照合することによって購入済みの商品であるか否かを判別し、購入済みの商品であることを条件に2次元コードのデコード結果を表示出力するようにしたから、2次元コードのデコード結果を商品購入者に限定して表示出力させることができる。したがって、例えば、キャンペーンプレゼント用の応募資格としての2次元コードが雑誌などから盗み撮られたとしても、そのプレゼント用のWebサイトを見ることはできず、プレゼントの応募資格などがその商品の未購入者に対して与えられることはない。   As described above, in this embodiment, the CPU 1 receives and acquires the “product ID” from the sales terminal 21 and additionally manages the product in the electronic money purchased product list 2C when purchasing the product by electronic money payment. When a two-dimensional code added to an article such as a magazine itself or an advertising medium such as a poster or a newspaper is photographed by the camera imaging unit 13, the "product" included in the two-dimensional code is recognized by this image recognition. ID ”is extracted, and it is determined whether or not it is a purchased product by comparing this“ product ID ”with the contents of the purchased product list 2C. Since the decoding result of the code is displayed and output, the decoding result of the two-dimensional code can be displayed and output limited to the product purchaser. Therefore, for example, even if a two-dimensional code as an application qualification for a campaign gift is stolen from a magazine or the like, the website for the gift cannot be viewed, and the application qualification for a gift is not purchased. It is not given to the person.

この場合、書籍、雑誌などの商品自体に2次元コードが付加されている場合、この商品から2次元コードを盗み撮っても無意味なものとなり、一種のデジタル万引きであるコード情報の盗み撮りを効果的に抑止することが可能となる。
また、キャンペーンプレゼントとしてポスター、新聞などに印刷されている2次元コードをその商品の未購入者が撮影したとしても、その詳細を知ることができないため、逆にプレゼントは何か、何人に当たるかなど、プレゼント自体に興味をもたせることができ、広告媒体をとおして商品購買意欲を逆説的に喚起させることが可能となる。
In this case, if a two-dimensional code is added to a product such as a book or magazine, it is meaningless to steal the two-dimensional code from this product, and it is effective to take a sneak shot of code information that is a kind of digital shoplifting Deterrence.
In addition, even if a person who has not purchased the product has taken a 2D code printed on a poster or newspaper as a campaign present, the details cannot be known. The present itself can be interested, and the willingness to purchase goods can be paradoxically raised through the advertising medium.

また、CPU1は、2次元コードを画像認識した結果、この2次元コード内に複数の「商品ID」が含まれている場合には、この複数の「商品ID」の中に購入済みの商品が1つでも含まれていることを条件に、2次元コードのデコード結果を表示出力するようにしたから、「商品ID」と2次元コードとは、1:1の関係である必要はなく、2次元コード内に複数の「商品ID」が含められていても商品購入者を確実に特定することが可能となる。また、商品未購入であれば、当該商品の購入が必要であることを示すメッセージを案内出力するようにしたから、ユーザにあっては、デコード結果の出力条件を知ることができ、素早い対応が可能となる。   Further, as a result of the image recognition of the two-dimensional code, when the CPU 1 includes a plurality of “product IDs” in the two-dimensional code, the purchased product is included in the plurality of “product IDs”. Since the decoding result of the two-dimensional code is displayed and output on condition that at least one is included, the “product ID” and the two-dimensional code do not need to have a 1: 1 relationship. Even if a plurality of “product IDs” are included in the dimension code, the product purchaser can be reliably identified. In addition, if a product has not been purchased, a message indicating that the product needs to be purchased is output as a guide, so that the user can know the output condition of the decoding result and can respond quickly. It becomes possible.

一方、CPU1は、電子マネー支払いによる商品購入時に、販売端末21から当該商品IDを受信取得して電子マネー購入済み商品リスト2Cに記憶管理しておき、書籍、雑誌などに掲載されている記事、写真などを撮影した際に、その近傍に付加されている2次元コードが撮影画像内に含まれていれば、この2次元コードを抽出してデコードし、このデコード結果に「商品ID」が含まれている場合には、この「商品ID」と電子マネー購入済み商品リスト2Cの内容とを比較し、購入済みの商品であることを条件として書籍、雑誌などの商品を撮影した画像を保存することができ、正規な購入者が撮影した画像だけを保存することが可能となる。   On the other hand, the CPU 1 receives and acquires the product ID from the sales terminal 21 and stores and manages it in the electronic money purchased product list 2C when purchasing the product by electronic money payment, When a photograph is taken, if a two-dimensional code added in the vicinity is included in the photographed image, the two-dimensional code is extracted and decoded, and the product ID is included in the decoding result. If it is, the “product ID” is compared with the contents of the electronic money purchased product list 2C, and an image of a product such as a book or magazine is stored on condition that the product is a purchased product. It is possible to store only images taken by a legitimate purchaser.

また、商品未購入であれば、当該商品の購入が必要であることを示すメッセージを案内出力するようにしたから、ユーザにあっては、画像の保存条件を知ることができ、素早い対応が可能となる。
また、カメラ撮影された画像内に知覚不能な電子透かし情報が埋め込まれている場合には、この電子透かし情報をデコードして「商品ID」に変換するようにしたから、商品自体に多くの電子透かし情報を埋め込んだとしても、商品の見た目を悪くしたり、デザインを制約することもなく、多くの情報を埋め込むことが可能となる。
In addition, if the product has not been purchased, a message indicating that the product needs to be purchased is output as a guide, so the user can know the image storage conditions and can respond quickly. It becomes.
In addition, when non-perceptible digital watermark information is embedded in an image captured by the camera, the digital watermark information is decoded and converted into a “product ID”. Even if watermark information is embedded, a lot of information can be embedded without deteriorating the appearance of the product or restricting the design.

なお、上述した実施例においては、記憶部2のデータ領域には、電子マネー残高メモリ2A、電子マネー利用履歴メモリ2B、電子マネー購入済み商品リスト2Cを設けたが、非接触IC処理部12のメモリ部12Bに、電子マネー残高メモリ2A、電子マネー利用履歴メモリ2B、電子マネー購入済み商品リスト2Cを設けてもよい。
また、上述した実施例においては、書籍、雑誌などの商品自体あるいはポスター、新聞などの広告媒体に付加されている2次元コードとして、QRコードを例示したが、その他の2次元コードとして、「PDF417コード」などであってもよい。また、情報量にもよるが、バーコードなどの1次元コードを付加するようにしてもよい。
In the above-described embodiment, the data area of the storage unit 2 includes the electronic money balance memory 2A, the electronic money usage history memory 2B, and the electronic money purchased product list 2C. The memory unit 12B may be provided with an electronic money balance memory 2A, an electronic money usage history memory 2B, and an electronic money purchased product list 2C.
In the above-described embodiment, the QR code is exemplified as a two-dimensional code added to a product itself such as a book or a magazine or an advertising medium such as a poster or a newspaper. However, as another two-dimensional code, “PDF417” Code "etc. may be sufficient. Depending on the amount of information, a one-dimensional code such as a barcode may be added.

また、「商品ID」は、商品番号、製造番号、会社名などに限らず、その商品の詳細情報が掲載されているインターネット上のWebページをアクセスする「URL」であってもよく、購入済みの商品を特定可能な識別情報であれば、その内容は任意である。
その他、携帯電話装置に限らず、例えば、PDA、電子カメラ、電子腕時計、音楽再生機などの携帯端末装置であっても同様に適用可能である。
Further, the “product ID” is not limited to the product number, manufacturing number, company name, etc., and may be a “URL” for accessing a web page on the Internet where detailed information of the product is posted. As long as the identification information can identify the product, the content is arbitrary.
In addition, the present invention is not limited to the mobile phone device, and can be similarly applied to a mobile terminal device such as a PDA, an electronic camera, an electronic wristwatch, and a music player.

携帯端末装置として適用した携帯電話装置の基本的な構成要素を示したブロック図。The block diagram which showed the basic component of the mobile telephone apparatus applied as a portable terminal device. 書籍、雑誌などの商品自体あるいはポスター、新聞などの広告媒体に付加されている2次元コード(QRコード)を例示した図。The figure which illustrated two-dimensional code (QR code) added to advertising media, such as goods itself, such as a book and a magazine, or a poster and a newspaper. 書店などにおいて書籍、雑誌などに掲載されている記事、写真などが盗み撮り(デジタル万引き)されることの防止策として、記事、写真などの近傍に2次元コードを印刷した場合を例示した図。The figure which illustrated the case where the two-dimensional code was printed in the vicinity of an article, a photograph, etc. as a countermeasure against theft and photography (digital shoplifting) of an article, a photograph, etc. published in a book, a magazine, etc. in a bookstore. 電源投入に伴って実行開始される携帯電話装置の全体動作を示したフローチャート。The flowchart which showed the whole operation | movement of the mobile telephone apparatus started execution with power activation. 図4に続く、フローチャート。The flowchart following FIG.

符号の説明Explanation of symbols

1 CPU
2 記憶部
2A 電子マネー残高メモリ
2C 電子マネー購入済み商品リスト
3 記録メディア
5 電話通信部
8 メイン表示部
11 キー操作部
12 非接触IC処理部
13 カメラ撮像部
21 リーダライタ付きの販売端末
1 CPU
DESCRIPTION OF SYMBOLS 2 Memory | storage part 2A Electronic money balance memory 2C Electronic money purchased goods list 3 Recording media 5 Telephone communication part 8 Main display part 11 Key operation part 12 Non-contact IC processing part 13 Camera imaging part 21 Sales terminal with reader / writer

Claims (10)

電子マネー支払い機能を構成する非接触IC処理部とカメラ機能を構成する撮像部とを備えた携帯端末装置であって、
電子マネー支払いによる商品購入時に、販売端末から当該商品に関する情報を受信取得する取得手段と、
この取得手段によって得られた商品情報を購入済みの商品情報として記憶管理する購入済み情報記憶手段と、
商品に関連するコード情報がカメラ撮影された際に、この画像認識によって当該コード情報内に含まれている商品情報を抽出する画像認識手段と、
この画像認識手段によって得られた商品情報と前記購入済みの商品情報とを照合することによって購入済みの商品であるか否かを判別し、購入済みの商品であることを条件に前記コード情報の認識結果を出力する制御手段と、
を具備したことを特徴とする携帯端末装置。
A mobile terminal device comprising a non-contact IC processing unit constituting an electronic money payment function and an imaging unit constituting a camera function,
An acquisition means for receiving and acquiring information about the product from the sales terminal when purchasing the product by electronic money payment;
Purchased information storage means for storing and managing the product information obtained by the acquisition means as purchased product information;
Image recognition means for extracting product information included in the code information by this image recognition when code information related to the product is photographed by the camera;
By comparing the product information obtained by this image recognition means with the purchased product information, it is determined whether or not the product is a purchased product. Control means for outputting a recognition result;
A portable terminal device comprising:
前記コード情報が付加されている商品を購入した際に、前記取得手段は、前記販売端末を経由して当該商品情報を受信取得し、
商品に付加されているコード情報をカメラ撮影した際に、前記画像認識手段は、この画像認識によって当該コード情報内に含まれている商品情報を抽出する、
ようにしたことを特徴とする請求項1記載の携帯端末装置。
When purchasing the product with the code information added, the acquisition means receives and acquires the product information via the sales terminal,
When the code information added to the product is photographed by the camera, the image recognition means extracts the product information included in the code information by the image recognition.
2. The mobile terminal device according to claim 1, wherein the mobile terminal device is configured as described above.
商品広告媒体に付加されているコード情報をカメラ撮影した際に、前記画像認識手段は、この画像認識によって当該コード情報内に含まれている商品情報を抽出する、
ようにしたことを特徴とする請求項1記載の携帯端末装置。
When the code information added to the product advertisement medium is photographed by the camera, the image recognition unit extracts the product information included in the code information by the image recognition.
2. The mobile terminal device according to claim 1, wherein the mobile terminal device is configured as described above.
前記画像認識手段によってコード情報を画像認識した結果、このコード情報内に複数の商品情報が含まれている場合には、この複数の商品情報の中に購入済みの商品が1つでも含まれていることを条件に、前記制御手段は、前記コード情報の認識結果を出力する、
ようにしたことを特徴とする請求項3記載の携帯端末装置。
As a result of image recognition of the code information by the image recognition means, when a plurality of product information is included in the code information, at least one purchased product is included in the plurality of product information. The control means outputs a recognition result of the code information,
The portable terminal device according to claim 3, which is configured as described above.
電子マネー支払い機能を構成する非接触IC処理部とカメラ機能を構成する撮像部を備えた携帯端末装置であって、
電子マネー支払いによる商品購入時に、販売端末から当該商品に関する情報を受信取得する取得手段と、
この取得手段によって得られた商品情報を購入済みの商品情報として記憶管理する購入済み情報記憶手段と、
少なくとも商品の一部分がカメラ撮影された際に、この撮影画像を認識して商品情報を抽出する画像認識手段と、
この画像認識手段によって得られた商品情報と前記購入済みの商品情報とを照合することによって購入済みの商品であるか否かを判別し、購入済みの商品であることを条件に前記撮影画像を記録保存する制御手段と、
を具備したことを特徴とする携帯端末装置。
A portable terminal device including a non-contact IC processing unit that constitutes an electronic money payment function and an imaging unit that constitutes a camera function,
An acquisition means for receiving and acquiring information about the product from the sales terminal when purchasing the product by electronic money payment;
Purchased information storage means for storing and managing the product information obtained by the acquisition means as purchased product information;
Image recognition means for recognizing the captured image and extracting product information when at least a part of the product is photographed by the camera;
By comparing the product information obtained by the image recognition means with the purchased product information, it is determined whether or not the product is a purchased product. Control means for recording and saving;
A portable terminal device comprising:
前記画像認識手段は、カメラ撮影された画像内に付加されているコード情報を認識して商品情報を抽出する、
ようにしたことを特徴とする請求項5記載の携帯端末装置。
The image recognition means recognizes code information added in an image taken by a camera and extracts product information.
The mobile terminal device according to claim 5, which is configured as described above.
前記画像認識手段は、カメラ撮影された画像内に知覚不能な電子透かし情報が埋め込まれている場合、この電子透かし情報を認識して商品情報を抽出する、
ようにしたことを特徴とする請求項5記載の携帯端末装置。
The image recognition means recognizes the digital watermark information and extracts product information when the digital watermark information that cannot be perceived is embedded in the image taken by the camera.
The mobile terminal device according to claim 5, which is configured as described above.
前記制御手段は、商品未購入であれば、当該商品の購入が必要であることを示すメッセージを案内出力する、
ようにしたことを特徴とする請求項1あるいは請求項5記載の携帯端末装置。
If the product is not purchased, the control means guides and outputs a message indicating that the product needs to be purchased.
6. The portable terminal device according to claim 1, wherein the portable terminal device is configured as described above.
コンピュータに対して、
電子マネー支払いによる商品購入時に、販売端末から当該商品に関する情報を受信取得する機能と、
この商品情報を購入済みの商品情報として記憶管理する機能と、
商品に関連するコード情報がカメラ撮影された際に、この画像認識によって当該コード情報内に含まれている商品情報を抽出する機能と、
この商品情報と前記購入済みの商品情報とを照合することによって購入済みの商品であるか否かを判別し、購入済みの商品であることを条件に前記コード情報の認識結果を出力する機能と、
を実現させるためのプログラム。
Against the computer,
A function of receiving and acquiring information about the product from the sales terminal when purchasing the product by electronic money payment;
A function for storing and managing this product information as purchased product information,
When the code information related to the product is photographed by the camera, the function of extracting the product information included in the code information by this image recognition;
A function of determining whether or not the product is a purchased product by comparing the product information with the purchased product information, and outputting the recognition result of the code information on the condition that the product is a purchased product; ,
A program to realize
コンピュータに対して、
電子マネー支払いによる商品購入時に、販売端末から当該商品に関する情報を受信取得する機能と、
この商品情報を購入済みの商品情報として記憶管理する機能と、
少なくとも商品の一部分がカメラ撮影された際に、この撮影画像を認識して商品情報を抽出する機能と、
この商品情報と前記購入済みの商品情報とを照合することによって購入済みの商品であるか否かを判別し、購入済みの商品であることを条件に前記撮影画像を記録保存する機能と、
を実現させるためのプログラム。
Against the computer,
A function of receiving and acquiring information about the product from the sales terminal when purchasing the product by electronic money payment;
A function for storing and managing this product information as purchased product information,
A function of recognizing this captured image and extracting product information when at least a part of the product is photographed by the camera;
A function of determining whether or not the product is a purchased product by comparing the product information with the purchased product information, and recording and saving the captured image on the condition that the product is a purchased product;
A program to realize
JP2005282057A 2005-09-28 2005-09-28 Mobile terminal device and program Pending JP2007094672A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005282057A JP2007094672A (en) 2005-09-28 2005-09-28 Mobile terminal device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005282057A JP2007094672A (en) 2005-09-28 2005-09-28 Mobile terminal device and program

Publications (1)

Publication Number Publication Date
JP2007094672A true JP2007094672A (en) 2007-04-12

Family

ID=37980331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005282057A Pending JP2007094672A (en) 2005-09-28 2005-09-28 Mobile terminal device and program

Country Status (1)

Country Link
JP (1) JP2007094672A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015111806A (en) * 2013-11-08 2015-06-18 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America Display method
CN107798521A (en) * 2017-11-15 2018-03-13 上海捷售智能科技有限公司 A kind of vegetable identification and POS and method based on machine code image recognition
CN110008798A (en) * 2018-01-04 2019-07-12 我识出版社有限公司 Virtual point-of-reading system and its implementation method
CN110378166A (en) * 2019-06-19 2019-10-25 苑景宣 A kind of two dimensional code based on identification special pattern is antitheft to take the photograph system and method
CN110765798A (en) * 2019-10-18 2020-02-07 深圳市开架易技术有限公司 Commodity touch sensing method based on machine vision
WO2020261546A1 (en) 2019-06-28 2020-12-30 楽天株式会社 Information processing device, information processing system, information processing method, and program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015111806A (en) * 2013-11-08 2015-06-18 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America Display method
CN107798521A (en) * 2017-11-15 2018-03-13 上海捷售智能科技有限公司 A kind of vegetable identification and POS and method based on machine code image recognition
CN110008798A (en) * 2018-01-04 2019-07-12 我识出版社有限公司 Virtual point-of-reading system and its implementation method
CN110378166A (en) * 2019-06-19 2019-10-25 苑景宣 A kind of two dimensional code based on identification special pattern is antitheft to take the photograph system and method
CN110378166B (en) * 2019-06-19 2023-07-14 苑景宣 Two-dimensional code anti-theft shooting system and method based on specific pattern recognition
WO2020261546A1 (en) 2019-06-28 2020-12-30 楽天株式会社 Information processing device, information processing system, information processing method, and program
US11659123B2 (en) 2019-06-28 2023-05-23 Rakuten Group, Inc. Information processing device, information processing system, information processing method and program for extracting information of a captured target image based on a format of the captured image
CN110765798A (en) * 2019-10-18 2020-02-07 深圳市开架易技术有限公司 Commodity touch sensing method based on machine vision

Similar Documents

Publication Publication Date Title
KR101169984B1 (en) Information processing system, information processing device, and information processing method
US7197448B2 (en) Method of electronic settlement with a mobile terminal
US20050228821A1 (en) Stand-alone system for storing books in electronic memory
US20090084840A1 (en) System and method for payment at a point-of-sale terminal
KR20070063896A (en) Shopping system using the mobile phone and method thereof
US20050252966A1 (en) Purchasing system using object matching
US20090088202A1 (en) Service Discovery Via Mobile Imaging Systems And Methods
JP2007094672A (en) Mobile terminal device and program
JP5158580B2 (en) Electronic device and program
KR20160044667A (en) Printing system for a photograph using a mobile phone
US20070288499A1 (en) Rfid tagging of media/multimedia files
JP2007174227A (en) Motion picture distribution system through two-dimensional bar code seal
JP2009053837A (en) Cash register system and member registration server
KR101266239B1 (en) Service providing method using QR code or smart tag
JP2010015201A (en) Store system and transaction method
CA3115275A1 (en) Systems and methods for point of sale age verification
JP2014010521A (en) Settlement system and settlement method using portable terminal
JP2005057501A (en) Mobile communication terminal and communication system using the same
JP2005301637A (en) Merchandise management system and merchandise management method
JP2007280309A (en) Automatic diary making system using cellphone with built-in contactless ic card
CN107423611A (en) Graphic code recognition methods and device and electronic equipment
WO2011063878A1 (en) System, apparatus and method for improved retrieval of lost items
JP2005122608A (en) Book reference system
JP2008165346A (en) Point management system
JP2005333379A (en) Information terminal device and individual information transmitting method