JP2006023877A - Color block image recognition numeric value conversion coding technology and its utilizing method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To shorten time and input labor to make an information provider side instantaneously respond and reply to the contents of the image information of a computer monitor or a television from a viewer, and to simplify the input edition of characters or image information at the information provider side, and to easily and efficiently and instantaneously transmit the request information of a user to the advertiser or advertising sponsor for merchandise display sales and advertising in streets in using a portable telephone whose processing speed is slow regardless of the distance. <P>SOLUTION: Exclusive color block codes in which numeric values or control information are set at an information provider side are preliminarily displayed on the screen of a computer monitor or a general television, and they are received by an exclusive receiver remote controller, and an information provider side is made to respond and reply to the received information through the Internet, a telephone line or a cable line in real time. Thus, it is possible to attain an accurate and high speed operation by shortening a time, and saving any labor to perform a personal input or to make a telephone call. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、コンピュータモニタ又は一般のテレビ画面にカラーブロックコードを表示し、
そのカラーブロックに予め特定の数値、又は制御情報を設定し、モニタ、又はテレビを
制御するリモコン受信機に送信し、そのリモコンで受信した情報をインターネット、又
は電話回線、又はケーブル回線の有線、無線を問わずそれらの情報提供者にリアルタイ
ムで返信送信できるのでパソコンやテレビを見ながらその画面に対応する返信情報が即
座に情報提供者に返信できるので在宅学習の返答システム、テレビ通信販売、テレビア
ンケート、商品物流システムなど、その他、多種多様の業種に応用できる。
また、携帯電話のカメラや携帯端末のカメラなどを利用し、街頭商品陳列台などに予め
カラーブロックをプレートなどで表示又はビルの電飾看板などに設置し、そのカラーブ
ロックコードを距離に関係なく撮影し、その場で携帯電話や携帯端末の無線パケット通
信網を利用し即座にコード情報や制御情報をデータベースや物流センターに電信できる
ので、商品パンフレット請求や注文又は街頭宣伝などを含め、アンケート調査などにも
利用でき、従来のバーコードや２次元バーコードのように撮影する距離に制約される事
もなく数百メートル離れた距離からでも撮影が可能になるため、利用範囲を限定するこ
となく幅広い分野でのコード化処理に応用が期待できる。 The present invention displays a color block code on a computer monitor or a general television screen,
A specific numerical value or control information is set in advance in the color block, transmitted to a remote control receiver that controls a monitor or television, and the information received by the remote control is wired or wirelessly on the Internet, telephone line, or cable line. Regardless of the information provider, it is possible to send a reply in real time to the information provider so that the reply information corresponding to the screen can be immediately returned to the information provider while watching a PC or TV. It can be applied to a wide variety of other industries such as product distribution systems.
Also, using a mobile phone camera or a mobile terminal camera, color blocks are displayed in advance on a street product display stand, etc. on a plate, etc. Since the code information and control information can be instantly telegraphed to the database and distribution center using the wireless packet communication network of mobile phones and mobile terminals on the spot, questionnaire surveys including product brochure requests, orders or street advertisements etc. And can be used from a distance of several hundred meters without being restricted by the shooting distance as in the case of conventional barcodes and two-dimensional barcodes. Applications can be expected for coding processes in a wide range of fields.

従来までのパソコンやテレビ画面で表示されていたものは直接パソコンからキーボード
やマウス等を通じてコンピュータに直接制御情報を送るものであった。又は、テレビな
どの画面で通信販売などをする場合は例えば商品番号を表示し、また、その商品につい
て発注する際の申込受付電話番号「０１２０」などを表示させ、ユーザーからの間接的
な連絡の手段を待っているだけのものであった。
また、携帯電話やハンディスキャナーを利用するバーコード処理方法では、スキャンす
る距離に制約があり、数センチのところまで近づけて撮影する必要があった。 Conventionally, what was displayed on a personal computer or television screen was to send control information directly from the personal computer to the computer through a keyboard, mouse, or the like. Or, for mail order sales on a screen such as a TV, for example, the product number is displayed, and the application reception phone number “0120” when placing an order for the product is displayed, so that indirect contact from the user It was just waiting for the means.
Further, in the barcode processing method using a mobile phone or a handy scanner, the scanning distance is limited, and it is necessary to take a picture close to several centimeters.

コンピュータ画面に表示し通信販売などをする場合、ウエブサーバーなどのコンピュー
タを情報提供者側に専用に設置し、同時にユーザー側にもそれらの専用端末機器や専用
の回線などが必要であり、またテレビで視聴者などに通信販売などをする場合、その画
面内に商品などの番号をテロップなどで重ねて表示し、且つ、商品購入案内電話番号「０
１２０」などを表示し、ユーザーから別に電話をさせて注文などを取っていたが、本発
明が解決する課題はそれらのコンピュータ装置の設置の必要なく、テレビ画面での視聴
者側の電話による手作業での注文をも無くし画面に向かってただ、視聴者は専用の信号
送受信付きリモコンの制御ボタンを押すだけで即座にその情報提供者側にその画面の内
容について応答することができる双方向の即時応答返信システム…「Real time
Interactive Two way Response System」の構築が可能になった。
また、街頭では目的とするものの距離に関係なく、単純に表示又は設置されているカラ
ーブロックプレートやカラーブロック電飾看板などを携帯電話のカメラで撮影し簡単に
そのコード化された情報を広告スポンサーや情報提供者などへ返信することができるよ
うになる。
また、これらテレビなどの視聴者や携帯電話の所有者は返信する情報の中にユーザー固
有の情報などを予め登録しておくことによって、ユーザーからのデータが情報提供者に
返信された時点で、いつ、どの時点で、どのユーザーがその商品を注文したかなどの関
連情報を瞬時にして得ることができ、又、利用者決済情報なども予め登録しておくこと
により、それらの情報を商品発送センターなどとリンクするとにより数十秒以内での注
文商品受注処理、及び発送も可能になる。
従って、これらのシステムを応用することにより、今までにない、飛躍的な流通システ
ムの簡素化及び、スピードの向上を確立をするとともに、まったく中間に電話受付オペ
レーション業者などの第三者の介入することのない非常に安全な情報セキュリティー性
を持ち合わせるものであり、これらの高度な色画像―数値変換コード化処理技術の幅広
い分野での利用を目的とする。 When displaying on a computer screen for mail order sales, a dedicated computer such as a web server is installed on the information provider side, and at the same time, a dedicated terminal device or dedicated line is required on the user side. In the case of mail order sales to viewers, etc., the number of the product etc. is displayed on the screen with a telop or the like, and the product purchase guide telephone number “0” is displayed.
120 "and the like, and the user calls the user separately to place an order. However, the problem to be solved by the present invention is that there is no need to install such a computer device, and the viewer's telephone call on the TV screen is necessary. Two-way communication that allows viewers to respond immediately to the information provider by simply pressing the control button on the remote control with dedicated signal transmission / reception. Instant response reply system… “Real time
Interactive Two way Response System can now be built.
In addition, regardless of the distance of the target on the street, a color block plate or color block signboard that is simply displayed or installed is photographed with a mobile phone camera, and the encoded information is easily sponsored by the advertisement. And reply to information providers.
In addition, viewers such as televisions and mobile phone owners register user-specific information in the information to be sent in advance, so that when data from the user is sent back to the information provider, It is possible to instantly obtain relevant information, such as when and at what point, which user ordered the product, and by registering user settlement information in advance, such information is shipped to the product. By linking with a center or the like, it becomes possible to process and ship orders for orders within tens of seconds.
Therefore, by applying these systems, we have established an unprecedented simplified distribution system and improved speed, and intervened by third parties such as telephone reception operators in the middle. It is intended to be used in a wide range of advanced color image-numerical conversion coding processing technologies.

上記目的を達成するために、図１にその解説をする。図１のコンピュータ画面、又は一
般テレビ画面に表示されている専用のカラーブロックを専用の受信リモコンで読み取り、
その読み取ったカラーブロックに対応した数値、又は制御情報を即座に別のインターネ
ット通信用ルータ、又はモデム、又は電話回線又はケーブル回線などを通じてその情報
提供者側に返信送信する。コンピュータモニタ又はテレビなどに表示されているカラー
ブロックなどは、予め情報提供者側が任意にそれらの情報を数値情報として管理でき、
その数値情報などを任意の商品や文書や画像とリンクしデータベース化し管理、又は摘
出して再利用することができる。
具体的な編集方法は、例えば、静止画像として表示する場合、その画像にカラーブロッ
クを重ねて貼り付けるだけで利用でき、画面上にアイコンなどの専用ボタンを設置す
る必要はない。また、一般テレビなどの編集については今まで通り、必要な画面を呼び
出し、テロップとして任意の位置に同様にカラーブロックを重ねて貼り付け表示させる
だけである。
また、携帯電話での利用においては、図２の通り、目的のものの側近に表示又は設置さ
れているカラーブロックを撮影し、携帯電話の特定のボタンを押すことによってコード
化された情報をそれらの無線中継センターを経由して送信するだけである。
なお、これらを実現するための画像認識に必要な計算式および方法は下項より説明する。 In order to achieve the above object, the explanation is shown in FIG. The dedicated color block displayed on the computer screen of FIG. 1 or the general television screen is read with a dedicated receiving remote controller,
The numerical value or control information corresponding to the read color block is immediately sent back as a reply to the information provider through another Internet communication router, modem, telephone line or cable line. Color blocks displayed on computer monitors or televisions can be managed in advance by the information provider as numerical information.
The numerical information and the like can be linked to an arbitrary product, document, or image, managed as a database, or extracted and reused.
For example, when displaying as a still image, a specific editing method can be used simply by overlaying and pasting a color block on the image, and there is no need to install a dedicated button such as an icon on the screen. In addition, for editing on a general television or the like, as in the past, a necessary screen is simply called and a color block is similarly pasted and displayed in an arbitrary position as a telop.
In addition, when using with a mobile phone, as shown in FIG. 2, the color block displayed or installed near the target object is photographed, and the information encoded by pressing a specific button on the mobile phone is displayed as the information. It only transmits via the wireless relay center.
The calculation formulas and methods necessary for image recognition to realize these will be described from the following section.

（計算方法）
カラーブロック色認識に応用する関数及び計算方法
＜＜本システムで独自に開発する関数一覧＞＞
本研究でカラーブロックの画像の色認識とその表示範囲を特定するために、下記に必要
関数を独自に開発作成し、そのメモリアドレス操作によって今までの数式演算とは全く
異なる手法で実現できることを確認する。
＜＜１・・画像メモリサーチ方法及び制御関数＞＞
携帯端末画像全体「ウインドウ全体」の表示範囲で通常左上端座標０,０「画像メモリの
始点アドレス」〜右下端座標 ２４０,３２０「画像メモリ終点アドレス」までの画像実
写メモリ全体をサーチする。
この場合、サーチする携帯端末の画像メモリ実アドレスは(００００００００−ＦＦＦＦ
ＦＦＦＦ)の範囲内で、指定できるアドレスの範囲は各携帯端末の画像メモリの大きさに
依存します。
又、携帯端末の実質表示可能画素数は最新のＮＴＴ−ＤｏＣｏＭｏのＦＯＭＡ対応携帯
電話の最大表示画素数のｘ座標「横」２４０ピクセル、及びｙ座標「縦」３２０ピクセ
ルまでの実写表示範囲とする。 (Method of calculation)
Functions and calculation methods applied to color block color recognition << List of functions originally developed in this system >>
In this research, in order to identify the color recognition of the color block image and its display range, the following necessary functions have been developed and created, and the memory address operation can be realized with a completely different method from the conventional mathematical calculation. Check.
<< 1. Image memory search method and control function >>
In the display range of the entire portable terminal image “entire window”, the entire image real-time memory is searched from the upper left coordinate 0,0 “image memory start point address” to the lower right coordinate 240,320 “image memory end point address”.
In this case, the actual address of the image memory of the mobile terminal to be searched is (00000000-FFFF
Within the range of (FFFF), the address range that can be specified depends on the image memory size of each mobile device.
In addition, the actual displayable number of pixels of the mobile terminal is a live-action display range up to 240 pixels of the x coordinate “horizontal” and 320 pixels of the y coordinate “vertical” of the maximum display pixel number of the latest NTT-DoCoMo FOMA compatible mobile phone. .

（関数一覧）
本研究で開発作成する制御関数一覧と機能説明…
関数１ bufad
サーチするVRAMバッファメモリ領域の指定：bufad パラメータ(００００００００−Ｆ
ＦＦＦＦＦＦＦ)指定するアドレスの範囲は各携帯端末の画像メモリの大きさに依存す
る。（パラメータを設定しない場合はメモリ全体領域を指定）
関数２ sdad
サーチするＳＤメモリ領域の指定：sdad パラメータ(００００００００−ＦＦＦＦＦＦ
ＦＦ)指定するアドレスの範囲は携帯端末のＳＤメモリの大きさに依存する。
（パラメータを設定しない場合はメモリ全体領域を指定）
関数３ colbufad
連続した色番号数値が存在しているVRAMバッファメモリ領域の抽出：colbufadパラメー
タ（00000000-FFFFFFFF）の任意の範囲をサーチ、範囲は、各携帯端末の画像メモリの大
きさに依存する。（パラメータを設定しない場合はメモリ全体領域を指定）
関数４ colsdad
連続した色番号数値が存在しているＳＤメモリ領域の抽出：colsdadパラメータ
（00000000-FFFFFFFF）の任意の範囲をサーチ、範囲は、各、携帯端末の、ＳＤメモリの
大きさに依存する。（パラメータを設定しない場合はメモリ全体領域を指定）
関数５ ncolad
隣接する同じ色番号数値が存在するVRAMバッファメモリ領域の抽出:ncolad パラメータ
（ｘ00000000-FFFFFFFF）指定するアドレスの範囲は各携帯端末の画像メモリの大きさに
依存する。（パラメータを設定しない場合はメモリ全体領域を指定）
関数６ ncolsdad
隣接する同じ色番号数値が存在するＳＤメモリ領域の抽出:ncolsdad パラメータ（ｘ
00000000-FFFFFFFF）指定するアドレスの範囲は各携帯端末のＳＤメモリの大きさに依存
する。（パラメータを設定しない場合はメモリ全体領域を指定）
関数７ cbstpad
VRAM バッファメモリ内でのカラーブロック始点アドレス抽出：cbstpadパラメータ
（00000000-FFFFFFFF）の範囲でサーチ、範囲は各携帯端末の
画像メモリの大きさに依存する。（パラメータを設定しない場合はメモリ全体領域を指
定）
関数８ cbstpadsd
ＳＤメモリ内でのカラーブロック始点アドレス抽出：cbstpadsdパラメータ
（00000000-FFFFFFFF）の範囲でサーチ、範囲は各携帯端末のＳＤメモリの大きさに依存
する。（パラメータを設定しない場合はメモリ全体領域を指定）
関数９ cbedpad
VRAM バッファメモリ内でのカラーブロック終点アドレス抽出：cbedpadパラメータ
（00000000-FFFFFFFF）の範囲でサーチ、範囲は各携帯端末の画像メモリの大きさに依存
する。（パラメータを設定しない場合は
メモリ全体領域を指定）
関数１０ cbedpadsd
ＳＤメモリ内でのカラーブロック終点アドレス抽出：cbedpadsdパラメータ
（00000000-FFFFFFFF）の範囲でサーチ、範囲は、各携帯端末のＳＤメモリの大きさに依
存する。（パラメータを設定しない場合はメモリ全体領域を指定）
関数１１ colnum
色定義：colnum パラメータ（JIS標準の色番号を設定）１６種類の任意の中間色以外の
単調色を設定
関数１２ bccolnum
色番号定義：bccolnum パラメータ（1-16）カラーブロックの各色に対応する番号を設定
関数１３ mkcode
色に対応するコード化番号：mkcode パラメータ（０〜９までの番号及び桁数を任意に設
定）１６階調の場合、最大１６ｘ１６乗数までの桁数を設定可 (Function list)
List of control functions developed and created in this research and explanation of functions ...
Function 1 bufad
Specification of VRAM buffer memory area to be searched: bufad parameter (00000000-F
FFFFFFF) The address range to be specified depends on the size of the image memory of each portable terminal. (If the parameter is not set, specify the entire memory area)
Function 2 sdad
Specification of SD memory area to search: sdad parameter (00000000-FFFFFF
FF) The address range to be specified depends on the size of the SD memory of the portable terminal.
(If the parameter is not set, specify the entire memory area)
Function 3 colbufad
Extraction of VRAM buffer memory area where continuous color number values exist: Search for an arbitrary range of the colbufad parameter (00000000-FFFFFFFF), the range depends on the size of the image memory of each mobile terminal. (If the parameter is not set, specify the entire memory area)
Function 4 colsdad
Extraction of SD memory area where continuous color number values exist: search for an arbitrary range of colsdad parameter (00000000-FFFFFFFF), the range depends on the size of the SD memory of each portable terminal. (If the parameter is not set, specify the entire memory area)
Function 5 ncolad
Extraction of adjacent VRAM buffer memory area having the same color number value: ncolad parameter (x00000000-FFFFFFFF) The range of addresses specified depends on the size of the image memory of each portable terminal. (If the parameter is not set, specify the entire memory area)
Function 6 ncolsdad
Extraction of SD memory area where the adjacent color number numerical value exists: ncolsdad parameter (x
(00000000-FFFFFFFF) The address range to be specified depends on the size of the SD memory of each portable terminal. (If the parameter is not set, specify the entire memory area)
Function 7 cbstpad
Extraction of color block start address in VRAM buffer memory: Search in the range of cbstpad parameter (00000000-FFFFFFFF). The range depends on the size of the image memory of each mobile terminal. (If the parameter is not set, specify the entire memory area)
Function 8 cbstpadsd
Extraction of color block start point address in SD memory: search in the range of cbstpadsd parameter (00000000-FFFFFFFF), the range depends on the size of SD memory of each portable terminal. (If the parameter is not set, specify the entire memory area)
Function 9 cbedpad
Extraction of color block end point address in VRAM buffer memory: Search in the range of cbedpad parameter (00000000-FFFFFFFF), the range depends on the size of image memory of each mobile terminal. (If the parameter is not set, specify the entire memory area)
Function 10 cbedpadsd
Extraction of color block end point address in SD memory: search in the range of cbedpadsd parameter (00000000-FFFFFFFF), the range depends on the size of SD memory of each portable terminal. (If the parameter is not set, specify the entire memory area)
Function 11 colnum
Color definition: colnum parameter (set JIS standard color number) Set 16 monotone colors other than intermediate colors. Function 12 bccolnum
Color number definition: bccolnum Parameter (1-16) Set the number corresponding to each color of the color block Function 13 mkcode
Coding number corresponding to the color: mkcode parameter (number and digit number from 0 to 9 are arbitrarily set) For 16 gradations, the number of digits up to 16x16 multiplier can be set

その他、関連制御コマンド…
関数１４ codecopysd
データをＳＤメモリへコピー：パラメータ（ＳＤメモリ上のアドレスを指定）
関数１５ storesd
データをＳＤメモリにファイル形式で書き出す：パラメータ（ＳＤメモリの仕様に順ず
る）
関数１６ callnum
携帯電話で番号を発信しダイアルする：パラメータ（0-9,*,#,）
関数１７ sddatasend
ＳＤメモリのデータをパケットデータで送信：パラメータ（ＳＤメモリの仕様に順ずる） Other related control commands ...
Function 14 codecopysd
Copy data to SD memory: Parameter (specify address on SD memory)
Function 15 storesd
Export data to SD memory in file format: parameters (according to SD memory specifications)
Function 16 callnum
Dial and dial a number on your mobile phone: parameters (0-9, *, #,)
Function 17 sddatasend
Send data from SD memory as packet data: parameters (according to SD memory specifications)

（色認識方法）
１…カラーブロックの認識と表示されている範囲を抽出する方法…
目的と方法…
本研究で最も重要な要素となるカラーブロックの色識別技術として携帯端末で撮影され
たカラーブロック画像がファイル「ＳＤメモリなどの記憶媒体」に保存されまでの携帯
端末内のVRAMバッファメモリ「一時的に画像が保存される記憶エリア」のメモリを直接
検索し、それらの画像をカラーブロックであるかどうか…そして、そのカラーブロック
がメモリ内にいくつ存在し、また、どこからどこまでがカラーブロックの範囲である
かを特定する必要がある。
これらを実現する方法として、下記の数式により、携帯端末で撮影されたすべてのカラ
ーブロックの撮影画像表示位置、及び形状「傾き」大きさを特定し、それらの情報を抽
出することができる。
また、それらの抽出されたカラーブロックに予め設定された番号数値を元に、対応する
コードを割り当てコード情報に変換し携帯端末の持っている機能であるパケット無線通
信を利用してそれらのコード情報とリンクさせるサーバーやデータベースにそれらのコ
ード情報をリアルタイムに送信することが可能になる。 (Color recognition method)
1 ... Color block recognition and method of extracting the displayed range ...
Purpose and method ...
The VRAM buffer memory in the mobile terminal “temporary” until the color block image taken with the mobile terminal is stored in the file “storage medium such as SD memory” as the color block color identification technology which is the most important element in this research "Memory area where images are stored in" directly search the memory, whether those images are color blocks ... and how many color blocks exist in the memory, and from where to where in the color block range It is necessary to specify whether it exists.
As a method for realizing these, it is possible to specify the captured image display positions and shape “tilt” sizes of all the color blocks photographed by the mobile terminal and extract the information by the following mathematical formula.
In addition, based on the numerical values preset in those extracted color blocks, the corresponding codes are converted into assigned code information, and the code information is obtained using packet wireless communication which is a function of the mobile terminal. It is possible to send the code information in real time to a server or database linked with.

（カラーブロック抽出方法）
＜＜色の認識及び抽出方法…＞＞
画像表示範囲全体内に存在するカラーブロックの色数値とその表示座標、及び、横（Ｘ
方向）縦（Ｙ方向）の大きさ、及び表示範囲を特定する為に次の定義をしこれらの集合
確率を算定する集合関数を作成し、本方式を応用するすべての利用で同じ認識結果を得
ることを目的とする。
カラーブロック画像のサーチ方法及び規則（コンピュータ画像走査における絶対的規則）
は画像メモリ内に展開されているメモリアドレスのサーチは常に00000000より後方ア
ドレスに向いて実行される。したがって、ランダムサーチではなくシーケンシャルサー
チのみとする。
（実際には画像全体の表示エリアウインドウ内の左上端から右下端まで、上から順番に
１ラインづつ左から右方向のみ走査サーチされる。）
（ただし、逆サーチを利用する場合はこの反対の方法でサーチする。） (Color block extraction method)
<< Color recognition and extraction method ... >>
Color values and display coordinates of color blocks existing in the entire image display range, and horizontal (X
(Direction) Vertical size (Y direction) and the following definition to specify the display range, create a set function to calculate these set probabilities, the same recognition result for all applications of this method The purpose is to obtain.
Color block image search method and rules (absolute rules in computer image scanning)
The search for the memory address developed in the image memory is always performed toward the rear address from 00000000. Therefore, only a sequential search is performed instead of a random search.
(Actually, only the search from the left to the right in the order of one line from the top left to the bottom right in the display area window of the entire image is performed.)
(However, if reverse search is used, search using the opposite method.)

色認識及び画像ブロック特定法
上記の規則により、
横（Ｘ方向）の１ピクセルの値をＰｘとし、座標の最初の左上端の１ピクセルから次の
右隣の色を調べる演算をＡとすると、
＜なん化式＞
Ｐｘ＋１＝ＡＰｘ が成り立つ、これより、
Ｐｘ＝ＡｘＰ０ （Ａ０＝１；”何もないという演算” ）
ここで便宜的にＸ座標の隣に存在する複数の色数値をＮｘ, Ｙ座標の下に存在する複数
の色数値をＮｙとし、Ｐｘ,ｙ：＝Ｐｘ＋Ｎｘｙとおく。
この場合カラーブロックの設定数が全部で１６種類なので色数値は０００−ＦＦＦまで
の１６種類の色数値（１６色単色諧調でカラーブロックを構成する場合）が割り当てら
れる。
これらを下記の数式の通り、横（Ｘ方向）縦（Ｙ方向）をサーチする。
Ｐｘ, ｙ＝Ｐｘ＋ｍ, ｙ＋ｎＮｘｙ（ｎ＝１,２,３ ｍ＝１,２,３）
次に、斜め下前方方向及び斜め下後方方向のそれぞれ隣接した範囲をサーチする、そし
て、
Ｐｘ, ｙ＝Ｐｘ＋ｋ, ｙ＋ｋ（ｋ＝１,２,３）
が成立していればその周辺は同一の色数値であると特定できこれらの色数値の集合確立
によって色数値を特定できる。
また、この範囲に他の色数値が混在しても、色の集合確立を計算し、他の色数値の存在
比率が
（１６色の場合）
サーチした目的の色の全体のピクセル数÷別の色の全体のピクセル数が６．２５％以内
（１６色分の１）であれば混在した他の色は無視できる許容範囲内である。
また、他のカラーブロックとの境界の識別は、最初のカラーブロックの横（Ｘ方向）縦
（Ｙ方向）をサーチした場合、
Ｐｘ, ｙ＝Ｐｘ＋ｍ, ｙ＋ｎＮｘｙ（ｎ＝１,２,３ ｍ＝１,２,３）及び、斜め下前
方方向及び斜め下後方方向のそれぞれ隣接した範囲をサーチした時、
Ｐｘ, ｙ＝Ｐｘ＋ｋ, ｙ＋ｋ（ｋ＝１,２,３）が成立すれば、その隣接する範囲に、
他のカラーブロックが存在すると特定できる。
（なお、認識できる精度はサーチするピクセル数（ｎ＝１,２,３ ｍ＝１,２,３）を増
やすことによって向上させることができる。） Color recognition and image block identification method
Assuming that the value of one pixel in the horizontal direction (X direction) is Px, and the operation for examining the next right adjacent color from the first pixel at the upper left corner of the coordinates is A,
<Nationalization formula>
Px + 1 = APx holds. From this,
Px = AxP0 (A0 = 1; “operation that there is nothing”)
For convenience, a plurality of color values existing next to the X coordinate are Nx, and a plurality of color values existing under the Y coordinate are Ny, and Px, y: = Px + Nxy is set.
In this case, since the number of set color blocks is 16 in total, 16 types of color values from 000 to FFF are assigned (when a color block is configured with 16 color monotones).
These are searched in the horizontal direction (X direction) and vertical direction (Y direction) as shown in the following equation.
Px, y = Px + m, y + nNxy (n = 1, 2, 3 m = 1, 2, 3)
Next, search each adjacent range in the diagonally lower front direction and diagonally lower rear direction, and
Px, y = Px + k, y + k (k = 1, 2, 3)
If is established, it can be specified that the surrounding color values are the same, and the color values can be specified by establishing a set of these color values.
Even if other color values are mixed in this range, the color set establishment is calculated, and the existence ratio of other color values is (in the case of 16 colors).
If the total number of pixels of the searched target color / the total number of pixels of another color is within 6.25% (1/16), the mixed colors are within an allowable range that can be ignored.
Also, the boundary between other color blocks can be identified by searching the horizontal (X direction) and vertical (Y direction) of the first color block.
When searching for Px, y = Px + m, y + nNxy (n = 1, 2, 3 m = 1, 2, 3) and the adjacent ranges in the diagonally forward and backward directions,
If Px, y = Px + k, y + k (k = 1, 2, 3) holds,
It can be specified that another color block exists.
(Note that the recognizable accuracy can be improved by increasing the number of pixels to be searched (n = 1, 2, 3 m = 1, 2, 3).)

コンピュータモニタ又はテレビに表示させるカラーブロックコードをリモコンでスキャンする方法…この例では２０ブロックのカラー構成でそれぞれ１−９の数値「任意」の数値を割り当てる。実際に目的とする物体「商品、宣伝広告紙面や看板」の側近に複数のカラーで組み合わせたブロックを表示、又はプレートなどに書き込み又は貼り付けるなどして設置し、そのカラーブロックをテレビのリモコン又は専用の受信装置で読み取りさせる。通常はリモコンに内臓されているカラーＣＣＤセンサーで色画像を認識させ、その情報を瞬時に数値化し、無線又は有線の電話回線、ケーブル回線、インターネット回線などを通じて数値データを伝送する。A method of scanning a color block code to be displayed on a computer monitor or television with a remote controller. In this example, a numerical value of “1-9” is assigned to each of a 20-block color configuration. A block combined with a plurality of colors is displayed near the target object “product, advertising paper or signboard”, or written or pasted on a plate, etc. Read with a dedicated receiver. Usually, the color image is recognized by a color CCD sensor built in the remote controller, the information is instantly digitized, and the numerical data is transmitted through a wireless or wired telephone line, cable line, internet line or the like. 携帯電話で利用する場合のカラーブロックの表示方法及び利用例…実際にコンピュータモニタやテレビの画面上の任意のところにカラーブロックを表示し、そのカラーブロックを携帯電話や携帯端末の内臓カメラなどを利用して撮影し、その撮影されたカラーブロック画像を瞬時に数値化し、携帯電話や携帯端末が持っている無線パケットなどの通信機能を利用して、数値データを広告主やスポンサー側のデータベースセンターや物流センターへ直接伝送する。なお、この伝送経路内には一切データ処理中間業者「オペレーションや受注代行業者」などの介在はない。Color block display method and usage example when using with a mobile phone ... Actually, the color block is displayed anywhere on the screen of a computer monitor or television, and the color block is displayed on the internal phone camera of the mobile phone or mobile terminal. The captured color block image is instantly digitized, and the numeric data is converted to the database center of the advertiser or sponsor using the communication functions such as wireless packets of mobile phones and mobile terminals. Or directly to the distribution center. It should be noted that there is no data processing intermediary “operation or order agent” in the transmission path. カラーブロックコードの構成と表示の基本…通常、構成するカラーブロックの構成は正方形であるがその他、変形したカラーブロック、例えば円、三角、菱形など、どのような形であっても常に１つの色のブロックと隣の色のブロックが連続して配列されて構成されていればその形に規制はなく、自由にその配列順序や配列位置を形成できる。また、例では５種類の色のカラーブロック構成となっているが、必要に応じて自由にブロック数を加減し、情報量を増やしたり減らしたりできる。Color block code configuration and basic display ... Normally, the color block configuration is square, but any other color block, such as a circle, triangle, or diamond, is always one color. If the block and the adjacent color block are arranged in succession, there is no restriction on the shape, and the arrangement order and arrangement position can be freely formed. In the example, a color block configuration of five kinds of colors is used. However, the number of blocks can be freely adjusted as necessary to increase or decrease the amount of information. カラーブロックコードの構成と細分化…通常、カラーブロックは、コンピュータなどで認識される場合、１つの画素単位で識別され、それぞれの画素には必ずその色の番号が割り当てられている。コンピュータはこれらの色を高精度なＣＣＤセンサーなどを内臓したカメラなどで取り込み、それを色認識し、それに対応した番号を割り当て、色番号を特定する。Structure and subdivision of color block code: Normally, when a color block is recognized by a computer or the like, it is identified in units of one pixel, and each pixel is always assigned a color number. The computer captures these colors with a camera incorporating a high-precision CCD sensor or the like, recognizes the color, assigns a corresponding number, and specifies the color number. 標準配列のカラーブロック画像の「走査」サーチ及び色番号の特定方法…一般的にコンピュータの画像範囲「コンピュータのモニタやテレビや携帯電話、又は携帯端末」は、画像の右上端のポイント０、０を基点とし、順次上から下のライン「横方向走査」にしたがって画像を走査していき、次の下のラインに移動した時も、右から左に走査していき、最終の一番下のラインＦＦＦＦでそのラインの一番左のポイントが走査できた段階で画面全体の走査が完了する。“Scan” search of color block image of standard arrangement and method of specifying color number: Generally, an image range of a computer “computer monitor, television, mobile phone, or mobile terminal” is point 0, 0 at the upper right corner of the image. The image is scanned sequentially from top to bottom according to the “horizontal scan” from top to bottom, and when moving to the next bottom line, the image is scanned from right to left. The scanning of the entire screen is completed when the leftmost point of the line can be scanned by the line FFFF. 変形したカラーブロック画像の標準サーチ及び色番号の特定方法１…図５と同様に右上端から左に画像を走査する場合の説明である。また、この場合はカラーブロックの形状が正方形ではなく変形した画像を走査する場合の説明である。色の座標位置と色の特定方法については次項「カラーブロック色認識に応用する関数及び計算方法以降を参照。Standard search of deformed color block image and color number specifying method 1... This is an explanation of scanning an image from the upper right end to the left as in FIG. In this case, the color block shape is not a square, but a deformed image is scanned. For the color coordinate position and color identification method, refer to the next section “Functions and Calculation Methods Applied to Color Block Color Recognition”. 変形配列のカラーブロック画像の逆サーチ及び色番号の特定方法２・・・図６と同様に逆からサーチした説明である。A reverse search of color block images in a modified arrangement and a color number specifying method 2... カラーブロックの実メモリアドレスへの表示…実際のコンピュータ内の画像記憶エリア「ビデオメモリー」に展開されている画像の配列を説明している。Display of color block to actual memory address ... Describes the arrangement of images developed in an image storage area "video memory" in an actual computer. コード化処理データベースサーバー構成…予めカラーブロックを作成し、目的とする商品や宣伝物の側近にこれらのカラーブロックを表示又は設置し、それらのカラーブロック画像をテレビの専用リモコンや携帯電話や携帯端末のカメラで撮影する。次に、テレビのリモコンで受信又は携帯電話や携帯端末で撮影されたカラーブロック画像はそのリモコンや携帯電話の画像蓄積用メモリーで展開する。「図８参照」そして、その画像は独自の関数式「弊社で発明開発した関数」によって色認識し、それに特定の番号を割り当て、瞬時にしてその番号「数値化情報」を携帯電話または携帯端末が持っている通信機能を利用して中継局「携帯電話の場合は携帯電話会社が運営している無線パケット網」などを経由しインターネット網や専用線を経由し、最終的に目的のデータベースや物流システムに伝送される。Coded processing database server configuration: Create color blocks in advance, display or install these color blocks in the vicinity of the target product or promotional material, and display these color block images on a TV remote control, mobile phone or mobile terminal Shoot with your camera. Next, the color block image received by the television remote controller or taken by the mobile phone or mobile terminal is developed in the image storage memory of the remote controller or mobile phone. “Refer to FIG. 8” And the image is color-recognized by a unique function formula “function developed and developed by our company”, a specific number is assigned to it, and the number “digitized information” is instantly assigned to a mobile phone or portable terminal. Using the communication function of the mobile phone via a relay station such as a wireless packet network operated by a mobile phone company in the case of a mobile phone. It is transmitted to the logistics system.

Claims (4)

コンピュータモニタ又はテレビ画面に表示されているテレビ画像内の任意の位置に直
接カラーブロックを表示、又は街頭などの商品陳列台などに直接カラーブロックのプレ
ートなどを設置又はビルの電飾看板などにカラーブロックを表示させる方法。 Display color blocks directly at any position in the TV image displayed on a computer monitor or TV screen, or install color block plates directly on a product display stand on the street, etc. How to display a block. そのカラーブロックを受信する専用のリモコン受信機や又は携帯電話のカメラでその
カラーブロックを撮影し、予めそれらカラーブロック画像に数値や制御コードを設定し、
それらのカラーブロックの色配列によってその数値情報、及び制御情報を瞬時に読取変
換し即座にインターネット又は携帯電話網を含む有線無線を問わず、それら回線網など
を通じてその数値化されたデータを情報提供者などにリアルタイムに送信できる機能。 Take a picture of the color block with a dedicated remote control receiver that receives the color block or a camera of a mobile phone, set numerical values and control codes in the color block image in advance,
The numerical information and control information are read and converted instantaneously according to the color arrangement of these color blocks, and the digitized data is provided through the network, regardless of whether it is wired or wireless including the Internet or mobile phone network. That can be sent in real time to a user. コンピュータモニタ又はテレビなどで画像を編集する段階でその画面に直接プログラ
ム制御などをするためのプログラムを事前に埋め込む必要を無くし、映像、又は画像編
集中又は編集後にその画像の任意の位置にカラーブロックをテロップとして重ねて表示
させる機能。 Eliminates the need to pre-embed a program for program control directly on the screen when editing an image on a computer monitor or television, etc., and a color block at any position in the image during or after video or image editing A function that displays images as telops. 上記で数値化された制御情報と対応するデータ「画像、数値、文字または動画像を含
む」を情報提供者側のデータベースとリンクし、端末から制御及び受信し視聴している
ユーザーがそれらの情報をテレビの専用リモコン又は携帯端末及び携帯端末を通じてデ
ータベース又は広告主にリアルタイムに応答送信できる機能。
The control information digitized above and the data “including images, numerical values, characters, or moving images” are linked to the database on the information provider side, and the user who is controlling and receiving from the terminal and viewing the information Can be transmitted in real time to a database or an advertiser through a TV remote control or a portable terminal and a portable terminal.

Images