JP7401129B1 - Product display shelf - Google Patents

Product display shelf Download PDF

Info

Publication number
JP7401129B1
JP7401129B1 JP2022182219A JP2022182219A JP7401129B1 JP 7401129 B1 JP7401129 B1 JP 7401129B1 JP 2022182219 A JP2022182219 A JP 2022182219A JP 2022182219 A JP2022182219 A JP 2022182219A JP 7401129 B1 JP7401129 B1 JP 7401129B1
Authority
JP
Japan
Prior art keywords
pixel
product display
customer
display shelf
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022182219A
Other languages
Japanese (ja)
Other versions
JP2024071797A (en
Inventor
弘一 関根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SE Tech Co Ltd
Original Assignee
SE Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SE Tech Co Ltd filed Critical SE Tech Co Ltd
Priority to JP2022182219A priority Critical patent/JP7401129B1/en
Application granted granted Critical
Publication of JP7401129B1 publication Critical patent/JP7401129B1/en
Publication of JP2024071797A publication Critical patent/JP2024071797A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Display Racks (AREA)
  • Burglar Alarm Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】
多数のカメラを用いた膨大な画像情報を処理して、顧客の消費行動、不正行動を観察や、店舗の無人化を図るのではなく、簡便な処理で消費行動、不正防止、無人店舗化を実現する商品陳列棚を提供する。
【解決手段】
商品陳列棚にリニアセンサを用いたカメラを設置し、商品陳列棚の前面の平面をモニターし、商品陳列棚から商品の出入りに伴う作業が発生した場合に、商品の出入りに伴う作業の発生している領域の画像のみを出力することで、商品のピックアップに伴う情報を大幅に削減し、無人店舗化を実現する商品陳列棚を提供する。

【選択図】 図１１ 【assignment】
Rather than processing a huge amount of image information using multiple cameras to observe customer consumption behavior and fraudulent behavior, or to make stores unmanned, we can use simple processing to monitor consumer behavior, prevent fraud, and create unmanned stores. We provide product display shelves that make this possible.
[Solution]
A camera using a linear sensor is installed on the product display shelf to monitor the front plane of the product display shelf, and when work is required to move products in and out of the product display shelf.To provide a product display shelf that greatly reduces the amount of information associated with picking up products and realizes an unmanned store by outputting only images of areas where work is occurring when products are taken in and out.

[Selection diagram] Figure 11

Description

本発明は、顧客購買行動を把握する装置の提供に関し、商品陳列棚にセンサを設置し、小売り店舗内の顧客の購買動作を判断すると共に、それらの情報を活用し、購入された商品と代金を把握し店舗の無人化、省人化に寄与させると共に、手に取り戻された商品を識別し、分析して売り上げ増進施策に寄与させ、更には万引き防止に寄与させることも可能にする商品陳列棚に関する。
The present invention relates to the provision of a device for understanding customer purchasing behavior, in which a sensor is installed on a product display shelf to determine the purchasing behavior of customers in a retail store, and the information is utilized to determine the purchased product and price. In addition to contributing to unmanned and labor-saving stores, product display also makes it possible to identify and analyze returned products and contribute to sales promotion measures, as well as to prevent shoplifting. Regarding shelves.

小売店舗においては、顧客の購買行動を把握し顧客の好みに合致した商品をタイムリーに提供することが、売り上げ増進に繋がるものである。現状、商店主等の長年の経験に基づく勘や、日頃の顧客購買行動の観察に頼るところが大であり、一種のノウハウともなっている。
またPOSシステムはレジでの売り上げ情報を分析し、結果として売れ筋を見極めるもので、手に取って戻すといった顧客の商品関心度調査にはなっていない。 In retail stores, understanding the purchasing behavior of customers and providing products that match customer preferences in a timely manner leads to increased sales. Currently, this largely relies on shopkeepers' intuition based on their long experience and observations of customer purchasing behavior on a daily basis, which has become a kind of know-how.
Additionally, POS systems analyze sales information at the cash register and determine which products are best sellers, and do not measure customer interest in products by picking them up and returning them.

一方、このような顧客の購買行動情報を、先進の技術を駆使して収集し、購買実績の向上に役立てようとの試みがなされている。
例えば、特許文献１には、店舗内の画像情報から顧客の位置情報を算出して顧客移動情報を収集し、商品に取り付けられた受発信装置から商品の位置情報を算出して、商品移動情報を収集して、顧客移動情報と商品移動情報、及び購買した商品情報に基づいて、特定の顧客が店舗に入ってから出るまでの商品選択行動を収集する手段が開示されている。 On the other hand, attempts are being made to collect such customer purchasing behavior information using advanced technology and use it to improve purchasing performance.
For example, Patent Document 1 discloses that customer movement information is collected by calculating customer position information from image information in a store, and product movement information is calculated by calculating product position information from a transmitting/receiving device attached to the product. A means is disclosed for collecting product selection behavior of a specific customer from the moment he/she enters the store to the time he/she leaves the store, based on customer movement information, product movement information, and purchased product information.

また、特許文献２には、商品に固体識別用のＩＣチップを取り付け、顧客が商品を手に取ったか否かの情報と、顧客の移動情報、顧客の滞留時間に関する情報を併せて取得することによって、顧客が商品を手にしたが結局購入しなかった商品を特定して分析する発明が開示されている。 Furthermore, Patent Document 2 discloses that an IC chip for individual identification is attached to a product, and information on whether a customer has picked up the product, information on the customer's movement, and information on the customer's residence time are acquired together. discloses an invention for identifying and analyzing products that a customer obtained but did not end up purchasing.

更に特許文献３には、商品にＩＣチップ（ＩＣタグ）を取り付けるとともに、店内各所に配置した非接触型のＩＣチップ読み取り装置により、接近したＩＣタグの保有情報を読み取って、その結果を店内の情報端末装置で収集する技術が開示されている。 Furthermore, in Patent Document 3, IC chips (IC tags) are attached to products, and non-contact IC chip reading devices placed throughout the store read information held by nearby IC tags, and the results are sent to the store. A technique for collecting information using an information terminal device has been disclosed.

一方、特許文献４には、商品陳列棚の棚上部にエリアセンサで構成されたカメラを設け、顧客の身体の一部が進入した棚の段位置と各段の商品位置に所定時間以上存在した時、段上の収納物にアクセスしたと見做すシステムが開示されている。 On the other hand, Patent Document 4 discloses that a camera composed of an area sensor is installed on the upper part of a product display shelf, and a part of a customer's body enters the shelf and remains at each product position for a predetermined period of time or more. A system is disclosed in which it is assumed that an object stored on a step has been accessed.

特許文献５は、購買行動情報とは異なるが、光学式タッチパネルの原理に付き、複数の受光素子でタッチした位置を検出する方法に付き示されている。 Although Patent Document 5 is different from purchasing behavior information, it describes a method of detecting a touched position using a plurality of light receiving elements based on the principle of an optical touch panel.

しかしながら、以上説明したような従来の方法やシステムでは、夫々次のような問題点や、不満足な点が指摘されている。
特許文献１では、商品に受発信装置を取り付ける必要があり、そのためのコストアップと手間がかかる上、特定の顧客の情報しか収集できず、真に役に立つ情報の収集とは言い難い。 However, the following problems and unsatisfactory points have been pointed out in the conventional methods and systems as described above.
In Patent Document 1, it is necessary to attach a transmitter/receiver device to the product, which increases costs and takes time and effort, and it is only possible to collect information on a specific customer, so it is hard to say that it is a collection of truly useful information.

特許文献２に記載の手段も、顧客の移動情報と滞留時間を検出するために、各顧客特有のＩＣカードを携帯する必要があって、ＩＣカードを所持しない顧客に対する情報収集は不可能であり、限られた範囲での顧客購買行動分析手段に留まるものであった。 The means described in Patent Document 2 also requires each customer to carry an IC card specific to the customer in order to detect movement information and residence time, and it is impossible to collect information for customers who do not have an IC card. However, it was only a means of analyzing customer purchasing behavior within a limited range.

特許文献３においても、ＩＣチップ（ＩＣタグ）を取り付けるとともに、店内各所に配置した非接触型のＩＣチップ読み取り装置により、接近したＩＣタグの保有情報を読み取って、その結果を店内の情報端末装置で収集するものであるので、商品にＩＣタグを付加する必要があって、そのための備品費用や作業工数によるコストアップが回避できない。 In Patent Document 3, an IC chip (IC tag) is attached, and non-contact IC chip reading devices placed at various locations in the store read the information held by the nearby IC tag, and the results are sent to an information terminal device in the store. Since the products are collected at a local store, it is necessary to attach IC tags to the products, which inevitably increases costs due to equipment costs and man-hours.

特許文献４記載の発明が本願に最も近いが、エリアセンサのカメラ画像情報から位置と、人体の一部を見極める画像処理が必要となり、陳列棚の各段の棚を斜め上から
外形が通常のカメラと同じで、見下ろすようにエリアセンサのカメラを設置するので、目障りになる他、画像情報を処理する複雑なシステムを商品陳列棚に設置する必要が有る。また常に撮像している必要が有り、顧客にも棚毎にカメラで見張られているというストレスを与える。
特許文献６記載の発明は購買行動とは関係がないが、タッチ位置を検知する機能のみである。 The invention described in Patent Document 4 is closest to the present application, but it requires image processing to determine the position and part of the human body from the camera image information of the area sensor, and it requires image processing to determine the position and part of the human body from the camera image information of the area sensor. Similar to cameras, since area sensor cameras are installed so that they look down, they are an eyesore and require a complex system to process image information to be installed on the product display shelves. In addition, it is necessary to constantly take images, which puts stress on customers as they are being watched by cameras on each shelf.
The invention described in Patent Document 6 has nothing to do with purchasing behavior, but only has a function of detecting a touch position.

本発明は、かかる課題に鑑みてなされたものであり、ＩＣタグ等を使用することなく、小売店舗内における顧客の行動をカメラで撮影した画像を分析する必要もなく、また人体の一部を見極める画像処理も不要にする。商品陳列棚に設置したリニアセンサカメラで陳列棚前面の平面を見張ることで、顧客が何を幾つ手に取って、戻したかどうかを把握することが可能となる。 The present invention has been made in view of such problems, and does not require the use of IC tags or the like, does not require analysis of images taken with a camera of customer behavior in a retail store, and does not require the use of a part of the human body. It also eliminates the need for image processing. By monitoring the flat surface in front of the display shelf with a linear sensor camera installed on the product display shelf, it is possible to know what items the customer has picked up and how many, and whether they have put them back.

不特定多数の顧客の購買行動を正確に且つ自動的にデータベースとして蓄積可能な顧客動作分析システムに役立つ商品陳列棚を提供できる。また監視カメラの顧客の動線と組み合わせることで、万引き防止の精度を高めることも可能になり、将来的に無人化店舗の実現にも貢献できる。
また、この商品陳列棚で得られた顧客の動作情報に基づいて、棚又は商品に接触した顧客数、棚にある商品の陳列数、等の詳細なデータを収集することが可能になり、店舗での大幅な省人化、販売促進に有用な商品配置や店舗内レイアウト等の販売促進支援情報を提供できる。
It is possible to provide a product display shelf that is useful for a customer behavior analysis system that can accurately and automatically store the purchasing behavior of an unspecified number of customers as a database. In addition, by combining surveillance cameras with customer flow lines, it becomes possible to improve the accuracy of shoplifting prevention, and contribute to the realization of unmanned stores in the future.
In addition, based on the customer behavior information obtained from this product display shelf, it becomes possible to collect detailed data such as the number of customers who came into contact with the shelf or the product, the number of products displayed on the shelf, etc. It can provide sales promotion support information such as product placement and store layout that are useful for significant labor savings and sales promotion.

特開平１１－１７５５９７JP 11-175597 特開２００４－３４８６８１JP2004-348681 特開２００６－３１８１９１JP2006-318191 特許第４９７２４９１号Patent No. 4972491 特許第５０２５５５２号Patent No. 5025552

特許文献１、２、３に示す従来の顧客購買行動把握方法では、商品にＩＣチップやICタグを付加する必要があり、余計な作業が必要であった。また特許文献４では顧客の行動を画像処理する必要があり、演算規模が大きくなり消費電力も増大していた。
少子高齢化の影響で人手不足が深刻になり、技能実習制度での外国人の拡充も、コロナ禍や円安の影響で人数が減り、人手不足は解消には至っていない。また無人店舗の様な小売りの無人化も実験的には導入されているが、カメラやＡＩカメラを用いた画像処理がメインになっており、死角を無くすため、多数のカメラを設置し、膨大な画像処理が必要となった。 In the conventional methods of understanding customer purchasing behavior shown in Patent Documents 1, 2, and 3, it was necessary to attach an IC chip or an IC tag to the product, which required extra work. Further, in Patent Document 4, it is necessary to perform image processing on customer behavior, which increases the calculation scale and increases power consumption.
The labor shortage has become serious due to the declining birthrate and aging population, and despite increasing the number of foreigners in the technical intern training program, the number of people has decreased due to the coronavirus pandemic and the weak yen, and the labor shortage has not been resolved. In addition, unmanned retail stores such as unmanned stores have been experimentally introduced, but image processing using cameras and AI cameras is the main focus.In order to eliminate blind spots, many cameras are installed and a huge number of This required extensive image processing.

現行の小売り店舗ではPOSシステムを活用し、会計時に売上傾向を掴むのが一般的で、商品陳列棚から、顧客が商品を手に取り、元に戻した場合には、現行のPOSシステムでは把握できない。顧客の商品への関心度を把握するには、店頭での調査員やカメラによる観察か、アイトラッキングと呼ばれる機器を装着して頂き、視線の追跡を行う必要が有った。
Current retail stores generally use POS systems to grasp sales trends at the time of checkout.If a customer picks up a product from a product display shelf and puts it back, current POS systems cannot detect it. Can not. In order to understand a customer's level of interest in a product, it was necessary to observe the customer at the store using a researcher or camera, or to have the customer wear a device called eye tracking to track their line of sight.

上記課題を解決するため、商品陳列棚にリニアイメージセンサ（以下リニアセンサと略す）を用いたカメラを設置し、商品陳列棚の前面の平面をモニターし、商品陳列棚から商品の出入りに伴う作業が発生した場合に、商品に関する情報を取得する商品陳列棚を提供する。リニアセンサを用いることで、エリアセンサを用いた通常のカメラの様に円形状のレンズを使う必要が無くなり、平担なレンズ（シリンドリカルレンズと呼ばれる）を用いたリニアセンサカメラでは、通常のカメラで見張られているというストレスから解放される。 In order to solve the above problem, we installed a camera using a linear image sensor (hereinafter abbreviated as linear sensor) on the product display shelf to monitor the front plane of the product display shelf, and monitor the work associated with the movement of products into and out of the product display shelf. To provide a product display shelf for acquiring information regarding products when a problem occurs. By using a linear sensor, there is no need to use a circular lens like a normal camera using an area sensor, and a linear sensor camera using a flat lens (called a cylindrical lens) Free yourself from the stress of being watched.

リニアセンサカメラの別の良い点は、静止物体は画にならないことである。即ち本提案の様に、商品陳列棚の前面の平面しか見ず、顧客の手の動きしかモニター出来ないリニアセンサカメラでは、商品陳列棚の下方にカメラがあり、上方を見上げる配置でも画は撮れず、見られているというストレスを与えない。 Another good thing about linear sensor cameras is that stationary objects are not captured in the image. In other words, with the linear sensor camera proposed in this proposal, which can only see the flat surface in front of the product display shelf and only monitor the movement of the customer's hands, images cannot be taken even if the camera is located below the product display shelf and is positioned to look upwards. It doesn't give you the stress of being watched.

従来のエリアセンサを使ったカメラシステムでは、膨大な画像情報からリアルタイムで顧客の動きを抽出し、手元の動きからどの商品を掴んだかを把握する必要があった。しかし本発明の商品陳列棚では膨大な画像情報を扱わず、演算負荷が大幅に軽くなる。また商品を手に取り元に戻す作業も把握でき、現行のPOSシステムでは出来なかった、顧客の購入意欲調査を簡単に行うことが出来る。 With conventional camera systems using area sensors, it was necessary to extract the customer's movements in real time from a huge amount of image information, and to understand which products the customer grabbed based on the movements in their hands. However, the product display shelf of the present invention does not handle a huge amount of image information, and the computational load is significantly reduced. In addition, it is possible to understand the process of picking up a product and returning it to its original location, making it easy to conduct a survey of customer purchase intentions, which is not possible with current POS systems.

商品陳列棚から商品を手に取り、店内のカゴに入れることが把握できるため、会計時の情報と照合することで万引き防止に繋がり、無人店舗化の実現も容易になる。
特徴はリニアセンサカメラを用いていることで、商品陳列棚から商品がピックアップされたり、商品が棚に戻されたり、した時だけ情報を取得することで、画像処理する情報量を大幅に削減できることである。このため簡便なシステムで無人店舗が構築できて、少子高齢化に寄与できる。
Since it is possible to know when a product is picked up from a product display shelf and placed in a cart inside the store, checking the information with the information at the time of checkout helps prevent shoplifting and facilitates the realization of unmanned stores.
The feature is that it uses a linear sensor camera, which can significantly reduce the amount of information for image processing by acquiring information only when a product is picked up from the shelf or returned to the shelf. It is. This makes it possible to build unmanned stores with a simple system, contributing to the declining birthrate and aging population.

本発明によれば、商品陳列棚から商品の出入りに伴う作業が発生した場合に情報を絞って処理することで、演算負荷が大幅に軽くなる。また商品を手に取り元に戻す作業も把握でき、顧客の購入意欲調査を簡単に行うことが出来る。 According to the present invention, when work associated with moving products in and out of a product display shelf occurs, by narrowing down the information and processing it, the computational load can be significantly reduced. Additionally, the process of picking up the product and returning it to its original location can be grasped, making it easy to conduct a survey of customer purchase intentions.

商品陳列棚の前面の平面をモニターすることで死角を無くし、顧客の店内の移動ルートと組み合わせる事により万引き防止の簡便なシステムを提供でき、無人店舗化の実現も容易になる。
By monitoring the flat surface in front of product display shelves, blind spots are eliminated, and by combining this with the customer's movement route within the store, it is possible to provide a simple system to prevent shoplifting, making it easier to realize unmanned stores.

本発明の第１実施形態で、リニアセンサカメラを用いた商品陳列棚の構成を示す図。FIG. 1 is a diagram showing the configuration of a product display shelf using a linear sensor camera according to a first embodiment of the present invention. 図１のリニアセンサカメラの各タイミングで捉えた、作業を行う手の位置を示す図。FIG. 2 is a diagram showing the position of the hand performing the work, captured at each timing by the linear sensor camera in FIG. 1; 図２の各タイミングで、リニアセンサの画素信号出力と再生画像を示す図。3 is a diagram showing the pixel signal output of the linear sensor and the reproduced image at each timing in FIG. 2. FIG. 本発明の第２実施形態で、作業が発生した棚位置から商品情報を取得する構成図。FIG. 7 is a configuration diagram for acquiring product information from a shelf position where a task occurs in the second embodiment of the present invention. 図４の商品陳列棚のリニアセンサカメラと作業が発生した手の位置関係の説明図。FIG. 5 is an explanatory diagram of the positional relationship between the linear sensor camera on the product display shelf in FIG. 4 and the hand that is performing the work. 図４のリニアセンサカメラの各タイミングで捉えた、作業を行う手の位置を示す図。FIG. 5 is a diagram showing the position of the hand performing the work, captured at each timing by the linear sensor camera in FIG. 4; 図６の各タイミングで、複数のリニアセンサカメラの画素信号出力を示す図。7 is a diagram showing pixel signal outputs of a plurality of linear sensor cameras at each timing in FIG. 6. FIG. 図５の複数のリニアセンサカメラの画素信号出力と手の位置関係を示す図。FIG. 6 is a diagram showing the relationship between the pixel signal outputs of the plurality of linear sensor cameras in FIG. 5 and the position of the hand. 図３の各タイミングで、背景光のある、リニアセンサの実際の画素信号出力を示す図。4 is a diagram showing actual pixel signal output of a linear sensor with background light at each timing in FIG. 3. FIG. 本発明の第３実施形態で、図９の背景光の影響を軽減する一方法を示した商品陳列棚の説明図。FIG. 10 is an explanatory diagram of a product display shelf showing one method of reducing the influence of background light in FIG. 9 in the third embodiment of the present invention. 本発明の第４実施形態で、ライン記録を用いて取得した画素差分絶対値信号を基に、マスキング信号を発生させ、作業の発生するタイミングと、作業画像のみを把握する構成図。FIG. 10 is a configuration diagram in which a masking signal is generated based on a pixel difference absolute value signal acquired using line recording in a fourth embodiment of the present invention, and only the timing at which work occurs and a work image are grasped. 図９の抜粋タイミングで、図１１の画素信号出力とライン記憶を用いた差分の機構と、画素差分絶対値出力、マスキング信号出力、マスキング画素出力の説明図。12 is an explanatory diagram of the pixel signal output of FIG. 11 and the difference mechanism using line storage, the pixel difference absolute value output, the masking signal output, and the masking pixel output at the excerpt timing of FIG. 9; FIG. 図９の各タイミングで、図１１の画素信号出力、画素差分絶対値出力、マスキング信号出力の説明図。12 is an explanatory diagram of pixel signal output, pixel difference absolute value output, and masking signal output in FIG. 11 at each timing in FIG. 9; FIG. 本発明の第５実施形態で、ラインメモリを用いて画素差分絶対値信号を取得する構成図。FIG. 7 is a configuration diagram for acquiring a pixel difference absolute value signal using a line memory in a fifth embodiment of the present invention. 図３の抜粋タイミングで、図１４の画素信号出力とラインメモリを用いた差分の機構と、画素差分絶対値出力の説明図。15 is an explanatory diagram of the pixel signal output of FIG. 14, the difference mechanism using the line memory, and the pixel difference absolute value output at the excerpt timing of FIG. 3; FIG. 図９の抜粋タイミングで、図１４の画素信号出力、画素差分絶対値出力の説明図。15 is an explanatory diagram of pixel signal output and pixel difference absolute value output in FIG. 14 at the excerpt timing of FIG. 9; FIG. 図９の各タイミングで、図１４の画素信号出力、画素差分絶対値出力の説明図。15 is an explanatory diagram of pixel signal output and pixel difference absolute value output in FIG. 14 at each timing in FIG. 9; FIG. 本発明の第５実施形態で、図１４のラインメモリを用いて取得した画素差分絶対値信号を基に、マスキング信号を発生させ、作業の発生するタイミングと、作業画像のみを把握する構成図。15 is a configuration diagram in which a masking signal is generated based on the pixel difference absolute value signal acquired using the line memory of FIG. 14 to grasp only the timing at which work occurs and the work image in the fifth embodiment of the present invention; FIG. 図９の抜粋タイミングで、図１８の画素差分絶対値出力を基に、動き輪郭端部情報出力を発生し、動き輪郭端部情報出力を基に発生したマスキング信号出力、マスキング画素出力の説明図。At the excerpt timing shown in FIG. 9, a motion contour edge information output is generated based on the pixel difference absolute value output in FIG. 18, and an explanatory diagram of the masking signal output and masking pixel output generated based on the motion contour edge information output. . 図９の各タイミングで、図１８の画素差分絶対値出力、マスキング信号出力の説明図。19 is an explanatory diagram of pixel difference absolute value output and masking signal output in FIG. 18 at each timing in FIG. 9; FIG. 図９の各タイミングで、図１８の画素信号出力、マスキング画素信号出力の説明図。19 is an explanatory diagram of pixel signal output and masking pixel signal output in FIG. 18 at each timing in FIG. 9; FIG. 図９の各タイミングで、図１８の画素差分絶対値、マスキング信号、マスキング画素信号出力の説明図。19 is an explanatory diagram of the pixel difference absolute value, masking signal, and masking pixel signal output in FIG. 18 at each timing in FIG. 9. FIG. 本発明の第６実施形態で、図４の複数のリニアセンサカメラの配置で作業が発生した棚の位置を検知し、商品画像データを取得し商品情報を取得する手法の説明図。FIG. 5 is an explanatory diagram of a method of detecting the position of the shelf where work has occurred using the arrangement of the plurality of linear sensor cameras shown in FIG. 4, acquiring product image data, and acquiring product information in the sixth embodiment of the present invention. 本発明の第７実施形態で、例えば第６の実施形態の商品陳列棚が複数個配置され、レジが配置され、複数の顧客が売り場にいる場合の、実際の売り場の説明図。FIG. 7 is an explanatory diagram of an actual sales floor according to the seventh embodiment of the present invention, where a plurality of product display shelves according to the sixth embodiment are arranged, a cash register is arranged, and a plurality of customers are on the sales floor. 本発明の第８実施形態で、本発明の第７実施形態に加えて、店内カゴの情報を取得する方法の１例を示した店内カゴの構造の説明図。An explanatory diagram of the structure of an in-store cart according to the eighth embodiment of the present invention, which shows an example of a method for acquiring in-store cart information in addition to the seventh embodiment of the present invention. 本発明の第５実施形態で、ラインメモリとしてＣＣＤレジスタを活用した動作説明図。FIG. 7 is an explanatory diagram of an operation in which a CCD register is used as a line memory in a fifth embodiment of the present invention. 本発明の第５実施形態で、ラインメモリとしてＣＭＯＳリニアセンサを活用した動作説明図。FIG. 7 is an explanatory diagram of an operation in which a CMOS linear sensor is used as a line memory in a fifth embodiment of the present invention.

本発明の実施形態としては、幾つかの選択ケースが可能である。そのケースとしては、１）リニアセンサカメラを用いて商品の出入りに伴う作業をモニターする商品陳列棚のケース。２）複数のリニアセンサカメラを用いて作業が発生した棚位置を特定し、この棚位置に該当する商品情報を取得するケース。３）リニアセンサカメラで発生作業をモニターするに当たり、背景の出力を抑制するため、背景に対応する商品陳列棚の縁部に非反射板を設置するケース。４）作業が発生しない場合と、作業が発生した場合のリニアセンサのライン画素信号出力を比較し、作業の発生したタイミングと、作業画像のみを把握するケース。５）リニアセンサの隣接するライン画素信号出力を比較し、作業の発生したタイミングと、作業画像のみを把握するケース。６）複数のリニアセンサカメラを用いて作業が発生した棚位置を特定し、かつ商品画像データから商品情報を取得するケース。７）作業の発生時に取得した商品情報と、売り場を周回する顧客の情報と、該顧客のレジでの会計情報とを紐付けるケース、８）商品の出入りに伴う作業をモニターする機構を店内カゴにも付加し、この店内カゴ情報も加えて、作業の発生時に取得した商品情報と、売り場を周回する顧客の情報と、該顧客のレジでの会計情報とに紐付けるケースとがある。 Several selection cases are possible for embodiments of the invention. The cases include: 1) A case of a product display shelf that uses a linear sensor camera to monitor the work involved in entering and exiting products. 2) A case where multiple linear sensor cameras are used to identify the shelf position where work has occurred and obtain product information corresponding to this shelf position. 3) A case where a non-reflective plate is installed on the edge of the product display shelf corresponding to the background in order to suppress the output of the background when monitoring the work occurring with a linear sensor camera. 4) A case in which the line pixel signal output of the linear sensor is compared when no work occurs and when work occurs, and only the timing at which work occurs and the work image are determined. 5) A case in which the signal outputs of adjacent line pixels of the linear sensor are compared to grasp only the timing at which work has occurred and the work image. 6) A case where multiple linear sensor cameras are used to identify the shelf position where work has occurred and product information is obtained from product image data. 7) Cases in which product information obtained at the time of work is linked, information on customers circulating around the sales floor, and checkout information of the customers at the cash register; 8) A mechanism for monitoring work associated with the entry and exit of goods into in-store carts. In some cases, this in-store cart information is also added to the product information acquired at the time of the work, information on customers circulating the sales floor, and transaction information of the customer at the cash register.

本発明の実施形態に係る商品陳列棚は、上記のように幾つかのケースが可能であるので、それぞれのケースで図面を参照しながら説明する。請求項も各ケースに該当しているが、各請求項に該当するケースと対応する図面に付いて後述する。 Since the product display shelf according to the embodiment of the present invention can be used in several cases as described above, each case will be explained with reference to the drawings. The claims also apply to each case, and the cases applicable to each claim and the corresponding drawings will be described later.

以下の説明では、実施形態１のリニアセンサカメラを設置した商品陳列棚のケースを用い、本発明の個々の要素であるリニアセンサ、リニアセンサカメラ、陳列棚に配置された商品、商品の出入りに伴う作業を行う手、リニアセンサでの再生画像につき説明を行う。
以下説明内において同一部分には同一の符号及び処理名を付し、最初にその詳細な説明をし、重複する同一部分の説明は省略する。
In the following explanation, a case of a product display shelf in which the linear sensor camera of Embodiment 1 is installed will be used. We will explain the hands involved in the work and the images reproduced by the linear sensor.
In the following description, the same parts will be given the same reference numerals and process names, a detailed explanation will be given first, and a redundant description of the same parts will be omitted.

＜商品陳列棚の実施形態１＞
図１（ａ）に本発明の実施形態１に係る商品陳列棚の全体構成例を示す。商品陳列棚１は高さの異なる複数の陳列棚２、２’、２”、２”’で構成され、棚の上には商品３、３’、３”、３”’が配置されており、商品陳列棚１の前面の上縁部には、商品陳列棚１の前面部分を観察するリニアセンサカメラ４が設置されている。商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示されている。 <Embodiment 1 of product display shelf>
FIG. 1(a) shows an example of the overall configuration of a product display shelf according to Embodiment 1 of the present invention. The product display shelf 1 is composed of a plurality of display shelves 2, 2', 2", and 2"' with different heights, and products 3, 3', 3", and 3"' are arranged on the shelves. A linear sensor camera 4 for observing the front surface of the product display shelf 1 is installed at the upper edge of the front surface of the product display shelf 1. On the front of the product display shelf 1, a customer's hand 5 is shown performing work associated with putting in and taking out products.

図１（ｂ）には、リニアセンサカメラ４の構造を示す。リニアセンサカメラ４はカメラ筐体６の底面の基板にリニアセンサ７を配置し、カメラ筐体６の前面に装着されたレンズ８で、被写体の像をリニアセンサ７に結像する。リニアセンサ７は基板の電極配線部分（図示せず）に金属線９で電気的に結合されている。 FIG. 1(b) shows the structure of the linear sensor camera 4. The linear sensor camera 4 has a linear sensor 7 disposed on a substrate on the bottom surface of a camera housing 6, and a lens 8 attached to the front surface of the camera housing 6 forms an image of a subject on the linear sensor 7. The linear sensor 7 is electrically coupled to an electrode wiring portion (not shown) of the substrate by a metal wire 9.

図１（ｃ）には、ＣＣＤリニアセンサであるリニアセンサ７の構造を示す。リニアセンサ７は半導体基板上に構成され、中央に光電変換ユニットである画素１０が、直線状に配置されており、画素列の両側にはＣＣＤレジスタ１１、１１’が配置されている。画素１０とＣＣＤレジスタ１１、１１’間には、画素にて光電変換で生じた信号電荷の、ＣＣＤレジスタ１１、１１’への転送を制御する、シフト電極１２，１２’がそれぞれ設けられている。ＣＣＤレジスタ１１、１１’への転送された信号電荷は、出力回路１３の方向に転送され、出力回路１３では信号電荷は信号電圧に変換され、電極１４より外部に画素信号出力として出力される。この電極１４が金属線９で、基板の電極配線部分（図示せず）に電気的に結合される。 FIG. 1(c) shows the structure of a linear sensor 7 that is a CCD linear sensor. The linear sensor 7 is constructed on a semiconductor substrate, and has pixels 10, which are photoelectric conversion units, arranged in a straight line in the center, and CCD registers 11, 11' arranged on both sides of the pixel column. Shift electrodes 12 and 12' are provided between the pixel 10 and the CCD registers 11 and 11', respectively, for controlling the transfer of signal charges generated by photoelectric conversion in the pixel to the CCD registers 11 and 11'. . The signal charges transferred to the CCD registers 11, 11' are transferred in the direction of the output circuit 13, where the signal charges are converted into a signal voltage and output from the electrodes 14 to the outside as a pixel signal output. This electrode 14 is electrically coupled to an electrode wiring portion (not shown) of the substrate by a metal wire 9.

図１（ｃ）では、画素列の両側にはＣＣＤレジスタ１１、１１’が配置されているリニアセンサ７に付いて説明したが、勿論ＣＣＤレジスタが片側一本だけの構造でも良く、更にＣＣＤリニアセンサでなく、ＣＭＯＳリニアセンサであっても良い。 In FIG. 1(c), the linear sensor 7 is explained in which the CCD registers 11 and 11' are arranged on both sides of the pixel column, but of course a structure with only one CCD register on one side may also be used. Instead of a sensor, a CMOS linear sensor may be used.

図１（ａ）に示した商品陳列棚１の側面図を図２に示す。商品陳列棚１の前面の上縁部には、商品陳列棚１の前面部分を観察するリニアセンサカメラ４が設置されている。商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示されている。リニアセンサカメラ４は画素１０が直線状に配置されているため、撮影できる範囲は、商品陳列棚１の前面の平面に限定される。 FIG. 2 shows a side view of the product display shelf 1 shown in FIG. 1(a). A linear sensor camera 4 for observing the front surface of the product display shelf 1 is installed at the upper edge of the front surface of the product display shelf 1. On the front of the product display shelf 1, a customer's hand 5 is shown performing work associated with putting in and taking out products. Since the pixels 10 of the linear sensor camera 4 are arranged in a straight line, the range that can be photographed is limited to the plane in front of the product display shelf 1.

この平面を、ｔ=Ｔ０のタイミングでリニアセンサカメラ４から延びる破線で示す。ｔ=Ｔ０のタイミングでは顧客の手５は、この平面には未だ到達していない。商品陳列棚１の商品を取ろうと、顧客の手５は近づいてくるが、ここでは説明の都度上、リニアセンサカメラ４から延びる破線に、顧客の手５のどの部位がクロスするか（リニアセンサカメラ４で撮影できる部位）を、タイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４で示す。 This plane is shown by a broken line extending from the linear sensor camera 4 at timing t= T0 . At the timing of t=T 0 , the customer's hand 5 has not yet reached this plane. The customer's hand 5 approaches to pick up the product on the product display shelf 1, but for the sake of explanation here, we will focus on which part of the customer's hand 5 crosses the broken line extending from the linear sensor camera 4 (linear sensor The regions that can be photographed with the camera 4 are indicated by timings t=T 0 , t=T 1 , t=T 2 , t=T 3 , and t=T 4 .

図２では、顧客の手５のどの部位をリニアセンサカメラ４で撮影できるかを、タイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４で示した。それぞれのタイミングでのリニアセンサカメラ４からの画素出力信号を図３（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す。ここで画素信号出力とは、図１（ｃ）のリニアセンサ７の画素列の出力であり、横軸は画素位置、縦軸は各画素位置での画素信号出力を示す。 In FIG. 2, timings t=T 0 , t=T 1 , t=T 2 , t=T 3 , and t=T 4 indicate which part of the customer's hand 5 can be photographed by the linear sensor camera 4. . Pixel output signals from the linear sensor camera 4 at each timing are shown in FIGS. 3(a), (b), (c), (d), and (e). Here, the pixel signal output is the output of the pixel row of the linear sensor 7 in FIG. 1(c), the horizontal axis shows the pixel position, and the vertical axis shows the pixel signal output at each pixel position.

画素信号出力は、リニアセンサ７の全ての画素を読み出し、前後に空送りのあるリニアセンサの１ラインに相当した信号出力のことを表現し、ライン毎の同期が取れている。以降の説明で出てくる画素差分とは、このライン間で同期をとった差分であり、同じ位置にある画素間の差分を意味する。 The pixel signal output represents a signal output corresponding to one line of a linear sensor in which all pixels of the linear sensor 7 are read out and there is idle feeding before and after, and each line is synchronized. The pixel difference that will appear in the following explanation is a synchronized difference between these lines, and means a difference between pixels located at the same position.

リニアセンサカメラ４の特徴としては、動きが無いと背景の一定した出力になり、ここでは便宜上ゼロとした（図３（ａ）参照）。動きが有ると（ここでは顧客の手５の動き）リニアセンサカメラ４の出力には変化が生じる。手の動きに対応し、ｔ=Ｔ０のタイミングのリニアセンサカメラ４から延びる破線で示される平面で撮影を行い、この平面をよぎる顧客の手５の部位に対応し、画素出力波形には変化が生じる。（図３（ｂ）、（ｃ）、（ｄ）、（ｅ）参照）。 A feature of the linear sensor camera 4 is that when there is no movement, the background is a constant output, which is set to zero here for convenience (see FIG. 3(a)). When there is movement (here, movement of the customer's hand 5), a change occurs in the output of the linear sensor camera 4. Corresponding to the movement of the hand, an image is taken on a plane indicated by a broken line extending from the linear sensor camera 4 at timing t=T 0 , and the pixel output waveform changes depending on the part of the customer's hand 5 that crosses this plane. occurs. (See FIGS. 3(b), (c), (d), and (e)).

リニアセンサカメラ４の画素信号出力を、時系列的に並べると顧客の手５の再生画像が得られる。図３には、顧客の手５の部位に対応した画素出力波形から得られた再生画像を示す。ここで顧客の手５の動きの速度により、再生画像は伸び縮みするが、人の手の縦横比（長さと幅）はほぼ一定なので、再生画像の補正は容易に行える。また顧客５の手が商品陳列棚１の商品３を掴んで出て来ても、即ち商品陳列棚１から離れる方向に移動しても、再生画像は容易に得られ、商品の再生画像も得られ、人の手の縦横比で補正すれば、顧客の手５の動きの速度での商品外形の歪みは、手５で商品３を掴んで一緒に（同じ速度で）出てくるので、簡単に補正可能である。
If the pixel signal outputs of the linear sensor camera 4 are arranged in chronological order, a reproduced image of the customer's hand 5 can be obtained. FIG. 3 shows a reproduced image obtained from the pixel output waveform corresponding to the part of the customer's hand 5. Here, the reproduced image expands or contracts depending on the speed of movement of the customer's hand 5, but since the aspect ratio (length and width) of the human hand is approximately constant, the reproduced image can be easily corrected. Furthermore, even if the customer 5's hand grabs the product 3 on the product display shelf 1 and moves away from the product display shelf 1, the reproduced image can be easily obtained, and the reproduced image of the product can also be obtained. If the aspect ratio of the customer's hand is corrected, the distortion of the product's external shape due to the speed of movement of the customer's hand 5 can be easily corrected since the hand 5 grabs the product 3 and comes out together (at the same speed). It can be corrected to

＜商品陳列棚の実施形態２＞
図４に本発明の実施形態２に係る商品陳列棚の全体構成例を示す。図１（ａ）同様に、商品陳列棚１は高さの異なる複数の陳列棚２、２’、２”、２”’より構成され、各棚の上には商品３、３’、３”、３”’が配置され、商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示されている。
図１（ａ）と異なる点は、商品陳列棚１の前面の縁部に、商品陳列棚１の前面部分を観察するリニアセンサカメラ４が複数個設置されていることである。商品陳列棚１の前面には、商品の出入りに伴う作業を行う顧客の手５が示されている。図４では４つのリニアセンサカメラ４（カメラ１～４で示される）が、商品陳列棚１の４隅に配置された例を示している。 <Embodiment 2 of product display shelf>
FIG. 4 shows an example of the overall configuration of a product display shelf according to Embodiment 2 of the present invention. Similarly to FIG. 1(a), the product display shelf 1 is composed of a plurality of display shelves 2, 2', 2", 2"' with different heights, and products 3, 3', 3" are placed on each shelf. , 3''' are arranged, and on the front side of the product display shelf 1, a customer's hand 5 is shown performing work associated with putting in and taking out products.
The difference from FIG. 1A is that a plurality of linear sensor cameras 4 for observing the front surface of the product display shelf 1 are installed on the front edge of the product display shelf 1. On the front of the product display shelf 1, a customer's hand 5 is shown performing work associated with putting in and taking out products. FIG. 4 shows an example in which four linear sensor cameras 4 (indicated by cameras 1 to 4) are arranged at four corners of the product display shelf 1.

図４に示される実施形態２に係る商品陳列棚１の正面図、上面図、側面図を、図５（ａ）、（ｂ）、（ｃ）にそれぞれ示す。陳列棚２、２’、２”、２”’と商品３、３’、３”、３”’、及びリニアセンサカメラ４（カメラ１～４）も、図４と同様に示される。
それぞれに、商品の出入りに伴う作業を行う顧客の手５が示されているが、図５（ａ）の破線で示されるように、カメラ１～４の（レンズの光軸方向に対応する法線方向の）向きに対して、異なる方向で顧客の手５は撮影されている。 A front view, a top view, and a side view of the product display shelf 1 according to the second embodiment shown in FIG. 4 are shown in FIGS. 5(a), (b), and (c), respectively. Display shelves 2, 2', 2", 2"', products 3, 3', 3", 3"', and linear sensor cameras 4 (cameras 1 to 4) are also shown in the same manner as in FIG.
In each case, the customer's hand 5, which performs the work associated with taking in and out the product, is shown, but as shown by the broken line in FIG. The customer's hand 5 is photographed in different directions with respect to the linear direction.

図５（ｃ）に示した商品陳列棚１の側面図で、顧客の手５が示されている。図６で改めて示すように、商品陳列棚１の上縁部と下縁部にあるリニアセンサカメラ４で、商品陳列棚１の前面の平面をモニターおり、この平面をリニアセンサカメラ４から延びる破線で示されている。商品陳列棚１の商品を取ろうと、顧客の手５は近づいてくるが、図７（ａ）に示す、ｔ=Ｔ０のタイミングでは、破線で示される顧客の手５’はこの平面には未だ到達していない。このため、カメラ１～４の画素出力波形は出て来ない。
一方、図７（ｂ）に示す、ｔ=Ｔ１のタイミングでは、実線で示される顧客の手５の先端部はこの平面に到達する。このため、カメラ１～４の法線方向の向きと、顧客の手５の先端部との方向のズレに対応した画素位置に、顧客の手５の先端部に対応した画素出力が出現する。 In the side view of the product display shelf 1 shown in FIG. 5(c), a customer's hand 5 is shown. As shown again in FIG. 6, the linear sensor cameras 4 located at the upper and lower edges of the product display shelf 1 monitor the front plane of the product display shelf 1, and this plane is defined by a broken line extending from the linear sensor camera 4. It is shown in The customer's hand 5 approaches to take the product on the product display shelf 1, but at the timing of t= T0 shown in FIG. It has not been reached yet. Therefore, the pixel output waveforms of cameras 1 to 4 do not appear.
On the other hand, at the timing of t= T1 shown in FIG. 7(b), the tip of the customer's hand 5, shown by the solid line, reaches this plane. Therefore, a pixel output corresponding to the tip of the customer's hand 5 appears at a pixel position corresponding to the misalignment between the normal direction of the cameras 1 to 4 and the direction of the tip of the customer's hand 5.

図８（ａ）を用いて、更に具体的に説明すると、商品陳列棚１の４隅にあるリニアセンサカメラ４は、カメラ１～４で示されるように、顧客の手５の方向を向いている。顧客の手５の先端部分を見る角度はカメラ１～４で異なる。図ではカメラ１とカメラ２から見た顧客の手５の先端部分の方向が、商品陳列棚１の上面縁部とのなす角度を、それぞれθ１、θ２で示している。 To explain more specifically using FIG. 8(a), the linear sensor cameras 4 located at the four corners of the product display shelf 1 face the direction of the customer's hand 5, as shown by cameras 1 to 4. There is. The angle at which the tip of the customer's hand 5 is viewed differs between cameras 1 to 4. In the figure, the angles formed by the directions of the tips of the customer's hands 5 as seen from the cameras 1 and 2 with the upper edge of the product display shelf 1 are indicated by θ 1 and θ 2 , respectively.

通常リニアセンサカメラ４の光軸方向に相当する法線方向から来る光は、リニアセンサ７の画素列の中央付近に集光する様に組み立てられる。このため、カメラの正面から左側にある被写体（カメラ１のケース）は画素列の前側に画素出力が出現し、カメラの正面から右側にある被写体（カメラ２のケース）では画素列の後側に出現するようになる。但しリニアセンサの向きを逆にすると前後も逆になる。
図８（ｂ）にカメラ１～４の画素信号出力波形を示すが、顧客の手５の先端部分に対応した画素出力の出現位置は、前側、後側に対応し、カメラ１ではL１、カメラ２ではＬ２と、L１<Ｌ２となる。 Normally, light coming from the normal direction corresponding to the optical axis direction of the linear sensor camera 4 is assembled so as to be focused near the center of the pixel row of the linear sensor 7. For this reason, the pixel output appears on the front side of the pixel row for a subject on the left side from the front of the camera (case of camera 1), and the pixel output appears on the rear side of the pixel column for a subject on the right side from the front of the camera (case of camera 2). will begin to appear. However, if you reverse the direction of the linear sensor, the front and back will also be reversed.
FIG. 8(b) shows the pixel signal output waveforms of cameras 1 to 4. The appearance positions of the pixel outputs corresponding to the tip of the customer's hand 5 correspond to the front side and the rear side, and for camera 1, L 1 , For camera 2, L 2 and L 1 <L 2 .

図８（ａ）の角度θ１、θ２を決める、顧客の手５の先端部分に対応した画素出力の出現位置は、図８（ｂ）に示されるカメラ１，２のそれぞれL１、Ｌ２に対応し求まる。角度θ１、θ２から顧客の手５の先端部分の位置は、３角測量の原理でユニークに求まる。カメラ３，４を活用することにより、更に先端部分の位置精度が高まる。 The appearance positions of the pixel outputs corresponding to the tip of the customer's hand 5, which determine the angles θ 1 and θ 2 in FIG. 8(a), are L 1 and L of the cameras 1 and 2, respectively, shown in FIG. 8(b). It is found corresponding to 2 . The position of the tip of the customer's hand 5 is uniquely determined from the angles θ 1 and θ 2 using the principle of triangulation. By utilizing the cameras 3 and 4, the positional accuracy of the tip portion is further increased.

図８（ａ）に示す３角測量の原理で、ユニークに求まった顧客の手５の先端部分の位置から、商品陳列棚１の陳列棚２、２’、２”、２”’の内、どの高さの陳列棚に手を伸ばし（図では陳列棚２’）、端から何番目のどの商品を掴もうとしたか（図では３’）が判明する。
ここで、位置から商品を判明させるためには、どの高さの陳列棚２の、端から何番目の位置に、何の商品３を陳列したかを、事前（例えば商品の陳列の際）に紐付けしておく必要が有る。 Based on the uniquely determined position of the tip of the customer's hand 5 using the principle of triangulation shown in FIG. It is possible to determine at what height of the display shelf the user reached for (display shelf 2' in the figure) and which product and what number from the end the user tried to grab (3' in the figure).
Here, in order to identify the product from its position, it is necessary to know in advance (for example, when displaying the product) what product 3 is displayed at what position from the end of the display shelf 2 and at what height. It needs to be tied.

図３に示したように、リニアセンサカメラ４の画素信号出力を、時系列的に並べると顧客の手５の再生画像が得られる。顧客の手５が商品陳列棚１の商品３を掴んで出て来た際に、商品３を判読することはできるが、顧客の手５での商品３の掴み方により、商品ラベルが見えず判定が困難な場合も有り、正確性を高める上で、位置と商品の紐付けが望ましい。
一方、商品の個数に付いては、再生画像で判明するが、商品３の掴み方により、本数が見えにくい場合も有り、複数個のリニアセンサカメラ４での再生画像で精度が上がる。更に精度を上げるには、各陳列棚２、又は商品陳列棚１に重量センサを配置し、重量の変化から商品３の商品名、個数を判定して精度を上げることもできる。
As shown in FIG. 3, when the pixel signal outputs of the linear sensor camera 4 are arranged in chronological order, a reproduced image of the customer's hand 5 is obtained. When the customer's hand 5 grabs the product 3 from the product display shelf 1 and comes out, the product 3 can be read, but the product label cannot be seen due to the way the customer's hand 5 grips the product 3. Judgment may be difficult in some cases, so it is desirable to link the location and product to increase accuracy.
On the other hand, the number of products can be determined from the reproduced image, but depending on how the product 3 is held, it may be difficult to see the number, so the reproduction images from a plurality of linear sensor cameras 4 improve accuracy. To further improve accuracy, a weight sensor can be placed on each display shelf 2 or product display shelf 1 to determine the product name and number of products 3 based on changes in weight, thereby increasing the accuracy.

＜商品陳列棚の実施形態３＞
図３の説明では、動きが無いと背景の一定した出力になり、背景を便宜上ゼロとしてきたが（図３（ａ）参照）。実際の売り場では、店内の照明光にて背景がゼロになることはなく、実際には、図９（ａ）の様なリニアセンサカメラ４の背景光の画素信号出力の波形となる。
但し背景は静止しており、顧客の手の動きを捉える短い期間では、一定パターンと考えられる。従って、図２のｔ=Ｔ０のタイミングのリニアセンサカメラ４から延びる破線で示される平面で撮影を行い、この平面をよぎる顧客の手５の部位に対応し、実際のリニアセンサカメラ４の画素出力信号としては、図９（ｂ）、（ｃ）、（ｄ）、（ｅ）に示された出力波形の様になる。 <Embodiment 3 of product display shelf>
In the explanation of FIG. 3, if there is no movement, the background will be a constant output, and the background has been set to zero for convenience (see FIG. 3(a)). In an actual sales floor, the background does not become zero due to the illumination light inside the store, and in reality, the waveform of the pixel signal output of the background light from the linear sensor camera 4 is as shown in FIG. 9(a).
However, the background is stationary, and in the short period in which the customer's hand movements are captured, it can be considered to be a fixed pattern. Therefore, an image is taken on a plane indicated by a broken line extending from the linear sensor camera 4 at timing t=T 0 in FIG. The output signals have output waveforms shown in FIGS. 9(b), (c), (d), and (e).

ここで注意すべきは、顧客の手５に相当した位置にある画素信号出力の大きさは、静止した背景の出力波形に重畳されるのではなく、顧客の手５により手の位置にある背景の画素信号出力が遮られ、手に対応した背景の画素信号出力はゼロになり、顧客の手５の部位に相当した画素信号出力が現れることである。このことを、図９（ｂ）、（ｃ）、（ｄ）、（ｅ）では点線を使って表現している。 What should be noted here is that the magnitude of the pixel signal output at the position corresponding to the customer's hand 5 is not superimposed on the output waveform of the stationary background, but rather the magnitude of the pixel signal output at the position corresponding to the customer's hand 5 is The pixel signal output of the customer's hand 5 is blocked, the pixel signal output of the background corresponding to the hand becomes zero, and the pixel signal output corresponding to the part of the customer's hand 5 appears. This is expressed using dotted lines in FIGS. 9(b), (c), (d), and (e).

図９（ａ）の様な、リニアセンサカメラ４の背景光の画素信号出力の波形を抑制するための工夫を、図１０に、本発明の実施形態３に係る商品陳列棚として、その全体構成例を示す。図４の商品陳列棚１を例にとり、高さの異なる複数の陳列棚２、２’、２”、２”’、各棚の上には商品３、３’、３”、３”’、リニアセンサカメラ４（カメラ１～４）、顧客の手５は図４と同じである。
図４と異なる点は、カメラ１～４でモニターする商品陳列棚１の前面の平面部上にあり、かつ商品陳列棚１の前面の縁部の位置に、カメラに対向する様に非反射板１５を設置することである。図１０では、非反射板を１５とし、非反射板の裏面を１５’と表現した。 A device for suppressing the waveform of the pixel signal output of the background light of the linear sensor camera 4 as shown in FIG. 9(a) is shown in FIG. Give an example. Taking the product display shelf 1 in FIG. 4 as an example, there are multiple display shelves 2, 2', 2", 2"' with different heights, and products 3, 3', 3", 3"' on each shelf. The linear sensor camera 4 (cameras 1 to 4) and the customer's hand 5 are the same as in FIG.
The difference from FIG. 4 is that a non-reflective plate is placed on the flat surface of the front surface of the product display shelf 1 monitored by cameras 1 to 4, and at the edge of the front surface of the product display shelf 1 so as to face the camera. 15. In FIG. 10, the non-reflective plate is expressed as 15, and the back surface of the non-reflective plate is expressed as 15'.

図１０の商品陳列棚１では、リニアセンサカメラ４（カメラ１～４）の背景光の画素信号出力の波形としては、店内の照明光が有っても、この非反射板１５を撮影するため、顧客の手５が無い背景光は抑制でき、図３の様に、背景を便宜上ゼロとできる。この構成を、本発明の実施形態３に係る商品陳列棚１とする。
In the product display shelf 1 of FIG. 10, the waveform of the pixel signal output of the background light of the linear sensor camera 4 (cameras 1 to 4) is such that even if there is illumination light inside the store, this non-reflective plate 15 is photographed. , the background light where there is no customer's hand 5 can be suppressed, and the background can be made zero for convenience, as shown in FIG. This configuration is referred to as a product display shelf 1 according to Embodiment 3 of the present invention.

＜商品陳列棚の実施形態４＞
図１（ａ）に示される、リニアセンサカメラ４が１台の場合である本発明の実施形態１の商品陳列棚１のケースにおいて、非反射板１５を用いなくても、背景の影響を無くす方法を図１１で説明する。
図１１はリニアセンサカメラ４の出力から信号処理して、顧客の手５に相当する箇所のみを抽出し、背景出力をゼロにする信号処理回路を示す。本方式によるリニアセンサカメラ４の信号処理方法を用いた商品陳列棚１を、本発明の実施形態４に係る商品陳列棚１とする。 <Embodiment 4 of product display shelf>
In the case of the product display shelf 1 according to the first embodiment of the present invention shown in FIG. 1(a), in which there is only one linear sensor camera 4, the influence of the background can be eliminated without using the non-reflective plate 15. The method will be explained with reference to FIG.
FIG. 11 shows a signal processing circuit that processes signals from the output of the linear sensor camera 4, extracts only the portion corresponding to the customer's hand 5, and makes the background output zero. A product display shelf 1 using the signal processing method of the linear sensor camera 4 according to this method is referred to as a product display shelf 1 according to Embodiment 4 of the present invention.

図１１に示す信号処理回路は、被写体の像をレンズ８でカメラ筐体６内のリニアセンサに結像し、得られた画素信号出力１６をリニアセンサカメラ４より出力する。出力された画素信号出力１６より、ライン差分処理部１７にて画素差分絶対値２２を得る（正確には画素差分絶対値信号出力であるが、以下の説明では信号出力は略す）。 The signal processing circuit shown in FIG. 11 forms an image of the subject on a linear sensor in the camera housing 6 using a lens 8, and outputs the obtained pixel signal output 16 from the linear sensor camera 4. From the output pixel signal output 16, a pixel difference absolute value 22 is obtained in the line difference processing section 17 (more precisely, it is a pixel difference absolute value signal output, but the signal output is omitted in the following explanation).

次にライン差分処理部１７の構成を説明する。画素信号出力１６の一部は、スイッチ回路１８を経てライン記憶部１９へ取り込まれる。ライン記憶部１９から出てくる一部の画素信号出力１６（ライン記憶部出力と称す）は、差分回路２０で画素信号出力１６との差分が取られ、絶対値回路２１を経て画素差分絶対値２２が得られる。 Next, the configuration of the line difference processing section 17 will be explained. A portion of the pixel signal output 16 is taken into the line storage section 19 via the switch circuit 18. Some of the pixel signal outputs 16 (referred to as line storage outputs) coming out of the line storage section 19 are subtracted from the pixel signal output 16 by a difference circuit 20, and then passed through an absolute value circuit 21 to obtain the pixel difference absolute value. 22 is obtained.

ここで一部の画素信号出力１６（ライン記憶部出力）とは、図９（ａ）のｔ=Ｔ０のタイミングのリニアセンサカメラ４の背景光の画素信号出力の波形である。スイッチ回路１８では、顧客の手５の出力が出て来ない背景光の画素信号出力１６を記憶する場合に、スイッチをＯＮにし、ライン記憶部１９に取り込み、顧客の手５の出力がされている画素信号出力１６は、スイッチをＯＦＦにし、ライン記憶部１９には取り込まない。この様にして差分回路２０で、背景光の除去が出来る。
差分回路２０では、比較するライン間の画素信号出力の大小関係で、正負の出力になる。このため差分回路の出力を絶対値回路２１に入れて画素差分絶対値２２を得る。 Here, the part of the pixel signal output 16 (line storage section output) is the waveform of the pixel signal output of the background light of the linear sensor camera 4 at the timing t= T0 in FIG. 9(a). In the switch circuit 18, when storing the pixel signal output 16 of the background light in which the output of the customer's hand 5 does not appear, the switch is turned ON and the pixel signal output 16 is stored in the line storage section 19, and the output of the customer's hand 5 is stored. The pixel signal output 16 that is present is turned off and is not taken into the line storage section 19. In this way, the difference circuit 20 can remove background light.
The difference circuit 20 has a positive or negative output depending on the magnitude relationship of the pixel signal outputs between the lines to be compared. Therefore, the output of the difference circuit is input to an absolute value circuit 21 to obtain a pixel difference absolute value 22.

ライン差分処理部１７で得られた、画素差分絶対値２２は、マスキング信号発生部２３に入力される。マスキング信号発生部２３では、顧客の手５の動きの発生しているタイミングと、それに対応した画素出力タイミングを抽出するためのマスキング信号２６を発生する回路である。 The pixel difference absolute value 22 obtained by the line difference processing section 17 is input to the masking signal generation section 23. The masking signal generator 23 is a circuit that generates a masking signal 26 for extracting the timing at which the customer's hand 5 moves and the pixel output timing corresponding thereto.

次にマスキング信号発生部２３の構成を説明する。画素差分絶対値２２は、マスキング信号発生回路２５で閾値２４と比較され、２値化されてマスキング信号２６が得られる。マスキング信号発生部２３の出力であるマスキング信号２６は、更にマスキング回路２７にて、リニアセンサカメラ４からの出力である画素信号出力１６から、顧客の手５の動きにのみに対応した、マスキング画素出力２８を得る。

Next, the configuration of the masking signal generator 23 will be explained. The pixel difference absolute value 22 is compared with a threshold value 24 in a masking signal generation circuit 25 and binarized to obtain a masking signal 26. The masking signal 26 that is the output of the masking signal generator 23 is further processed by the masking circuit 27 from the pixel signal output 16 that is the output from the linear sensor camera 4 to the masking pixel corresponding only to the movement of the customer's hand 5. We get output 28.

この際にライン差分処理部１７と、マスキング信号発生部２３との演算処理時間により、顧客の手５の動きのみを画素信号出力１６から抽出するのに、不具合が生じる場合には、この演算時間に相当した時間だけ、画素信号出力１６を遅延回路２９で遅延させ、マスキング回路２７でマスキング画素出力を得れば良い。 At this time, if a problem occurs in extracting only the movement of the customer's hand 5 from the pixel signal output 16 due to the calculation processing time of the line difference processing unit 17 and the masking signal generation unit 23, the calculation time will be The pixel signal output 16 may be delayed by the delay circuit 29 by a time corresponding to , and the masking pixel output may be obtained by the masking circuit 27.

図１１に示すライン差分、マスキングの手法に付き、各信号波形を基に図１２を用いて説明する。顧客の手５の位置のタイミングとしては、図９（ａ）、（ｂ）、（ｄ）で示した、ｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ３のケースである。
まず背景画像に相当するｔ=Ｔ０のタイミングでは、図９（ａ）に示した様に、リニアセンサカメラ４の背景光の画素信号出力１６の波形が、顧客の手５の出力が無く、スイッチ回路がＯＮになっているため、ライン記憶部１９に取り込まれる。このライン記憶部出力は、図１２（ｂ）、（ｄ）に示したｔ=Ｔ０のタイミングの出力である。この波形はライン記憶部１９で記憶されているので、他のタイミングでも背景画像として出てくる。図１２（ｂ）、（ｄ）ではライン記憶部出力と表現している。 The line difference and masking method shown in FIG. 11 will be explained using FIG. 12 based on each signal waveform. The timing of the position of the customer's hand 5 is the case of t=T 0 , t=T 1 , and t=T 3 shown in FIGS. 9(a), (b), and (d).
First, at the timing of t= T0 , which corresponds to the background image, as shown in FIG. Since the switch circuit is ON, the signal is captured in the line storage section 19. This line storage section output is an output at the timing of t=T 0 shown in FIGS. 12(b) and 12(d). Since this waveform is stored in the line storage section 19, it appears as a background image at other timings as well. In FIGS. 12(b) and 12(d), this is expressed as line storage unit output.

次に顧客の手５が図２のｔ=Ｔ１のタイミングに来ると、図９（ｂ）に示す波形になり、図１２（ｂ’）にその画素信号出力を示す。このタイミングｔ=Ｔ１で、差分回路２０では、この画素信号出力と、ｔ=Ｔ０のタイミングの図１２（ｂ）で示した背景画像に相当したライン記憶部出力との減算が行われ、絶対値回路２１を経ると、図１２（ｂ”）で示されるｔ=Ｔ１のタイミングでの画素差分絶対値２２が得られる。
ｔ=Ｔ０以降、ｔ=Ｔ１以前のタイミングで、顧客の手５が認識されない場合は、画素信号出力は図１２（ｂ）と同じ波形で、差分回路２０及び絶対値回路２１を経た画素差分絶対値２２は、ゼロのままである。 Next, when the customer's hand 5 comes at timing t= T1 in FIG. 2, the waveform becomes as shown in FIG. 9(b), and FIG. 12(b') shows the pixel signal output. At this timing t= T1 , the difference circuit 20 subtracts this pixel signal output from the line storage section output corresponding to the background image shown in FIG. 12(b) at the timing t= T0 , After passing through the absolute value circuit 21, the pixel difference absolute value 22 at the timing t= T1 shown in FIG. 12(b'') is obtained.
If the customer's hand 5 is not recognized after t=T 0 and before t=T 1 , the pixel signal output has the same waveform as in FIG. The absolute difference value 22 remains zero.

このタイミングｔ=Ｔ１で、画素差分絶対値２２は、マスキング信号発生部２３で、閾値２４と比べられ２値化が行われ、画素差分絶対値出力値が閾値２４を超えた場合には１、超えない場合には０が割り振られ、マスキング信号が得られる。図１２（ｂ”’）にｔ=Ｔ１のタイミングでのマスキング信号を示す。 At this timing t= T1 , the pixel difference absolute value 22 is compared with the threshold value 24 in the masking signal generation unit 23 and binarized, and if the pixel difference absolute value output value exceeds the threshold value 24, the pixel difference absolute value 22 is , otherwise 0 is assigned and a masking signal is obtained. FIG. 12(b"') shows the masking signal at the timing of t= T1 .

このマスキング信号２６が１になっている期間は、顧客の手５の動きの発生しているタイミングと、顧客の手５の位置に対応する画素出力タイミングに相当し、画素信号出力１６からマスキングすべき期間である。
即ち、マスキング信号２６が発生している（１になっている）タイミングの画素信号出力１６は、顧客の手５の動きのみを見ていることに相当し、マスキング画素出力２８として図１２（ｂ””）に示す。これは図３（ｂ）に示した、背景が無い場合のｔ=Ｔ１のタイミングでの顧客の手５の信号である。 The period during which this masking signal 26 is 1 corresponds to the timing at which the movement of the customer's hand 5 occurs and the pixel output timing corresponding to the position of the customer's hand 5, and masking is performed from the pixel signal output 16. This is the appropriate period.
That is, the pixel signal output 16 at the timing when the masking signal 26 is generated (becomes 1) corresponds to seeing only the movement of the customer's hand 5, and is shown as the masking pixel output 28 in FIG. 12(b). ""). This is the signal of the customer's hand 5 at the timing t= T1 in the case where there is no background, as shown in FIG. 3(b).

これと同様なシーケンスで、顧客の手５が図２のｔ=Ｔ３のタイミングでは図９（ｄ）と同じく、図１２（ｄ’）の様な画素信号出力になる。このタイミングｔ=Ｔ３で、差分回路２０では、この画素信号出力と、ｔ=Ｔ０のタイミングの図１２（ｄ）の背景画像に相当したライン記憶部出力との減算が行われ、絶対値回路２１を経ると、図１２（ｄ”）で示されるｔ=Ｔ３のタイミングでの画素差分絶対値２２が得られる。同様にマスキング信号は図１２（ｄ”’）に示され、マスキング画素出力２８としては図１２（ｄ””）に示され、図３（ｄ）に示した、背景が無い場合のｔ=Ｔ３のタイミングでの顧客の手５の信号である。 In a similar sequence, the customer's hand 5 outputs a pixel signal as shown in FIG. 12(d') at the timing t= T3 in FIG. 2, similar to FIG. 9(d). At this timing t=T 3 , the difference circuit 20 subtracts this pixel signal output from the line storage section output corresponding to the background image in FIG. 12(d) at timing t=T 0 , and the absolute value After passing through the circuit 21, the pixel difference absolute value 22 at the timing of t= T3 shown in FIG. 12(d") is obtained. Similarly, the masking signal is shown in FIG. 12(d"') and the masking pixel The output 28 is shown in FIG. 12(d"") and is the signal of the customer's hand 5 at timing t= T3 in the absence of background, as shown in FIG. 3(d).

以上はタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ３に付いて説明したが、他のタイミングも含め、図２で示すタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４に対応した、図９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す画素信号出力の波形に対し、画素差分絶対値とマスキング信号がどの様になるかを、図１３（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示した。
The above description has been made regarding timings t=T 0 , t=T 1 , t=T 3 , but other timings are also included, such as timings t=T 0 , t=T 1 , t=T 2 , and t=T 2 shown in FIG. For the waveforms of pixel signal outputs shown in FIGS. 9(a), (b), (c), (d), and (e) corresponding to t=T 3 and t=T 4 , the pixel difference absolute value and masking are Figures 13(a), (b), (c), (d), and (e) show how the signals look.

＜商品陳列棚の実施形態５＞
図１（ａ）に示される、リニアセンサカメラ４が１台の場合である本発明の実施形態１の商品陳列棚１のケースにおいて、非反射板１５を用いなくても、背景の影響を無くす別の方法を図１４で説明する。
図１４はリニアセンサカメラ４の出力から信号処理して、顧客の手５に相当する箇所のみを抽出し、背景出力をゼロにする信号処理回路を示す。本方式によるリニアセンサカメラ４の信号処理方法を用いた商品陳列棚１を、本発明の実施形態５に係る商品陳列棚１とする。 <Embodiment 5 of product display shelf>
In the case of the product display shelf 1 according to the first embodiment of the present invention shown in FIG. 1(a), in which there is only one linear sensor camera 4, the influence of the background can be eliminated without using the non-reflective plate 15. Another method will be explained with reference to FIG.
FIG. 14 shows a signal processing circuit that processes signals from the output of the linear sensor camera 4, extracts only the portion corresponding to the customer's hand 5, and makes the background output zero. A product display shelf 1 using the signal processing method of the linear sensor camera 4 according to this method will be referred to as a product display shelf 1 according to Embodiment 5 of the present invention.

図１４に示す信号処理回路は、被写体の像をレンズ８でカメラ筐体６内のリニアセンサに結像し、得られた画素信号出力１６をリニアセンサカメラ４より出力する。出力された画素信号出力１６より、ライン差分処理部１７にて画素差分絶対値２２を得る。 The signal processing circuit shown in FIG. 14 forms an image of the subject on a linear sensor in the camera housing 6 using a lens 8, and outputs the obtained pixel signal output 16 from the linear sensor camera 4. A pixel difference absolute value 22 is obtained from the output pixel signal output 16 in a line difference processing section 17 .

図１１と異なる点はライン差分処理部１７の構成である。画素信号出力１６は、ラインメモリ３０へ取り込まれる。ラインメモリ３０から出てくる画素信号出力１６は１ライン前のライン出力であり、差分回路２０で現時点の画素信号出力１６との差分が取られ、絶対値回路２１を経て画素差分絶対値２２が得られる。１ラインに相当する時間は、リニアセンサ７のサイクルタイム（１ライン読み出しに掛かる時間）で、以降の図面ではΔｔと記す。即ち、差分回路２０では隣接ライン間の差分が取られる。
図１４のライン差分処理部１７には、ライン記憶部１９の代わりにラインメモリ３０が有るのと、図１１に有ったスイッチ回路１８が無い。
ラインメモリ３０から出てくる画素信号出力は１ライン前のライン出力であることから、ラインメモリ３０は１ラインに相当する時間分だけ、遅延させる機能を持つアナログ遅延回路の機能を有する。このためラインメモリと称したが、背景光の画素信号出力１６を１ライン出力として記憶している。ライン記憶部１９と、名称は違うが、１ライン出力を記憶することに関して機能は同じである。このことから、ラインメモリ３０をライン記憶部１９と言い換えることもできる。

The difference from FIG. 11 is the configuration of the line difference processing section 17. Pixel signal output 16 is taken into line memory 30. The pixel signal output 16 coming out from the line memory 30 is the line output of the previous line, and the difference between it and the current pixel signal output 16 is taken in the difference circuit 20, and the pixel difference absolute value 22 is obtained through the absolute value circuit 21. can get. The time corresponding to one line is the cycle time (time taken to read one line) of the linear sensor 7, and is denoted as Δt in the subsequent drawings. That is, the difference circuit 20 calculates the difference between adjacent lines.
The line difference processing section 17 in FIG. 14 has a line memory 30 instead of the line storage section 19, and does not have the switch circuit 18 that was in FIG.
Since the pixel signal output from the line memory 30 is the line output of the previous line, the line memory 30 has the function of an analog delay circuit that has the function of delaying the pixel signal by a time corresponding to one line. For this reason, it is called a line memory, but the pixel signal output 16 of the background light is stored as one line output. Although the name is different from the line storage section 19, the function is the same in terms of storing one line output. For this reason, the line memory 30 can also be referred to as the line storage section 19.

勿論、ラインメモリ３０が１ライン遅延に相当するラインメモリでなくても良く、２ライン相当の遅延を生じさせ、１ライン飛ばしの差分を取っても良い。このライン遅延量は顧客の手５の出し入れの速度と、リニアセンサ７のサイクルタイムの兼ね合いで決まる。システムの簡便さからラインメモリの遅延時間は通常サイクルタイムの整数倍にするのが一般的であるが、以降は１ラインの遅延（Δｔ）に相当する隣接ライン間の差分のケースで説明する。 Of course, the line memory 30 does not have to be a line memory that corresponds to a delay of one line, but may generate a delay equivalent to two lines and take the difference by skipping one line. The amount of line delay is determined by the balance between the speed at which the customer's hand 5 moves in and out and the cycle time of the linear sensor 7. In order to simplify the system, the delay time of the line memory is generally set to an integral multiple of the cycle time, but in the following, the case of the difference between adjacent lines corresponding to the delay (Δt) of one line will be explained.

図１４に示すライン差分の手法に付き、各信号波形を基に図１５を用いて説明する。顧客の手５の位置のタイミングとしては、簡素化するため、まずは背景光が無いケースである、図３（ａ）、（ｂ）、（ｄ）で示した、ｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ３のケースで説明する。
まずｔ=Ｔ０のタイミングでは、図１５（ａ）に示した様に、リニアセンサカメラ４の画素信号出力１６の波形には顧客の手５の出力が無い。その時にラインメモリ３０から出てくる、１ライン前（Ｔ０-Δｔ）の画素信号出力の波形も、図１５（ａ’）に示した様に顧客の手５の出力が無い。差分回路２０で両者の差分を取ってもゼロで、絶対値回路２１を経ても画素差分絶対値２２は、図１５（ａ”）の様にゼロのままである。 The line difference method shown in FIG. 14 will be explained using FIG. 15 based on each signal waveform. For the sake of simplicity, we will first consider the timing of the position of the customer's hand 5 in the case where there is no background light, t=T 0 , t=T as shown in FIGS. 3(a), (b), and (d). 1 , t= T3 .
First, at the timing of t= T0 , as shown in FIG. 15(a), there is no output from the customer's hand 5 in the waveform of the pixel signal output 16 of the linear sensor camera 4. At this time, the waveform of the pixel signal output of the previous line (T 0 -Δt ) that comes out from the line memory 30 also has no output from the customer's hand 5, as shown in FIG. 15(a'). Even if the difference between the two is taken by the difference circuit 20, it is zero, and even after passing through the absolute value circuit 21, the pixel difference absolute value 22 remains zero as shown in FIG. 15(a'').

次にｔ=Ｔ１のタイミングでは、図１５（ｂ）に示した様に、画素信号出力１６の波形には顧客の手５の出力が現れる。その時にラインメモリ３０から出てくる、１ライン前（Ｔ０-Δｔ）の画素信号出力の波形にも、図１５（ｂ’）に示した様に顧客の手５の出力が現れている。両者は顧客の手５の差し込み位置により微妙に波形が異なり、一般的に手の出力の輪郭部分に差が現れる。このため差分回路２０で両者の差分を取ると、この輪郭部分に微分波形の様な出力が現れる。絶対値回路２１を経ると画素差分絶対値２２は、図１５（ｂ”）の様になる。これは画素信号出力の微分波形の様な形状をしている。 Next, at timing t= T1 , the output of the customer's hand 5 appears in the waveform of the pixel signal output 16, as shown in FIG. 15(b). At that time, the output of the customer's hand 5 also appears in the waveform of the pixel signal output of the previous line (T 0 -Δt ), which is output from the line memory 30, as shown in FIG. 15(b'). The waveforms of both are slightly different depending on the insertion position of the customer's hand 5, and a difference generally appears in the outline of the output of the hand. Therefore, when the difference between the two is taken by the difference circuit 20, an output like a differential waveform appears in this contour portion. After passing through the absolute value circuit 21, the pixel difference absolute value 22 becomes as shown in FIG. 15(b''). This has a shape similar to the differential waveform of the pixel signal output.

これと同様なシーケンスで、顧客の手５が図２のｔ=Ｔ３のタイミングに来ると、図１５（ｄ）に示した様に顧客の手５全体の出力が現れている。その時にラインメモリ３０から出てくる、１ライン前（Ｔ３-Δｔ）の波形も、図１５（ｄ’）に示した様に顧客の手５全体の出力で、両者は微妙に異なっている。差分回路２０で両者の差分を取ると、この場合には輪郭部分以外に、指の間の部分も微妙に出現する。絶対値回路２１を経ると画素差分絶対値２２は、図１５（ｄ”）の様になる。 In a similar sequence, when the customer's hand 5 comes at the timing t= T3 in FIG. 2, the output of the entire customer's hand 5 appears as shown in FIG. 15(d). At that time, the waveform of the previous line (T 3 - Δt ) that comes out from the line memory 30 is also the output of the entire customer's hand 5, as shown in FIG. 15(d'), and the two are slightly different. . When the difference between the two is taken by the difference circuit 20, in this case, in addition to the outline, the area between the fingers also appears subtly. After passing through the absolute value circuit 21, the pixel difference absolute value 22 becomes as shown in FIG. 15(d'').

図１５では簡素化するため背景光が無いケースで説明したが、次に図９（ｂ）、（ｄ）で示した、ｔ=Ｔ１、ｔ=Ｔ３の背景光の有るケースで説明する。
ｔ=Ｔ１のタイミングでは、図１６（ｂ）に示した様に、画素信号出力１６の波形には顧客の手５の出力が現れる。その時にラインメモリ３０から出てくる、１ライン前（Ｔ０-Δｔ）の画素信号出力の波形にも、図１６（ｂ’）に示した様に顧客の手５の出力が現れ、両者は微妙に波形が異なる。このため差分回路２０で両者の差分を取ると、背景光の領域は同じなので消え、手の輪郭部分に微分波形の様な出力が現れ、絶対値回路２１を経ると画素差分絶対値２２は、図１６（ｂ”）の様になる。これは図１５（ｂ”）に示す背景光が無い場合と類似している。 In Fig. 15, the case where there is no background light was explained for simplicity, but next, the case with background light at t=T 1 and t=T 3 as shown in Figs. 9(b) and (d) will be explained. .
At the timing of t= T1 , the output of the customer's hand 5 appears in the waveform of the pixel signal output 16, as shown in FIG. 16(b). At that time, the output of the customer's hand 5 also appears in the waveform of the pixel signal output of the previous line (T 0 - Δt ), which comes out from the line memory 30, as shown in FIG. 16(b'), and both of them are The waveforms are slightly different. Therefore, when the difference between the two is taken by the difference circuit 20, the background light disappears because the area is the same, and an output like a differential waveform appears in the outline of the hand, and after passing through the absolute value circuit 21, the pixel difference absolute value 22 becomes The result is as shown in FIG. 16(b"). This is similar to the case without background light shown in FIG. 15(b").

同様なシーケンスで、ｔ=Ｔ３のタイミングでは、図１６（ｄ）に示した様に手全体が現れて、ラインメモリ３０から出てくる、１ライン前（Ｔ３-Δｔ）の波形も、図１６（ｄ’）に示した様に手全体の出力で、両者は微妙に異なっている。差分回路２０で両者の差分を取ると、輪郭部分以外に、指の間の部分も微妙に出現し、画素差分絶対値２２は、図１６（ｄ”）の様になる。図１５（ｄ”）の背景光が無い場合と類似している。 In a similar sequence, at the timing of t=T 3 , the entire hand appears as shown in FIG . As shown in FIG. 16(d'), the output of the entire hand is slightly different between the two. When the difference between the two is taken by the difference circuit 20, in addition to the outline part, the part between the fingers also appears subtly, and the pixel difference absolute value 22 becomes as shown in FIG. 16(d").FIG. 15(d") ) is similar to the case without background light.

以上はタイミングｔ=Ｔ１、ｔ=Ｔ３に付いて説明したが、他のタイミングも含め、図２で示すタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４に対応した、図９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す画素信号出力１６の波形に対し、画素差分絶対値２２がどの様になるかを、図１７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示した。 The above description has been made regarding the timings t=T 1 and t=T 3 , but other timings are also included, such as the timings t=T 0 , t=T 1 , t=T 2 , t=T 3 , and t=T 3 shown in FIG. What is the pixel difference absolute value 22 for the waveform of the pixel signal output 16 shown in FIGS. 9(a), (b), (c), (d), and (e) corresponding to t=T 4 ? This is shown in FIGS. 17(a), (b), (c), (d), and (e).

図１８は本発明の実施形態５に係る商品陳列棚１のリニアセンサカメラ４の出力から信号処理して、顧客の手５に相当する箇所のみ抽出し、背景出力をゼロにする信号処理回路を示す。画素差分処理部１７に付いては、図１４に関する説明で済んでいるので、マスキング信号発生部２３の説明を行う。 FIG. 18 shows a signal processing circuit that performs signal processing on the output of the linear sensor camera 4 of the product display shelf 1 according to Embodiment 5 of the present invention, extracts only the part corresponding to the customer's hand 5, and makes the background output zero. show. Since the pixel difference processing section 17 has already been explained with reference to FIG. 14, the masking signal generation section 23 will be explained.

画素差分処理部１７において画素差分絶対値２２は、顧客の手５の動きの発生しているタイミングと、１ライン前のタイミングの差分を取ることで得られる。マスキング信号発生部２３では、この画素差分絶対値２２を基に、顧客の手５の動きの発生しているタイミング（動きの発生時期と、発生場所に相当した画素の出力タイミングの両方の意味が有る）と、それに対応した画素出力タイミングを抽出するためのマスキング信号２６を発生する。 In the pixel difference processing unit 17, the pixel difference absolute value 22 is obtained by taking the difference between the timing at which the movement of the customer's hand 5 occurs and the timing one line before. Based on this pixel difference absolute value 22, the masking signal generation unit 23 determines the timing at which the movement of the customer's hand 5 occurs (the meaning of both the timing of the movement occurrence and the output timing of the pixel corresponding to the location of the movement). A masking signal 26 is generated for extracting the pixel output timing corresponding to the pixel output timing.

次にマスキング信号発生部２３の構成を説明する。画素差分絶対値２２からは、動き輪郭端部判定部３１にて、顧客の手５の外側の輪郭部を抽出する。図１６（ｄ”）で説明した様に、差分回路２０からは、手の輪郭部分以外に、指の間の部分も出現し、画素差分絶対値２２は複雑な波形になる。
動き輪郭端部判定部３１では画素差分絶対値波形の経過を追いかけることで、顧客の手５の外側の輪郭部を抽出することが出来る。 Next, the configuration of the masking signal generator 23 will be explained. From the pixel difference absolute value 22, a motion contour end determining section 31 extracts the outer contour of the customer's hand 5. As explained with reference to FIG. 16(d''), in addition to the outline of the hand, the area between the fingers also appears from the difference circuit 20, and the pixel difference absolute value 22 has a complex waveform.
The motion contour end determining section 31 can extract the outer contour of the customer's hand 5 by following the progress of the pixel difference absolute value waveform.

その方法を説明するが、前提としては、リニアセンサカメラ４で見張る商品陳列棚１の前面の平面に、顧客の手５が侵入し抜き出るまでの間は、一連の動きとして捉えられることである。一般的に顧客の手は商品陳列棚１の商品３を掴むために、手を挿入し商品を掴んで抜き取るのを一連の動きとして行うため、この前提は成立する（陳列棚の商品を掴んだまま、陳列棚の中で止まることは無いし、手以外のもの（頭とか足とか）を挿入することは無いので）。 The method will be explained, but the premise is that the time from when the customer's hand 5 enters the flat surface of the front surface of the product display shelf 1 monitored by the linear sensor camera 4 until it is pulled out is captured as a series of movements. . Generally speaking, in order to grasp product 3 on product display shelf 1, a customer's hand inserts the hand, grasps the product, and then pulls it out as a series of movements, so this premise holds. It doesn't stop inside the display shelf, and you don't insert anything other than your hands (head, feet, etc.)

顧客の手５の先端からリニアセンサカメラ４に捉えられ、徐々に手の幅に拡大して行く。図３（ｃ）に示す様に途中指の間の部分も登場するが、手の幅の内側に留まっており、手の外側の輪郭を辿って行ける。図３（ｄ）に示す様に過渡的に親指と手の隙間が生じ、新たな動体と区別が出来ないが、図３（ｅ）に示す様に連結され一体物との認識が出来る。
顧客の手５の大きさは、リニアセンサカメラ４で観察している商品陳列棚１の大きさと比べても小さいものなので、手の付近に生じた新たな動体（指先）は手に帰属するという判断基準を設ければ、手の一番外側の輪郭判定（動き輪郭端部判定）が容易になる。 The tip of the customer's hand 5 is captured by the linear sensor camera 4, and gradually expands to the width of the hand. As shown in Fig. 3(c), the part between the fingers also appears, but it remains within the width of the hand, and the outline of the outside of the hand can be followed. As shown in FIG. 3(d), there is a temporary gap between the thumb and the hand, making it impossible to distinguish it from a new moving object, but as shown in FIG. 3(e), they are connected and can be recognized as a single body.
Since the size of the customer's hand 5 is smaller than the size of the product display shelf 1 observed by the linear sensor camera 4, a new moving object (fingertip) that appears near the hand is attributed to the hand. If a criterion is provided, it becomes easier to determine the outermost contour of the hand (motion contour end determination).

この様に動き輪郭端部判定部３１にて得られた、顧客の手５の外側輪郭に相当する、動き輪郭端部情報３２は、マスキング信号発生回路２５で閾値３３（図１１の閾値とは異なり区別した）と比較され、マスキング信号２６が得られる。マスキング信号発生部２３の出力であるマスキング信号２６は、更にマスキング回路２７にて、リニアセンサカメラ４からの出力である画素信号出力１６から、顧客の手５の動きにのみに対応した、マスキング画素出力２８を得る。 The motion contour edge information 32 corresponding to the outer contour of the customer's hand 5 obtained by the motion contour edge determination section 31 in this way is processed by the masking signal generation circuit 25 to a threshold value 33 (the threshold value in FIG. (discriminated) to obtain a masking signal 26. The masking signal 26 that is the output of the masking signal generator 23 is further processed by the masking circuit 27 from the pixel signal output 16 that is the output from the linear sensor camera 4 to the masking pixel corresponding only to the movement of the customer's hand 5. We get output 28.

図１８に示す画素差分処理、マスキングの手法に付き、各信号波形を基に図１９を用い説明する。顧客の手５の位置のタイミングとしては、図９（ｂ）、（ｄ）で示した、ｔ=Ｔ１、ｔ=Ｔ３のケースであり、図１７（ｂ）、（ｄ）で示した画素信号出力、画素差分絶対値と対応する。 The pixel difference processing and masking method shown in FIG. 18 will be explained using FIG. 19 based on each signal waveform. The timing of the position of the customer's hand 5 is the case of t=T 1 and t=T 3 shown in FIGS. 9(b) and (d), and the case shown in FIG. 17(b) and (d) Corresponds to pixel signal output and pixel difference absolute value.

顧客の手５がｔ=Ｔ１のタイミングに来ると、図１９（ｂ）に示す画素差分絶対値波形になる。この際の動き輪郭端部情報３２は図１９（ｂ’）の様になる。動き輪郭端部情報３２は一つの動体の輪郭の端部であり、２つで対になっており、対になった２つで一つの動体の領域が決まる。
動き輪郭端部情報３２はマスキング信号発生回路２５で閾値３３と比べられ、マスキング領域設定と２値化が行われる。このマスキング領域とは一つの動体の領域のことである。動き輪郭端部情報３２が閾値３３を超えてマスキングすべき領域と認識された場合には１、それ以外は０が割り振られ、マスキング信号２６が得られる。図１９（ｂ’）の動き輪郭端部情報３２を基に得られたマスキング信号２６は図１９（ｂ”’）の様になる。 When the customer's hand 5 comes at timing t= T1 , the pixel difference absolute value waveform becomes as shown in FIG. 19(b). The motion contour end information 32 at this time is as shown in FIG. 19(b'). The motion contour edge information 32 is the edge of the contour of one moving object, two of which form a pair, and the region of one moving object is determined by the two pairs.
The motion contour edge information 32 is compared with a threshold value 33 in a masking signal generation circuit 25, and masking area setting and binarization are performed. This masking area is an area of one moving object. If the motion contour edge information 32 exceeds the threshold value 33 and is recognized as a region to be masked, 1 is assigned, otherwise 0 is assigned, and a masking signal 26 is obtained. The masking signal 26 obtained based on the motion contour edge information 32 of FIG. 19(b') becomes as shown in FIG. 19(b"').

このマスキング信号２６が１になっている期間は、顧客の手５の動きの発生しているタイミングと、顧客の手５の位置に対応する画素出力タイミングに相当し、画素信号出力１６からマスキングすべき期間である。即ち、マスキング信号２６が発生している（１になっている）タイミングの画素信号出力１６は、顧客の手５の動きのみを見ていることに相当する。
図１９（ｂ”’）で示されるマスキング信号２６と画素信号出力１６よりマスキング回路２７で得られたマスキング画素出力２８を図１９（ｂ””）に示す。これは背景が無い場合の、ｔ=Ｔ１のタイミングでの画素信号出力である図３（ｂ）に相当する。 The period during which this masking signal 26 is 1 corresponds to the timing at which the movement of the customer's hand 5 occurs and the pixel output timing corresponding to the position of the customer's hand 5, and masking is performed from the pixel signal output 16. This is the appropriate period. That is, the pixel signal output 16 at the timing when the masking signal 26 is generated (becomes 1) corresponds to seeing only the movement of the customer's hand 5.
The masking pixel output 28 obtained by the masking circuit 27 from the masking signal 26 and the pixel signal output 16 shown in FIG. 19(b'') is shown in FIG. 19(b''). This corresponds to FIG. 3(b), which is the pixel signal output at the timing of = T1 .

これと同様なシーケンスで、顧客の手５が図２のｔ=Ｔ３のタイミングでは、図１７（ｄ）と同じ図１９（ｄ）の画素差分絶対値になり、動き輪郭端部情報３２は、指の間の部分は端部ではないと判断されて削除され、図１９（ｄ’）の様になる。この際には親指とその他の指の隙間は指間とは未だ判断されず、親指は新規動体出現と判断されている。親指の付け根部分のタイミングで両者が同じ動体と判断される。図１９（ｄ’）の動き輪郭端部情報３２を基に得られたマスキング信号２６は図１９（ｄ”’）の様になる。
図１９（ｄ”’）で示されるマスキング信号２６と画素信号出力１６よりマスキング回路２７で得られたマスキング画素出力２８を図１９（ｄ””）に示す。これは背景が無い場合の、ｔ=Ｔ３のタイミングでの画素信号出力である図３（ｄ）に相当する。 In a similar sequence, when the customer's hand 5 is at the timing t= T3 in FIG. 2, the pixel difference absolute value of FIG. , the part between the fingers is determined not to be an end and is deleted, resulting in a result as shown in FIG. 19(d'). At this time, the gap between the thumb and other fingers is not yet determined to be between the fingers, and the thumb is determined to be a new moving object. Both are determined to be the same moving object based on the timing of the base of the thumb. The masking signal 26 obtained based on the motion contour edge information 32 in FIG. 19(d') becomes as shown in FIG. 19(d"').
The masking pixel output 28 obtained by the masking circuit 27 from the masking signal 26 and the pixel signal output 16 shown in FIG. 19(d'') is shown in FIG. 19(d''). This corresponds to FIG. 3 (d), which is the pixel signal output at the timing of =T3.

ここで、指の間の隙間の判断は、顧客の手５の先端の指先から決まる最初の端部情報を基に、この端部より指の太さに相当した近傍に発生した新たな動体は、他の指先と定義すると一つの手として認識される。これを更に拡大して、手の幅に相当した近傍に生じた新たな動体（指先）は、手に帰属するという判断基準を設ければ、図１９（ｄ”’）で新規動体出現と判断された親指でも、新規動体出現とは判断されず、手の一番外側の輪郭判定が容易になる。これが段落番号７６で触れた判断基準である。 Here, the judgment of the gap between the fingers is based on the initial edge information determined from the fingertip at the tip of the customer's hand 5, and a new moving object that occurs in the vicinity of this edge corresponding to the thickness of the finger is , when defined as other fingertips, it is recognized as one hand. If we expand this further and set a criterion that a new moving object (fingertip) that appears in the vicinity equivalent to the width of the hand belongs to the hand, we can determine that a new moving object has appeared in Figure 19 (d"'). Even if the thumb is moved, it is not determined that a new moving object has appeared, and the outline of the outermost part of the hand can be easily determined.This is the criterion mentioned in paragraph number 76.

以上はタイミングｔ=Ｔ１、ｔ=Ｔ３に付いて説明したが、他のタイミングも含め、図２で示すタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４に対応した、図９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す画素信号出力１６の波形に対し、画素差分絶対値２２がどの様になるかは、図１７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示しているが、これを基に、動き輪郭端部情報３２とマスキング信号２６がどの様になるかを、図２０（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示した。 The above description has been made regarding the timings t=T 1 and t=T 3 , but other timings are also included, such as the timings t=T 0 , t=T 1 , t=T 2 , t=T 3 , and t=T 3 shown in FIG. What is the pixel difference absolute value 22 for the waveform of the pixel signal output 16 shown in FIGS. 9(a), (b), (c), (d), and (e) corresponding to t=T 4 ? This is shown in FIGS. 17(a), (b), (c), (d), and (e).Based on this, how will the motion contour edge information 32 and the masking signal 26 become? This is shown in FIGS. 20(a), (b), (c), (d), and (e).

図２で示すタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４に対応した図９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す画素信号出力１６の波形と、図２０（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すマスキング信号２６の波形を基に、マスキング回路２７で得られたマスキング画素出力２８は、それぞれのタイミングで図２１（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）となる。図には元の画素信号出力１６の波形も入れた。
またタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４は、顧客の手５の破線の部位に対応する。 9(a), (b), (c), (d) corresponding to the timings t=T 0 , t=T 1 , t=T 2 , t=T 3 , t=T 4 shown in FIG. 2, Based on the waveform of the pixel signal output 16 shown in (e) and the waveform of the masking signal 26 shown in FIGS. The masked pixel outputs 28 thus obtained are shown in FIGS. 21(a), (b), (c), (d), and (e) at respective timings. The waveform of the original pixel signal output 16 is also included in the figure.
Furthermore, timings t=T 0 , t=T 1 , t=T 2 , t=T 3 , and t=T 4 correspond to the parts of the customer's hand 5 indicated by broken lines.

段落番号８２で、手の幅に相当した近傍に生じた新たな動体（指先）は、手に帰属するという判断基準を設けたケースに付いて図２２で説明する。図２で示すタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４に対応した、図９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す画素信号出力１６の波形に対し、画素差分絶対値２２がどの様になるかは、図１７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示しているが、これを図２２（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に再度示す。画素差分絶対値２２波形より動き輪郭端部判定部３１で、新規判断基準にて端部と判断された動き輪郭端部情報３２の波形としては、各タイミングで図２２（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の左側に示される画素差分絶対値の波形で幾つかある微分波形の内、両端にある微分波形である。 In paragraph number 82, a case will be described with reference to FIG. 22 in which a criterion is set that a new moving object (fingertip) that occurs in the vicinity corresponding to the width of the hand belongs to the hand. 9(a), (b), (c), and (d) corresponding to timings t=T 0 , t=T 1 , t=T 2 , t=T 3 , and t=T 4 shown in FIG. 2 , 17(a), (b), (c), (d), and (e) show how the pixel difference absolute value 22 becomes for the waveform of the pixel signal output 16 shown in , (e). This is shown again in FIGS. 22(a), (b), (c), (d), and (e). The waveforms of the motion contour edge information 32 determined by the motion contour edge determination unit 31 to be an edge based on the new determination criteria based on the waveform of the pixel difference absolute value 22 are as shown in FIGS. 22(a) and 22(b) at each timing. , (c), (d), and (e), which are the differential waveforms at both ends of several differential waveforms of the absolute value of the pixel difference shown on the left side.

動き輪郭端部判定部３１で、新規判断基準にて得られた動き輪郭端部情報３２の波形に基づいて、マスキング信号発生回路２５で、閾値３３を超えた時点から１と判断されるマスキング信号２６としては、図２２（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の中央に示したマスキング信号波形である。マスキング信号波形は顧客の手５の大きさに対応する。 Based on the waveform of the motion contour edge information 32 obtained by the motion contour edge determination section 31 based on the new determination criteria, the masking signal generating circuit 25 determines that the masking signal is 1 from the time when the threshold value 33 is exceeded. 26 is the masking signal waveform shown in the center of FIGS. 22(a), (b), (c), (d), and (e). The masking signal waveform corresponds to the size of the customer's hand 5.

図２で示すタイミングｔ=Ｔ０、ｔ=Ｔ１、ｔ=Ｔ２、ｔ=Ｔ３、ｔ=Ｔ４に対応した図９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す画素信号出力１６の波形と、図２２（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すマスキング信号２６の波形を基に、マスキング回路２７で得られたマスキング画素出力２８は、それぞれのタイミングで図２２（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）となる。この波形と、図２１（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）で示すマスキング画素出力２８の波形とを比較すると、タイミングｔ=Ｔ３に対応する、図２２（ｄ）、図２１（ｄ）に違いが生じている。即ち、新規判定基準で得られたマスキング信号２６の波形では、指の間は顧客の手５の一部として認識され、画像として採択されるためマスキング信号は１となる。このため、図２２（ｄ）のマスキング画素出力２８には、指の間の領域に背景画像が登場する。これが図２０（ｄ）の指の間もマスキング信号ゼロ、として得られた図２１（ｄ）に示したマスキング画素出力２８とは異なる。
9(a), (b), (c), (d) corresponding to the timings t=T 0 , t=T 1 , t=T 2 , t=T 3 , t=T 4 shown in FIG. 2, Based on the waveform of the pixel signal output 16 shown in (e) and the waveform of the masking signal 26 shown in FIGS. The masked pixel outputs 28 thus obtained are shown in FIGS. 22(a), (b), (c), (d), and (e) at respective timings. Comparing this waveform with the waveform of the masking pixel output 28 shown in FIGS. 21(a), (b), (c), (d), and ( e ), it is found that d) and FIG. 21(d). That is, in the waveform of the masking signal 26 obtained using the new criterion, the area between the fingers is recognized as part of the customer's hand 5 and is adopted as an image, so the masking signal becomes 1. Therefore, the background image appears in the area between the fingers in the masking pixel output 28 in FIG. 22(d). This is different from the masking pixel output 28 shown in FIG. 21(d), which is obtained with zero masking signal between the fingers in FIG. 20(d).

＜商品陳列棚の実施形態６＞
図１１に示される、本発明の実施形態４に係る商品陳列棚１に使用される、リニアセンサカメラ４の画像信号出力から顧客の手５に相当する箇所のみを抽出し、背景出力をゼロにする信号処理方法のカメラを複数個、商品陳列棚１の隅に配置し、商品陳列棚１の前面で商品の出入りに伴う作業を行う顧客の手５を観察する商品陳列棚１を、本発明の実施形態６に係る商品陳列棚１とする。 <Embodiment 6 of product display shelf>
Only the part corresponding to the customer's hand 5 is extracted from the image signal output of the linear sensor camera 4 used in the product display shelf 1 according to the fourth embodiment of the present invention shown in FIG. 11, and the background output is set to zero. The present invention provides a product display shelf 1 in which a plurality of cameras using a signal processing method are arranged at the corners of the product display shelf 1 to observe the hands 5 of customers who perform work associated with putting products in and out in front of the product display shelf 1. A product display shelf 1 according to Embodiment 6 of FIG.

図１１に示す信号処理回路を持つ４つのリニアセンサカメラ４（カメラ１～４で示される）が図２３に示されている。このリニアセンサカメラ４は、本発明の実施形態２に係る構成の商品陳列棚１の前面の縁部に、商品陳列棚１の前面部分を観察する。各リニアセンサカメラ４（カメラ１～４）から出力される画素信号出力１６は、ライン差分処理部１７とマスキング信号発生部２３、マスキング回路２７を経て、マスキング画素出力が、カメラ１～４に対応し出力される。 Four linear sensor cameras 4 (indicated by cameras 1-4) having the signal processing circuit shown in FIG. 11 are shown in FIG. This linear sensor camera 4 observes the front portion of the product display shelf 1 at the front edge of the product display shelf 1 configured according to the second embodiment of the present invention. The pixel signal output 16 output from each linear sensor camera 4 (cameras 1 to 4) passes through the line difference processing section 17, the masking signal generation section 23, and the masking circuit 27, and the masking pixel output corresponds to the cameras 1 to 4. is output.

図２３に示す信号処理回路で新たに追加された点として、マスキング回路２７において、マスキング信号が１か０かにより、画素信号出力１６を出す（ONと記載）か、出さない（OFFと記載）かを決める。としているが、これは今までの説明してきた波形に対応している。
ここで言うマスキングとは、一般的に使われるデータを隠す意味ではなく、データ以外を隠し、データを強調し露出させる、という意味で本明細書では使っている。本願は無駄な背景を隠して余計なデータ処理を無くし、本質的なデータ（顧客の手５、商品３）を抽出し、信号処理の簡素化が目的である。 A new addition to the signal processing circuit shown in FIG. 23 is that in the masking circuit 27, the pixel signal output 16 is output (denoted as ON) or not (described as OFF) depending on whether the masking signal is 1 or 0. decide. This corresponds to the waveforms explained so far.
Masking here is not used in the commonly used sense of hiding data, but is used in this specification in the sense of hiding other than data and emphasizing and exposing data. The purpose of this application is to hide unnecessary background, eliminate unnecessary data processing, extract essential data (customer's hand 5, product 3), and simplify signal processing.

またスイッチ回路１８のスイッチの仕方があいまいな説明であったが、マスキング信号が０の時には、顧客の手５の動きが無く、背景光に対応するので、スイッチ回路はONとしてライン記憶させ、マスキング信号が１の時には、顧客の手５の動きが有り、取り込むべき顧客の手５の動きに相当するので、スイッチ回路はOFFとしてライン記憶させない。 Also, the explanation was vague about how to switch the switch circuit 18, but when the masking signal is 0, there is no movement of the customer's hand 5 and it corresponds to the background light, so the switch circuit is memorized as an ON line and the masking When the signal is 1, there is a movement of the customer's hand 5, which corresponds to the movement of the customer's hand 5 that should be captured, so the switch circuit is set to OFF and is not stored in line.

マスキング信号は波形として、１ラインの中にも１と０があるが、ここで言うマスキング信号が０や１と言うのは、１ラインのマスキング信号の中に、マスキング信号が常に０の場合には０と言い、マスキング信号が１になるタイミングが少しでも含まれる場合には１と言う。また背景光の変化は少ないので、定期的（例えば１０分に１回程度）に背景光のライン記憶を行えば良い。 The masking signal has a waveform of 1 and 0 within one line, but when we say that the masking signal is 0 or 1 here, it means that the masking signal is always 0 in one line of masking signal. is said to be 0, and if there is even a slight timing at which the masking signal becomes 1, it is said to be 1. Furthermore, since there are few changes in the background light, it is sufficient to perform line storage of the background light periodically (for example, about once every 10 minutes).

マスキング画素出力２８をカメラ毎（カメラ１～４）に区別するため、便宜的にマスキング画素信号１～４と称することとする。マスキング画素信号１～４からは、図８で説明した様に、３角測量の原理で、ユニークに求まった顧客の手５の先端部分の位置から、商品陳列棚１の陳列棚２、２’、２”、２”’の内、どの高さの陳列棚に手を伸ばし（図では陳列棚２’）、端から何番目のどの商品を掴もうとしたか（図では３’）が判明する。この際、位置から商品を判明させるためには、どの高さの端から何番目の位置に何の商品を陳列したかを、事前把握しておく必要が有る。これを図２３では商品位置算出部と呼んでいる。 In order to distinguish the masking pixel outputs 28 for each camera (cameras 1 to 4), they will be referred to as masking pixel signals 1 to 4 for convenience. From the masking pixel signals 1 to 4, as explained in FIG. 8, display shelves 2 and 2' of product display shelf 1 are determined from the uniquely determined position of the tip of the customer's hand 5 using the principle of triangulation. , 2", 2"', which height of the display shelf the user reached for (display shelf 2' in the figure), and what product number from the end he tried to grab (3' in the figure). At this time, in order to identify the products from their positions, it is necessary to know in advance what products are displayed at which height and at what position from the end. This is called a product position calculation section in FIG. 23.

マスキング画素信号１～４を時系列的に並べると、カメラ１～４で見た顧客の手５の再生画像が得られる。顧客の手５が商品陳列棚１の商品３を掴んで出て来た際に、商品３を判読することはできるが、顧客の手５での商品３の掴み方により、商品ラベルが見えず判定が困難な場合も有り、正確性を高める上で、位置と商品の紐付けが望ましい。また商品の個数に付いては、再生画像で判明するが、商品３の掴み方により、本数が見えにくい場合も有り、複数個のリニアセンサカメラ４での再生画像で精度が上がる。これを図２３では商品画像処理部と呼んでいる。
By arranging the masking pixel signals 1 to 4 in chronological order, a reproduced image of the customer's hand 5 as seen by the cameras 1 to 4 can be obtained. When the customer's hand 5 grabs the product 3 from the product display shelf 1 and comes out, the product 3 can be read, but the product label cannot be seen due to the way the customer's hand 5 grips the product 3. Judgment may be difficult in some cases, so it is desirable to link the location and product to increase accuracy. Furthermore, although the number of products can be determined from the reproduced image, it may be difficult to see the number depending on how the product 3 is gripped, so the accuracy can be improved by using the reproduced images with a plurality of linear sensor cameras 4. This is called a product image processing section in FIG. 23.

＜商品陳列棚の実施形態７＞
以上説明した本発明の実施形態に係る商品陳列棚１が複数個配置された実際の店舗において、図２４で説明する様に、その店舗が顧客の店舗内の移動ルートを監視カメラで追尾する情報を有し、顧客が会計時にレジでの売り上げ情報も有する場合には、商品陳列棚１での顧客対応のデータ、この顧客の追尾データと、この顧客の売り上げデータとを組み合わせる事により、システム精度を上げることが出来る。これは万引き等の不正の防止や、無人店舗のシステムが提供できる。
このシステムを構築する商品陳列棚１を、本発明の実施形態７に係る商品陳列棚１とする。 <Embodiment 7 of product display shelf>
In an actual store in which a plurality of product display shelves 1 according to the embodiment of the present invention described above are arranged, as explained in FIG. If the customer also has sales information at the cash register at the time of checkout, system accuracy can be improved by combining the customer response data on product display shelf 1, this customer's tracking data, and this customer's sales data. can be raised. This can prevent fraud such as shoplifting and provide an unmanned store system.
The product display shelf 1 that constructs this system is the product display shelf 1 according to Embodiment 7 of the present invention.

図２４に示す店舗では、本発明の実施形態２の図５（ｂ）に示す上面図の商品陳列棚１が、背中合わせに２台配置されたセット（例えば（１，１）と（２，１））の６セット（３セット×２列）が配置されている。
顧客Ｅは、店内に設置された監視カメラ（図示せず）で、移動ルートが時刻付きで把握されている。他の顧客Ａ，Ｂ，Ｃ，Ｄはそれぞれ（１，３）、（２，１）、（３，２）、（４，１）の商品陳列棚１で商品に対する作業をしている。顧客Ｅの移動ルートを図２４のフリーハンド破線で示す。ここでは（１，２）と（２，３）の商品陳列棚１に立ち寄って、レジの位置まで来たことが分かる。 In the store shown in FIG. 24, the product display shelves 1 shown in the top view shown in FIG. )) 6 sets (3 sets x 2 columns) are arranged.
Customer E's travel route is tracked with time by a surveillance camera (not shown) installed in the store. Other customers A, B, C, and D are working on products at product display shelves 1 (1, 3), (2, 1), (3, 2), and (4, 1), respectively. The travel route of customer E is shown by the freehand broken line in FIG. Here, it can be seen that the user stopped at product display shelves 1 at (1, 2) and (2, 3) and arrived at the cash register.

図２４の店舗では、商品陳列棚１での顧客対応のデータ、顧客の位置追尾データと、顧客の売り上げデータが取得されるが、ここで重要な事は、これらのデータを時刻で同期を取ることである。即ち、本発明の商品陳列棚１で取得した顧客のデータは、何時に、どの棚位置のどの様な商品を何個取ったか、その内何個を戻したか、と言った商品陳列棚１で行われるローカルな情報に過ぎない。しかし時刻が有ることにより、顧客の紐付けが出来て、その顧客はどの様な移動ルートで商品陳列棚まで来たか、該当する顧客のレジでの売り上げデータは幾らであったか、を組み合わせる事により、システム精度を上げることが出来る。これは万引き等の不正の防止や、無人店舗のシステムが提供できる。
In the store shown in Figure 24, customer response data on product display shelf 1, customer position tracking data, and customer sales data are acquired, but what is important here is that these data are synchronized by time. That's true. That is, the customer data acquired by the product display shelf 1 of the present invention includes information on the product display shelf 1, such as when and how many products of what type were taken from which shelf position, and how many of those products were returned. It's just local information. However, by having the time, it is possible to link customers, and by combining the information such as the route the customer took to reach the product display shelf and the sales data of the customer at the cash register, System accuracy can be improved. This can prevent fraud such as shoplifting and provide an unmanned store system.

＜商品陳列棚の実施形態８＞
本発明の実施形態に係る商品陳列棚１が複数個配置された実際の店舗において、図２４で説明した様に、システム精度を上げて、万引き等の不正の防止や、無人店舗のシステムが提供できる。
更にシステムの精度を上げるため、店内カゴの商品の出入りをセンシングして得られた商品に対応した情報を追加する。この情報を店内カゴデータと呼ぶ。
この店内カゴデータの取得方法としては、通常のエリアセンサのカメラを店内カゴに設け、画像処理で商品に対応した店内カゴデータを取得しても良い。この店内カゴデータを、商品陳列棚１での顧客対応のデータ、この顧客の追尾データ、この顧客の売り上げデータと、組み合わせる事により、システム精度を更に上げることが出来る。店内カゴデータを中心にすれば、顧客の追尾データは必ずしも必要ではない。これは万引き等の不正の防止や、無人店舗のシステムが提供できる。このシステムを構築する商品陳列棚１を、本発明の実施形態８に係る商品陳列棚１とする。 <Embodiment 8 of product display shelf>
In an actual store where a plurality of product display shelves 1 according to the embodiment of the present invention are arranged, as explained in FIG. can.
Furthermore, in order to improve the accuracy of the system, information corresponding to the products obtained by sensing the arrival and departure of products in the in-store cart will be added. This information is called in-store cart data.
As a method for acquiring this in-store cart data, a normal area sensor camera may be installed in the in-store cart, and in-store cart data corresponding to the product may be obtained through image processing. By combining this in-store cart data with customer response data on the product display shelf 1, this customer's tracking data, and this customer's sales data, the accuracy of the system can be further improved. If the focus is on in-store cart data, customer tracking data is not necessarily necessary. This can prevent fraud such as shoplifting and provide an unmanned store system. The product display shelf 1 that constructs this system is the product display shelf 1 according to the eighth embodiment of the present invention.

この店内カゴデータの取得方法としては、商品陳列棚１に付与したセンシング手段を活用しても良い。具体的には商品の出し入れを行う店内カゴの上面の縁部に、リニアセンサを用いたカメラを設置し、店内カゴの上面の平面をモニターし、商品の出入りをセンシングして得られた商品に対応した情報を追加する。 As a method for acquiring this in-store cart data, sensing means provided on the product display shelf 1 may be utilized. Specifically, a camera using a linear sensor is installed on the edge of the top of the in-store cart where products are taken out and put in, and the camera monitors the flat surface of the top of the in-store cart, sensing when products come in and out. Add corresponding information.

図２５に示される実施形態８に係る商品陳列棚１とセットで使用される店内カゴ３４の正面図、上面図、側面図を、図２５（ａ）、（ｂ）、（ｃ）にそれぞれ示す。店内カゴ３４は通常の店舗で使用されるカゴで、その上縁部にはリニアセンサカメラ４（カメラ４（カゴ）と記す）が設置されている。店内カゴ３４内には商品３が入っており、商品３の出入の作業を行う顧客の手５が上方にある。図２５（ｄ）は商品３を手にした顧客の手５を示しており、リニアセンサカメラ４の画素信号出力を、時系列的に並べると顧客の手５と商品３の再生画像が得られ、どの商品を何個入れたかが分かが、これは商品陳列棚１のリニアセンサカメラ４の動作原理と同じである。 A front view, a top view, and a side view of the in-store basket 34 used as a set with the product display shelf 1 according to the eighth embodiment shown in FIG. 25 are shown in FIGS. 25(a), (b), and (c), respectively. . The in-store basket 34 is a basket used in a normal store, and a linear sensor camera 4 (referred to as camera 4 (basket)) is installed on its upper edge. Products 3 are placed in the in-store basket 34, and the customer's hand 5, which takes in and out the products 3, is placed above. FIG. 25(d) shows the customer's hand 5 holding the product 3, and if the pixel signal outputs of the linear sensor camera 4 are arranged in chronological order, a reproduced image of the customer's hand 5 and the product 3 can be obtained. The operation principle of the linear sensor camera 4 of the product display shelf 1 is the same as that of the product display shelf 1.

図２５（ｃ）に示した商品陳列棚１の側面図で、顧客の手５が示されている。図２５（ａ）、（ｂ）、（ｃ）に示しているが、店内カゴ３４の上縁部にあるリニアセンサカメラ４は店内カゴ３４の入り口の平面を、リニアセンサカメラ４から延びる破線の様にモニターしている。店内カゴ３４のリニアセンサカメラ４は位置を特定する訳ではないので１台で良く、手による死角を避けるため２台設けても良い。 In the side view of the product display shelf 1 shown in FIG. 25(c), the customer's hand 5 is shown. As shown in FIGS. 25(a), 25(b), and 25(c), the linear sensor camera 4 located at the upper edge of the in-store basket 34 detects the plane of the entrance of the in-store basket 34 by the broken line extending from the linear sensor camera 4. I am monitoring it accordingly. Since the linear sensor camera 4 of the in-store cart 34 does not specify the position, only one is sufficient, or two may be provided to avoid blind spots caused by hands.

店内カゴ３４のリニアセンサカメラ４で得られた店内カゴデータは、店内カゴの中にある商品と対応しており、前述したように、商品陳列棚１での顧客対応のデータ、この顧客の追尾データ、この顧客の売り上げデータと、組み合わせる事により、システム精度を更に上げることが出来る。これは万引き等の不正の防止や、無人店舗のシステムが提供できる。
The in-store cart data obtained by the linear sensor camera 4 of the in-store cart 34 corresponds to the products in the in-store cart, and as mentioned above, data on customer interaction on the product display shelf 1, tracking of this customer By combining this data with this customer's sales data, the accuracy of the system can be further increased. This can prevent fraud such as shoplifting and provide an unmanned store system.

＜他の変形例１＞
本発明は幾つかのケースに付き説明してきたが、更に細かな変形は可能である。例えば図１４に示す信号処理回路では、リニアセンサカメラ４より出力された画素信号出力１６は、ラインメモリ３０を使って、１ライン前のライン出力とのライン差分を行っていたが、ラインメモリ３０を用いなくても図１（ｃ）に示すリニアセンサの構造で、ＣＣＤレジスタ１１をラインメモリ３０の代替として使用することが出来る。 <Other modification example 1>
Although the invention has been described with reference to several cases, further variations are possible. For example, in the signal processing circuit shown in FIG. 14, the pixel signal output 16 output from the linear sensor camera 4 is subjected to line difference with the line output of the previous line using the line memory 30. Even without using the line memory 30, the CCD register 11 can be used as a substitute for the line memory 30 in the linear sensor structure shown in FIG. 1(c).

次にこの方法に付き説明する。図１（ｃ）で偶数番目の画素１０で光電変換され蓄積された電荷は、シフト電極１２が開くとＣＣＤレジスタ１１に転送され、ＣＣＤレジスタ１１を出力回路１３方向に転送され、出力回路１３で信号電圧に変換され外部に出力される。同様にして、奇数番目の画素１０で光電変換され蓄積された電荷は、シフト電極１２’が開くとＣＣＤレジスタ１１’に転送され、ＣＣＤレジスタ１１’を出力回路１３方向に転送され、出力回路１３で信号電圧に変換され同様に外部に出力される。通常のリニアセンサ７では、ＣＣＤレジスタ１１、１１’は交互に画素出力を排出し、画素１０の配列に従って出力される。 Next, this method will be explained. When the shift electrode 12 opens, the charges photoelectrically converted and accumulated in the even-numbered pixels 10 in FIG. It is converted into a signal voltage and output to the outside. Similarly, charges photoelectrically converted and accumulated in the odd-numbered pixels 10 are transferred to the CCD register 11' when the shift electrode 12' is opened, transferred from the CCD register 11' to the output circuit 13, and transferred to the output circuit 13. It is converted into a signal voltage and output to the outside in the same way. In a normal linear sensor 7, the CCD registers 11, 11' alternately output pixel outputs according to the arrangement of the pixels 10.

ＣＣＤレジスタ１１’に転送された奇数番目の画素１０の信号電荷をＣＣＤレジスタ１１’のみ停止し、ラインメモリとして使う。ＣＣＤレジスタ１１に転送された偶数番目の画素１０の信号電荷をＣＣＤレジスタ１１は駆動し出力回路より捨て去る。次のライン期間で、シフト電極１２’は開けずにＣＣＤレジスタ１１’への画素からの電荷転送を行わず、シフト電極１２のみ開け偶数番目の画素１０の信号電荷をＣＣＤレジスタ１１へ転送する。この後、ＣＣＤレジスタ１１、１１’を駆動すると、ＣＣＤレジスタ１１、１１’より偶数番目、奇数番目の画素出力が交互に出てくるが、奇数番目の画素は１ライン前の画素出力であり、偶数番目の画素出力は現在のラインの画素出力である。 The signal charge of the odd-numbered pixel 10 transferred to the CCD register 11' is stopped only in the CCD register 11', and used as a line memory. The CCD register 11 drives the signal charge of the even-numbered pixel 10 transferred to the CCD register 11 and discards it from the output circuit. In the next line period, the shift electrode 12' is not opened to transfer charge from the pixel to the CCD register 11', and only the shift electrode 12 is opened to transfer the signal charge of the even-numbered pixel 10 to the CCD register 11. After this, when the CCD registers 11 and 11' are driven, even and odd pixel outputs are alternately output from the CCD registers 11 and 11', but the odd pixel is the pixel output of the previous line, The even numbered pixel output is the pixel output of the current line.

奇数番目、偶数番目の画素出力が交互に出てくるので、両者の差分を取るとライン差分が簡単に求まる。厳密には同じ位置の画素比較ではないが、隣接位置にある画素出力の比較なので、ライン差分と考えて問題ない。
またシフト電極１２’、１２は開けないことが定期的に発生するため、ダミー画素信号として出力回路より捨て去ることが必要になり、連続してライン差分を取ることは出来ないが、本発明の応用では、手の動きはリニアセンサ７の動作サイクルに比べたらゆっくりした動きなので、実用上問題ない。
Since the odd-numbered and even-numbered pixel outputs are output alternately, the line difference can be easily determined by taking the difference between the two. Strictly speaking, this is not a comparison of pixels at the same position, but since it is a comparison of pixel outputs at adjacent positions, there is no problem in considering it as a line difference.
Furthermore, since the shift electrodes 12' and 12 are not opened periodically, it is necessary to discard them from the output circuit as dummy pixel signals, and it is not possible to continuously obtain line differences. In this case, since the movement of the hand is slow compared to the operation cycle of the linear sensor 7, there is no problem in practical use.

＜他の変形例２＞
図２６（ａ）、（ｂ）を用いて別の方法に付き説明する。まず図２６（ａ）で、光電変換され蓄積された電荷は、シフト電極１２’が開くとＣＣＤレジスタ１１’に、全ての画素１０から転送される。この際に、シフト電極１２は開かないので、ＣＣＤレジスタ１１へは転送されない。転送された電荷はＣＣＤレジスタ１１’で１ラインに相当する期間は停止する。次に図２６（ｂ）で、この１ラインの期間内に、光電変換され蓄積された電荷は、シフト電極１２が開くとＣＣＤレジスタ１１に、全ての画素１０から転送される。この際に、シフト電極１２’は開かないので、ＣＣＤレジスタ１１’へは転送されない。 <Other modification example 2>
Another method will be explained using FIGS. 26(a) and 26(b). First, in FIG. 26(a), the photoelectrically converted and accumulated charges are transferred from all pixels 10 to the CCD register 11' when the shift electrode 12' is opened. At this time, since the shift electrode 12 is not opened, the data is not transferred to the CCD register 11. The transferred charges are stopped in the CCD register 11' for a period corresponding to one line. Next, in FIG. 26(b), the charges photoelectrically converted and accumulated within the period of one line are transferred from all the pixels 10 to the CCD register 11 when the shift electrode 12 is opened. At this time, since the shift electrode 12' is not opened, the data is not transferred to the CCD register 11'.

次にそれぞれのＣＣＤレジスタ１１、１１’内の、全ての画素１０に対応した電荷は出力回路１３方向に転送され、出力回路１３で信号電圧に変換され外部に出力される。ＣＣＤレジスタ１１、１１’は交互に画素出力を排出し、画素１０の配列に従って出力される。ここで、図１（ｃ）の駆動と異なるのは、画素１０の画素出力は１ライン前の信号と現在の信号が同じ画素位置に対応し出力されることである。
勿論この場合は、ＣＣＤレジスタ１１、１１’には全ての画素を転送できるだけの転送段数が必要になるが、隣接する２画素をＣＣＤレジスタ１１、１１’で合体するモードにすれば、図１（ｃ）のＣＣＤレジスタ１１、１１’の転送段数で済む。 Next, the charges corresponding to all the pixels 10 in each CCD register 11, 11' are transferred toward the output circuit 13, converted into a signal voltage by the output circuit 13, and output to the outside. The CCD registers 11, 11' alternately output pixel outputs according to the arrangement of the pixels 10. Here, the difference from the driving shown in FIG. 1(c) is that the pixel output of the pixel 10 is such that the signal one line before and the current signal correspond to the same pixel position.
Of course, in this case, the CCD registers 11 and 11' will need a sufficient number of transfer stages to transfer all the pixels, but if you set the mode in which two adjacent pixels are combined in the CCD registers 11 and 11', as shown in FIG. The number of transfer stages of the CCD registers 11 and 11' in c) is sufficient.

１ライン期間だけ光電変換のタイミングの異なる２ラインの全画素出力が交互に出てくるので、両者の差分を取るとライン差分が簡単に求まる。全画素読み出しなので、厳密に同じ位置の画素比較であり、ライン差分である。ＣＣＤレジスタの片側（２つの例では共にＣＣＤレジスタ１１’）で１ラインの遅延を行うので、ＣＣＤレジスタ１１’は図１４や図１８に示したラインメモリ３０と考えられる。請求項でラインメモリと称するのは、このＣＣＤレジスタも含むものとする。
ＣＣＤレジスタ１１に転送された全ての画素１０の信号電荷を１ラインの期間停止するので、ＣＣＤレジスタ１１はラインメモリとして使う。全ての画素１０は毎回読み出されているので、ダミー画素として捨てる必要が無いため、連続してライン差分を取ることが出来る。
Since all pixel outputs of two lines with different photoelectric conversion timings are output alternately for one line period, the line difference can be easily determined by taking the difference between the two lines. Since all pixels are read out, it is a pixel comparison at exactly the same position, and is a line difference. Since a one-line delay is performed on one side of the CCD register (both CCD registers 11' in the two examples), the CCD register 11' can be considered as the line memory 30 shown in FIGS. 14 and 18. The term "line memory" in the claims includes this CCD register.
Since the signal charges of all pixels 10 transferred to the CCD register 11 are stopped for one line period, the CCD register 11 is used as a line memory. Since all the pixels 10 are read every time, there is no need to discard them as dummy pixels, so line differences can be taken continuously.

＜他の変形例３＞
変形例１，２では、ラインメモリ３０を用いずに、リニアセンサ７をＣＣＤタイプのセンサを用いることで、ＣＣＤレジスタ１１をラインメモリ３０の代替として使用することが出来ることを説明した。
本発明は、リニアセンサ７をＣＭＯＳタイプのセンサを用いた、ＣＭＯＳリニアセンサをラインメモリ３０の代替として使用することも出来、次にそれを説明する。 <Other modification example 3>
In Modifications 1 and 2, it has been explained that by using a CCD type sensor as the linear sensor 7 without using the line memory 30, the CCD register 11 can be used as a substitute for the line memory 30.
In the present invention, a CMOS type sensor is used as the linear sensor 7, and the CMOS linear sensor can also be used as a substitute for the line memory 30, which will be explained next.

まず図２７でＣＭＯＳリニアセンサの構造を説明する。直線的に並んだ画素１０に沿ってＣＭＯＳシフトレジスタ３５が配置されており、画素１０の信号電荷は各画素に繋がったスイッチングゲート３６を順次開くことで、信号線３７に連結されていく。信号線３７の端部には出力回路３８があり、画素の信号電荷を信号電圧の形で外部に出力させる。各画素の光電変換時間と出力されるタイミングは画素に付随したスイッチングゲート３６の開閉で決まり、これはＣＭＯＳシフトレジスタ３５で制御される。 First, the structure of a CMOS linear sensor will be explained with reference to FIG. A CMOS shift register 35 is arranged along the linearly arranged pixels 10, and the signal charges of the pixels 10 are connected to the signal line 37 by sequentially opening the switching gates 36 connected to each pixel. An output circuit 38 is provided at the end of the signal line 37, and outputs the signal charge of the pixel to the outside in the form of a signal voltage. The photoelectric conversion time and output timing of each pixel are determined by opening and closing of a switching gate 36 associated with the pixel, and this is controlled by a CMOS shift register 35.

次に図２７のＣＭＯＳリニアセンサでラインメモリ３０の代替動作を行う方法に付き説明する。ポイントは画素列１０の奇数画素と偶数画素で露光時間を２倍変えることである。便宜的に奇数画素では２ラインに相当した光電変換（偶数画素より１ライン早く光電変換を開始する）を行い、偶数画素では１ラインに相当した光電変換を行う。奇数画素と偶数画素は順次信号線３７を経由して出力回路３８から出てくるが、隣接する奇数画素から偶数画素の引き算を行うと、残りは１ライン前の奇数画素の出力である。ここで同一ラインの隣接しあう奇数画素と偶数画素の出力は同じとした。即ち図１（ｃ）で示した段落番号１０４、１０５で説明した奇数画素は１ライン前の画素出力と同じ状態になる。 Next, a method of performing an alternative operation of the line memory 30 using the CMOS linear sensor shown in FIG. 27 will be explained. The key point is to double the exposure time between odd-numbered pixels and even-numbered pixels in the pixel row 10. For convenience, odd-numbered pixels perform photoelectric conversion corresponding to two lines (photoelectric conversion starts one line earlier than even-numbered pixels), and even-numbered pixels perform photoelectric conversion equivalent to one line. Odd-numbered pixels and even-numbered pixels sequentially come out from the output circuit 38 via the signal line 37, but when an even-numbered pixel is subtracted from an adjacent odd-numbered pixel, the remainder is the output of the odd-numbered pixel one line before. Here, it is assumed that the outputs of adjacent odd-numbered pixels and even-numbered pixels on the same line are the same. That is, the odd-numbered pixels explained in paragraph numbers 104 and 105 shown in FIG. 1(c) are in the same state as the pixel output of one line before.

隣接する奇数画素から偶数画素の引き算を行い得られた１ライン前の奇数画素の出力は、図１４のラインメモリ３０を経た出力と同じになる。今のラインの画素出力である偶数画素の出力と差分を取ることでライン差分が得られる。奇数画素と偶数画素のスイッチングゲート３６の制御はＣＭＯＳシフトレジスタ３５でどの様なパルスを生み出すかを制御すれば良い。この様にして、ＣＭＯＳリニアセンサでもラインメモリ３０の代替が出来る。請求項でラインメモリと称するのは、このＣＭＯＳリニアセンサも含むものとする。
The output of the odd-numbered pixel one line before, obtained by subtracting the even-numbered pixels from the adjacent odd-numbered pixels, is the same as the output that has passed through the line memory 30 in FIG. A line difference is obtained by taking the difference from the output of an even numbered pixel, which is the pixel output of the current line. The switching gates 36 for odd-numbered pixels and even-numbered pixels can be controlled by controlling what kind of pulses are generated by the CMOS shift register 35. In this way, the line memory 30 can be replaced by a CMOS linear sensor. The term "line memory" in the claims includes this CMOS linear sensor.

＜他の変形例４＞
本発明の商品陳列棚に使用されるリニアセンサカメラでの観察アイテムは、商品陳列棚の前面の平面で、商品の出入りの作業をする顧客の手５の動きを見ているに過ぎない。この動きはしょっちゅう発生する事象でなく、顧客が商品を手に取るタイミングでしか発生しない。従って店内の監視カメラの動作と異なり、発生間隔は１～１０分程度である。従って常にリニアセンサカメラを駆動させる必要が無い。また商品陳列棚に複数のリニアセンサカメラで見張っている場合には、普段は１台だけ稼働させ、商品を手にしそうになったら他のカメラを駆動させれば良い。 <Other modification example 4>
The observation item of the linear sensor camera used in the product display shelf of the present invention is merely observing the movement of the customer's hand 5 when putting in and out of the product on the front plane of the product display shelf. This movement does not occur frequently, and only occurs when the customer picks up the product. Therefore, unlike the operation of a surveillance camera inside a store, the occurrence interval is about 1 to 10 minutes. Therefore, there is no need to constantly drive the linear sensor camera. Furthermore, when a product display shelf is monitored by multiple linear sensor cameras, it is sufficient to normally operate only one camera and activate the other cameras when the product is about to be picked up.

また図２４に示す様に顧客の移動ルートを把握している場合には、商品陳列棚に近づくか、商品に手を伸ばした時にリニアセンサカメラの駆動を始め、他の時は非動作で省エネをしても良い。店内のこのような省エネの工夫は通常に行われるものであり、請求項には触れない。
In addition, as shown in Figure 24, when the customer's travel route is known, the linear sensor camera starts driving when the customer approaches the product display shelf or reaches for the product, and is inactive at other times to save energy. You may do so. Such energy-saving measures in stores are common and are not mentioned in the claims.

＜請求項と実施形態と対応する図面の関連性＞
請求項１‥本発明の第１実施形態で、図１に対応する。
請求項２‥本発明の第１実施形態で、図２、３に対応する。
請求項３‥本発明の第１実施形態で、図２、３に対応する。
請求項４‥本発明の第２実施形態で、図４～８に対応する。
請求項５‥本発明の第３実施形態で、図９、１０に対応する。
請求項６‥本発明の第４実施形態で、図１１、１２、１４、１８に対応する。
請求項７‥本発明の第４実施形態で、図１１、１２に対応する。
請求項８‥本発明の第４実施形態で、図１１～１３に対応する。
請求項９‥本発明の第５実施形態で、図１４～１７、２６，２７に対応する。
請求項１０‥本発明の第５実施形態で、図１８～２２に対応する。
請求項１１‥本発明の第６実施形態で、図２３に対応する。
請求項１２‥本発明の第６実施形態で、図２３に対応する。
請求項１３‥本発明の第７実施形態で、図２４に対応する。
請求項１４‥本発明の第８実施形態で、図２５に対応する。
<Relationship between claims, embodiments, and corresponding drawings>
Claim 1: A first embodiment of the present invention, corresponding to FIG.
Claim 2: A first embodiment of the present invention, corresponding to FIGS. 2 and 3.
Claim 3: A first embodiment of the present invention, corresponding to FIGS. 2 and 3.
Claim 4: A second embodiment of the present invention, corresponding to FIGS. 4 to 8.
Claim 5: A third embodiment of the present invention, corresponding to FIGS. 9 and 10.
Claim 6: A fourth embodiment of the present invention, which corresponds to FIGS. 11, 12, 14, and 18.
Claim 7: A fourth embodiment of the present invention, corresponding to FIGS. 11 and 12.
Claim 8: A fourth embodiment of the present invention, corresponding to FIGS. 11 to 13.
Claim 9: A fifth embodiment of the present invention, corresponding to FIGS. 14 to 17, 26, and 27.
Claim 10: A fifth embodiment of the present invention, corresponding to FIGS. 18 to 22.
Claim 11: A sixth embodiment of the present invention, corresponding to FIG. 23.
Claim 12: A sixth embodiment of the present invention, corresponding to FIG. 23.
Claim 13: Seventh embodiment of the present invention, corresponding to FIG. 24.
Claim 14: Eighth embodiment of the present invention, corresponding to FIG. 25.

１ 商品陳列棚
２、２’、２”、２”’ 陳列棚
３、３’、３”、３”’ 商品
４ リニアセンサカメラ
５ 顧客の手
６ カメラ筐体
７ リニアセンサ
８ レンズ
９ 金属線
１０ 画素
１１、１１’ ＣＣＤレジスタ
１２、１２’ シフト電極
１３ 出力回路
１４ 電極
１５、１５’ 非反射板
１６ 画素信号出力
１７ ライン差分処理部
１８ スイッチ回路
１９ ライン記憶部
２０ 差分回路
２１ 絶対値回路
２２ 画素差分絶対値
２３ マスキング信号発生部
２４ 閾値
２５ マスキング信号発生回路
２６ マスキング信号
２７ マスキング回路
２８ マスキング画素出力
２９ 遅延回路
３０ ラインメモリ
３１ 動き輪郭端部判定部
３２ 動き輪郭端部情報
３３ 閾値
３４ 店内カゴ
３５ ＣＭＯＳシフトレジスタ
３６ スイッチングゲート
３７ 信号線
３８ 出力回路

1 Product display shelf 2, 2', 2", 2"' Display shelf 3, 3', 3", 3"' Product 4 Linear sensor camera 5 Customer's hand 6 Camera housing 7 Linear sensor 8 Lens 9 Metal wire 10 Pixel 11, 11' CCD register 12, 12' Shift electrode 13 Output circuit 14 Electrode 15, 15' Non-reflective plate 16 Pixel signal output 17 Line difference processing unit 18 Switch circuit 19 Line storage unit 20 Difference circuit 21 Absolute value circuit 22 Pixel Absolute difference 23 Masking signal generation section 24 Threshold 25 Masking signal generation circuit 26 Masking signal 27 Masking circuit 28 Masking pixel output 29 Delay circuit 30 Line memory 31 Motion contour edge determination section 32 Motion contour edge information 33 Threshold 34 In-store cart 35 CMOS shift register 36 Switching gate 37 Signal line 38 Output circuit

Claims (5)

商品が陳列された商品陳列棚の前面の縁部に、画素がライン状に配列されたリニアセンサを用いたカメラを設置し、商品陳列棚の前面の平面をカメラの撮像面にし、商品陳列棚の前面を通過する商品の出入りをセンシングするセンシング手段と、
前記商品の出入りが発生した際に、前記センシング手段のリニアセンサを用いたカメラの出力信号を時系列的に並べることにより、商品の画像情報を取得する画像取得手段と、
前記センシング手段のリニアセンサの、以前の光電変換するタイミングのライン出力信号を、ライン記憶部に一時保存し、この保存されたライン出力信号と、現光電変換のタイミングで出力されるライン出力信号と、撮像面の同一個所に対応した画素どうしで差分比較する手段と、
差分比較されて得られた画素差分データの絶対値をとり、画素差分絶対値データを得る手段と、
画素差分絶対値データと、閾値とを比較して得られた、２値化されたマスキング信号を得る手段と、
２値化されたマスキング信号と、リニアセンサの画素信号出力とから、マスキング信号が１である個所の画素信号出力のみを、商品の出入りに伴う作業の発生している領域の画像として出力する手段と、
を有することを特徴とする商品陳列棚。
A camera using a linear sensor with pixels arranged in a line is installed on the front edge of the product display shelf where products are displayed, and the front plane of the product display shelf is used as the imaging surface of the camera. sensing means for sensing the ingress and egress of goods passing in front of the
an image acquisition unit that acquires image information of the product by chronologically arranging output signals of a camera using a linear sensor of the sensing unit when the product enters or leaves the product;
A line output signal of the linear sensor of the sensing means at a previous photoelectric conversion timing is temporarily stored in a line storage section, and this stored line output signal and a line output signal output at the current photoelectric conversion timing are combined. , means for comparing differences between pixels corresponding to the same location on the imaging surface;
means for obtaining pixel difference absolute value data by taking the absolute value of the pixel difference data obtained by the difference comparison;
means for obtaining a binary masking signal obtained by comparing the pixel difference absolute value data with a threshold;
From the binary masking signal and the pixel signal output of the linear sensor, only the pixel signal output of the area where the masking signal is 1 is output as an image of the area where work is occurring due to the entry and exit of products. means and
A product display shelf characterized by having.
 以前の光電変換するタイミングのライン出力信号としては、商品の出入りに伴う作業の非発生時のタイミングのライン出力信号である、ことを特徴とする請求項１に記載の商品陳列棚。
2. The product display shelf according to claim 1, wherein the line output signal at the timing of the previous photoelectric conversion is a line output signal at a time when no work is occurring due to the entry and exit of the product.
 商品の出入りに伴う作業の非発生時のタイミング判定に、２値化されたマスキング信号を活用し、マスキング信号が全て０であるラインを、商品の出入りに伴う作業が非発生のタイミングと判定し、このライン出力信号を、ライン記憶部に一時保存する、ことを特徴とする請求項２に記載の商品陳列棚。
Binary masking signals are used to determine the timing when work is not occurring due to the entry and exit of products, and a line where all masking signals are 0 is determined to be the timing when work is not occurring due to the entry and exit of products. 3. The product display shelf according to claim 2, wherein the line output signal is temporarily stored in a line storage section.
 以前の光電変換するタイミングとしては、リニアセンサの隣接するライン間の時間差に相当する、直前のライン出力信号である、ことを特徴とする請求項１に記載の商品陳列棚。
 2. The product display shelf according to claim 1, wherein the previous photoelectric conversion timing is the immediately previous line output signal corresponding to the time difference between adjacent lines of the linear sensor.
 画素差分絶対値から、動体の外側輪郭の情報に対応する動き輪郭端部情報を経て、閾値と比較して得られた、２値化されたマスキング信号を得る、ことを特徴とする請求項４に記載の商品陳列棚。
Claim 4 characterized in that a binarized masking signal is obtained from the pixel difference absolute value, via motion contour edge information corresponding to information on the outer contour of the moving object, and by comparison with a threshold value. Product display shelves listed in.
JP2022182219A 2022-11-15 2022-11-15 Product display shelf Active JP7401129B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022182219A JP7401129B1 (en) 2022-11-15 2022-11-15 Product display shelf

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022182219A JP7401129B1 (en) 2022-11-15 2022-11-15 Product display shelf

Publications (2)

Publication Number Publication Date
JP7401129B1 true JP7401129B1 (en) 2023-12-19
JP2024071797A JP2024071797A (en) 2024-05-27

Family

ID=89190287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022182219A Active JP7401129B1 (en) 2022-11-15 2022-11-15 Product display shelf

Country Status (1)

Country Link
JP (1) JP7401129B1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041194A (en) 2013-08-21 2015-03-02 株式会社Ｎｔｔドコモ User observation system
JP2015148565A (en) 2014-02-07 2015-08-20 パナソニックＩｐマネジメント株式会社 Information acquisition device and object detection device
JP2016186793A (en) 2012-01-17 2016-10-27 リープ モーション, インコーポレーテッドLeap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
JP2018115072A (en) 2017-01-20 2018-07-26 東芝テック株式会社 Information collection device and information collection system
US20180247404A1 (en) 2017-02-27 2018-08-30 Amazon Technologies, Inc. Optical vibrometric testing of container for items
US20210056568A1 (en) 2019-08-20 2021-02-25 Qisda Corporation Product Detection Method and Product Detection System Capable of Detecting an Event of a Product for Determining a Sales Status
JP2022021691A (en) 2020-07-22 2022-02-03 東芝テック株式会社 System, shelf device and cart pos

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016186793A (en) 2012-01-17 2016-10-27 リープ モーション, インコーポレーテッドLeap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
JP2015041194A (en) 2013-08-21 2015-03-02 株式会社Ｎｔｔドコモ User observation system
JP2015148565A (en) 2014-02-07 2015-08-20 パナソニックＩｐマネジメント株式会社 Information acquisition device and object detection device
JP2018115072A (en) 2017-01-20 2018-07-26 東芝テック株式会社 Information collection device and information collection system
US20180247404A1 (en) 2017-02-27 2018-08-30 Amazon Technologies, Inc. Optical vibrometric testing of container for items
US20210056568A1 (en) 2019-08-20 2021-02-25 Qisda Corporation Product Detection Method and Product Detection System Capable of Detecting an Event of a Product for Determining a Sales Status
JP2022021691A (en) 2020-07-22 2022-02-03 東芝テック株式会社 System, shelf device and cart pos

Also Published As

Publication number Publication date
JP2024071797A (en) 2024-05-27

Similar Documents

Publication Publication Date Title
JP4972491B2 (en) Customer movement judgment system
JP6172380B2 (en) POS terminal device, POS system, product recognition method and program
JP6529078B2 (en) Customer behavior analysis system, customer behavior analysis method, customer behavior analysis program and shelf system
JP6314987B2 (en) In-store customer behavior analysis system, in-store customer behavior analysis method, and in-store customer behavior analysis program
US20140063256A1 (en) Queue group leader identification
JP6992874B2 (en) Self-registration system, purchased product management method and purchased product management program
TWI778030B (en) Store apparatus, store management method and program
WO2014013649A1 (en) Electronic apparatus and method
JP2011253344A (en) Purchase behavior analysis device, purchase behavior analysis method and program
CN102187355A (en) Information providing device, information providing method, and recording medium
JP6145850B2 (en) Human behavior analysis device, human behavior analysis system, and human behavior analysis method
JPH1048008A (en) Attention information measuring method, instrument for the method and various system using the instrument
JP2017033401A (en) Customer information collection device, customer information collection system and customer information collection method
WO2019038968A1 (en) Storefront device, storefront system, storefront management method, and program
JP2005259173A (en) Human detector, human detecting method and program
JP2010067079A (en) Behavior analysis system and behavior analysis method
WO2017163879A1 (en) Behavior analysis device, behavior analysis system, behavior analysis method, and program
US20190318491A1 (en) System and method for gathering data related to quality service in a customer service environment
JP2005309951A (en) Sales promotion support system
JP2016206799A (en) Server and program
JP2007087208A (en) Customer tendency collection system, customer tendency collection method, and customer tendency collection program
KR20230060452A (en) Action determination program, action determination method, and action determination device
JP7401129B1 (en) Product display shelf
JP4753975B2 (en) Product interest level measuring device
JP7376958B1 (en) Product display shelf

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221115

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231130

R150 Certificate of patent or registration of utility model

Ref document number: 7401129

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150