EP2603905B1 - Verfahren und vorrichtung zum erkennen und verifizieren von manipulationsversuchen an einem selbstbedienungsterminal - Google Patents

Verfahren und vorrichtung zum erkennen und verifizieren von manipulationsversuchen an einem selbstbedienungsterminal Download PDF

Info

Publication number
EP2603905B1
EP2603905B1 EP11741562.0A EP11741562A EP2603905B1 EP 2603905 B1 EP2603905 B1 EP 2603905B1 EP 11741562 A EP11741562 A EP 11741562A EP 2603905 B1 EP2603905 B1 EP 2603905B1
Authority
EP
European Patent Office
Prior art keywords
classifier
image data
self
service terminal
operating element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP11741562.0A
Other languages
English (en)
French (fr)
Other versions
EP2603905A1 (de
Inventor
Steffen Priesterjahn
Dinh Khoi Le
Alexander Drichel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wincor Nixdorf International GmbH
Original Assignee
Wincor Nixdorf International GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wincor Nixdorf International GmbH filed Critical Wincor Nixdorf International GmbH
Publication of EP2603905A1 publication Critical patent/EP2603905A1/de
Application granted granted Critical
Publication of EP2603905B1 publication Critical patent/EP2603905B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G07F19/207—Surveillance aspects at ATMs

Definitions

  • the invention relates to a method for recognizing and verifying manipulation attempts on a self-service terminal according to the preamble of claim 1.
  • the invention relates to a device operating according to the method, in particular a data processing and control unit, and a self-service terminal equipped therewith, in particular one designed as an ATM Self-service terminal.
  • self-service terminals hereinafter also referred to as self-service terminals for short, in particular at ATMs
  • criminal acts in the form of manipulations are often carried out with the aim of removing sensitive data, in particular PINs (Personal Identification Numbers) and / or card numbers, from self-service users - Spying on terminals.
  • PINs Personal Identification Numbers
  • card numbers Personal Identification Numbers
  • attempts at manipulation are known in which so-called skimming devices, such as keyboard superstructures and the like, are illegally installed in the control area or control panel.
  • Such keyboard superstructures often have their own power supply, as well as a processor, a memory and an operating program, so that an unsuspecting user is spied on when entering his PIN or when inserting his bank card.
  • a transmitter integrated in the keyboard superstructure is transmitted to a remote receiver or is stored in a data memory located in the keyboard superstructure.
  • Many of the skimming devices found today can only be distinguished with the human eye from original operating elements (keyboard, card reader, etc.) with great difficulty.
  • monitoring systems In order to thwart such attempts at manipulation, monitoring systems are often used which have one or more cameras which are mounted in the area of the location of the self-service terminal and which cover the entire control panel and often also the area where the user is located.
  • a method and a device for recognizing and verifying manipulation attempts on a self-service terminal which has at least one control element ("keypad 21") provided for users of the self-service terminal, to which at least one camera ("30") is aligned Image data generated by the camera are fed to a first classifier ("micro-processor 32"), by means of which the image data is used to check whether an attempt to manipulate the control element can be recognized, the image data being based on first characteristics (“Differences in the two images”) ) be evaluated. Furthermore, the image data are also fed to a second classifier (“micro-processor ... programmed to analyze 'traffic patterns”), by means of which the image data are used to check whether the detection of a manipulation attempt is plausible (“to determine if unusual activity is occuring "), where the Image data are evaluated on the basis of second characteristics (“traffic patterns”).
  • a system for detecting suspicious objects in the operating area of an ATM is known.
  • a surveillance camera records images from the control panel (front panel) of the ATM between the end of a transaction and the beginning of the next transaction, in order to use image comparison to identify whether suspicious objects have been attached or deposited. If so, the image acquisition will stop during the next transaction.
  • the US 2009/2013 72 A1 discloses a method and apparatus for integrated monitoring of an ATM or the like.
  • Several cameras are installed in order to take pictures, in particular video recordings (video data), of the user, the card slot of the ATM and of the surrounding area.
  • video data video recordings
  • a time stamp and other relevant data can be linked to the video data and saved.
  • the WO 2005/109 315 A1 discloses a security system for monitoring an automated teller machine (ATM) including a camera that provides images of selected portions of the ATM.
  • a controller automatically determines the difference between a reference image of the ATM and a subsequently captured image in order to recognize a change in the ATM.
  • the object is achieved by a method with the features of claim 1 and by a device operating according to it and by a self-service terminal equipped with it.
  • the image data generated by the camera be fed to a first classifier, by means of which the image data is used to check whether an attempt to manipulate the control element can be recognized, and that the image data are also fed to a second classifier in parallel with the first classifier, by means of which the image data are used to check whether the detection of a manipulation attempt is plausible.
  • an edge detection is applied by creating at least one edge image and comparing its characteristic data with the pattern data of a reference edge image.
  • a parallel structure of two or more classifiers is proposed, which are applied to the same image data or to data derived therefrom, the first classifier being set up to detect an attempted manipulation, but the second classifier being set up based on the image data received from the / to check the situation recorded by the camera (s) for plausibility of a manipulation event.
  • An alarm is only triggered when both classifiers show a positive result, i.e. affirm a manipulation attempt and its plausibility.
  • the invention is based on the knowledge that the conventional devices often work incorrectly and also display skimming when there is no attempt to manipulate the self-service terminal.
  • the applicant has observed that users on the control panel or the control console of self-service terminals, such as Leave ATMs, personal items, especially purses, wallets, notes, etc. lying around and this can then lead to a false skimming alarm.
  • the first classifier would recognize an abnormal situation and want to indicate an attempt at manipulation, but the second classifier would rather consider the wallet, in particular its contour and / or position, to be atypical for a keyboard superstructure (manipulation - or skimming superstructure) and thus prevent the triggering of a false alarm.
  • the image data are preferably processed independently of one another in the classifiers.
  • the classifiers thus arrive at their results independently of one another, the first result (output value of the first classifier) being verified or not by the second result (output value of the second classifier).
  • first result output value of the first classifier
  • second result output value of the second classifier
  • the first classifier evaluates the image data on the basis of first features in order to obtain a first output value which indicates the probability of a change in the visual appearance of the Control element displays.
  • These first features relate to the edge lengths of a keyboard whose photo is subjected to edge image detection.
  • the second classifier evaluates the image data on the basis of second features in order to obtain a second output value which indicates the probability of the presence of a change in the visual appearance of the operating element that is typical for manipulation.
  • These second features relate to the relative position or position of the edges to one another. In the case of a keyboard and a skimming superstructure, most of the edges are parallel or at right angles to one another; in the case of an object that is left lying around, such as a wallet, there are also edges that are neither parallel nor perpendicular to the other edges (the keyboard). A plausibility test therefore leads to the result that there is very likely no attempt at manipulation. The "ambient lighting" feature also leads to very reliable results.
  • the output values of the classifiers are preferably between 0 and 1.
  • the first output value is preferably compared with a first threshold value or the second output value with a second threshold value, which then results in a first or second binary value can be obtained, which in turn can be processed logically.
  • the binary values can, for example, be fed to an AND link in order to obtain a reliable statement as to whether the self-service terminal has been manipulated or not. If an attempt at manipulation is detected, the self-service terminal can also be provided in addition or as an alternative to triggering an alarm to block and / or trigger an additional camera (portrait camera) to take photos of suspicious people who may have carried out the manipulation. Provision can also be made for the manipulation detection or the camera (s) to be deactivated during maintenance of the self-service terminal in order to avoid false alarms.
  • An alarm is preferably only triggered if an attempt to manipulate the operating element is recognized by means of the first classifier and if the recognition of the manipulation attempt is assessed as plausible by means of the second classifier.
  • a display in particular notification, is generated for an operator and / or user of the self-service terminal, namely when an attempt to manipulate the operating element is recognized by means of the first classifier and when the manipulation attempt is recognized as implausible by means of the second classifier Is evaluated.
  • the notification for the operator and / or user of the self-service terminal is preferably sent via a communication service, in particular email or SMS.
  • a device for recognizing and verifying manipulation attempts on a self-service terminal, which has at least one operating element for users, to which at least one camera is aligned, the device being connected to the at least one camera and generated by the camera Receives image data, and wherein the device has a data processing unit with a first classifier, which uses the image data to check whether an attempt to manipulate the operating element can be recognized, the data processing unit of the device having a second classifier that processes the image data in parallel with the first classifier and checks whether the detection of a manipulation attempt is plausible.
  • a self-service terminal that has such a device.
  • the device can preferably be implemented by means of a computer or PC present in the self-service terminal.
  • the self-service terminal is designed as an ATM.
  • the at least one control element represents an element suitable for manipulation, in particular a keyboard or a PIN pad, a cash dispenser and / or a card input funnel have edges that are delimited from homogeneous surfaces.
  • the image data generated by the camera (s) can be processed by means of an edge detection, for example by creating at least one edge image and comparing its characteristic data with the sample data of a reference edge image.
  • edge detection not only results in a significant reduction in data, but also increases the speed and reliability of the image evaluation.
  • the use of several parallel classifiers increases the reliability of the end result in particular.
  • the invention makes it possible, in particular, to significantly improve the recognition of overbuilt individual or multiple operating elements. This is particularly true with regard to the reliability of the generation of skimming alarms.
  • the elements that are particularly suitable for manipulation and / or the elements that are arranged in areas of the control panel that are particularly suitable for manipulation are preferably recorded by the camera, such as, for example, cash dispenser, keyboard, card input funnel and / or screen.
  • the elements are therefore preferably operating elements in the narrower sense, but can also be other elements, such as a storage area in the operating area or the like.
  • the fact that objects are left lying around is reliably detected.
  • an automatic notification service can also be implemented, which in particular notifies users or customers that personal items have been left at the self-service terminal.
  • Fig. 1 Self-service terminal shown is designed as a cash machine ATM and has a control panel with several elements or control elements, of which a keyboard KBD, a cash dispensing slot SHT and a card input funnel CSL are shown in the form of individual function blocks.
  • a keyboard KBD a keyboard
  • SHT cash dispensing slot
  • CSL card input funnel
  • Each operating element is monitored by a camera CAM, CAM 'or CAM ", which in turn is connected to a control device CTR, which processes and evaluates the image signals or data generated by the camera.
  • the control device CTR forms a device for recognizing and verifying attempts to manipulate the said control elements KBD, SHT or CSL and is implemented by means of computer-aided hardware, here for example by means of the hardware of a PC integrated in the ATM.
  • the image data coming from the cameras (see also IN in Fig. 2 ) are processed in an image processing unit IPRC, for example by subjecting them to edge detection.
  • IPRC image processing unit
  • the amount of data can be reduced significantly, without essential information about the properties of the to lose the photographed object or control element.
  • the edge images or edge image data obtained from the edge detection thus represent essential properties on the basis of which a change or manipulation of the object (eg keyboard KDB) can be recognized.
  • the device CTR has a manipulation detection module M100, M100 'or M100 ′′ for each picture element, which essentially contains a data processing entity that carries out a parallel structured two-step classification of the corresponding image data.
  • a manipulation detection module M100, M100 'or M100 "two classifiers arranged in parallel are used (see 110 and 120 in Fig. 2 ).
  • the first manipulation detection module M100 is used for monitoring the keyboard KBD, the function of which is explained in more detail below with reference to FIG Fig. 2 and 3 is described.
  • the device CTR also includes an alarm unit ALRT, which triggers an alarm in the event of a manipulation attempt that has been reliably recognized.
  • the ALRT unit sends a notification to the operator of the ATM and / or to the last user to inform him that an object has been left at the ATM .
  • user data can be accessed, which can be queried by a control center (user administration) as part of the use authentication at the ATM (user ID), which is required anyway.
  • FIG. 10 shows a schematic flow diagram for the method 100, which relates to the mode of operation of the manipulation detection module M100 and essentially comprises the steps 101 to 130 described below.
  • a first step 101 the data generated by the camera CAM and stored in the image processing unit IPRC (see Sect. Fig. 1 ) data preprocessed for edge image data is provided as input data IN for the subsequent classifications.
  • Features or properties A, B, C, D are extracted from the input data or processed image data, hereinafter also referred to as image data IN for short, which represent characteristic recognition features for the monitored object (here: control element KDB). These are, for example, the following features: edge length (top, bottom, left, right), distance between the edges of reference points or reference lines, angle between edges, angle between edges in comparison with reference lines, histogram, lighting conditions and the like.
  • a first subset of the features (e.g. features A and B) is fed to a first classifier CF in a step 110 and a, preferably different, second subset (e.g. features C and D) is fed to a second classifier SC in a parallel step 120.
  • the first classifier CF assumes the function of a main classifier or a manipulation evidence collector, which checks whether manipulation is likely or not. This is done by checking features A (edge lengths at different positions) and, for example, B (distances between different edges) by comparing them with corresponding reference values.
  • the output value OUT1 specifies the number or frequency with which features (one or more of them) do not match the reference values.
  • the output value is between 0 and 1.
  • An output value of 0.7 and more indicates that (very) many deviations were detected, so that there is (very) likely a manipulation of the object (here KBD keyboard or PIN pad).
  • it cannot be said with certainty whether the detected manipulation is real manipulation, e.g. a keyboard overlay.
  • the second (parallel working) classifier SC therefore assumes the function of a secondary classifier or a checker (verifier) and checks whether the image data IN reproduces a typical situation for a manipulation at all. This check is done by checking the features C (angles between edges) and, for example, D (ambient light conditions).
  • the output value OUT2 indicates the number or frequency with which the recorded features (one or more of them) do not deviate from the typical reference values. An output value of 0.3 and less indicates that the plausibility for a manipulation is low.
  • the output values OUT1 and OUT2 are weighted and / or compared with threshold values TH1 and TH2 in further parallel steps 111 and 112, so that logically linkable values OUT1 * and OUT2 * result which Display either a YES or NO. If the value OUT1 * corresponds to the logical value "1", this means that the classification CF has recognized manipulation. This is symbolized here by a "Y” (for English “Yes”). Otherwise the result is an "N” (for English “No”). If the value OUT2 * also corresponds to a "Y”, this means that the manipulation is plausible.
  • the threshold values TH1 and TH2 are set, for example, in the middle value range, i.e. at around 0.5, so that output values greater than 0.5 mean a clear "Y” (statement "Yes” or “Yes”).
  • step 130 By a logical AND operation carried out in step 130, which is also based on the Fig. 3 illustrated, one obtains the final result. Like the one in the Fig. 3 The decision matrix shown shows, a manipulation attempt is clearly recognized and verified only when both classifiers each deliver a positive result "Y", ie when the first classifier CF detects manipulation and the second detects a plausible manipulation situation independently.
  • the second classifier SC ensures a sensible decision and could therefore also be referred to as a "sanity checker”. Due to the strict separation of the two classifiers or their tasks (recognition of changes or checking for plausibility), the manipulation recognition proposed here is very robust against incorrect decisions.
  • the camera signals are first subjected to image processing (edge detection) (see block IPRC in Fig. 1 ).
  • edge detection image processing
  • the edge lengths, and z. Relate to distances, angles, ambient light conditions, etc.
  • These characteristics are then classified.
  • the features "edge length" and "angle” are classified in order to detect manipulation
  • the other features "angle” and "ambient light” are classified in order to check the plausibility (sanity check; sanity check).
  • the invention can also be implemented in such a way that, for example, quantities are classified with the first classifier and qualities are classified with the second classifier.
  • the plausibility check makes it possible to infer the presence of a foreign object that is not a skimming device, but merely a personal object of a user, if a change is detected in the monitored object.
  • the system can initiate automatic notification of the user or customer, for example via email or SMS.
  • These Opportunity offers a new customer service.
  • the operator of the self-service terminal will also be notified immediately so that the customer can keep the forgotten item for later collection. So if objects are left at the self-service terminal, email / SMS can be generated and sent automatically by accessing the customer database.
  • a silent alarm can be triggered to the staff of the self-service terminal in order to secure the forgotten object.
  • Photos / films can also be created and warnings can be displayed on the screen to prevent theft.
  • the present invention has been described using the example of an ATM, but is not restricted to this, but can be applied to any type of self-service terminal.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Description

  • Die Erfindung betrifft ein Verfahren zum Erkennen und Verifizieren von Manipulationsversuchen an einem Selbstbedienungsterminal nach dem Oberbegriff des Anspruchs 1. Außerdem betrifft die Erfindung eine nach dem Verfahren arbeitende Vorrichtung, insbesondere eine Datenverarbeitungs- und Steuereinheit, sowie ein damit ausgestattetes Selbstbedienungsterminal, insbesondere ein als Geldautomat ausgestaltetes Selbstbedienungsterminal.
  • An Selbstbedienungsterminals, im weiteren auch kurz SB-Terminals genannt, insbesondere an Geldautomaten, werden häufig kriminelle Handlungen in Form von Manipulationen vorgenommen, die das Ziel verfolgen, sensitive Daten, insbesondere PINs (Personal Identification Numbers) und/oder Kartennummern, von Nutzern des SB-Terminals auszuspähen. Insbesondere sind Manipulationsversuche bekannt, bei denen sogenannte Skimming-Vorrichtungen, wie beispielsweise Tastaturüberbauten und dergleichen, im Bedienbereich bzw. Bedienfeld widerrechtlich installiert werden. Solche Tastaturüberbauten verfügen häufig über eine eigene Stromversorgung, sowie einen Prozessor, einen Speicher und ein Betriebsprogramm, sodass ein ahnungsloser Nutzer bei Eingabe seiner PIN oder beim Einführen seiner Bankkarte ausgespäht wird. Die ausgespähten Daten werden dann über einen in dem Tastaturüberbau integrierten Sender an einen entfernten Empfänger übertragen oder werden in einem im Tastaturüberbau befindlichen Datenspeicher gespeichert. Viele der heutzutage anzutreffenden Skimming-Vorrichtungen können nur sehr schwer mit dem menschlichen Auge von originalen Bedienelementen (Tastatur, Kartenleser usw.) unterschieden werden.
  • Um derartige Manipulationsversuche zu vereiteln, werden häufig Überwachungssysteme eingesetzt, die eine oder mehrere Kameras aufweisen, welche im Bereich des Standortes des Selbstbedienungsterminals montiert sind und das gesamte Bedienfeld und häufig auch den Aufenthaltsbereich des Nutzers erfassen.
  • Aus der GB 2 351 585 A sind ein Verfahren und eine Vorrichtung zum Erkennen und Verifizieren von Manipulationsversuchen an einem Selbstbedienungsterminal bekannt, das mindestens ein für Nutzer des Selbstbedienungsterminals bereitgestelltes Bedienelement ("keypad 21") aufweist, auf das mindestens eine Kamera ("30") ausgerichtet ist, wobei die von der Kamera erzeugten Bilddaten einem ersten Klassifikator ("micro-processor 32") zugeführt werden, mittels dessen anhand der Bilddaten geprüft wird, ob ein Manipulationsversuch an dem Bedienelement zu erkennen ist, wobei die Bilddaten anhand erster Merkmale ("Differences in the two images") ausgewertet werden. Des Weiteren werden die Bilddaten auch einem zweiten Klassifikator ("micro-processor... programmed to analyse 'traffic patterns' ") zugeführt, mittels dessen anhand der Bilddaten geprüft wird, ob das Erkennen eines Manipulationsversuchs plausibel ist ("to determine if unusual activity is occuring"), wobei die Bilddaten anhand zweiter Merkmale ("traffic patterns") ausgewertet werden.
  • Aus der JP 2007 280317 A ist ein System zum Erkennung verdächtiger Objekte im Bedienbereich eines Geldautomaten bekannt. Dazu nimmt eine Überwachungskamera Bilder von dem Bedienfeld (Frontpanel) des Geldautomaten auf, und zwar zwischen den Ende einer Transaktion und dem Beginn einer nächsten Transaktion, um anhand von Bildvergleich zu erkennen, ob verdächtige Objekte angebracht oder abgelegt wurden. Wenn dies der Fall ist, wird die Bildaufnahme während der nächsten Transaktion gestoppt.
  • Die US 2009 / 201372 A1 offenbart ein Verfahren und eine Vorrichtung für eine integrierte Überwachung eines Geldautomaten oder dergleichen. Es werden mehrere Kameras installiert, um Bildaufnahmen, insbesondere Videoaufnahmen (Videodaten), von Benutzer, dem Kartenschlitz des Geldautomaten und von dem umliegenden Gebiet zu machen. Mit den Videodaten können ein Zeitstempel und andere relevante Daten verknüpft und abgespeichert werden.
  • Die WO 2005 / 109 315 A1 offenbart ein Sicherheitssystem zum Überwachen eines Geldautomaten (ATM) umfassend eine Kamera, die Bilder von ausgewählten Abschnitten des ATM liefert. Eine Steuerung bestimmt automatisch den Unterschied zwischen einem Bezugsbild des ATM und einem nachfolgend erfassten Bild, um eine Änderung an dem ATM zu erkennen.
  • Eine weitere Lösung ist beispielsweise in der DE 201 02 477 U1 beschrieben. Mittels der dortigen Kamera-Überwachung kann sowohl das Bedienfeld selbst wie auch der davor liegende Aufenthaltsbereich des Nutzers erfasst werden. Um zu unterscheiden, ob eine Person sich im Aufenthaltsbereich befindet, ist noch ein Sensor vorgesehen.
  • Aus der US 2009/0057395 A1 sind ein Verfahren und eine Vorrichtung zum Erkennen und Verifizieren von Manipulationsversuchen an einem Geldautomaten bekannt. Dort werden verschiedene. Sensoren eingesetzt (s. Textabschnitt [0063]), wie z.B. Kameras oder Näherungssensoren ("proximity sensor"), die Signale bzw. Daten an eine Mikroprozessor-gesteuerte Einheit ("microprocessor 32") abgeben. Dort wird dann eine Datenverarbeitung anhand eines statistische Models durchgeführt, das einen Klassifikator ("classifier") aufweist (s. Textabschnitte [0081] - [0085]), um auf einen normalen Betriebszustand oder auf einen abnormalen Betriebszustand des Geldautomaten zu schließen, wobei Letzterer einen Manipulationsversuch anzeigen könnte. Demnach wird dort vorgeschlagen, einen Manipulationsversuch anhand eines Klassifizierers zu erkennen, der mit Daten von verschiedenen Sensoren gespeist wird. Die Zuverlässigkeit dieses Prinzips verlangt jedoch den Einsatz mehrerer verschiedener Sensoren sowie den Aufwand, den Klassifizierer auf die verschiedenen Sensoren abzustimmen.
  • Es sind also grundsätzlich Vorrichtungen und Verfahren zum Erkennen von Manipulationsversuchen an einem Selbstbedienungsterminal bekannt, wobei eine Kamera auf mindestens ein Bedienelement, wie z.B. Tastatur, Geldausgabefach usw., ausgerichtet ist und wobei die von der Kamera erzeugten Bilddaten mittels eines Klassifizierers ausgewertet werden, um einen Manipulationsversuch zu erkennen. Allerdings erfordern die bekannten Lösungen einen hohen Hardware- und Softwareaufwand, um eine möglichst sichere und fehlerfreie Manipulationserkennung zu erreichen.
  • Ein weiteres, verbessertes und kostengünstig zu realisierendes Verfahren zum Erkennen von Manipulationsversuchen an einem Selbstbedienungsterminal sowie eine danach arbeitende Vorrichtung werden in der früheren von der Anmelderin eingereichten Patentanmeldung mit der Anmeldunganummer DE 2010055016 vorgeschlagen. DE 201 02 477 U1 offenbart ein Verfahren gemäß der Präambel von Anspruch 1.
  • Aufgrund der obigen Ausführungen ist es Aufgabe der vorliegenden Erfindung, eine zuverlässige und dennoch kostengünstige Lösung vorzuschlagen, die die Nachteile der bekannten Verfahren und Vorrichtungen überwindet. Insbesondere soll eine Kamera-gestützte Erkennung von Manipulationsversuchen mit hoher Zuverlässigkeit aber geringem Hardwareaufwand und begrenztem Softwareaufwand ermöglicht werden.
  • Gelöst wird die Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 sowie durch eine danach arbeitende Vorrichtung sowie durch ein damit ausgestattetes Selbstbedienungsterminal.
  • Demnach wird vorgeschlagen, dass die von der Kamera erzeugten Bilddaten einem ersten Klassifikator zugeführt werden, mittels dessen anhand der Bilddaten geprüft wird, ob ein Manipulationsversuch an dem Bedienelement zu erkennen ist, und dass die Bilddaten parallel zum ersten Klassifikator auch einem zweiten Klassifikator zugeführt werden, mittels dessen anhand der Bilddaten geprüft wird, ob das Erkennen eines Manipulationsversuchs plausibel ist. Auf die dem ersten und zweiten Klassifikator zugeführten Bilddaten wird eine Kantendetektion angewendet, indem mindestens ein Kantenbild erstellt wird und dessen charakteristische Daten mit den Musterdaten eines Referenz-Kantenbildes verglichen werden.
  • Somit wird eine Parallel-Struktur von zwei oder mehr Klassifikatoren vorgeschlagen, die auf dieselben Bilddaten oder auf daraus abgeleitete Daten angewendet werden, wobei der erste Klassifikator für das Erkennen eines Manipulationsversuches eingerichtet ist, der zweite Klassifikator aber eingerichtet ist, anhand der Bilddaten die von der/den Kamera(s) erfasste Situation auf Plausibilität eines Manipulationsereignisses hin zu überprüfen. Erst wenn beide Klassifikatoren positiv anzeigen, d.h. einen Manipulationsversuch und dessen Plausibilität bejahen, wird ein Alarm ausgelöst.
  • Die Erfindung geht von der Erkenntnis aus, dass die herkömmlichen Vorrichtungen nicht selten fehlerhaft arbeiten und auch dann Skimming anzeigen, wenn kein Versuch einer Manipulation des Selbstbedienungsterminals vorliegt. Die Anmelderin hat beobachtet, dass Nutzer an dem Bedienfeld bzw. der Bedienkonsole von Selbstbedienungsterminals, wie z.B. Geldautomaten, persönliche Gegenstände, insbesondere Geldbörsen, Brieftaschen, Zettel usw. liegen lassen und dieses dann zu einem falschen Skimming-Alarm führen kann.
  • Erfindungsgemäß wird nun durch Einsatz eines weiteren parallel arbeitenden Klassifikators, der auf Plausibilität der Bilddaten prüft, sicher gestellt, dass nur dann ein Alarm erzeugt wird, wenn aufgrund der von der Kamera erfassten Situation vernünftiger Weise von einem echten Manipulationsversuch ausgegangen werden muss. So würde z.B. im Falle einer auf der Tastatur liegen gelassenen Briefbörse der erste Klassifikator zwar eine abnormale Situation erkennen und einen Manipulationsversuch anzeigen wollen, der zweite Klassifikator würde aber die Geldbörse, insbesondere deren Kontur und/oder Lage, eher als untypisch für einen Tastaturüberbau (Manipulations- oder Skimming-Überbau) erkennen und somit das Auslösen eines Fehlalarms unterbinden.
  • Vorzugsweise werden die Bilddaten in den Klassifikatoren unabhängig voneinander verarbeitet. Die Klassifikatoren kommen also unabhängig voneinander auf ihre Ergebnisse, wobei das erste Ergebnis (Ausgabewert des ersten Klassifikators) durch das zweite Ergebnis (Ausgabewert des zweiten Klassifikators) verifiziert wird oder nicht. Hierdurch können sinnvolle von nicht sinnvollen Ereignissen (Manipulationsversuchen) zuverlässig getrennt werden. Erfindungsgemäß wird dazu eine parallel arbeitende Struktur von zwei oder mehreren Klassifikatoren vorgeschlagen.
  • Erfindungsgemäß ist vorgesehen, dass der erste Klassifikator die Bilddaten anhand erster Merkmale auswertet, um einen ersten Ausgabewert zu erhalten, der die Wahrscheinlichkeit für das Vorliegen einer Veränderung der optischen Erscheinung des Bedienelements anzeigt. Diese ersten Merkmale betreffen die Kantenlängen einer Tastatur, deren Foto einer Kantenbilddetektion unterzogen wird.
  • Der zweite Klassifikator hingegen werten die Bilddaten anhand zweiter Merkmale aus, um einen zweiten Ausgabewert zu erhalten, der die Wahrscheinlichkeit für das Vorliegen einer für Manipulationen typischen Veränderung der optischen Erscheinung des Bedienelements anzeigt. Diese zweiten Merkmale betreffen die relative Lage bzw. Position der Kanten zueinander. Bei einer Tastatur sowie, bei einem Skimming-Überbau sind die meisten Kanten parallel oder rechtwinklig zueinander ausgerichtet, bei einem liegen gelassenen Gegenstand, wie z.B. einer Geldbörse, treten auch Kanten, die weder parallel noch senkrecht zu den übrigen Kanten (der Tastatur) verlaufen. Deshalb führt ein Plausibilitätstest zu dem Ergebnis, dass sehr wahrscheinlich kein Manipulationsversuch vorliegt. Auch das Merkmal "Umgebungsausleuchtung" führt zu sehr zuverlässigen Ergebnissen.
  • Die Ausgabewerte der Klassifikatoren liegen vorzugsweise zwischen 0 und 1. Um daraus eindeutige Ja/Nein-Aussagen zu gewinnen, wird vorzugsweise der erste Ausgabewert mit einem ersten Schwellwert bzw. der zweite Ausgabewert mit einem zweiten Schwellwert verglichen, wodurch dann ein erster bzw. zweiter Binärwert gewonnen werden kann, der wiederum logisch verarbeitet werden kann. Die Binärwerte können z.B. einer UND-Verknüpfung zugeführt werden, um eine gesicherte Aussage zu erhalten, ob eine Manipulation an dem SB-Terminal vorgenommen wurde oder nicht. Wenn ein Manipulationsversuch erkannt wird, kann zusätzlich oder alternativ zum Auslösen eines Alarms auch vorgesehen werden, das Selbatbedienungsterminal zu sperren und/oder eine zusätzliche Kamera (Portrait-Kamera) auszulösen, um Fotos von verdächtigen Personen zu machen die evtl. die Manipulation durchgeführt haben könnten. Auch kann vorgesehen werden, die Manipulationserkennung bzw. die Kamera(s) während der Wartung des Selbstbedienungsterminals zu deaktivieren, um Fehlalarme zu vermeiden.
  • Diese und weitere besonders vorteilhafte Ausgestaltungen ergeben sich auch aus den Unteransprüchen.
  • Bevorzugt wird nur dann ein Alarm ausgelöst, wenn mittels des ersten Klassifikators ein Manipulationsversuch an dem Bedienelement erkannt wird und wenn mittels des zweiten Klassifikators das Erkennen des Manipulationsversuchs als plausibel bewertet wird.
  • Andernfalls wird eine Anzeige, insbesondere Benachrichtigung, für einen Betreiber und/oder Nutzer des SB-Terminals erzeugt, und zwar dann, wenn mittels des ersten Klassifikators ein Manipulationsversuch an dem Bedienelement erkannt wird und wenn mittels des zweiten Klassifikators das Erkennen des Manipulationsversuchs als nicht plausibel bewertet wird. Vorzugsweise wird die Benachrichtigung für den Betreiber und/oder Nutzer des SB-Terminals über einen Kommunikationsdienst, insbesondere Email oder SMS, versendet.
  • Vorgeschlagen wird auch eine Vorrichtung zum Erkennen und Verifizieren von Manipulationsversuchen an einem Selbstbedienungsterminal, das für Nutzer mindestens ein Bedienelement aufweist, auf das mindestens eine Kamera ausgerichtet ist, wobei die Vorrichtung mit der mindestens einen Kamera verbunden ist und von der Kamera erzeugte Bilddaten empfängt, und wobei die Vorrichtung eine Datenverarbeitungseinheit mit einem ersten Klassifikator aufweist, der anhand der Bilddaten prüft, ob ein Manipulationsversuch an dem Bedienelement zu erkennen ist, wobei die die Datenverarbeitungseinheit der Vorrichtung einen zweiten Klassifikator aufweist, der parallel zum ersten Klassifikator die Bilddaten verarbeitet und prüft, ob das Erkennen eines Manipulationsversuchs plausibel ist.
  • Außerdem wird ein Selbstbedienungsterminal vorgeschlagen, dass eine solche Vorrichtung aufweist. Die Vorrichtung kann vorzugsweise mittels eines in dem Selbstbedienungaterminal vorhandenen Rechner bzw. PC realisiert werden.
  • In einer bevorzugten Anwendung ist das Selbstbedienungsterminal als Geldautomat ausgestaltet. Dabei stellt das mindestens eine Bedienelement ein manipulationsgeeignetes Element, insbesondere eine Tastatur bzw. ein PIN-Pad, ein Geldausgabefach und/oder einen Karteneingabetrichter dar. Um die Manipulationserkennung zu erleichtern, sollte das mindestens eine von der Kamera erfasste Bedienelement optisch eindeutig erkennbare Merkmale, insbesondere sich von homogenen Flächen abgrenzende Kanten, aufweisen. Hierdurch können die von der/den Kamera(s) erzeugten Bilddaten mittels einer Kantendetektion Aufbereitet werden, indem z.B. mindestens ein Kantenbild erstellt wird und dessen charakteristische Daten mit den Musterdaten eines Referenz-Kantenbildes verglichen werden. Der Einsatz einer Kantendetektion bewirkt nicht nur eine deutliche Datenreduktion, sondern erhöht auch die Schnelligkeit und Zuverlässigkeit der Bildauswertung. Der Einsatz mehrerer paralleler Klassifikatoren erhöht insbesondere die Zuverlässigkeit des Endergebnisses.
  • Durch die Erfindung kann insbesondere das Erkennen von überbauten an einzelnen oder mehreren Bedienelementen deutlich verbessert werden. Dies gilt besonders hinsichtlich der Zuverlässigkeit der Erzeugung von Skimming-Alarmen. Vorzugsweise werden von der Kamera die besonders manipulationsgeeigneten Elemente und/oder die in besonders manipulationsgeeigneten Bereichen des Bedienfeldes angeordneten Elemente erfasst, wie z.B. Geldausgabefach, Tastatur, Karteneingabetrichter und/oder Bildschirm. Die Elemente sind also vorzugsweise Bedienelemente im engeren Sinne, können aber auch andere Elemente, wie z.B. Ablagefläche im Bedienbereich oder dergleichen sein. Außerdem wird auch das Liegenlassen von Gegenständen sicher erkannt. Zudem wird hier vorgeschlagen, den Nutzer und/oder den Betreiber des SB-Terminals zu benachrichtigen, wenn anhand der Bildaufnahme an dem Bedienelement (z.B. Tastatur) ein Fremdobjekt erkannt wurde, das nicht die typischen Eigenschaften einer Manipulationsvorrichtung (Tastaturüberbau, Attrappe usw.) aufweist und somit sehr wahrscheinlich ein Gegenstand ist, den der letzte Nutzer des SB-Terminals dort liegen gelassen hat. Demnach ist auch ein automatischer Benachrichtigungsdienst realisierbar, der insbesondere Nutzer bzw. Kunden darauf hinweist, dass an dem SB-Terminal persönliche Gegenstände liegen gelassen wurden.
  • Die Erfindung und die sich daraus ergebenen Vorteile werden nachfolgend anhand von Ausführungsbeispielen und unter Bezugnahme auf die beiliegenden schematischen Zeichnungen beschrieben, die folgendes darstellen:
    • Fig. 1
    zeigt in Form eines Blockschaltbildes den Aufbau eines erfindungsgemäßen SB-Terminals, das als Geldautomat ausgestaltet ist;
    Fig. 2
    zeigt ein schematisches Ablaufdiagramm für ein erfindungsgemäßes Verfahren;
    Fig. 3
    eine Entscheidungs-Matrix zur Veranschaulichung der Ergebnisbildung aus den Ausgabewerten der parallel arbeitenden Klassifikatoren.
  • Das in der Fig. 1 dargestellte SB-Terminal ist als Geldautomat ATM ausgeführt und weist ein Bedienfeld mit mehreren Elementen bzw. Bedienelementen auf, von denen hier beispielhaft eine Tastatur KBD, ein Geldausgabeschacht SHT und ein Karteneingabetrichter CSL in Form einzelner Funktionsblöcke dargestellt sind. Jedes Bedienelement wird von einer Kamera CAM, CAM' bzw. CAM" überwacht, die wiederum mit einer Steuereinrichtung CTR verbunden ist, welche die von den Kamera erzeugten Bildsignale bzw. -daten verarbeitet und auswertet.
  • Die Steuereinrichtung CTR bildet eine Vorrichtung zum Erkennen und Verifizieren von Manipulationsversuchen an den besagten Bedienelementen KBD, SHT oder CSL und ist mitttels einer rechnergestützten Hardware realisiert, hier beispielsweise mittels der Hardware eines in dem Geldautomaten integrierten PC. Die von den Kameras kommenden Bilddaten (s. auch IN in Fig. 2) werden in einer Bildverarbeitungseinheit IPRC Verarbeitet, indem sie beispielsweise einer Kantendetektion unterzogen werden. Dadurch kann die Datenmenge deutlich reduziert werden, ohne wesentliche Information über die Eigenschaften des fotografierten Objektes bzw. Bedienelementes zu verlieren. Die aus der Kantendetektion gewonnenen Kantenbilder bzw. Kantenbilddaten repräsentieren somit wesentliche Eigenschaften anhand derer eine Veränderung bzw. Manipulation des Objektes (z.B. Tastatur KDB) erkannt werden kann.
  • Zum sicheren Erkennen von Manipulationsversuchen weist die Vorrichtung CTR für jedes Bildelement ein Manipulationserkennungs-Modul M100, M100' oder M100" auf, das im wesentlichen eine Datenverarbeitungs-Instanz enthält, die eine parallel strukturierte zweizügige Klassifizierung der entsprechenden Bilddaten durchführt. In jedem Manipulationserkennungs-Modul M100, M100' oder M100" werden zwei parallel angeordnete Klassifikatoren verwendet (s. 110 und 120 in Fig. 2). Für die Überwachung der Tastatur KBD wird beispielsweise das erste Manipulationserkennungs-Modul M100 verwendet, dessen Funktion nachfolgend noch näher anhand der Fig. 2 und 3 beschrieben wird. Die Vorrichtung CTR umfasst auch noch eine Alarmeinheit ALRT, die bei einem sicher erkannten Manipulationsversuch einen Alarm auslöst. Falls das Vorhandensein eines Fremdgegenstandes erkannt wird, ein Manipulationsversuch aber als nicht plausibel eingestuft wird, erfolgt über die Einheit ALRT eine Benachrichtigung an den Betreiber des Geldautomaten ATM und/oder an den letzten Nutzer, um ihm mitzuteilen, dass ein Gegenstand am Geldautomaten liegen gelassen wurde. Um den Nutzer zu benachrichtigen kann auf Nutzerdaten zurückgegriffen werden, die im Rahmen der ohnehin erforderlichen Nutzung-Authentifizierung am Geldautomaten (Nutzer-ID) von einer Zentrale (Nutzerverwaltung) abgefragt werden können.
  • Anhand der Fig. 2 und 3 wird nun ein Beispiel für ein Verfahren zum Erkennen und Verifizieren von Manipulationsversuchen beschrieben:
    Die Fig. 2 zeigt ein schematisches Ablaufdiagramm für das Verfahren 100, das sich auf die Funktionsweise des Manipulationserkennungs-Moduls M100 bezieht und im Wesentlichen die nachfolgend beschriebenen Schritte 101 bis 130 umfasst.
  • In einem ersten Schritt 101 werden die von der Kamera CAM erzeugten und in der Bildverarbeitungseinheit IPRC (s. Fig. 1) zu Kantenbilddaten vorverarbeiteten Daten als Eingangsdaten IN für die nachfolgenden Klassifizierungen bereit gestellt. Aus den Eingangsdaten bzw. aufbereiteten Bilddaten, im weiteren auch kurz Bilddaten IN genannt, werden Merkmale bzw. Eigenschaften A, B, C, D extrahiert, die charakteristische Erkennungsmerkmale für das überwachte Objekt (hier: Bedienelement KDB) darstellen. Dabei handelt es sich beispielsweise um folgende Merkmale: Kantenlänge (oben, unten, links, rechts), Abstand der Kanten von Bezugspunkten bzw. Bezugslinien, Winkel von Kanten untereinander, Winkel von Kanten im Vergleich mit Bezugslinien, Histogramm, Beleuchtungsverhältnisse und dergleichen.
  • Diese Merkmale, von denen hier exemplarisch vier Merkmale A, B, C und D angegeben sind, werden dann in einer parallelen Struktur auf zwei verschiedene Weisen klassifiziert. Dazu wird eine erste Untermenge der Merkmale (z.B. Merkmale A und B) in einem Schritt 110 einem ersten Klassifikator CF zugeführt und wird eine, vorzugsweise andere, zweite Untermenge (z.B. Merkmale C und D) in einem parallelen Schritt 120 einem zweiten Klassifikator SC zugeführt.
  • Der erste Klassifikator CF nimmt die Funktion eines Hauptklassifikators bzw. eines Manipulations-Indizien-Sammlers ein, der prüft, ob eine Manipulation wahrscheinlich ist oder nicht. Dies geschieht dadurch, dass die Merkmale A (Kantenlängen an verschiedenen Positionen) und beispielsweise B (Abstände zwischen verschiedenen Kanten) geprüft werden, indem sie mit entsprechenden Referenzwerten verglichen werden. Als Ausgabewert OUT1 wird die Anzahl bzw. Häufigkeit angegeben, mit der Merkmale (eines oder mehrere davon) nicht mit den Referenzwerten übereinstimmen. Der Ausgabewert liegt zwischen 0 und 1. Ein Ausgabewert von 0,7 und mehr zeigt an, dass (sehr) viele Abweichungen erkannt wurden, so dass (sehr) wahrscheinlich eine Manipulation des Objektes (hier Tastatur KBD bzw. PIN-Pad) vorliegt. Ob es sich bei der erkannten Manipulation um eine echte Manipulation handelt, z.B. um einen Tastaturüberbau, kann jedoch nicht sicher ausgesagt werden.
  • Der zweite (parallel arbeitende) Klassifikator SC nimmt daher die Funktion eines Nebenklassifikators bzw. eines Überprüfers (Verifizierers) ein und prüft, ob die Bilddaten IN überhaupt eine typische Situation für eine Manipulation wiedergeben. Diese Überprüfung geschieht dadurch, dass die Merkmale C (Winkel von Kanten untereinander) und beispielsweise D (Umgebungslichtverhältnisse) geprüft werden. Als Ausgabewert OUT2 wird die Anzahl bzw. Häufigkeit angegeben, mit der die erfassten Merkmale (eines oder mehrere davon) nicht von den typischen Referenzwerten abweichen. Ein Ausgabewert von 0,3 und weniger zeigt an, dass die Plausibilität für eine Manipulation gering ist. Das bedeutet, dass (sehr) wenige typische Winkel und/oder Umgebungslichtverhältnisse erkannt wurden, so dass es (sehr) wahrscheinlich ist, dass sich im Bereich des überwachten Objektes (hier Tastatur KBD) ein Fremdgegenstand befindet, der aber keinem Manipulationsgegenstand (z.B. Tastaturüberbau) entsprechen kann. Deshalb würde sich z.B. ein Ausgabewert OUT2 von 0,3 ergeben , der anzeigt, dass (eher) keine Manipulation vorliegt.
  • Um zu einem aussagekräftigen eindeutigen Endergebnis zu kommen, werden in weiteren parallelen Schritten 111 und 112 die Ausgabewerte OUT1 bzw. OUT2 gewichtet und/oder mit Schwellwerten TH1 bzw. TH2 verglichen, so dass sich logisch verknüpfbare Werte OUT1* bzw. OUT2* ergeben, die entweder ein JA oder ein NEIN anzeigen. Entspricht der Wert OUT1* dem logischen Wert "1", so bedeutet dies, dass die Klassifizierung CF auf Manipulation erkannt hat. Dies wird hier durch ein "Y" (für Englisch "Yes") symbolisiert. Andernfalls ergibt sich ein "N" (für Englisch "No"). Entspricht der Wert OUT2* ebenfalls einem "Y", so bedeutet dies, dass die Manipulation plausibel ist. Die Schwellwerte TH1 und TH2 werden beispielsweise im mittleren Wertebereich, d.h. bei etwa 0,5 eingestellt, so dass Ausgabewerte größer 0,5 ein klares "Y" (Aussage "Ja" bzw. "Yes") bedeuten.
  • Durch eine im Schritt 130 durchgeführte logische UND-Verknüpfung, die auch anhand der Fig. 3 veranschaulicht wird, erhält man das Endergebnis. Wie die in der Fig. 3 dargestellte Entscheidungs-Matrix zeigt, wird nur dann ein Manipulationsversuch klar erkannt und verifiziert, wenn beide Klassifikatoren jeweils ein positives Ergebnis "Y" liefern, d.h. wenn der erste Klassifikator CF auf Manipulation erkennt und der zweite unabhängig davon auf eine plausible Manipulationssituation erkennt.
  • Der zweite Klassifikator SC sorgt für eine vernünftige Entscheidung und könnte daher auch als "Sanity Checker" bezeichnet werden. Durch die strikte Trennung der beiden Klassifikatoren bzw. deren Aufgaben (Erkennen von Änderungen oder Überprüfen auf Plausibilität) wird die hier vorgeschlagene Manipulationserkennung sehr robust gegenüber Fehlentscheidungen.
  • Wie oben beschrieben wurde, werden beispielsweise die Kamerasignale (Rohbilddaten) zunächst einer Bildverarbeitung (Kantendetektion) unterzogen (s. Block IPRC in Fig. 1). Daraus werden dann Merkmale extrahiert (A bis D in Fig. 2), die die Kantenlängen, und z. Abstände, Winkel, Umgebungslichtverhältnisse, usw. betreffen. Diese Merkmale werden dann klassifiziert. Im ersten Klassifikator CF werden z.B. die Merkmale "Kantenlänge" und "Winkel" klassifiziert, um eine Manipulation zu erkennen; im zweiten Klassifikator CF werden die anderen Merkmale "Winkel" und "Umgebungslicht" klassifiziert, um die Plausibilität zu prüfen (Vernunft-Prüfung; SanityCheck). Die Erfindung kann auch so ausgeführt werden, dass beispielsweise mit dem ersten Klassifikator Quantitäten und mit dem zweiten Klassifikator Qualitäten klassifiziert werden.
  • Zudem ermöglicht die Überprüfung auf Plausibilität es, dass bei einer erkannten Änderung am überwachten Objekt auch auf das Vorhandensein eines Fremdobjektes geschlossen werden kann, das keine Skimming-Vorrichtung ist, sondern lediglich ein persönlicher Gegenstand eines Nutzers. In der Entscheidungs-Matrix nach Fig. 3 entspricht dies dem Fall, dass OUT1* = Y ist und OUT2* = N ist. In diesem Fall kann das System eine automatische Benachrichtigung des Nutzers bzw. Kunden veranlassen, z.B. über Email oder SMS. Diese Möglichkeit bietet einen neuen Kundenservice. Der Betreiber des SB-Terminals wird in diesem Fall ebenfalls sofort benachrichtigt, um den vergessenen Gegenstand für den Kunden zur späteren Abholung aufzubewahren. Wenn also Gegenstände am SB-Terminal liegen gelassen werden, kann eine automatisches Erzeugen und Aussenden von Email/SMS durch Zugriff auf Kunden-Datenbank erfolgen. Zusätzlich kann z.B. ein stiller Alarm an das Personal des SB-Terminals zwecks Sicherung des vergessenen Gegenstandes ausgelöst werden. Auch können Fotos/Filme erstellt werden sowie Warnhinweise auf dem Bildschirm angezeigt werden, um einen Diebstahl zu vereiteln.
  • Die vorliegende Erfindung wurde am Beispiel eines Geldautomaten beschrieben, ist aber nicht hierauf beschränkt, sondern kann auf jede Art von Selbstbedienungsterminals angewendet werden.
    • Bezugszeichenliste
    • 100
    Verfahren mit folgenden Schrittfolgen:
    101
    Eingabe von Bilddaten IN sowie Vorgabe von Merkmalen (A...D)
    110
    Datenverarbeitung mittels erstem Klassifikator CF
    120
    (parallel dazu) Datenverarbeitung mittels zweitem Klassifikator CF
    111
    Schwellwert-Entscheidung für OUT1
    112
    Schwellwert-Entacheidung für OUT2
    130
    Alarmierung und/oder Benachrichtigung
    ATM
    Selbstbedienungsterminal, als Geldautomat ausgebildet, mit folgenden Bedienelementen: KBD Tastatur, SHT Geldausgabefach, CSL Karteneingabetrichter
    CAM, CAM', CAM"
    Kameras, jeweils auf ein Bedienelement ausgerichtet
    CTR
    Vorrichtung, hier Steuereinrichtung für ATM mit: IPRC Bildverarbeitungseinheit M100, M100', M100" Manipulationserkennungsmodule mit verschiedenen Klassifizieren
    ALRT
    Alarm-/Benachrichtigungseinheit

Claims (13)

  1. Verfahren (100) zum Erkennen und Verifizieren von Manipulationsversuchen an einem Selbstbedienungsterminal (ATM), das mindestens ein für Nutzer des Selbstbedienungsterminals (ATM) bereitgestelltes Bedienelement (KBD) aufweist, auf das mindestens eine Kamera (CAM) ausgerichtet ist, die das mindestens eine Bedienelement (KBD) erfasst, wobei die von der Kamera (CAM) erzeugten Bilddaten (IN) einem ersten Klassifikator (CF) zugeführt werden, mittels dessen anhand der Bilddaten geprüft wird, ob ein Manipulationsversuch an dem Bedienelement (KBD) zu erkennen ist, wobei die Bilddaten (IN) anhand erster Merkmale (A, B) ausgewertet werden,
    wobei die Bilddaten (IN) parallel zum ersten Klassifikator (CF) auch einem zweiten Klassifikator (SC) zugeführt werden, mittels dessen anhand der Bilddaten geprüft wird, ob das Erkennen eines Manipulationsversuchs plausibel ist, wobei die Bilddaten (IN) anhand zweiter Merkmale (C, D) ausgewertet werden,
    dadurch gekennzeichnet, dass
    auf die dem ersten und zweiten Klassifikator (CF, SC) zugeführten Bilddaten (IN) eine Kantendetektion angewendet wird, die sich auf von homogenen Flächen abgrenzende Kanten in der optischen Erscheinung des von der Kamera (CAM) erfassten Bedienelements (KBD) bezieht, indem mittels einer Bildverarbeitungseinheit (IPRC) mindestens ein Kantenbild erstellt wird und dessen charakteristische Daten mit den Musterdaten eines Referenz-Kantenbildes verglichen werden, und dass die ersten Merkmale (A, B) Kantenlängen des Bedienelements und die zweiten Merkmale (C, D) die relative Position der Kanten zueinander betreffen.
  2. Verfahren (100) nach Anspruch 1, dadurch gekennzeichnet, dass die Bilddaten (IN) in den Klassifikatoren (CF, SC) parallel und unabhängig voneinander verarbeitet werden.
  3. Verfahren (100) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der erste Klassifikator (CF) die Bilddaten (IN) anhand der ersten Merkmale (A, B) auswertet, um einen ersten Ausgabewert (OUT1) zu erhalten, der die Wahrscheinlichkeit für das Vorliegen einer Veränderung der optischen Erscheinung des Bedienelements (KBD) anzeigt.
  4. Verfahren (100) nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass der zweite Klassifikator (SC) die Bilddaten (IN) anhand der zweiten Merkmale (C, D) auswertet, um einen zweiten Ausgabewert (OUT2) zu erhalten, der die Wahrscheinlichkeit für das Vorliegen einer für Manipulationen typischen Veränderung der optischen Erscheinung des Bedienelements (KBD) anzeigt.
  5. Verfahren (100) nach einem der Ansprüche 3 oder 4, dadurch gekennzeichnet, dass der erste Ausgabewert (OUT1) mit einem ersten Schwellwert (TH1) bzw. der zweite Ausgabewert (OUT2) mit einem zweiten Schwellwert (TH2) verglichen wird, um einen ersten bzw. zweiten Binärwert zu erhalten.
  6. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Alarm ausgelöst wird, wenn mittels des ersten Klassifikators (CF) ein Manipulationsversuch an dem Bedienelement (KBD) erkannt wird und wenn mittels des zweiten Klassifikators (SC) das Erkennen des Manipulationsversuchs als plausibel bewertet wird.
  7. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Anzeige, insbesondere Benachrichtigung, für einen Betreiber und/oder Nutzer des Selbstbedienungsterminals erzeugt wird, wenn mittels des ersten Klassifikators (CF) ein Manipulationsversuch an dem Bedienelement (KBD) erkannt wird und wenn mittels des zweiten Klassifikators (SC) das Erkennen des Manipulationsversuchs als nicht plausibel bewertet wird.
  8. Verfahren (100) nach Anspruch 7, dadurch gekennzeichnet, dass die Benachrichtigung für den Betreiber und/oder Nutzer des Selbstbedienungsterminals über einen Kommunikationsdienst, insbesondere Email oder SMS, versendet wird.
  9. Vorrichtung (CTR) zum Erkennen und Verifizieren von Manipulationsversuchen an einem Selbstbedienungsterminal (ATM), das mindestens ein für Nutzer des Selbstbedienungsterminals (ATM) bereitgestelltes Bedienelement (KBD) aufweist, auf das mindestens eine Kamera (CAM) ausgerichtet ist, die das mindestens eine Bedienelement (KBD) erfasst, wobei die Vorrichtung (CTR) mit der mindestens einen Kamera (CAM) verbunden ist und von der Kamera (CAM) erzeugte Bilddaten (IN) empfängt, und wobei die Vorrichtung (CTR) eine Datenverarbeitungseinheit mit einem ersten Klassifikator (CF) aufweist, der anhand der Bilddaten (IN) prüft, ob ein Manipulationsversuch an dem Bedienelement (KBD) zu erkennen ist, wobei die Vorrichtung (CTR) die Bilddaten (IN) anhand erster Merkmale (A, B) auswertet,
    wobei die Datenverarbeitungseinheit der Vorrichtung (CTR) einen zweiten Klassifikator (SC) aufweist, der parallel zum ersten Klassifikator (CF) die Bilddaten (IN) verarbeitet und prüft, ob das Erkennen eines Manipulationsversuchs plausibel ist, wobei der zweite Klassifikator angepasst ist, die Bilddaten (IN) anhand zweiter Merkmale (C, D) auszuwerten,
    dadurch gekennzeichnet, dass
    auf die dem ersten und zweiten Klassifikator (CF, SC) zugeführten Bilddaten (IN) eine Kantendetektion angewendet wird, die sich auf von homogenen Flächen abgrenzende Kanten in der optischen Erscheinung des von der Kamera (CAM) erfassten Bedienelements (KBD) bezieht, indem mittels einer Bildverarbeitungseinheit (IPRC) mindestens ein Kantenbild erstellt wird und dessen charakteristische Daten mit den Musterdaten eines Referenz-Kantenbildes verglichen werden, wobei die ersten Merkmale (A, B) Kantenlängen des Bedienelements und die zweiten Merkmale (C, D) die relative Position der Kanten zueinander betreffen.
  10. Selbstbedienungsterminal (ATM), das mindestens ein für Nutzer des Selbstbedienungsterminals (ATM) bereitgestelltes Bedienelement (KBD) aufweist, auf das mindestens eine Kamera (CAM) ausgerichtet ist, und das eine Vorrichtung (CTR) zum Erkennen und Verifizieren von Manipulationsversuchen an dem Selbstbedienungsterminal (ATM) nach Anspruch 9 aufweist.
  11. Selbstbedienungsterminal (ATM) nach Anspruch 10,
    dadurch gekennzeichnet, dass das Selbstbedienungsterminal einen Geldautomaten (ATM) darstellt.
  12. Selbstbedienungsterminal (ATM) nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass das mindestens eine Bedienelement ein manipulationsgeeignetes Element, insbesondere eine Tastatur (KBD), ein Geldausgabefach (SHT) und/oder einen Karteneingabetrichter (CSL) darstellt.
  13. Selbstbedienungsterminal (ATM) nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass das mindestens eine von der Kamera (CAM) erfasste Bedienelement (KBD) optisch eindeutig erkennbare Merkmale aufweist, insbesondere sich von homogenen Flächen abgrenzende Kanten aufweist.
EP11741562.0A 2010-08-12 2011-08-05 Verfahren und vorrichtung zum erkennen und verifizieren von manipulationsversuchen an einem selbstbedienungsterminal Active EP2603905B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010036961A DE102010036961A1 (de) 2010-08-12 2010-08-12 Verfahren und Vorrichtung zum Erkennen und Verifizieren von Manipulationsversuchen an einem Selbstbedienungsterminal
PCT/EP2011/063510 WO2012019968A1 (de) 2010-08-12 2011-08-05 Verfahren und vorrichtung zum erkennen und verifizieren von manipulationsversuchen an einem selbstbedienungsterminal

Publications (2)

Publication Number Publication Date
EP2603905A1 EP2603905A1 (de) 2013-06-19
EP2603905B1 true EP2603905B1 (de) 2021-09-29

Family

ID=44509812

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11741562.0A Active EP2603905B1 (de) 2010-08-12 2011-08-05 Verfahren und vorrichtung zum erkennen und verifizieren von manipulationsversuchen an einem selbstbedienungsterminal

Country Status (3)

Country Link
EP (1) EP2603905B1 (de)
DE (1) DE102010036961A1 (de)
WO (1) WO2012019968A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2736026B1 (de) 2012-11-26 2020-03-25 Wincor Nixdorf International GmbH Vorrichtung zum Auslesen einer Magnetstreifen- und/oder Chipkarte mit einer Kamera zur Detektion von eingeschobenen Skimmingmodulen
EP2897112B1 (de) 2014-01-17 2019-03-06 Wincor Nixdorf International GmbH Verfahren und Vorrichtung zur Vermeidung von Fehlalarmen bei Überwachungssystemen
EP2897108B1 (de) 2014-01-17 2020-04-22 Wincor Nixdorf International GmbH Prüfeinheit zum Detektieren von Skimmingmodulen
US11657681B1 (en) 2022-02-25 2023-05-23 Kyndryl, Inc. System to prevent full ATM enclosure skimming attacks

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2351585B (en) * 1999-06-29 2003-09-03 Ncr Int Inc Self service terminal
DE20102477U1 (de) 2000-02-22 2001-05-03 Wincor Nixdorf Gmbh & Co Kg Einrichtung zum Schutz von SB-Automaten gegen Manipulationen
EP1751692A4 (de) * 2004-04-30 2010-04-28 Utc Fire & Safety Corp Atm-sicherheitssystem
US20060169764A1 (en) * 2005-01-28 2006-08-03 Ncr Corporation Self-service terminal
US20090201372A1 (en) * 2006-02-13 2009-08-13 Fraudhalt, Ltd. Method and apparatus for integrated atm surveillance
JP4961158B2 (ja) * 2006-04-12 2012-06-27 日立オムロンターミナルソリューションズ株式会社 自動取引装置および不審物検知システム
US7942315B2 (en) 2007-09-05 2011-05-17 Ncr Corporation Self-service terminal

Also Published As

Publication number Publication date
WO2012019968A1 (de) 2012-02-16
EP2603905A1 (de) 2013-06-19
DE102010036961A1 (de) 2012-02-16

Similar Documents

Publication Publication Date Title
EP2422328B1 (de) Selbstbedienungsterminal mit mindestens einer kamera zum erkennen von manipulationsversuchen
EP2422325B1 (de) Selbstbedienungsterminal mit mindestens einer bilddaten erzeugenden kamera zum erkennen von manipulationsversuchen
DE102009018322A1 (de) Selbstbedienungsterminal mit Kamera zum Erkennen von Manipulationsversuchen
EP2897112B1 (de) Verfahren und Vorrichtung zur Vermeidung von Fehlalarmen bei Überwachungssystemen
DE102009018320A1 (de) Verfahren zum Erkennen von Manipulationsversuchen an einem Selbstbedienungsterminal und Datenverarbeitungseinheit dafür
DE102009028604A1 (de) Vorrichtung zur Erkennung einer Objektschlange, Verfahren sowie Computerprogramm
CH695003A5 (de) Verfahren und Vorrichtung zum Schutz von SB-Automaten gegen Manipulationen.
EP2603905B1 (de) Verfahren und vorrichtung zum erkennen und verifizieren von manipulationsversuchen an einem selbstbedienungsterminal
JP2018120510A (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
WO2010037610A1 (de) Verfahren und vorrichtung zur erkennung von angriffen auf einen selbstbedienungsautomat
DE112019007947T5 (de) Verbesserte Erkennung der Face-Liveness mit Hilfe der Analyse von Hintergrund-/Vordergrundbewegungen
EP1680769B1 (de) Verfahren und einrichtung für durchgangskontrolle und/oder personenvereinzelung
EP2503354A1 (de) Selbstbedienungs-Terminal und Verfahren zur Überwachung eines Benutzer-Aufenthaltsbereichs
EP2691330A1 (de) Zugangsüberwachungsvorrichtung mit mindestens einer videoeinheit
EP3347880B1 (de) Verfahren und vorrichtung zur bestimmung der integrität einer kartenleseeinrichtung und ein damit ausgestattetes selbstbedienungsterminal
EP2422324B1 (de) Selbstbedienungsterminal mit kamera-anordnung zum erkennen von manipulationsversuchen
EP3142039B1 (de) Selbstbedienungsterminal mit kartenleseeinrichtung und überwachungsverfahren
DE102018121110A1 (de) Verfahren und Vorrichtung zur Dokumentation eines Status eines autonomen Roboters
CN114758457B (zh) 一种加钞间违规操作智能监测方法及装置
DE102017126207A1 (de) Sensorsystem zur Prüfung von Handvenenmustern
DE102022202583A1 (de) Verfahren zum Überwachen eines Beobachtungsbereichs
DE102011119070A1 (de) Verfahren und Vorrichtung zur Zugangskontrolle und /oder Fehlverhaltenserkennung in sensiblen Bereichen
CN112926527A (zh) 用于监管场所的快速核查***
DE102010033498A1 (de) Vorrichtung und Verfahren zur Erkennung von Manipulationen an Selbstbedienungsautomaten
DE102009044872A1 (de) Vorrichtung und Verfahren zur Vermeidung von Manipulationen an Automaten

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20130312

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20171127

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20200716

GRAJ Information related to disapproval of communication of intention to grant by the applicant or resumption of examination proceedings by the epo deleted

Free format text: ORIGINAL CODE: EPIDOSDIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

INTC Intention to grant announced (deleted)
GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20210310

RIN1 Information on inventor provided before grant (corrected)

Inventor name: PRIESTERJAHN, STEFFEN

Inventor name: LE, DINH KHOI

Inventor name: DRICHEL, ALEXANDER

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 1434884

Country of ref document: AT

Kind code of ref document: T

Effective date: 20211015

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502011017241

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211229

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211229

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20210929

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211230

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220129

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220131

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502011017241

Country of ref document: DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20220630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20230323 AND 20230329

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220805

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220831

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220831

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20220831

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20230525 AND 20230601

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220805

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 502011017241

Country of ref document: DE

Owner name: DIEBOLD NIXDORF SYSTEMS GMBH, DE

Free format text: FORMER OWNER: WINCOR NIXDORF INTERNATIONAL GMBH, 33106 PADERBORN, DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220831

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1434884

Country of ref document: AT

Kind code of ref document: T

Effective date: 20220805

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220805

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230720

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230720

Year of fee payment: 13

Ref country code: DE

Payment date: 20230720

Year of fee payment: 13

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20110805

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210929