EP1581906A2 - Procede pour la saisie numerique, le stockage et/ou la transmission d'une information a l aide d une camera equipant un terminal de communication - Google Patents

Procede pour la saisie numerique, le stockage et/ou la transmission d'une information a l aide d une camera equipant un terminal de communication

Info

Publication number
EP1581906A2
EP1581906A2 EP03755214A EP03755214A EP1581906A2 EP 1581906 A2 EP1581906 A2 EP 1581906A2 EP 03755214 A EP03755214 A EP 03755214A EP 03755214 A EP03755214 A EP 03755214A EP 1581906 A2 EP1581906 A2 EP 1581906A2
Authority
EP
European Patent Office
Prior art keywords
image
contour
block
terminal
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP03755214A
Other languages
German (de)
English (en)
Inventor
Martin Lefebure
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Real Eyes 3D SA
Original Assignee
Real Eyes 3D SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Real Eyes 3D SA filed Critical Real Eyes 3D SA
Publication of EP1581906A2 publication Critical patent/EP1581906A2/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Definitions

  • the present invention relates to a method for the digital entry of information present on a medium, using a camera fitted to a communication terminal. Its purpose is to allow the terminal to store and / or transmit this information to a recipient on the understanding that, in order to be used, this information must be extracted and corrected to take account in particular of projective deformations and / or supplemented by incorporation of background and / or textual data.
  • Such a process is particularly suitable for the transmission of textual and / or graphic information taken by a camera fitted to a portable communication terminal such as, for example, a cellular radio transmitter / receiver.
  • Document recognition is akin to image recognition; it concerns all questions around written language and its digital transformation: character recognition, text formatting, content structuring and access to information by its indexing.
  • the model describes the elements that make up the document and their relationships; this description can be physical for example by giving the layout format.
  • the document image is perfectly straight and of sufficient resolution; this facilitates in particular the search for the columns of the text in the case where two consecutive columns are very close to each other and the recognition of characters if these are of particularly reduced size; it is therefore necessary to detect the overall angle of deviation of the page and to improve the definition of the image, in particular, those coming from a camera of insufficient quality making it possible to distinguish the details of a text or a graphic taken at a certain distance and guarantee a minimum resolution for character recognition; several algorithms have been developed to detect the angle of inclination of the text; however, this cannot exceed 10 to 20 ° in the scanning plane.
  • the difficulty becomes insurmountable when the document has been viewed by a camera under any incidence, the document having undergone a projective deformation: from a certain distance from the camera, one notes the disappearance of details in the image which are necessary character recognition and therefore understanding of the document.
  • the invention more particularly aims to eliminate these drawbacks and allow the storage and / or transmission to a recipient of corrected information, possibly supplemented by incorporation of a background and / or textual data.
  • the invention proposes a solution taking into account the constraints due to the size of a conventional communication terminal, its resources, both hardware and software, and transmission rates.
  • the method according to the invention comprises the following steps:
  • this process may include taking several images and merging or selecting the extracted data, before or after correction,
  • the contextual data and the raw data may be transmitted to the aforesaid receiver, who may carry out the above corrections and transmit the corrected data to the recipient, at the request of the above-mentioned terminal,
  • the correction can be made by the processing means of the terminal while the corrected data can be transmitted directly to the recipient by the terminal or indirectly through the receiver,
  • the contextual data may be transmitted to the receiver, which will be able to process this data and transmit to the terminal control instructions allowing the processing means of the terminal to correct the raw data,
  • the contextual data and the raw data relating to said information can be transmitted to the receiver, which can carry out the above correction and transmit the corrected data to the recipient as well as control instructions allowing the processing means of the terminal to perform themselves correction of raw data,
  • the aforementioned terminal may include means of access to an image bank as well as means allowing an overlay of the corrected data in at least one selected image.
  • the correction step provided for in the method according to the invention may include the following operating phases: - the creation of an outline in the document to be processed or around the document to be processed, either using a plot (for example: rectangle quadrilateral) made manually or printed, or using a frame any hollowed-out material, - the presentation of the document to be processed in front of the camera at any angle so that the above-mentioned outline is entirely visible in the image present on the display screen,
  • this process makes it possible to:
  • a communication network such as the Internet, a cellular network such as GSM, GPRS or UMTS,
  • the method according to the invention may involve:
  • - a screen for viewing the image taken by the camera, - means of transmission and storage of digitized information.
  • Figure 1 is a schematic representation of a system for extracting and correcting information contained in an image taken by a communication terminal equipped with a camera;
  • Figure 2 is a schematic representation for illustrating the problems posed by shooting a document under any incidence
  • FIG. 3 represents a flowchart concerning the acquisition of the image and the search for the outline in the image
  • FIG. 4 represents a flowchart concerning the extraction, the fusion of the contents of the images and the generation of the final image
  • FIG. 5 represents a detailed flowchart concerning the search for an outline in the image
  • FIG. 6 represents a detailed flowchart concerning the selection of the contour and the calculation of the projective deformation of the contour found in the image
  • FIG. 7 represents a detailed flowchart concerning the fusion of the information contained in the contour found and the enhancement of the contrasts of the images
  • FIG. 8 represents a detailed flowchart concerning the obtaining of the final image
  • FIG. 9 is a schematic representation illustrating a mode of selection of the contour in graphic form
  • FIG. 10 is a schematic representation illustrating another mode of selection of the contour.
  • the system for implementing the method according to the invention involves a communication terminal TC, comprising a transmitter TR such as, for example, a GSM mobile telephone conventionally comprising a Ei transmitter and Ri receiver.
  • a communication terminal TC comprising a transmitter TR such as, for example, a GSM mobile telephone conventionally comprising a Ei transmitter and Ri receiver.
  • This terminal TC is equipped with a digital camera CN making it possible to take pictures of a support O comprising textual data DT and contextual data DC.
  • the digital data delivered by the camera CN, for each of the images of the support O are transmitted to a processing circuit comprising a device for extracting contextual data EC (which may consist of a contour inscribed in the support O, for example a document that one wishes to process) and a device for extracting the raw textual data EDTB relating to the information contained in the image.
  • This EDTB extraction device is designed so as to be able to possibly use the contextual data extracted by the EC extraction device.
  • the EDTB extraction device is connected to a CC correction circuit which is designed so as to at least partially correct the raw data delivered by the EDTB extraction device from the contextual data delivered by the EC extraction device.
  • the data corrected by the corrector circuit CC are transmitted to the transmitter ⁇ of the transmitter TR with a view to being retransmitted to a recipient DES, namely directly, or via a REC receiving device located at a distance from the transmitter TR.
  • the reception device REC is equipped with a processing circuit TRC making it possible to correct the raw data possibly partially corrected by the corrector circuit CC of the communication terminal TC. This correction is made using the contextual data extracted by the extraction device EC and transmitted to the reception device REC by the terminal TC.
  • this REC reception device may be equipped with an automatic handwriting recognition system so that information can be reused in a text editor.
  • the reception device REC may be designed so as to develop instructions or processing algorithms, from the contextual data transmitted by the terminal TC and to transmit these instructions or these algorithms to the correction circuit CC, via a transmitter E 2 and the receiver Ri, so as to allow the terminal TC to carry out the correction of the raw data using a simplified CC corrector circuit (the heavy processing operations which require significant resources being carried out by the processing circuit TRC of the REC receiving device).
  • the data corrected by the corrector circuit CC or by the processing circuit TRC could be transmitted to an overlay circuit CI located upstream of the transmitter TR which makes it possible to incorporate and possibly merge these corrected data into or less an image selected by a SEL selection circuit.
  • the overlay circuit may include means making it possible to incorporate into said selected image other information such as, for example, textual and / or graphic information.
  • This image can for example consist of a monochrome background. It can be selected from a plurality of images stored or possibly downloaded in the terminal TC, or even taken by the camera.
  • these images could come from a BDI image database equipping the REC receiver.
  • the terminal TC could be designed so as to send to the receiver REC an order for selecting an image contained in the database BDI.
  • the receiver REC will be designed so as to send the selected image to the terminal TC in order to perform the overlay.
  • the terminal TC may include an AF display making it possible to display the data and possibly the contextual data, possibly embedded in an image, before transmitting them to the recipient DES, either directly or via the receiver REC.
  • the camera C is focused on the center of a rectangular document D at an angle of incidence i.
  • the image of this document captured by camera C as viewed on a screen E, has undergone projective deformation and therefore has a trapezoidal shape D '.
  • the invention proposes to include in the document D contextual data, here a closed outline in the document to be processed or around the document to be processed.
  • This outline could also consist of the peripheral edge of the document; it thus constitutes a scanning zone viewed by the camera; successive images acquired by the camera are made visible on the display screen.
  • the method comprises a first step of search for the contour (block 1), until the contour found (block 2) is obtained; the contour being detected, the image is saved (block 3) and the acquisition is complete; the process is repeated until N images are obtained, N being fixed in advance (block 4).
  • the method performs a calculation of the projective deformations of the contours (block 5), then the fusion of the information contained in the images (block 6) and finally the generation of the 'final image (block 7).
  • the method comprises the detection of the borders present in the image (block 11), the extraction of the sufficiently long borders (block 12) and the detection of the areas delimited by the borders found whose l the area is sufficient and does not touch the edge of the image (block 13).
  • the method proposes, for each area found in the contour search phase, to calculate the main axis of the area (block 51), then to find a point external to the area on the axis (block 52), then construct the external cone coming from the external point (block 53), then extract the points of the border whose external normal opposes the vector joining it and leaving the external point ( block 54), then to calculate the line carried by the main axis of the extracted points (block 55), then, four lines being found, to calculate the four vertices of the quadrilateral from the four lines (block 56), then, the area of the quadrilateral being close to the area of the area, calculate the homography deforming the quadrilateral into a rectangle of proportion fixed in advance (block 57).
  • the method proposes to calculate the axis deduced by translation of the principal axis of the extracted points, in the direction perpendicular to this one (block 58). If the area of the right quadrilateral is not close to the area of the area not yet considered, the method proposes to perform a calculation of the main axis of the area again (block 51), followed by the operations defined above.
  • the method comprises, for each image to be processed by the correction of projective deformation, the construction of a virtual rectangular image by projection of the content of the contour using the calculated homography (block 61) , the enhancement of the contrast of the virtual image by application of a so-called edge enhancement filter (block 62), then the calculation of the average virtual image, the color intensities of which are the average of the color intensities of the virtual images raised (block 63).
  • the sought-after contour 1 is represented, in FIG. 9, by its four line segments la, lb, le and ld:
  • Points 4 and 5 are two points among the extracted points which define the border of the zone materialized by the line segment la, since the normals outside contour 41 and 51 are opposed to the half-lines joining points 3 and 4 respectively. , 3 and 5.
  • the method for selecting a scanning zone by camera, for correcting projective deformation, for improving resolution and then for binarization comprises:
  • this process allows the presentation, the exploitation, the transmission and the storage of scanned texts and graphics, previously viewed by a camera under any incidence and then processed by correcting the projective deformation and by improving the resolution.
  • the contextual data may include an unclosed contour produced by freehand.
  • the detection of this CO contour may be carried out according to an operating sequence comprising the following steps (FIG. 10):
  • a horizontal line for example the median line of the image of a pixel having with the surrounding pixel (s) a significant level variation (for example determined by the first derivative of the gray levels of l 'image at the level of these pixels),
  • this axis will preferably be a main axis XX '- YY' of the contour and, if necessary, a secondary axis) and, on this axis:
  • PS ' 2 such as for example angles or ends of the contour, using for this purpose for each of the external points PEi, PE2, two line segments (SD SD'i) - (SD 2 , SD' 2 ) from an external point and defining an angle in which the contour is inscribed, and
  • the contour CO has approximately the shape of a lying U.
  • the singular points consist of the two ends PS ' l5 PS' 2 of the contour CO and the two vertices PSi, PS 2 of the angles respectively formed between the core and the two branches of the U.
  • the main axis XX ' is not used due to the fact that it only cuts the outline once. This is the reason why the YY 'axis is used (which overlaps the main axis XX' at the barycenter G).
  • the method according to the invention may include a process for classifying the support of the image (plain paper / grid paper) and eliminating the grid in the case of grid paper.
  • This process consists in determining whether the plots of the low gradient image (variation of the gray levels) constitute a grid extending to at least one border of the image. If this is the case, the method consists in raising the threshold beyond which the gradients are taken into account so as to eliminate the grid.
  • this process implies that the grid lines have a lower contrast (with reference to the paper) than the handwritten content of the image, which is true in the vast majority of cases.
  • This process could include the following steps: - the choice of the smallest significant gradient threshold with regard to noise to detect the contour for example in the manner previously indicated, - if the patterns detected touch a border surrounding the image, the deduction that grid lines are present on the support,
  • the data extraction process may be carried out in a sequence comprising the following steps:
  • V 0 [C, L] ⁇ Red [C, L] + ⁇ Green [C, L] + ⁇ Blue [C, L]
  • step b The iteration of step b a predetermined number of times and then taking into account the final value V Nfina ⁇ -
  • the values of D [C, L] are quantified in a predetermined number of levels (it being understood that a binarization is obtained in the case where the number of levels is equal to 2).
  • the threshold value (Vs) may consist of the grid disappearance gradient threshold value used in the grid removal process described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)
  • Character Input (AREA)

Abstract

Procédé de sélection de zone de numérisation par une caméra (CN), de correction de la déformation projective, d'amélioration de la résolution, puis de binarisation, comprenant les phases opératoires suivantes : la réalisation d'un contour fermé (DC) dans le document à traiter (O) ou autour du document à traiter (O), réalisé manuellement ou imprimé, la présentation du document à traiter (O) devant la caméra (CN) sous une incidence quelconque de manière que le susdit contour soit entièrement visible dans l'image présente sur l'écran de visualisation (AF), l'acquisition de l'image et la recherche de contour dans l'image, le calcul des déformations projectives (bloc CC), l'extraction et la fusion des contenus des images, la génération de l'image finale.

Description

PROCEDE POUR LA SAISIE NUMERIQUE, LE STOCKAGE ET/OU LA TRANSMISSION D'UNE INFORMATION A L'AIDE D'UNE CAMERA EQUIPANT UN TERMINAL DE COMMUNICATION.
La présente invention concerne un procédé pour la saisie numérique d'une information présente sur un support, à l'aide d'une caméra équipant un terminal de communication. Son but est de permettre au terminal de stocker et/ou de transmettre cette information à un destinataire étant entendu que, pour pouvoir être utilisée, cette information doit être extraite et corrigée pour tenir compte notamment de déformations projectives et/ou complétée par incorporation d'un fond et/ou de données textuelles.
Elle s'applique notamment, mais non exclusivement, à la transmission et au stockage de données textuelles et de graphismes numérisés, préalablement visionnés par une caméra sous incidence quelconque puis traités par correction de la déformation projective et éventuellement par amélioration de la résolution.
Un tel processus convient tout particulièrement à la transmission d'informations textuelles et/ou graphiques prises par une caméra équipant un terminal de communication portable tel que, par exemple, un émetteur/récepteur de radio cellulaire.
En effet, pour ce type d'applications, lorsque l'on souhaite transmettre à un destinataire un message écrit tiré d'une photographie, il est fréquemment nécessaire d'effectuer des corrections sans lesquelles le message figurant dans la photographie reçue par le destinataire serait illisible. De même, il s'avère souhaitable de procéder à des inclusions dans l'image transmise, de motifs extérieurs, par exemple des légendes saisies sur le clavier du dispositif, ou même d'effectuer la superposition de l'image prise par la caméra et d'un fond pouvant être sélectionné par exemple dans une bibliothèque accessible par l'appareil.
D'une manière générale, on sait que l'information est devenue aujourd'hui omniprésente et sa maîtrise est capitale ; or cette information est constituée, en grande partie, de données textuelles.
Les connaissances, qu'elles soient techniques, scientifiques, historiques, économiques, juridiques, médicales..., sont en majorité mémorisées et véhiculées par des textes ; celles qui sont publiées récemment sont directement accessibles sous forme électronique ; par contre, la majorité du patrimoine des connaissances n'est encore disponible que sous forme de document papier.
La société est ainsi confrontée à un besoin énorme de retraitement, dit aussi « rétroconversion », pour passer à un format électronique.
La reconnaissance des documents s'apparente à de la reconnaissance d'image ; elle concerne toutes les questions autour du langage écrit et de sa transformation numérique : reconnaissance de caractères, formatage du texte, structuration du contenu et accès à l'information par son indexation.
Il s'agit donc de retrouver une structure existante, de sorte que la reconnaissance soit guidée par un modèle explicite ou implicite de la classe de document étudiée. Le modèle décrit les éléments qui composent le document et leurs relations ; cette description peut être physique par exemple en donnant le format de mise en page. Par ailleurs, on sait que l'interprétation par une personne d'un texte ou d'un graphique, préalablement visionné par une caméra, suppose une prise de vue quasi normale ou perpendiculaire au document supportant le texte ou le graphique et une résolution suffisante pour distinguer les détails.
On peut comprendre aisément que la lecture d'un texte par la personne recevant le message est grandement facilitée sous incidence normale ou quasi normale au plan du document ; quant à l'interprétation d'un graphique, elle nécessite, presque obligatoirement, le respect des formes et des proportions.
Enfin, la reconnaissance de caractères et de documents a considérablement progressé ; les scanners fournissent une résolution suffisante pour les étapes ultérieures de reconnaissance ; celles-ci sont les suivantes :
- acquisition ou numérisation, - redressement,
- quantification,
- binarisation,
- segmentation des pages,
- reconnaissance des caractères, - reconnaissance de la structure logique.
Pour améliorer la qualité de la segmentation et de la reconnaissance automatique de caractères, il est souhaitable que l'image du document soit parfaitement droite et de résolution suffisante ; cela facilite notamment la recherche des colonnes du texte dans le cas où deux colonnes consécutives sont très proches l'une de l'autre et la reconnaissance de caractères si ceux-ci sont de taille particulièrement réduite ; il est donc nécessaire de détecter l'angle de déviation globale de la page et d'améliorer la définition de l'image, notamment, celles issues de caméra de qualité insuffisante permettant de distinguer les détails d'un texte ou d'un graphique pris à une certaine distance et de garantir une résolution minimale pour la reconnaissance des caractères ; plusieurs algorithmes ont été mis au point pour détecter l'angle d'inclinaison du texte ; celui-ci ne peut néanmoins excéder 10 à 20° dans le plan de la scannérisation.
La difficulté devient insurmontable quand le document a été visionné par une caméra sous une incidence quelconque, le document ayant subi une déformation projective : à partir d'une certaine distance de la caméra, on constate la disparition de détails dans l'image qui sont nécessaires à la reconnaissance des caractères et, par conséquent, à la compréhension du document.
L'invention a plus particulièrement pour but de supprimer ces inconvénients et de permettre le stockage et/ou la transmission à un destinataire d'une information corrigée, éventuellement complétée par incorporation d'un fond et/ou de données textuelles.
Bien entendu, pour parvenir à ce résultat, l'invention propose une solution tenant compte des contraintes dues à la taille d'un terminal de communication classique, de ses ressources tant matérielles que logicielles et des débits de transmission.
En conséquence, le procédé selon l'invention comprend les étapes suivantes :
- la prise d'au moins une image par la caméra,
- l'extraction au moins partielle de données contextuelles identifiables incluses dans ladite image grâce à des moyens de traitement intégrés audit terminal,
- l'extraction de données brutes relatives à ladite information par lesdits moyens de traitement,
- le stockage dans une mémoire dudit terminal et/ou la transmission, à destination d'un récepteur, des données brutes, - la correction des données brutes par des moyens de traitement dudit terminal et/ou dudit récepteur à l'aide des données contextuelles,
- la transmission des données corrigées au destinataire par ledit terminal ou par ledit récepteur.
Avantageusement :
- ce procédé pourra comprendre la prise de plusieurs images et la fusion ou la sélection des données extraites, avant ou après correction,
- les données contextuelles et les données brutes pourront être transmises au susdit récepteur, lequel pourra effectuer les susdites corrections et transmettre les données corrigées au destinataire, à la demande du susdit terminal,
- la correction pourra être effectuée par les moyens de traitement du terminal tandis que les données corrigées pourront être transmises directement au destinataire par le terminal ou indirectement par l'intermédiaire du récepteur,
- les données contextuelles pourront être transmises au récepteur, lequel pourra effectuer un traitement de ces données et transmettre au terminal des consignes de contrôle permettant aux moyens de traitement du terminal d'effectuer la correction des données brutes,
- les données contextuelles et les données brutes relatives à ladite information pourront être transmises au récepteur, lequel pourra effectuer la susdite correction et transmettre les données corrigées au destinataire ainsi que des consignes de contrôle permettant aux moyens de traitement du terminal d'effectuer eux-mêmes la correction des données brutes,
- le susdit terminal pourra comprendre des moyens d'accès à une banque d'images ainsi que des moyens permettant d'effectuer une incrustation des données corrigées dans au moins une image sélectionnée.
Par ailleurs, l'étape de correction prévue dans le procédé selon l'invention, pourra comprendre les phases opératoires suivantes : - la réalisation d'un contour dans le document à traiter ou autour du document à traiter, soit à l'aide d'un tracé (par exemple : quadrilatère rectangle) réalisé manuellement ou imprimé, soit à l'aide d'un cadre de matériau quelconque évidé, - la présentation du document à traiter devant la caméra sous une incidence quelconque de manière que le susdit contour soit entièrement visible dans l'image présente sur l'écran de visualisation,
- la recherche de contour dans l'image,
- le calcul des déformations projectives, l'extraction et la fusion des contenus des images,
- la génération de l'image finale.
Avantageusement, ce procédé permet de :
- faciliter l'interprétation du document reçu par la personne concernée, - reconstituer la structure du document à partir de la description physique de celui-ci,
- effectuer la reconnaissance de caractères à partir de logiciels connus de l'état de l'art,
- transférer le document par l'intermédiaire d'un réseau de communication, tel que Internet, d'un réseau cellulaire tel que GSM, GPRS ou UMTS,
- stocker le document sur un support approprié connu de l'état de l'art,
- réduire la taille de l'information numérisée de manière à diminuer la mémoire nécessaire au stockage et à augmenter la vitesse de transmission de cette information.
Dans ce cas, le procédé, selon l'invention, pourra faire intervenir :
- une unité centrale rassemblant des moyens de traitement et de mémorisation,
- une caméra reliée à l'unité centrale, de préférence fixée ou intégrée à celle- ci,
- un écran permettant de visualiser l'image prise par la caméra, - des moyens de transmission et de stockage des informations numérisées.
Ainsi, la rétroconversion du document, c'est-à-dire son passage sous format électronique, sera rendue possible, permettant de ce fait son exploitation, sa transmission et son stockage.
Des modes d'exécution de l'invention seront décrits ci-après, à titre d'exemples non limitatifs, avec référence aux dessins annexés, dans lesquels :
La figure 1 est une représentation schématique d'un système permettant l'extraction et la correction d'une information contenue dans une image prise par un terminal de communication équipé d'une caméra ;
La figure 2 est une représentation schématique permettant d'illustrer les problèmes que pose la prise de vue d'un document sous incidence quelconque ;
La figure 3 représente un organigramme concernant l'acquisition de l'image et la recherche du contour dans l'image ;
La figure 4 représente un organigramme concernant l'extraction, la fusion des contenus des images et la génération de l'image finale ;
La figure 5 représente un organigramme détaillé concernant la recherche de contour dans l'image ;
La figure 6 représente un organigramme détaillé concernant la sélection du contour et le calcul de la déformation projective du contour trouvé dans l'image ;
La figure 7 représente un organigramme détaillé concernant la fusion des informations contenues dans le contour trouvé et le rehaussement des contrastes des images ;
La figure 8 représente un organigramme détaillé concernant l'obtention de l'image finale ; La figure 9 est une représentation schématique illustrant un mode de sélection du contour sous forme graphique ;
La figure 10 est une représentation schématique illustrant un autre mode de sélection du contour.
Dans l'exemple représenté sur la figure 1, le système pour la mise en œuvre du procédé selon l'invention fait intervenir un terminal de communication TC, comportant un transmetteur TR tel que, par exemple, un téléphone portable GSM comprenant de façon classique un émetteur Ei et un récepteur Ri. Ce terminal TC est équipé d'une caméra numérique CN permettant d'effectuer des prises de vue d'un support O comprenant des données textuelles DT et des données contextuelles DC.
Conformément à l'invention, les données numériques délivrées par la caméra CN, pour chacune des images du support O, sont transmises à un circuit de traitement comprenant un dispositif d'extraction de données contextuelles EC (pouvant consister en un contour inscrit dans le support O, par exemple un document que l'on souhaite traiter) et un dispositif d'extraction des données textuelles brutes EDTB relatives à l'information contenue dans l'image. Ce dispositif d'extraction EDTB est conçu de manière à pouvoir utiliser éventuellement les données contextuelles extraites par le dispositif d'extraction EC.
Le dispositif d'extraction EDTB est relié à un circuit correcteur CC qui est conçu de manière à corriger au moins partiellement les données brutes délivrées par le dispositif d'extraction EDTB à partir des données contextuelles délivrées par le dispositif d'extraction EC.
Les données corrigées par le circuit correcteur CC sont transmises à l'émetteur Ε du transmetteur TR en vue d'être retransmises à un destinataire DES, soit directement, soit par l'intermédiaire d'un dispositif de réception REC situé à distance du transmetteur TR.
Le dispositif de réception REC est équipé d'un circuit de traitement TRC permettant de corriger les données brutes éventuellement partiellement corrigées par le circuit correcteur CC du terminal de communication TC. Cette correction est effectuée grâce aux données contextuelles extraites par le dispositif d'extraction EC et transmises au dispositif de réception REC par le terminal TC. De même, ce dispositif de réception REC pourra être équipé d'un système de reconnaissance automatique d'écriture de manière à pouvoir réutiliser l'information dans un éditeur de texte.
En alternative, le dispositif de réception REC pourra être conçu de manière à élaborer des consignes ou des algorithmes de traitement, à partir des données contextuelles transmises par le terminal TC et pour transmettre ces consignes ou ces algorithmes au circuit correcteur CC, via un émetteur E2 et le récepteur Ri, de manière à permettre au terminal TC d'effectuer la correction des données brutes à l'aide d'un circuit correcteur CC simplifié (les traitements lourds qui nécessitent des ressources importantes étant réalisés par le circuit de traitement TRC du dispositif de réception REC).
Les données corrigées par le circuit correcteur CC ou par le circuit de traitement TRC pourront être transmises à un circuit d'incrustation CI situé en amont du transmetteur TR qui permet d'incorporer et éventuellement de fusionner ces données corrigées dans ou moins une image sélectionnée par un circuit de sélection SEL. Inversement, le circuit d'incrustation pourra comprendre des moyens permettant d'incorporer à ladite image sélectionnée d'autres informations telles que, par exemple, des informations textuelles et/ou graphiques. Cette image peut par exemple consister en un fond monochrome. Elle peut être sélectionnée parmi une pluralité d'images stockées ou éventuellement téléchargées dans le terminal TC, voire même prises par la caméra.
Avantageusement, ces images pourront provenir d'une banque de données d'images BDI équipant le récepteur REC.
Dans ce cas, le terminal TC pourra être conçu de manière à adresser au récepteur REC un ordre de sélection d'une image contenue dans la banque de données BDI. De même, le récepteur REC sera conçu de manière à adresser au terminal TC l'image sélectionnée en vue d'effectuer l'incrustation.
Bien entendu, le terminal TC pourra comprendre un afficheur AF permettant de visualiser les données et éventuellement les domiées contextuelles, éventuellement incrustées dans une image, avant de les transmettre au destinataire DES, soit directement, soit par l'intermédiaire du récepteur REC.
Dans l'exemple représenté sur la figure 2, la caméra C est axée sur le centre d'un document rectangulaire D selon un angle d'incidence i. L'image de ce document, saisie par la caméra C telle que visualisée sur un écran E, a subi une déformation projective et présente donc une forme trapézoïdale D'.
Pour supprimer cet inconvénient, l'invention propose d'inclure préalablement dans le document D des données contextuelles, ici un contour fermé dans le document à traiter ou autour du document à traiter. Ce contour pourrait également consister en le bord périphérique du document ; il constitue ainsi une zone de numérisation visionnée par la caméra ; les images successives acquises par la caméra, sont rendues visibles sur l'écran de visualisation.
Conformément à l'organigramme de la figure 3, pour chacune des prises de vue demandées par l'utilisateur, le procédé comprend une première étape de recherche du contour (bloc 1), jusqu'à l'obtention du contour trouvé (bloc 2) ; le contour étant détecté, l'image est sauvegardée (bloc 3) et l'acquisition est terminée ; le processus se répète jusqu'à l'obtention de N images, N étant fixé à l'avance (bloc 4).
Conformément à l'organigramme de la figure 4, à partir des images sauvegardées, le procédé effectue un calcul des déformations projectives des contours (bloc 5), puis la fusion des informations contenues dans les images (bloc 6) et enfin la génération de l'image finale (bloc 7).
Conformément à l'organigramme de la figure 5, le procédé comprend la détection des frontières présentes dans l'image (bloc 11), l'extraction des frontières suffisamment longues (bloc 12) et la détection des zones délimitées par les frontières trouvées dont l'aire est suffisante et ne touchant pas le bord de l'image (bloc 13).
Conformément à l'organigramme de la figure 6, le procédé propose, pour chaque zone trouvée dans la phase de recherche de contour, de calculer l'axe principal de la zone (bloc 51), puis de trouver un point externe à la zone sur l'axe (bloc 52), puis de construire le cône externe issu du point externe (bloc 53), puis d'extraire les points de la f ontière dont la normale extérieure s'oppose au vecteur le joignant et partant du point externe (bloc 54), puis de calculer la droite portée par l'axe principal des points extraits (bloc 55), puis, quatre droites étant trouvées, de calculer les quatre sommets du quadrilatère issu des quatre droites (bloc 56), puis, l'aire du quadrilatère étant proche de l'aire de la zone, de calculer l'homographie déformant le quadrilatère en rectangle de proportion fixée à l'avance (bloc 57).
Si quatre droites ne sont pas trouvées, le procédé propose de calculer l'axe déduit par translation de l'axe principal des points extraits, dans la direction perpendiculaire à celui-ci (bloc 58). Si l'aire du quadrilatère rectangle n'est pas proche de l'aire de la zone non encore considérée, le procédé propose d'effectuer à nouveau un calcul de l'axe principal de la zone (bloc 51), suivi des opérations définies ci-dessus.
Conformément à l'organigramme de la figure 7, le procédé comprend, pour chaque image à traiter par la correction de déformation projective, la construction d'une image virtuelle rectangulaire par projection du contenu du contour en utilisant l'homographie calculée (bloc 61), le rehaussement du contraste de l'image virtuelle par application d'un filtre dit de rehaussement des bords (bloc 62), puis le calcul de l'image virtuelle moyenne dont les intensités de couleur sont les moyennes des intensités de couleur des images virtuelles rehaussées (bloc 63).
Conformément à l'organigramme de la figure 8, le procédé propose, pour chaque pixel de l'image virtuelle moyenne, de calculer la moyenne des intensités de couleur, suivant la formule M = (R+V+B)/3 (bloc 71). Si le terme M est inférieur à un seuil prédéterminé, le pixel de l'image finale est considéré comme noir (bloc 72) ; a contrario, si le terme M est supérieur à ce même seuil, le pixel de l'image finale est considéré comme blanc (bloc 73).
Le contour recherché 1 est représenté, sur la figure 9, par ses quatre segments de droite la, lb, le et ld :
- soit la droite 2, l'axe principal de la zone délimitée par le contour 1, passant par le barycentre G,
- soit le point 3, situé à l'extérieur de la zone sur l'axe 2,
- soit les demi-droites 31 et 32, issues du point 3, formant le cône externe au segment de droite la du contour 1,
- soit les points 4 et 5, situés sur le segment la, - soit les normales extérieures au contour 41 et 51, les demi-droites perpendiculaires au segment de droite la, au niveau des points 4 et 5. Les points 4 et 5 sont deux points parmi les points extraits qui définissent la frontière de la zone matérialisée par le segment de droite la, puisque les normales extérieures au contour 41 et 51 s'opposent aux demi-droites rejoignant respectivement les points 3 et 4, 3 et 5.
La recherche des autres segments de droite lb, le et ld est effectuée selon le même procédé à partir de la droite 6, déduite par translation du segment de droite la, en s'éloignant de celui-ci par rapport au point 3, et du point 7, situé sur la droite 6, à l'extérieur de la zone délimitée par le contour 1, et des demi- droites 71 et 72 formant le cône externe au segment de droite lb.
Dans cet exemple, le procédé de sélection de zone de numérisation par caméra, de correction de la déformation projective, d'amélioration de la résolution puis de binarisation comprend :
- la réalisation d'un contour fermé dans le document à traiter ou autour du document à traiter, soit à l'aide d'un tracé (par exemple : quadrilatère rectangle) réalisé manuellement ou imprimé, soit à l'aide d'un cadre de matériau quelconque évidé, - la présentation du document à traiter devant la caméra sous une incidence quelconque de manière que le susdit contour et le susdit document soient entièrement visibles dans l'image présente sur l'écran de visualisation,
- la détection des frontières présentes dans l'image,
- l'extraction des frontières suffisamment longues, - la détection des zones délimitées par les frontières trouvées dont l'aire est suffisante et ne touchant pas le bord de l'image,
- la recherche de nouvelles frontières et la poursuite du processus si le contour n'est pas trouvé, jusqu'à l'obtention d'un contour permettant la sauvegarde et l'acquisition de l'image, - la sauvegarde et l'acquisition de l'image si un contour est trouvé, - le calcul des déformations projectives des contours consistant à calculer l'axe principal de la zone, puis à trouver un point externe à la zone sur l'axe, puis à construire le cône externe issu du point externe, puis à extraire les points de la frontière dont la normale extérieure s'oppose au vecteur le joignant et partant du point externe, puis à calculer la droite portée par l'axe principal des points extraits, puis, quatre droites étant trouvées, à calculer les quatre sommets du quadrilatère issu des quatre droites, puis, l'aire du quadrilatère rectangle étant proche de l'aire de la zone non encore considérée, à calculer l'homographie déformant le quadrilatère en rectangle de proportion fixée à l' avance,
- le calcul de l'axe déduit par translation de l'axe principal des points extraits, dans la direction perpendiculaire à celui-ci, si quatre droites ne sont pas trouvées,
- le calcul à nouveau de l'axe principal d'une zone non encore considérée, suivi des opérations précédentes, si l'aire de quadrilatère rectangle n'est pas proche de l'aire de la zone,
- la construction pour chaque image d'une image virtuelle rectangulaire par projection du contenu du contour en utilisant l'homographie calculée,
- l'amélioration du contraste de l'image virtuelle par application d'un filtre dit de rehaussement des bords, le calcul de l'image virtuelle moyenne dont les intensités de couleur sont des moyennes des intensités de couleur des images virtuelles rehaussées,
- le calcul de l'image virtuelle moyenne dont les intensités de couleur sont les moyennes des intensités de couleur des images virtuelles rehaussées, - le calcul, pour chaque pixel de l'image virtuelle moyenne, de la moyenne M des intensités de couleur,
- la désignation comme pixel noir, tout pixel dont le terme M est inférieur à un seuil prédéterminé,
- la désignation comme pixel blanc, tout pixel dont le terme M est supérieur à un seuil prédéterminé. Ainsi, ce procédé permet la présentation, l'exploitation, la transmission et le stockage de textes et de graphiques numérisés, préalablement visionnés par une caméra sous incidence quelconque puis traités par correction de la déformation projective et par amélioration de la résolution.
Bien entendu, l'invention ne se limite pas au mode d'exécution précédemment décrit.
Ainsi notamment, les données contextuelles pourront comprendre un contour non fermé réalisé à main levée. Dans ce cas, la détection de ce contour CO pourra s'effectuer selon une séquence opératoire comprenant les étapes suivantes (figure 10) :
- la recherche le long d'une ligne horizontale, par exemple la ligne médiane de l'image d'un pixel présentant avec le ou les pixels environnants une variation de niveau significative (par exemple déterminée par la dérivée première des niveaux de gris de l'image au niveau de ces pixels),
- dans le cas où aucun pixel n'est trouvé à l'étape précédente sur la ligne horizontale, une recherche similaire le long d'au moins une ligne verticale (par exemple la ligne médiane), - le suivi de la courbe supposée formée par les pixels à variation de niveau significative, en testant itérativement les pixels voisins non encore explorés,
- le calcul du barycentre G et des principaux axes XX' - YY' du contour précédemment déterminé,
- un test pour déterminer si les points du contour ont un rapport de dispersion raisonnable entre les deux principales directions,
- le choix d'un axe du contour (cet axe sera de préférence un axe principal XX' - YY' du contour et, si nécessaire, un axe secondaire) et, sur cet axe :
. la détermination, de part et d'autre du contour CO de points externes PEi et PE2, situés à l'extérieur du contour CO à une distance de quelques pixels et, pour chaque point externe, . la détermination de deux couples de points singuliers (PSi, PS'i) - (PS2,
PS'2), tels que par exemple des angles ou des extrémités du contour, en utilisant à cet effet pour chacun des points externes PEi, PE2, deux segments de droite (SD SD'i) - (SD2, SD'2) issus d'un point externe et définissant un angle dans lequel le contour se trouve inscrit, et
- le calcul des paramètres de transformation projective en utilisant la forme géométrique définie par les points singuliers (PSi, PS'i) - (PS2, PS'2).
Dans l'exemple de la figure 10, le contour CO présente approximativement la forme d'un U couché. Dans ce cas, les points singuliers consistent en les deux extrémités PS'l5 PS'2 du contour CO et les deux sommets PSi, PS2 des angles respectivement formés entre l'âme et les deux branches du U. L'axe principal XX' n'est pas utilisé en raison du fait qu'il ne coupe le contour qu'une seule fois. C'est la raison pour laquelle on utilise l'axe YY' (qui recoupe l'axe principal XX' au niveau du barycentre G).
Par ailleurs, le procédé selon l'invention pourra comprendre un processus de classification du support de l'image (papier uni/papier quadrillé) et d'élimination du quadrillage dans le cas d'un papier quadrillé.
Ce processus consiste à déterminer si les tracés de l'image à bas gradient (variation des niveaux de gris) constituent un quadrillage s'étendant jusqu'à au moins une frontière de l'image. Si tel est le cas, le procédé consiste à élever le seuil au-delà duquel les gradients sont pris en compte de manière à éliminer le quadrillage. Bien entendu, ce processus implique que les lignes du quadrillage présentent un contraste (en référence au papier) plus faible que le contenu manuscrit de l'image, ce qui est vrai dans la très grande majorité des cas.
Ce processus pourra comprendre les étapes suivantes : - le choix du plus petit seuil de gradient significatif au regard du bruit pour détecter le contour par exemple de la façon précédemment indiquée, - si les motifs détectés touchent une frontière entourant l'image, la déduction que des lignes de quadrillage sont présentes sur le support,
- si les lignes de quadrillage sont présentes, l'incrémentation du seuil de gradient puis l'exécution à nouveau de la deuxième étape avec le nouveau seuil, ce processus étant répété jusqu'à ce que le contour trouvé ne touche plus le bord,
- l'usage du dernier seuil de gradient (gradient de disparition des lignes de quadrillage) pour extraire les données contenues dans l'image (par exemple selon un processus d'extraction classique) sans prendre en considération les lignes de quadrillage.
De même, le processus d'extraction des données pourra s'effectuer selon une séquence comprenant les étapes suivantes :
a) La détermination, pour chaque point de l'image, d'une valeur Vo [C, L] consistant en une combinaison des composantes de la couleur de l'image pour le point repéré par la colonne C et la ligne L de l'image, cette valeur No [C, L] ayant pour expression :
V0 [C, L] = αRouge [C, L] + βVert [C, L] + γBleu [C, L]
Formule dans laquelle α, β, γ sont des coefficients pouvant répondre, par exemple, aux relations suivantes :
α + β + γ = 1 et α, β, γ > 0
b) Le calcul, pour chaque point de l'image, d'une valeur NΝ + i [C, L] de la manière suivante (selon qu'il s'agit d'une information sombre sur un fond claire ou le contraire) :
VN[C+1,L+1] + VN[C-1,L-1]
VN[C + 1,L-1] + VN[C-1,L+1]
VN[C,L+1] + VN[C,L-1]
c) L'itération de l'étape b un nombre prédéterminé de fois puis la prise en compte de la valeur finale VNfinaι-
d) Le calcul, pour chaque point de l'image, de la différence D [C, L]
D [C, L] = VN fmaι [C, L] - V0 [C, L] (ou V0 [C, L] - VN flnaι [C, L])
e) la comparaison, pour chaque point de l'image, de la valeur D [C, L] avec une valeur de seuil Vs de manière à déterminer les valeurs à extraire de la façon suivante : si D [C, L] < Vs alors D [C, L] = 0 si D [C, L] ≥Vs on conserve la valeur D [C, L] ou on la remplace par D [C, L] - Vs
f) on quantifie les valeurs de D [C, L] dans un nombre prédéterminé de niveaux (étant entendu que l'on obtient une binarisation dans le cas où le nombre de niveaux est égal à 2). Eventuellement, la valeur de seuil (Vs) pourra consister en la valeur de seuil de gradient de disparition du quadrillage utilisé dans le processus d'élimination du quadrillage précédemment décrit.

Claims

REVENDICATIONS
1. Procédé pour la saisie numérique d'une information présente sur un support (O) par une caméra (CN) équipant un terminal de communication (TC), ainsi que pour le stockage et/ou la transmission par ce terminal (TC), à un destinataire (DES), de ladite information, caractérisé en ce qu'il comprend les étapes suivantes :
- la prise d'au moins une image du support (O) par la caméra (CN),
- l'extraction au moins partielle de données contextuelles (DC) identifiables incluses dans ladite image grâce à des moyens de traitement (EC, EDTB) intégrés audit terminal (TC),
- l'extraction de données brutes relatives à ladite information par lesdits moyens de traitement (EC, EDTB) à l'aide des données contextuelles,
- le stockage dans une mémoire dudit terminal (TC) et/ou la transmission à destination d'un récepteur (REC), de l'information extraite,
- la correction des données brutes par des moyens de traitement (CC-TRC) dudit terminal (TR) et/ou dudit récepteur (REC) à l'aide des données contextuelles,
- la transmission des données corrigées au destinataire (DES) par ledit terminal (TC) ou par ledit récepteur (REC).
2. Procédé selon la revendication 1, caractérisé en ce qu'il comprend la prise de plusieurs images et la fusion ou la sélection des susdites données avant ou après correction.
3. Procédé selon la revendication 1, caractérisé en ce que les données contextuelles et les susdites données brutes sont transmises au susdit récepteur (REC), lequel effectue les susdites corrections et transmet les données corrigées au destinataire à la demande du susdit terminal (TC).
4. Procédé selon la revendication 1, caractérisé en ce que la susdite correction est effectuée par les moyens de traitement du terminal (TC), et en ce que les données corrigées sont transmises directement au destinataire (DES) par le terminal (TC) ou indirectement par l'intermédiaire du récepteur (REC).
5. Procédé selon la revendication 1, caractérisé en ce que les données contextuelles sont transmises au récepteur (REC), lequel effectue un traitement de ces données et transmet au terminal des consignes de contrôle permettant aux moyens de traitement du terminal (TC) d'effectuer la correction des données brutes.
6. Procédé selon la revendication 1, caractérisé en ce que les données contextuelles et les données brutes relatives à ladite information sont transmises au récepteur (REC), lequel effectue la susdite correction ou transmet les données corrigées et/ou interprétées au destinataire (DES) ainsi qu'éventuellement les consignes de contrôle permettant aux moyens de traitement du terminal (TC) d'effectuer la correction des données brutes.
7. Procédé selon la revendication 1, caractérisé en ce que le susdit terminal (TC) comprend des moyens permettant d'effectuer l'incrustation et/ou la fusion des données corrigées dans au moins une image sélectionnée pouvant consister en un fond monochrome.
8. Procédé selon la revendication 7, caractérisé en ce que la susdite image est sélectionnée dans une banque d'images (BDI) ou est prise par la caméra (CN) du terminal (TC).
9. Procédé selon la revendication 8, caractérisé en ce que la banque d'images (BDI) est directement accessible par le terminal (TC) ou indirectement par l'intermédiaire du récepteur (REC).
10. Procédé selon l'une des revendications précédentes, caractérisé en ce que la susdite correction porte sur la géométrie, le contraste et/ou la couleur.
11. Procédé selon l'une des revendications précédentes, caractérisé en ce que les données corrigées sont transmises au récepteur (REC) et/ou au destinataire (DES) sous forme vectorielle.
12. Procédé selon l'une des revendications précédentes, caractérisé en ce que le susdit terminal (TC) comprend des moyens permettant la restitution des couleurs contenues dans l'image et/ou le fond et/ou la sélection des couleurs utilisables dans le processus de correction.
13. Procédé selon l'une des revendications précédentes, caractérisé en ce que les susdites données contextuelles sont matérialisées par un contour fermé ou ouvert, tracé éventuellement à la main sur le support, et en ce que la susdite étape d'extraction des données contextuelles comprend la recherche du contour dans l'image et le calcul des déformations projectives du contour.
14. Procédé selon la revendication 13, caractérisé en ce que la recherche de contour dans l'image comprend :
- la détection des frontières présentes dans l'image (bloc 11),
- l'extraction des frontières suffisamment longues (bloc 12), - la détection des zones délimitées par les frontières trouvées dont l'aire est suffisante et ne touchant pas le bord de l'image (bloc 13), - la recherche de nouvelles frontières et la poursuite du processus si le contour n'est pas trouvé, jusqu'à l'obtention d'un contour.
15. Procédé selon la revendication 13, caractérisé en ce que l'extraction de l'image et la génération de l'image finale comprend :
- le calcul des déformations projectives des contours consistant à calculer l'axe principal de la zone (bloc 51), puis à trouver un point externe à la zone sur l'axe (bloc 52), puis à construire le cône externe issu du point externe (bloc 53), puis à extraire les points de la frontière dont la normale extérieure s'oppose au vecteur le joignant et partant du point externe (bloc 54), puis à calculer la droite portée par l'axe principal des points extraits (bloc 55), puis, quatre droites étant trouvées, à calculer les quatre sommets du quadrilatère issu des quatre droites (bloc 56), puis, l'aire du quadrilatère rectangle étant proche de l'aire de la zone non encore considérée, à calculer l'homographie déformant le quadrilatère en rectangle de proportion fixée à l'avance (bloc 57),
- le calcul de l'axe déduit par translation de l'axe principal des points extraits, dans la direction perpendiculaire à celui-ci, si quatre droites ne sont pas trouvées,
- le calcul à nouveau de l'axe principal d'une zone non encore considérée (bloc 58), suivi des opérations précédentes, si l'aire de quadrilatère rectangle n'est pas proche de l'aire de la zone,
- la construction pour chaque image d'une image virtuelle rectangulaire par projection du contenu du contour en utilisant l'homographie calculée (bloc
61), et
- l'amélioration éventuelle du contraste de l'image virtuelle par application d'un filtre dit de rehaussement des bords (bloc 62).
16. Procédé selon la revendication 15, caractérisé en ce qu'il comprend une phase de binarisation comportant les étapes suivantes :
- le calcul de l'image virtuelle moyenne dont les intensités de couleur sont les moyennes des intensités de couleur des images virtuelles rehaussées (bloc
63),
- le calcul, pour chaque pixel de l'image virtuelle moyenne, de la moyenne M des intensités de couleur (bloc 71),
- la désignation comme pixel noir, tout pixel dont le terme M est inférieur à un seuil prédéterminé (bloc 72),
- la désignation comme pixel blanc, tout pixel dont le terme M est supérieur à un seuil prédéterminé (bloc 73).
17. Procédé selon la revendication 1, caractérisé en ce que les données contextuelles sont matérialisées par un contour fermé ou non fermé inclus dans l'image et en ce que la détection de ce contour en vue d'extraire les données contextuelles s'effectue conformément à la séquence suivante :
- la recherche le long d'une première droite d'un pixel présentant avec les pixels environnant une variation de niveau significative,
- la recherche selon une autre droite dans le cas où aucun pixel n'a été trouvé dans l'étape précédente,
- le suivi de la courbe supposée par les pixels à variation de niveau significative, en testant itérativement les pixels voisins non encore explorés, - le calcul du barycentre (G) et des principaux axes du contour précédemment déterminé,
- le choix d'un axe du contour et sur cet axe :
. la détermination, de part et d'autre du contour (CO), de points externes (PEi, PE2) situés à l'extérieur du contour (CO), à une distance de quelques pixels et, pour chaque point externe,
. la détermination de deux couples de points singuliers (PSl5 PS'i - PS2,
PS'2), en utilisant à cet effet, pour chacun des points externes (PEi, PE2), deux segments de droite (SDi, SD'i - SD2, SD'2) issus d'un point externe et définissant un angle dans lequel le contour se trouve inscrit, et - le calcul des paramètres de transformation projective en utilisant la forme géométrique définie par les points singuliers (PSi, PS'i - PS2, PS'2).
18. Procédé selon la revendication 1, caractérisé en ce qu'il comprend la classification du support de l'image et l'élimination d'un quadrillage éventuellement présent sur le support, cette classification comportant les étapes suivantes :
- le choix du plus petit seuil de gradient significatif au regard du bruit pour détecter le contour par exemple de la façon précédemment indiquée,
- si les motifs détectés touchent une frontière entourant l'image, la déduction que des lignes de quadrillage sont présentes sur le support,
- si les lignes de quadrillage sont présentes, l'incrémentation du seuil de gradient puis l'exécution à nouveau de la deuxième étape avec le nouveau seuil, ce processus étant répété jusqu'à ce que le contour trouvé ne touche plus le bord, - l'usage du dernier seuil de gradient (gradient de disparition des lignes de quadrillage) pour extraire les données contenues dans l'image.
19. Procédé selon la revendication 1, caractérisé en ce que l'extraction des susdites données comprend les phases opératoires suivantes : a) la détermination, pour chaque point de l'image, d'une valeur V0 [C,L] par combinaison des composantes de couleur de l'image pour le point repéré à l'intersection d'une colonne (C) et d'une ligne (L) de l'image, b) le calcul, pour chaque point de l'image, d'une valeur VN + i [C,L] par la sélection de la valeur maximale ou minimale entre VN [C,L] et les valeurs moyennes des couples de points opposés par rapport à celui situé à l'intersection de la colonne (C) et de la ligne (L), c) l'itération de l'étape b un nombre prédéterminé de fois, puis la prise en compte d'une valeur finale (VNFmai) d) le calcul, pour chaque point de l'image, de la différence D [C, L]
D [C, L] = VNfmal [C, L] - V0 [C, L] ou V0 [C, L] - VNfmal [C, L] e) la comparaison, pour chaque point de l'image, de la valeur D [C, L] avec une valeur de seuil (Vs), en vue de déterminer la valeur à extraire, et la quantification des valeurs extraites dans un nombre prédéterminé de niveaux.
20. Procédé selon les revendications 18 et 19, caractérisé en ce que la valeur de seuil (Vs) consiste en la valeur de seuil de gradient de disparition du quadrillage.
EP03755214A 2002-05-27 2003-05-27 Procede pour la saisie numerique, le stockage et/ou la transmission d'une information a l aide d une camera equipant un terminal de communication Withdrawn EP1581906A2 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0206579A FR2840093B1 (fr) 2002-05-27 2002-05-27 Procede de numerisation par camera avec correction de la deformation et amelioration de la resolution
FR0206579 2002-05-27
PCT/FR2003/001606 WO2003100713A2 (fr) 2002-05-27 2003-05-27 Procede pour la transmission d'une information a l'aide d'une camera

Publications (1)

Publication Number Publication Date
EP1581906A2 true EP1581906A2 (fr) 2005-10-05

Family

ID=29415144

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03755214A Withdrawn EP1581906A2 (fr) 2002-05-27 2003-05-27 Procede pour la saisie numerique, le stockage et/ou la transmission d'une information a l aide d une camera equipant un terminal de communication

Country Status (7)

Country Link
US (1) US20060164517A1 (fr)
EP (1) EP1581906A2 (fr)
JP (1) JP2006514344A (fr)
CN (1) CN101103620A (fr)
AU (1) AU2003254539A1 (fr)
FR (1) FR2840093B1 (fr)
WO (1) WO2003100713A2 (fr)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2868185B1 (fr) * 2004-03-23 2006-06-30 Realeyes3D Sa Procede d'extraction de donnees brutes d'une image resultant d'une prise de vue
JP2005341147A (ja) * 2004-05-26 2005-12-08 Sharp Corp 画像撮像装置
JP4681856B2 (ja) 2004-11-24 2011-05-11 アイシン精機株式会社 カメラの校正方法及びカメラの校正装置
US20060164682A1 (en) * 2005-01-25 2006-07-27 Dspv, Ltd. System and method of improving the legibility and applicability of document pictures using form based image enhancement
US7636467B2 (en) 2005-07-29 2009-12-22 Nokia Corporation Binarization of an image
DE102007021518B4 (de) * 2007-05-04 2009-01-29 Technische Universität Berlin Verfahren zum Verarbeiten eines Videodatensatzes
JPWO2010116457A1 (ja) * 2009-03-30 2012-10-11 Ｎｅｃディスプレイソリューションズ株式会社 映像表示装置および映像処理方法
CN114143553A (zh) * 2010-04-13 2022-03-04 Ge视频压缩有限责任公司 显著性图和变换系数块的编码
US8781152B2 (en) * 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device
JP5796747B2 (ja) * 2012-06-22 2015-10-21 カシオ計算機株式会社 情報処理装置及びプログラム
EP2981932B1 (fr) * 2013-04-02 2018-11-14 3M Innovative Properties Company Systèmes et procédés de reconnaissance de notes
JP5974140B1 (ja) * 2015-06-12 2016-08-23 株式会社タカラトミー 画像処理装置、画像処理方法及びプログラム
US10438400B2 (en) * 2016-03-08 2019-10-08 Nvidia Corporation Perceptually-based foveated rendering using a contrast-enhancing filter
US10499026B1 (en) * 2016-06-27 2019-12-03 Amazon Technologies, Inc. Automation correction of projection distortion
CN109615695B (zh) * 2018-11-13 2023-02-17 远景能源（南京）软件技术有限公司 房屋外部的空间照片到屋顶cad图纸的自动化转换方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4776464A (en) * 1985-06-17 1988-10-11 Bae Automated Systems, Inc. Automated article handling system and process
US5857029A (en) * 1995-06-05 1999-01-05 United Parcel Service Of America, Inc. Method and apparatus for non-contact signature imaging
US5764383A (en) * 1996-05-30 1998-06-09 Xerox Corporation Platenless book scanner with line buffering to compensate for image skew
DE59708043D1 (de) * 1996-06-17 2002-10-02 Siemens Ag Kommunikationssystem und Verfahren zur Aufnahme und Verwaltung digitaler Bilder
US6836695B1 (en) * 1998-08-17 2004-12-28 Soft Sight Inc. Automatically generating embroidery designs from a scanned image
US6608650B1 (en) * 1998-12-01 2003-08-19 Flashpoint Technology, Inc. Interactive assistant process for aiding a user in camera setup and operation
US6563948B2 (en) * 1999-04-29 2003-05-13 Intel Corporation Using an electronic camera to build a file containing text
JP5108172B2 (ja) * 2000-09-06 2012-12-26 株式会社ニコン 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
JP2002132663A (ja) * 2000-10-20 2002-05-10 Nec Corp 情報通信システムとその通信方法、及び通信プログラムを記録した記録媒体
US20020131636A1 (en) * 2001-03-19 2002-09-19 Darwin Hou Palm office assistants
US20050146621A1 (en) * 2001-09-10 2005-07-07 Nikon Technologies, Inc. Digital camera system, image storage apparatus, and digital camera
US6941016B1 (en) * 2001-12-31 2005-09-06 Cognex Technology And Investment Method for finding contours in an image of an object

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO03100713A2 *

Also Published As

Publication number Publication date
WO2003100713A2 (fr) 2003-12-04
US20060164517A1 (en) 2006-07-27
AU2003254539A1 (en) 2003-12-12
CN101103620A (zh) 2008-01-09
FR2840093B1 (fr) 2006-02-10
JP2006514344A (ja) 2006-04-27
WO2003100713A3 (fr) 2005-12-29
AU2003254539A8 (en) 2003-12-12
FR2840093A1 (fr) 2003-11-28

Similar Documents

Publication Publication Date Title
US11481878B2 (en) Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US11818303B2 (en) Content-based object detection, 3D reconstruction, and data extraction from digital images
EP1581906A2 (fr) Procede pour la saisie numerique, le stockage et/ou la transmission d&#39;une information a l aide d une camera equipant un terminal de communication
US20200394763A1 (en) Content-based object detection, 3d reconstruction, and data extraction from digital images
US9779296B1 (en) Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US10867171B1 (en) Systems and methods for machine learning based content extraction from document images
KR100746641B1 (ko) 동영상 이미지 코드와 동영상 이미지 코드 생성/디코딩장치 및 그 방법
US9230383B2 (en) Document image compression method and its application in document authentication
US20140270349A1 (en) Systems and methods for classifying objects in digital images captured using mobile devices
EP3035236A1 (fr) Code quadridimensionnel, et système et procédé de reconnaissance d&#39;image basée sur un code quadridimensionnel, et système et procédé d&#39;extraction
US20120274991A1 (en) System and method for document orientation detection
CA2756913A1 (fr) Systeme de saisie d&#39;images mobile et de traitement de documents financiers
US20150063720A1 (en) Flash/no-flash imaging for binarization
EP1063606B1 (fr) Reconnaissance automatique de caractères sur fond structuré par combinaison des modèles de fond et des caractères
US10049268B2 (en) Selective, user-mediated content recognition using mobile devices
US8306335B2 (en) Method of analyzing digital document images
CN113591831A (zh) 一种基于深度学习的字体识别方法、***及存储介质
Malik et al. An efficient skewed line segmentation technique for cursive script OCR
Walha et al. Resolution enhancement of textual images: a survey of single image‐based methods
Safonov et al. Document Image Processing for Scanning and Printing
Zhu et al. Recaptured image forensics based on local ternary count of high order prediction error
US20060204095A1 (en) Document layout analysis with control of non-character area
JP2005275854A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体
Sreedevi et al. Ngfica based digitization of historic inscription images
JP2004193957A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像記録装置

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20041221

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

PUAK Availability of information related to the publication of the international search report

Free format text: ORIGINAL CODE: 0009015

RIC1 Information provided on ipc code assigned before grant

Ipc: H04N 1/00 20060101AFI20060111BHEP

17Q First examination report despatched

Effective date: 20071218

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20100913