WO2019100814A1 - 辅助物品的图像合规的方法、装置和电子设备 - Google Patents

辅助物品的图像合规的方法、装置和电子设备 Download PDF

Info

Publication number
WO2019100814A1
WO2019100814A1 PCT/CN2018/104925 CN2018104925W WO2019100814A1 WO 2019100814 A1 WO2019100814 A1 WO 2019100814A1 CN 2018104925 W CN2018104925 W CN 2018104925W WO 2019100814 A1 WO2019100814 A1 WO 2019100814A1
Authority
WO
WIPO (PCT)
Prior art keywords
item
image
preset
target
probability
Prior art date
Application number
PCT/CN2018/104925
Other languages
English (en)
French (fr)
Inventor
徐崴
郑丹丹
李亮
Original Assignee
阿里巴巴集团控股有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 阿里巴巴集团控股有限公司 filed Critical 阿里巴巴集团控股有限公司
Publication of WO2019100814A1 publication Critical patent/WO2019100814A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations

Definitions

  • the present application relates to the field of electronic information processing, and more particularly to a method, apparatus and electronic device for image compliance of an auxiliary item.
  • OCR optical character recognition
  • the user uses the camera function of the operating system of the terminal device to take a photo of the ID, and the entire document photo collection process is completely handed over to the user, but the environment in which the user takes the photo of the photo is complicated and diverse (for example, different illumination angles and The intensity is different from the level of the user's photo (for example, the ability to focus on the target object, whether the hand is shaken when taking pictures), resulting in the quality of the photo photos taken by the user is also uneven, and does not meet the quality requirements (or does not meet the requirements)
  • the photo of the certificate will result in the subsequent OCR algorithm recognition accuracy reduction or even failure, reducing the success rate of user identity authentication and affecting the user experience.
  • the purpose of the present application is to provide a method, device and electronic device for assisting image conformity of an article, which can assist the user to make the image of the article conform to the image when the image of the article is not in compliance, and avoid the image caused by the non-compliant image.
  • the recognition accuracy is low, the user authentication success rate is low, and the user experience is poor.
  • a method of image compliance for an auxiliary item comprising:
  • the secondary user is allowed to conform the image of the item.
  • an apparatus for image compliance of an auxiliary item comprising:
  • a first processing unit that detects compliance of an image of the item
  • the second processing unit assists the user in making the image of the item compliant if it detects that the image of the item is not compliant.
  • an electronic device including:
  • a memory arranged to store computer executable instructions that, when executed, use the processor to perform the following operations:
  • the secondary user is allowed to conform the image of the item.
  • a computer readable medium storing one or more programs, the one or more programs causing the electronic device to be executed when executed by an electronic device including a plurality of applications Do the following:
  • the secondary user is allowed to conform the image of the item.
  • the embodiment of the present application detects the compliance of the image of the article, and assists the user to make the image of the article conform to when the image of the article is detected to be non-compliant.
  • the method of the embodiment of the present application can avoid the problem that the recognition accuracy caused by the non-compliant image is low, the user identity authentication success rate is low, and the user experience is poor.
  • FIG. 1 is a schematic flow diagram of a method of image compliance of an auxiliary item in accordance with one embodiment of the present application.
  • FIG. 2 is a schematic diagram of an image template in accordance with one embodiment of the present application.
  • FIG. 3 is a schematic illustration of the pose of an image of a corrected article in accordance with an embodiment of the present application.
  • FIG. 4 is a schematic flow diagram of a method of image compliance of an auxiliary item in accordance with an embodiment of the present application.
  • FIG. 5 is a structural block diagram of an electronic device according to an embodiment of the present application.
  • FIG. 6 is a schematic structural diagram of an apparatus for image compliance of an auxiliary article according to an embodiment of the present application.
  • the electronic device may be a terminal device, and the terminal device includes a device of a wireless signal receiver, which only has a wireless signal receiver without a transmitting capability, and includes a device for receiving and transmitting hardware, which has A device capable of performing reception and transmission hardware of two-way communication on a two-way communication link.
  • Such a device may include a cellular or other communication device having a single line display or a multi-line display or a cellular or other communication device without a multi-line display; a Personal Communication System (PCS) that can combine voice, data Processing, fax, and/or data communication capabilities; Personal Digital Assistant (PDA), which can include radio frequency receivers, pagers, Internet/Intranet access, web browsers, notepads, calendars, and/or global positioning systems (Global Posit1ning System, GPS) receiver; conventional laptop and/or palmtop computer or other device with and/or conventional laptop and/or palmtop computer or other device including a radio frequency receiver.
  • PCS Personal Communication System
  • PDA Personal Digital Assistant
  • the terminal devices used herein may be portable, transportable, installed in a vehicle (aviation, sea and/or land), or adapted and/or configured to operate locally, and/or in a distributed fashion. Runs anywhere else on the earth and/or space.
  • the terminal device used herein may also be a communication terminal, an internet terminal, a music/video playing terminal, such as a PDA, a mobile internet device (MID), and/or a mobile phone having a music/video playing function.
  • the article may be a certificate
  • the certificate refers to a certificate and a document for verifying identity, experience, etc.
  • the certificate includes but is not limited to an identity document type certificate, a property certification type certificate, a certificate type certificate, a legal document type document.
  • bill documents, warranty documents include, but are not limited to an identity document type certificate, a property certification type certificate, a certificate type certificate, a legal document type document.
  • the ID documents include, but are not limited to, resident ID card, resident account book, passport, Hong Kong and Macao pass, marriage certificate, social security card and medical insurance card.
  • the certificate of property certificate includes but not limited to bank card, passbook, deposit certificate and loan agreement. Certificates include, but are not limited to, diplomas, degree certificates and honorary certificates.
  • Legal documents include, but are not limited to, labor contracts, rental contracts, and insurance policies.
  • Ticket documents include, but are not limited to, invoices.
  • Warranty documents include, but are not limited to, warranty cards.
  • FIG. 1 is a flow chart of a method of image compliance of an auxiliary item in accordance with one embodiment of the present application.
  • the method 100 of Figure 1 is performed by an apparatus for image compliance of an auxiliary item.
  • the compliance of the image of the article is detected.
  • detecting the compliance of the image of the item at S102 is essentially detecting whether the image of the item is compliant.
  • the device that assists the user to make the image compliance of the article may be an image compliance of the auxiliary article automatically adjusts the shooting parameters (eg, fill light intensity) of the image of the article to make the image of the article conform to the image.
  • assisting the user to make the image of the item compliant may also provide feedback information to the user, and the feedback information guides the user to perform a corresponding operation to make the image of the item compliant.
  • the information carried on the image of the item is acquired, and the information carried on the image of the item is compared with the information in the target data source, according to the comparison. As a result, the authenticity of the item is determined.
  • the item is an ID card
  • the information carried on the ID card is obtained by using an Optical Character Recognition (OCR) algorithm at S104, for example: Information such as name, ID number, home address and expiration date, and then compare the extracted information with the authoritative data source (for example, the information on the public security network). If the information is successful, the ID card is true. Otherwise, the ID card is not true.
  • OCR Optical Character Recognition
  • the method of the method 100 detects whether the image of the item is compliant, and when detecting that the image of the item is not compliant, can assist the user to make the image of the item compliant, thereby ensuring subsequent imagery on the item.
  • the success rate of identification of the carried information when the image of the article is detected to be compliant, the information carried on the image of the article can be directly obtained, and the user does not need to click the button to take the photo, which reduces the complexity of the user operation and improves the user experience.
  • detecting compliance of the image of the item in S102 includes detecting whether the item is completely present in the field of view.
  • an image template or a guiding interface is provided during image collection of the ID card, and the user is guided to put the ID card into the image.
  • the area corresponding to the template is taken to ensure that the posture of the document (including the size and the tilt angle) of the photographed document is substantially correct.
  • the user is prompted to “put the avatar to Inside the box, and adjust the light
  • the user is prompted to “put the national emblem into the box and adjust the light”.
  • the user can place the ID card according to the prompt of the image template to ensure the correct posture of the ID card. .
  • detecting whether the item is completely present in the photographing field of view may be specifically implemented by determining a ratio of a long side to a short side of the item; if the ratio is determined to be a preset ratio, and If the distance between the corner point of the item and the edge of the target image is greater than or equal to the preset distance, it is determined that the item is completely present in the field of view.
  • determining the ratio of the long side to the short side of the item includes determining a coordinate position of a corner point of the item, and determining a ratio of a long side to a short side of the item according to the position coordinate of the corner point of the item.
  • the determination of the coordinate position of the corner point of the item can be determined according to the corner point localization algorithm.
  • the corner point of the item can also be understood as the key point of the item.
  • the key point of the document is the four corner points of the document.
  • the training data can be trained by the algorithm based on the deep learning regression network to obtain the training model, that is, the corner point localization algorithm.
  • the format of the training data is a picture of the image with the certificate and the position (x, y) coordinates of the four corner points of the document in the figure.
  • the loss function used in the training process can be the Euclidean distance loss. Function (Eculidean Loss). In actual use, given the input image of an image with a certificate, the training model predicts the position coordinates of the four corner points of the document.
  • the ratio of the long side to the short side of the document can be calculated, if the ratio is close to the actual ratio, and the coordinates of the four corner points are not close.
  • the pose of the image of the item is corrected to the target pose.
  • the Affine Transform is used to correct the document posture to the front horizontal and vertical vertical state, which is more advantageous for positioning the text area on the image of the document. And identify.
  • detecting compliance of the image of the item further comprises detecting whether the item is present in the field of view.
  • detecting whether the item exists in the shooting field of view it is detected whether the item is completely present in the shooting field of view. That is, an item presence check is required before detecting whether the item is completely present in the field of view.
  • a 2-class classification algorithm based on deep learning is used to check the presence of the item.
  • the so-called 2 classification refers to there are 2 categories, which are: existing items and non-existent items, wherein the existing items correspond to the existence or complete existence of the parts in the shooting field, and there is no corresponding item. There is no such thing as an item in the field of view.
  • two categories are trained by a batch of training samples to obtain a 2-class deep learning model.
  • the probability of the presence of an item in the photographing field of view is greater than a certain threshold by the 2-class deep learning model, it is considered that there is an item in the photographing field of view, otherwise it is considered that there is no item in the photographing field of view.
  • detecting compliance of the image of the item further comprises: detecting whether the item is a target item.
  • the shooting field of view it is also possible to first detect whether the item exists in the shooting field of view, if the item exists in the shooting field of view, whether the item is a target item, and if the item is detected, the item is detected. The complete presentation is in the field of view.
  • each category is a kind of certificate, corresponding to a batch of training picture samples with the document as the main body.
  • the N+1 classification deep learning model is trained using a sample of all these documents (assuming there are N types of documents), supplemented by a batch of image samples without any documents.
  • the N+1 classification deep learning model is used to judge the category to which the certificate belongs. It can be understood that when the N+1 classification deep learning model is used to predict the category to which the document belongs, it is possible to predict that one document belongs to each category. Probability, the category with the highest probability is determined as the category to which the document belongs. If the probability of the N+1 classification deep learning model predicting that the document belongs to each category is below a threshold, then there is no document in the field of view.
  • the user may be given a corresponding prompt, taking the target type certificate as the ID card as an example, if detected The certificate is not an ID card, and the user may be prompted to "detect other documents that are not ID cards, and only identify the ID card, please put the ID card into the field of view.” If you are sure that there is no document in the field of view, you can prompt the user “No XX ID detected, please point the camera at your XX ID”.
  • the result of the classification of the item by the multi-classification algorithm based on the deep learning is complementary to the result of the above-mentioned inspection of the existence of the item by the deep learning-based 2 classification algorithm, and the object can be reduced by different models.
  • the existence of the identification of the misrecognition rate improves the user experience.
  • detecting compliance of the image of the item comprises: detecting whether the quality of the target image satisfies a preset quality requirement, and the image of the item is included in the target image. It can be understood that, when the method at S102 detects the compliance of the image of the article, it can detect whether the quality of the target image satisfies the preset quality requirement, and can also detect whether the article is completely presented in the shooting field. When the item is completely presented in the field of view, it is further detected whether the quality of the target image satisfies the preset quality requirement.
  • the method before determining whether the quality of the target image meets the preset quality requirement, the method further includes: determining whether the posture of the image of the item is the target posture, and determining that the posture of the image of the item is not the The target posture corrects the posture of the image of the article to the target posture.
  • the method of specifically determining the posture of the image of the article and the method of correcting the image of the article are the same as those described above, and are not described herein again.
  • determining whether the quality of the target image meets the preset quality requirement comprises: determining a definition of a text area of the image of the item; determining according to the definition and the definition clarity of the text area Whether the quality of the target image meets the preset quality requirements.
  • the preset sharpness is characterized by a preset sharpness score, and the sharpness score of the text region is determined according to a deep learning model based on the regression network. If the sharpness score is greater than or equal to the preset sharpness score, it is determined that the quality of the target image satisfies the preset quality requirement.
  • the optical identifier OCR algorithm is used to identify the information carried on the text area. If the information carried on the text area cannot be successfully identified, the quality of the target image is determined to be unsatisfactory. Preset quality requirements.
  • the auxiliary user makes the image of the item compliant, including: displaying the first information to the user, the first information being used to prompt the user to perform the improvement.
  • the operation of the sharpness of the text area when the user sees the first information, the focal length at the time of shooting or the placement position of the article can be adjusted, so that the definition of the text region on the image of the article satisfies the requirement.
  • using the OCR algorithm to locate the text area on the image of the document may generate multiple text areas, and use a deep learning model based on the regression network to score the clarity of each text area. If the score of a text area is below a certain threshold, the area is identified by the OCR algorithm to see if a reasonable result can be obtained. If a reasonable result can be obtained, the clarity of the text area is considered. If the image is not compliant, if the image of the certificate is not compliant, the auxiliary user is allowed to make the image of the document compliant, for example, returning the response message to the user, for example, the image may be too blurred. , please ensure that the image is clear.”
  • determining whether the quality of the target image meets the preset quality requirement comprises: determining that the degree of exposure of the text area on the image of the item is a first probability of overexposure, or on an image of the item The degree of reflection of the text area belongs to a second probability of over-reflection; according to the first probability or the second probability, it is determined whether the quality of the target image satisfies the preset quality requirement. That is to say, determining whether the quality of the target image satisfies the preset quality requirement includes detecting the overexposed or strong reflection phenomenon of the target image.
  • the first probability or the second probability is determined according to a two-class based deep learning model.
  • an image of an item may be firstly corrected using the method described above to obtain an item of a frontal form, and then an OCR algorithm is used to locate a text area on the image of the item, possibly creating a plurality of text areas.
  • the threshold value indicates that the exposure degree of the text area is not overexposed or the degree of reflection is not excessively reflective, thereby indicating that the quality of the target image satisfies the preset quality requirement. If the first probability or the second probability is greater than a certain threshold, the OCR algorithm is used to identify the information carried on the text area. If the information carried on the text area cannot be successfully identified, it is determined that the quality of the target image does not meet the preset quality requirement.
  • the auxiliary user makes the image of the item compliant, including: displaying the second information to the user, the second information is used to prompt the user to perform the reduction.
  • the degree of exposure or degree of reflection of the image of the item is used to prompt the user to perform the reduction.
  • the placement position of the item can be adjusted, so that the degree of exposure or the degree of reflection of the text area on the image of the item satisfies the requirement.
  • the positioning of the text area on the image of the item may be implemented by using a Single Shot Multi-Box Detector (SSD) framework, and the information carried on the text area may be identified based on the length.
  • SSD Single Shot Multi-Box Detector
  • Short-term memory network Long-Term Memory, LSTM
  • the embodiment of the present application does not limit the text area localization method and the identification algorithm of information carried on the text area.
  • FIG. 4 is a schematic flow chart of a method for image compliance of an auxiliary article according to an embodiment of the present application.
  • the method 200 of FIG. 4 is performed by an apparatus for image compliance of an auxiliary article, and FIG. 4 takes an article as an example.
  • the description is just an example.
  • the document presence check As shown in FIG. 4, at S202, the document presence check.
  • the presence of the credentials can be checked using the 2 classification algorithm described in method 100.
  • the document type is identified.
  • the type of document can be predicted using the deep learning based multi-classification algorithm described in method 100.
  • the integrity of the document may be checked using the method of image template described in method 100, or by the coordinate position of the corner of the document as described in method 100.
  • the document posture correction is performed.
  • the so-called document posture correction essentially corrects the posture of the image of the document, and the specific correction method can pass the anti-reflection transformation (Affine) after determining the coordinate positions of the four corner points of the document. Transform) to correct the document posture to the front, vertical and vertical.
  • the OCR algorithm is used to locate at least one text area on the image of the document, and then the depth of the text area is evaluated based on the deep learning model of the regression network.
  • the specific evaluation method may refer to the related description in the method 100. This will not be repeated here.
  • a two-category deep learning model may be given to detect the degree of exposure or the degree of reflection of each text area.
  • a two-category deep learning model may be given to detect the degree of exposure or the degree of reflection of each text area.
  • the OCR recognition algorithm is used to detect the lines of text on the image of the document and to identify the information carried in the line of text.
  • the verification of the document information at S218 is to compare the information identified at S216 with the authoritative data source. If the comparison is successful, the authenticity of the document can be explained.
  • a text fuzzy matching algorithm is used to perform verification of the document information.
  • the user may be prompted to verify the verification. If the verification of the document information fails, the user is prompted to verify the verification, and the certificate is not a real certificate.
  • the method of the method 200 can ensure that the collected document image is true, complete, and has high quality, can provide good input for subsequent identity authentication, and provide a good operation and product experience for the user.
  • the electronic device includes a processor, optionally including an internal bus, a network interface, and a memory.
  • the memory may include a memory, such as a high-speed random access memory (RAM), and may also include a non-volatile memory, such as at least one disk memory.
  • the electronic device may also include hardware required for other services.
  • the processor, network interface, and memory can be interconnected by an internal bus, which can be an Industry Standard Architecture (ISA) bus, a Peripheral Component Interconnect (PCI) bus, or an extended industry standard. Extended Industry Standard Architecture (EISA) bus, etc.
  • ISA Industry Standard Architecture
  • PCI Peripheral Component Interconnect
  • EISA Extended Industry Standard Architecture
  • the bus can be divided into an address bus, a data bus, a control bus, and the like. For ease of representation, only one double-headed arrow is shown in Figure 5, but it does not mean that there is only one bus or one type of bus.
  • the program can include program code, the program code including computer operating instructions.
  • the memory can include both memory and non-volatile memory and provides instructions and data to the processor.
  • the processor reads the corresponding computer program from the non-volatile memory into memory and then operates to form a device for image compliance of the auxiliary item at a logical level.
  • the processor executes the program stored in the memory and is specifically used to perform the following operations:
  • the secondary user is allowed to conform the image of the item.
  • the method performed by the apparatus for image compliance of the auxiliary item disclosed in the embodiment shown in FIGS. 1 and 4 of the present application may be applied to a processor or implemented by a processor.
  • the processor may be an integrated circuit chip with signal processing capabilities.
  • each step of the above method may be completed by an integrated logic circuit of hardware in a processor or an instruction in a form of software.
  • the above processor may be a general-purpose processor, including a central processing unit (CPU), a network processor (NP), etc.; or may be a digital signal processor (DSP), dedicated integration.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the general purpose processor may be a microprocessor or the processor or any conventional processor or the like.
  • the steps of the method disclosed in the embodiments of the present application may be directly implemented by the hardware decoding processor, or may be performed by a combination of hardware and software modules in the decoding processor.
  • the software module can be located in a conventional storage medium such as random access memory, flash memory, read only memory, programmable read only memory or electrically erasable programmable memory, registers, and the like.
  • the storage medium is located in the memory, and the processor reads the information in the memory and combines the hardware to complete the steps of the above method.
  • the electronic device can also perform the functions of the method of FIG. 1 and FIG. 4 and implement the image compliance of the auxiliary article in the functions of the embodiment shown in FIG. 1 and FIG. 4, and details are not described herein again.
  • the electronic device of the present application does not exclude other implementation manners, such as a logic device or a combination of software and hardware, etc., that is, the execution body of the following processing flow is not limited to each logical unit. It can also be hardware or logic.
  • the embodiment of the present application further provides a computer readable storage medium storing one or more programs, the one or more programs including instructions that are executed by an electronic device including a plurality of applications
  • the electronic device can be configured to perform the method of the embodiment shown in FIG. 1 and FIG. 4, and is specifically configured to perform the following methods:
  • the secondary user is allowed to conform the image of the item.
  • the apparatus 600 for image compliance of an auxiliary item may include: a first processing unit 601 and a second processing unit 602, where
  • the first processing unit 601 detects compliance of an image of the article
  • the second processing unit 602 if it detects that the image of the item is not in compliance, assists the user in making the image of the item compliant.
  • the compliance of the image of the article is detected, and when the image of the article is detected to be non-compliant, the user is assisted in making the image of the article compliant, and the non-compliance can be avoided.
  • the image results in low recognition accuracy, low user authentication success rate and poor user experience.
  • the first processing unit 601 the first processing unit 601:
  • the first processing unit 601 the first processing unit 601:
  • the target image It is detected whether the quality of the target image satisfies a preset quality requirement, and the target image includes an image of the item.
  • the first processing unit 601 the first processing unit 601:
  • the first processing unit 601 the first processing unit 601:
  • the first processing unit 601 the first processing unit 601:
  • the first processing unit 601 the first processing unit 601:
  • the ratio is a preset ratio, and a distance between a corner point of the item and an edge of the target image is greater than or equal to a preset distance, it is determined that the item is completely presented in the photographing field of view.
  • the first processing unit 601 the first processing unit 601:
  • a ratio of a long side to a short side of the item is determined based on a position coordinate of a corner point of the item.
  • the first processing unit 601 before the determining whether the quality of the target image meets the preset quality requirement, the first processing unit 601:
  • the pose of the image of the article is corrected to the target pose.
  • the first processing unit 601 the first processing unit 601:
  • the preset resolution is characterized by a preset resolution score
  • the first processing unit 601 The first processing unit 601:
  • a sharpness score of the text region is determined according to a deep learning model based on a regression network.
  • the first processing unit 601 the first processing unit 601:
  • the optical character recognition OCR algorithm is used to identify information carried on the text area
  • the second processing unit 602 the second processing unit 602:
  • the first information is presented to the user, the first information being used to prompt the user to perform an operation of increasing the sharpness of the text area.
  • the first processing unit 601 the first processing unit 601:
  • the first processing unit 601 the first processing unit 601:
  • the first probability or the second probability is determined according to a deep learning model based on a two classification.
  • the first processing unit 601 the first processing unit 601:
  • the OCR algorithm is used to identify information carried on the text area
  • the second processing unit 602 the second processing unit 602:
  • the user is presented with second information for prompting the user to perform an operation to reduce the degree of exposure or the degree of reflection of the image of the item.
  • the first processing unit 601 the first processing unit 601:
  • the text area is determined using an OCR algorithm.
  • the first processing unit 601 the first processing unit 601:
  • the authenticity of the item is determined.
  • the item is a document.
  • the image compliance device 600 of the auxiliary article can also perform the method of the embodiment shown in FIGS. 1 and 4 and implement the function of the image compliance of the auxiliary article in the embodiment shown in FIGS. 1 and 4, which is implemented by the present application. The examples are not described here.
  • the system, device, module or unit illustrated in the above embodiments may be implemented by a computer chip or an entity, or by a product having a certain function.
  • a typical implementation device is a computer.
  • the computer can be, for example, a personal computer, a laptop computer, a cellular phone, a camera phone, a smart phone, a personal digital assistant, a media player, a navigation device, an email device, a game console, a tablet computer, a wearable device, or A combination of any of these devices.
  • Computer readable media includes both permanent and non-persistent, removable and non-removable media.
  • Information storage can be implemented by any method or technology.
  • the information can be computer readable instructions, data structures, modules of programs, or other data.
  • Examples of computer storage media include, but are not limited to, phase change memory (PRAM), static random access memory (SRAM), dynamic random access memory (DRAM), other types of random access memory (RAM), read only memory. (ROM), electrically erasable programmable read only memory (EEPROM), flash memory or other memory technology, compact disk read only memory (CD-ROM), digital versatile disk (DVD) or other optical storage, Magnetic tape cartridges, magnetic tape storage or other magnetic storage devices or any other non-transportable media can be used to store information that can be accessed by a computing device.
  • computer readable media does not include temporary storage of computer readable media, such as modulated data signals and carrier waves.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例公开一种辅助物品的图像合规的方法、装置和电子设备，该方法包括：检测物品的图像的合规性；若检测到物品的图像不合规，辅助用户使所述物品的图像合规。

Description

辅助物品的图像合规的方法、装置和电子设备 技术领域
本申请涉及电子信息处理领域，更具体地涉及辅助物品的图像合规的方法、装置和电子设备。
背景技术
目前使用光学字符识别(Optical Character Recognition，OCR)技术对用户提供的证件照片进行处理，从而提取并识别证件照片上的用户信息的方法，在互联网金融等身份认证场景得到了普遍应用。
在现实场景中，用户使用终端设备的操作***的摄像头功能拍摄证件照片，整个证件照片的采集过程完全交给用户来完成，但由于用户拍摄证件照片的环境复杂多样(例如，不同的光照角度与强度)及用户拍照水平的高低不同(例如，能够对焦到目标物体，拍照时手是否有抖动)，导致用户拍摄到的证件照片的质量也参差不齐，而不符合质量要求(或者说不合规)的证件照片会导致后续的OCR算法识别准确率降低甚至失效，降低用户身份认证的成功率、影响用户体验。
因此，需求一种辅助物品的图像合规的方法，来克服上述技术问题。
发明内容
本申请的目的在于提供一种辅助物品的图像合规的方法、装置和电子设备，能够在物品的图像不合规时，辅助用户使物品的图像合规，避免不合规的图像导致的图像的识别准确率低、用户身份认证成功率低和用户体验差的问题。
为解决上述技术问题，本申请实施例是这样实现的：
第一方面，提供了一种辅助物品的图像合规的方法，包括：
检测物品的图像的合规性；
若检测到物品的图像不合规，辅助用户使所述物品的图像合规。
第二方面，提供一种辅助物品的图像合规的装置，包括：
第一处理单元，检测物品的图像的合规性；
第二处理单元，若检测到物品的图像不合规，辅助用户使所述物品的图像合规。
第三方面，提供一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使用所述处理器执行以下操作：
检测物品的图像的合规性；
若检测到物品的图像不合规，辅助用户使所述物品的图像合规。
第四方面，提供一种计算机可读介质，所述计算机可读介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
检测物品的图像的合规性；
若检测到物品的图像不合规，辅助用户使所述物品的图像合规。
由以上本申请实施例提供的技术方案可见，本申请实施例检测物品的图像的合规性，并在检测到物品的图像不合规时，辅助用户使物品的图像合规。本申请实施例的方法，能够避免不合规的图像导致的识别准确率低、用户身份认证成功率低和用户体验差的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请的一个实施例的辅助物品的图像合规的方法的示意图流程图。
图2是根据本申请的一个实施例的图像模板的示意图。
图3是根据本申请的一个实施例的矫正物品的图像的姿态的示意图。
图4是根据本申请一具体实施例的辅助物品的图像合规的方法的示意性流程图。
图5是根据本申请实施例的电子设备的结构框图。
图6是根据本申请实施例的辅助物品的图像合规的装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
在本申请实施例中，电子设备可以是终端设备，终端设备既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；个人通信***(Personal Communicat1ns Service，PCS)，其可以组合语音、数据处理、传真和/或数据通信能力；个人数字助理(Personal Digital Assistant，PDA)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或全球定位***(Global Posit1ning System，GPS)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的终端设备可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的终端设备还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、移动互联网设备(Mobile Internet Device，MID)和/或具有音乐/视频播放功能的移动电话。
在本申请实施例中，物品可以为证件，证件是指用来证明身份、经历等的证书和文件，证件包括但不限于身份证件类证件、财产证明类证件、证书类证件、法律文书类证件、票据类证件、保修单类证件。其中，身份证件类证件包括但不限于居民身份证、居民户口本、护照、港澳通行证、结婚证、社保卡和医保卡，财产证明类证件包括但不限于银行卡、存折、存单和借款协议。证书类证件包括但不限于毕业证、学位证和荣誉证书。法律文书类证件包括但不限于劳动合同、租房合同和保险单。票据类证件包括但不限于***。保修单类证件包括但不限于保修卡。
图1是根据本申请的一个实施例的辅助物品的图像合规的方法的流程图。图1的方 法100由辅助物品的图像合规的装置执行。如图1所示出的，在S102处，检测物品的图像的合规性。
可以理解的是，在S102处检测物品的图像的合规性，实质上是检测物品的图像是否合规。
在S104处，若检测到物品的图像不合规，辅助用户使所述物品的图像合规。
需要说明的是，在S104中，辅助用户使物品的图像合规可以是辅助物品的图像合规的装置自动调整物品的图像的拍摄参数(例如，补光强度)来使得物品的图像合规，或者辅助用户使物品的图像合规还可以是向用户提供反馈信息，通过反馈信息指导用户执行相应的操作使得物品的图像合规。
可选地，若S102处检测到物品的图像合规，在S104处，获取物品的图像上承载的信息，将物品的图像上承载的信息与目标数据源中的信息进行比对，根据对比的结果，确定物品的真实性。
举例来说，假设物品是身份证，则若在S102处检测到物品的图像合规，则在S104处采用光学识别符识别(Optical Character Recognition，OCR)算法获取身份证上承载的信息，例如：姓名、身份证号、家庭住址和有效期等信息，然后将提取到的信息与权威数据源(例如，公安网上的留底信息)进行比对，如果信息比对成功，则说明身份证是真实的，否则说明该身份证是不真实的。
可以看出，方法100的方案，对物品的图像是否合规进行检测，并在检测到物品的图像不合规时，能够辅助用户使物品的图像合规，从而能够保证后续对物品的图像上承载的信息的识别成功率。以及在检测到物品的图像合规时，能够直接获取物品的图像上承载的信息，不需要用户点击按键进行拍照，降低了用户操作的复杂度，提高用户的使用体验。
可选地，作为一个实施例，在S102中检测物品的图像的合规性，包括：检测物品是否完整的呈现在拍摄视野中。
具体地，在一些实施例中，如图2所示出的，以物品为身份证为例，在身份证的图像采集过程中提供图像模板或者称为引导界面，引导用户把身份证放入图像模板对应的区域来进行拍照，从而保证拍摄的证件的姿态(包括大小和倾斜角度)基本正确，例如图2中左图所示出的，在拍摄身份证正面时，提示用户“将头像放到框内，并调整好光线”，在拍摄身份证的背面时，提示用户“将国徽放到框内，并调整好光线”，用户可 以根据图像模板的提示放置身份证，保证身份证的姿态正确。在这种情况下，检测物品的图像是否在图像模板对应的区域内，若检测到物品的图像在图像模板对应的区域内，则确定物品完成的呈现在拍摄视野中。由于图像模板的使用，可以使得用户清楚的了解物品需要放置到什么样的位置才能得到合规的图像，提高用户的体验。
具体地，在另一些实施例中，检测物品是否完整的呈现在拍摄视野中可以具体通过以下方式来实现：确定物品的长边与短边的比率；若确定所述比率为预设比率，且物品的角点与目标图像的边缘的距离大于或等于预设距离，则确定物品完整的呈现在拍摄视野中。
可选地，作为一个例子，确定物品的长边与短边的比率包括：确定物品的角点的坐标位置，根据物品的角点的位置坐标，确定物品的长边与短边的比率。在确定物品的角点的坐标位置时可以根据角点定位算法来确定。
需要说明的是，物品的角点也可以理解为物品的关键点，通常对于一般的证件而言，证件的关键点就是证件的四个角点。可以采用基于深度学习回归网络的算法对训练数据进行训练得出训练模型，即角点定位算法。对于证件来说，训练数据的格式为一张带有证件的图像的图片以及证件4个角点在图中的位置(x，y)坐标，在训练过程中采用的损失函数可以为欧式距离损失函数(Eculidean Loss)。在实际使用时，给定一张带有证件的图像的输入图像，训练模型会预测出证件的4个角点的位置坐标。
具体地，在一些实施例中，在预测出证件的4个角点坐标之后，可以计算出证件长边与短边的比率，如果该比率与实际比率接近，且4个角点的坐标不靠近输入图像的边缘，则可认为证件是完整的，即证件完整的呈现在拍摄视野中。
进一步地，在一些实施例中，如果确定物品的图像的姿态不是目标姿态，将物品的图像的姿态矫正为目标姿态。如图3所示出的，在左图中(姿态矫正前)，根据证件的4个角点的坐标确定证件的姿态不是正面横竖垂直状态，则将证件的图像矫正为右图(姿态矫正后)所示的状态。例如，在确定出证件的4个角点的坐标位置之后，通过防射变换(Affine Transform)来将证件姿态矫正为正面横竖垂直状态，这样将更有利于对证件的图像上的文字区域进行定位和进行识别。
可选地，在S102处，检测物品的图像的合规性还包括：检测拍摄视野中是否存在所述物品。当检测到拍摄视野中存在所述物品时，检测物品是否完整的呈现在拍摄视野中。也就是说，在检测物品是否完整的呈现在拍摄视野中之前，需要进行物品存在性检 查。
可选地，作为一个例子，采用基于深度学习的2分类算法实现对物品存在性的检查。所谓的2分类指的是有2个类别，这2个类别分别为：存在物品和不存在物品，其中存在物品对应的是物品部分存在或完整存在于拍摄视野中的情况，不存在物品对应的是完全没有物品存在于拍摄视野中的情况。在训练过程中2个类别分别通过一批训练样本来进行训练得到2分类深度学习模型。在实际使用过程中，如果通过2分类深度学习模型预测拍摄视野中存在物品的概率大于一定的阈值，则认为拍摄视野中存在物品，否则认为拍摄视野中不存在物品。如果确定拍摄视野中不存在物品，则可以返回给用户一定的错误或提示信息，例如可以提示用户：没有检测到XX证件，请将相机对准您的XX证件。
可选地，在S102处，检测物品的图像的合规性还包括：检测物品是否为目标类物品。当检测到物品为目标类物品时，检测物品是否完整的呈现在拍摄视野中。也就是说，在S102中，可以直接检测物品是否完整的呈现在拍摄视野中，也可以先检测拍摄视野中是否存在所述物品，当确定拍摄视野中存在所述物品时，检测物品是否完整的呈现在拍摄视野中，还可以是先检测拍摄视野中是否存在所述物品，如果拍摄视野中存在所述物品，检测物品是否为目标类物品，如果检测到物品时目标类物品，则检测物品是否完整的呈现在拍摄视野中。
可选地，作为一个例子，采用基于深度学习的多分类算法来实现物品是否为目标物品的检测。以物品为证件为例，每一个类别即为一种证件，对应有一批以该证件为主体的训练图片样本。使用所有这些证件的图片样本(假设有N类证件)，并辅以一批不带任何证件的图片样本，来训练N+1分类深度学习模型。在实际使用时，通过N+1分类深度学习模型判断证件所属的类别，可以理解的是，在采用N+1分类深度学习模型预测证件所属的类别时，可能预测出一个证件属于每个类别的概率，将概率最大的类别确定为证件所属的类别。如果N+1分类深度学习模型预测证件属于每个类别的概率均低于一阈值，则认为拍摄视野中无证件。
进一步地，如果采用N+1分类深度学习模型预测出证件所属的类别不是目标类别，即证件不是目标类证件时，可以给予用户相应的提示，以目标类证件为身份证为例，如果检测到证件不是身份证，可以提示用户“检测到非身份证的其他证件，只能识别身份证，请将身份证放入拍摄视野中”。如果确定拍摄视野中无证件，则可以提示用户“没有检测到XX证件，请将相机对准您的XX证件”。可以理解的是，基于深度学习的多 分类算法对物品的类别进行识别的结果与上述基于深度学习的2分类算法对物品的存在性的检查的结果有互补性，可以通过不同的模型降低对物品的存在性的识别的误识别率，提高用户体验。
可选地，在S102处，检测物品的图像的合规性包括：检测目标图像的质量是否满足预设质量要求，目标图像中包括所述物品的图像。可以理解的是，S102处的方案，在检测物品的图像的合规性时，可以只检测目标图像的质量是否满足预设质量要求，还可以先检测物品是否完整的呈现在拍摄视野中，若物品完整的呈现在拍摄视野中，则进一步检测目标图像的质量是否满足预设质量要求。
可选地，在一些实施例中，在确定目标图像的质量是否满足预设质量要求之前，还包括：确定物品的图像的姿态是否为目标姿态，若确定所述物品的图像的姿态不是所述目标姿态，将所述物品的图像的姿态矫正为所述目标姿态。具体确定物品的图像的姿态的方法以及矫正物品的图像的方法与上文中描述的方法相同，在此不再赘述。
可选地，在一些实施例中，确定目标图像的质量是否满足预设质量要求，包括：确定物品的图像的文字区域的清晰度；根据所述文字区域的清晰度和预设清晰度，确定目标图像的质量是否满足预设质量要求。例如，预设清晰度用预设清晰度分值表征，根据基于回归网络的深度学习模型，确定文字区域的清晰度分值。如果清晰度分值大于或等于预设清晰度分值，则确定目标图像的质量满足预设质量要求。若文字区域的清晰度分值小于预设清晰度分值，则采用光学识别符OCR算法识别文字区域上承载的信息，若不能成功识别文字区域上承载的信息，则确定目标图像的质量不满足预设质量要求。
进一步地，如果不能成功识别文字区域上承载的信息，则在S104处，辅助用户使所述物品的图像合规，包括：向用户展示第一信息，所述第一信息用于提示用户执行提高文字区域的清晰度的操作。相对应的，用户在看到第一信息时，可以调整拍摄时的焦距或者物品的放置位置等，使得物品的图像上的文字区域的清晰度满足要求。
可选地，以物品为证件为例，使用OCR算法定位到证件的图像上的文字区域，可能会产生多个文字区域，使用基于回归网络的深度学习模型来对各个文字区域的清晰度进行打分，如果某个文字区域的打分值低于一定阈值，则再用OCR算法对该区域进行识别，看是否能够获取到合理的结果，如果能够获取到合理的结果，则认为该文字区域的清晰度满足要求，如果不能获取到合理的结果，说明证件的图像不合规，则辅助用户使证件的图像合规，例如，返回给用户响应操作提示信息，该操作提示信息例如可以是“图像过于模糊，请保证图像清晰”。
可选地，在另一些实施例中，确定目标图像的质量是否满足预设质量要求，包括：确定物品的图像上的文字区域的曝光程度属于曝光过度的第一概率，或物品的图像上的文字区域的反光程度属于反光过度的第二概率；根据第一概率或第二概率，确定目标图像的质量是否满足预设质量要求。也就是说，确定目标图像的质量是否满足预设质量要求包括对目标图像进行曝光过度或强反光现象的检测。
具体地，在一些实施例中，根据基于二分类的深度学习模型，确定所述第一概率或所述第二概率。例如，先使用上文中描述的方法将物品的图像进行姿态矫正得到正面形态的物品，然后使用OCR算法定位到物品的图像上的文字区域，可能会产生多个文字区域。之后使用基于二分类的深度学习模型来预测各个文字区域属于曝光过度的第一概率或预测各个文字区域属于反光过度(或者说强反光)的第二概率，如果第一概率或第二概率小于一定的阈值，则说明文字区域的曝光程度不属于曝光过度或者反光程度不属于反光过度，进而说明目标图像的质量满足预设质量要求。如果第一概率或第二概率大于一定的阈值，则采用OCR算法识别文字区域上承载的信息，若不能成功识别文字区域上承载的信息，则确定目标图像的质量不满足预设质量要求。
进一步地，如果不能成功识别文字区域上承载的信息，则在S104处，辅助用户使所述物品的图像合规，包括：向用户展示第二信息，所述第二信息用于提示用户执行降低物品的图像的曝光程度或反光程度的操作。相对应的，用户在看到第二信息时，可以调整物品的放置位置，使得物品的图像上的文字区域的曝光程度或反光程度满足要求。
在上述所有实施例中，对物品的图像上的文字区域进行定位可以采用深度学习单次检测器(Single Shot MultiBox Detector，SSD)框架来实现，对文字区域上承载的信息进行识别可以采用基于长短期记忆网络(Long Short-Term Memory，LSTM)的整行文字识别框架来实现。但本申请实施例并不对文字区域定位方法和文字区域上承载的信息的识别算法进行限定。
图4是根据本申请一个具体实施例的辅助物品的图像合规的方法的示意性流程图，图4的方法200由辅助物品的图像合规的装置执行，图4中以物品为证件为例进行描述，仅仅是一种示例。如图4所示出的，在S202处，证件存在性检查。
可以采用在方法100中描述的2分类算法对证件存在性进行检查。
在S204处，若在S202中确认存在证件，则证件类型识别。
同样地，可以采用在方法100中描述的基于深度学习的多分类算法预测证件的类型。
在S206处，若在S204处识别证件的类型为目标类型，则进行证件完整性检查。
具体地，在进行证件完整性检查时，可以采用方法100中描述的采用图像模板的方法检查证件完整性，或者采用方法100中描述的通过证件角点的坐标位置检查证件的完整性。
在S208处，若在S206处确定证件的类型为目标类型，则进行证件姿态矫正。
可以理解的是，在S208中，所谓的证件姿态矫正实质是对证件的图像的姿态进行矫正，具体矫正的方法可以在确定出证件的4个角点的坐标位置之后，通过防射变换(Affine Transform)来将证件姿态矫正为正面横竖垂直状态。
在S210处，文字清晰度评估。
具体地，采用OCR算法定位到证件的图像上的至少一个文字区域，然后基于回归网络的深度学习模型来对文字区域的清晰度进行评估，具体评估的方法可参照方法100中的相关描述，在此不再赘述。
在S212处，曝光程度或反光程度检测。
具体地，可以给予二分类的深度学习模型来对各个文字区域的曝光程度或反光程度进行检测，具体检测的方法可参照方法100中的相关描述，在此不再赘述。
在S214处，文字行检测。
在S216处，文字行识别。
可选地，采用采用OCR识别算法检测证件的图像上的文字行以及对文字行中承载的信息进行识别。
在S218处，证件信息核验。
可以理解的是，在S218处的证件信息核验是将S216处识别出的信息将权威数据源进行比对，如果比对成功，可以说明证件的真实性。
可选地，在S218处，采用文字模糊匹配算法进行证件信息核验。
进一步地，如果在S218中证件信息核验成功可以提示用户核验成功，如果证件信息核验失败，则提示用户核验失败，证件不是真实的证件。
因此，方法200的方法，能够保证采集到的证件图像真实、完整、具有高的质量，能够为后续的身份认证提供良好的输入，为用户提供好的操作与产品体验。
以上结合图1至图4详细描述了根据本申请实施例的辅助物品的图像合规的方法。下面将结合图5详细描述根据本申请实施例的电子设备。参考图5，在硬件层面，电子设备包括处理器，可选地，包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成辅助物品的图像合规的装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
检测物品的图像的合规性；
若检测到物品的图像不合规，辅助用户使所述物品的图像合规。
上述如本申请图1和图4所示实施例揭示的辅助物品的图像合规的装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。 软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1和图4的方法，并实现辅助物品的图像合规的装置在图1和图4所示实施例的功能，本申请实施例在此不再赘述。
当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1和图4所示实施例的方法，并具体用于执行以下方法：
检测物品的图像的合规性；
若检测到物品的图像不合规，辅助用户使所述物品的图像合规。
图6是本申请的一个实施例的辅助物品的图像合规的装置的结构示意图。请参考图6，在一种软件实施方式中，辅助物品的图像合规的装置600可包括：第一处理单元601和第二处理单元602，其中，
第一处理单元601，检测物品的图像的合规性；
第二处理单元602，若检测到物品的图像不合规，辅助用户使所述物品的图像合规。
根据本申请实施例的辅助物品的图像合规的装置，检测物品的图像的合规性，并在检测到物品的图像不合规时，辅助用户使物品的图像合规，能够避免不合规的图像导致的识别准确率低、用户身份认证成功率低和用户体验差的问题。
可选地，作为一个实施例，所述第一处理单元601：
检测所述物品是否完整的呈现在拍摄视野中。
可选地，作为一个实施例，所述第一处理单元601：
检测目标图像的质量是否满足预设质量要求，所述目标图像中包括所述物品的图像。
可选地，作为一个实施例，所述第一处理单元601：
检测所述拍摄视野中是否存在所述物品；
若检测到所述拍摄视野中存在所述物品，则检测所述物品是否完整的呈现在拍摄视野中。
可选地，作为一个实施例，所述第一处理单元601：
检测所述物品是否为目标类物品；
若确定所述物品为目标类物品，则检测所述物品是否完整的呈现在所述拍摄视野中。
可选地，作为一个实施例，所述第一处理单元601：
检测所述物品的图像是否在图像模板对应的区域内；
若检测到所述物品的图像在所述图像模板对应的区域内，则确定所述物品完整的呈现在所述拍摄视野中。
可选地，作为一个实施例，所述第一处理单元601：
确定所述物品的长边与短边的比率；
若确定所述比率为预设比率，且所述物品的角点与所述目标图像的边缘的距离大于或等于预设距离，则确定所述物品完整的呈现在所述拍摄视野中。
可选地，作为一个实施例，所述第一处理单元601：
确定所述物品的角点的坐标位置；
根据所述物品的角点的位置坐标，确定所述物品的长边与短边的比率。
可选地，作为一个实施例，在所述确定目标图像的质量是否满足预设质量要求之前，所述第一处理单元601：
确定所述物品的图像的姿态是否为目标姿态；
若确定所述物品的图像的姿态不是所述目标姿态，将所述物品的图像的姿态矫正为所述目标姿态。
可选地，作为一个实施例，所述第一处理单元601：
确定所述物品的图像的文字区域的清晰度；
根据所述文字区域的清晰度和预设清晰度，确定所述目标图像的质量是否满足预设质量要求。
可选地，作为一个实施例，所述预设清晰度用预设清晰度分值表征；
其中，所述第一处理单元601：
根据基于回归网络的深度学习模型，确定所述文字区域的清晰度分值。
可选地，作为一个实施例，所述第一处理单元601：
若所述清晰度分值小于所述预设清晰度分值，则采用光学字符识别OCR算法识别所述文字区域上承载的信息；
若不能成功识别所述文字区域上承载的信息，则确定所述目标图像的质量不满足预设质量要求。
可选地，作为一个实施例，所述第二处理单元602：
向用户展示第一信息，所述第一信息用于提示用户执行提高所述文字区域的清晰度的操作。
可选地，作为一个实施例，所述第一处理单元601：
确定所述物品的图像上的文字区域的曝光程度属于曝光过度的第一概率，或所述物品的图像上的文字区域的反光程度属于反光过度的第二概率；
根据第一概率或所述第二概率，确定所述目标图像的质量是否满足预设质量要求。
可选地，作为一个实施例，所述第一处理单元601：
根据基于二分类的深度学习模型，确定所述第一概率或所述第二概率。
可选地，作为一个实施例，所述第一处理单元601：
若所述第一概率或所述第二概率大于预设概率，则采用OCR算法识别所述文字区域上承载的信息；
若不能成功识别所述文字区域上承载的信息，则确定所述目标图像的质量不满足预设质量要求。
可选地，作为一个实施例，所述第二处理单元602：
向用户展示第二信息，所述第二信息用于提示用户执行降低所述物品的图像的曝光程度或反光程度的操作。
可选地，作为一个实施例，所述第一处理单元601：
采用OCR算法确定所述文字区域。
可选地，作为一个实施例，所述第一处理单元601：
若检测到所述物品的图像合规，则获取所述物品的图像上承载的信息；
将所述物品的图像上承载的信息与目标数据源中的信息进行比对；
根据比对的结果，确定所述物品的真实性。
可选地，作为一个实施例，所述物品为证件。
辅助物品的图像合规的装置600还可执行图1和图4所示实施例的方法，并实现辅助物品的图像合规的装置在图1和图4所示实施例的功能，本申请实施例在此不再赘述。
总之，以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排 他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (23)

  1. 一种辅助物品的图像合规的方法，包括：
    检测物品的图像的合规性；
    若检测到物品的图像不合规，辅助用户使所述物品的图像合规。
  2. 根据权利要求1所述的方法，所述检测物品的图像的合规性，包括：
    检测所述物品是否完整的呈现在拍摄视野中。
  3. 根据权利要求1或2所述的方法，所述检测物品的图像的合规性，包括：
    检测目标图像的质量是否满足预设质量要求，所述目标图像中包括所述物品的图像。
  4. 根据权利要求3所述的方法，所述检测物品的图像的合规性，还包括：
    检测所述拍摄视野中是否存在所述物品；
    其中，所述检测所述物品是否完整的呈现在拍摄视野中，包括：
    若检测到所述拍摄视野中存在所述物品，则检测所述物品是否完整的呈现在拍摄视野中。
  5. 根据权利要求4所述的方法，所述检测物品的图像的合规性，还包括：
    检测所述物品是否为目标类物品；
    其中，所述检测所述物品是否完整的呈现在拍摄视野中，包括：
    若确定所述物品为目标类物品，则检测所述物品是否完整的呈现在所述拍摄视野中。
  6. 根据权利要求5所述的方法，所述检测所述物品是否完整的呈现在所述拍摄视野中，包括：
    检测所述物品的图像是否在图像模板对应的区域内；
    若检测到所述物品的图像在所述图像模板对应的区域内，则确定所述物品完整的呈现在所述拍摄视野中。
  7. 根据权利要求5所述的方法，所述检测所述物品是否完整的呈现在所述拍摄视野中，包括：
    确定所述物品的长边与短边的比率；
    若确定所述比率为预设比率，且所述物品的角点与所述目标图像的边缘的距离大于或等于预设距离，则确定所述物品完整的呈现在所述拍摄视野中。
  8. 根据权利要求7所述的方法，所述确定所述物品的长边与短边的比率，包括：
    确定所述物品的角点的坐标位置；
    根据所述物品的角点的位置坐标，确定所述物品的长边与短边的比率。
  9. 根据权利要求8所述的方法，在所述确定目标图像的质量是否满足预设质量要求之前，还包括：
    确定所述物品的图像的姿态是否为目标姿态；
    若确定所述物品的图像的姿态不是所述目标姿态，将所述物品的图像的姿态矫正为所述目标姿态。
  10. 根据权利要求9所述的方法，所述确定目标图像的质量是否满足预设质量要求，包括：
    确定所述物品的图像的文字区域的清晰度；
    根据所述文字区域的清晰度和预设清晰度，确定所述目标图像的质量是否满足预设质量要求。
  11. 根据权利要求10所述的方法，所述预设清晰度用预设清晰度分值表征；
    其中，所述确定所述物品的图像的文字区域的清晰度，包括：
    根据基于回归网络的深度学习模型，确定所述文字区域的清晰度分值。
  12. 根据权利要求10所述的方法，所述根据所述文字区域的清晰度和预设清晰度，确定所述目标图像的质量是否满足预设质量要求，包括：
    若所述清晰度分值小于所述预设清晰度分值，则采用光学字符识别OCR算法识别所述文字区域上承载的信息；
    若不能成功识别所述文字区域上承载的信息，则确定所述目标图像的质量不满足预设质量要求。
  13. 根据权利要求12所述的方法，所述辅助用户使所述物品的图像合规，包括：
    向用户展示第一信息，所述第一信息用于提示用户执行提高所述文字区域的清晰度的操作。
  14. 根据权利要求10至13中任一项所述的方法，所述确定目标图像的质量是否满足预设质量要求，还包括：
    确定所述物品的图像上的文字区域的曝光程度属于曝光过度的第一概率，或所述物品的图像上的文字区域的反光程度属于反光过度的第二概率；
    根据第一概率或所述第二概率，确定所述目标图像的质量是否满足预设质量要求。
  15. 根据权利要求14所述的方法，确定所述物品的图像上的文字区域的曝光程度属于曝光过度的第一概率，或所述物品的图像上的文字区域的反光程度属于反光过度的第二概率，包括：
    根据基于二分类的深度学习模型，确定所述第一概率或所述第二概率。
  16. 根据权利要求14所述的方法，所述根据所述第一概率或所述第二概率，确定所述目标图像的质量是否满足预设质量要求，包括：
    若所述第一概率或所述第二概率大于预设概率，则采用OCR算法识别所述文字区域上承载的信息；
    若不能成功识别所述文字区域上承载的信息，则确定所述目标图像的质量不满足预设质量要求。
  17. 根据权利要求16所述的方法，所述辅助用户使所述物品的图像合规，包括：
    向用户展示第二信息，所述第二信息用于提示用户执行降低所述物品的图像的曝光程度或反光程度的操作。
  18. 根据权利要求10所述的方法，还包括：
    采用OCR算法确定所述文字区域。
  19. 根据权利要求1或2所述的方法，还包括：
    若检测到所述物品的图像合规，则获取所述物品的图像上承载的信息；
    将所述物品的图像上承载的信息与目标数据源中的信息进行比对；
    根据比对的结果，确定所述物品的真实性。
  20. 根据权利要求1或2所述的方法，所述物品为证件。
  21. 一种辅助物品的图像合规的装置，包括：
    第一处理单元，检测物品的图像的合规性；
    第二处理单元，若检测到物品的图像不合规，辅助用户使所述物品的图像合规。
  22. 一种电子设备，包括：
    处理器；以及
    被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使用所述处理器执行以下操作：
    检测物品的图像的合规性；
    若检测到物品的图像不合规，辅助用户使所述物品的图像合规。
  23. 一种计算机可读介质，所述计算机可读介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
    检测物品的图像的合规性；
    若检测到物品的图像不合规，辅助用户使所述物品的图像合规。
PCT/CN2018/104925 2017-11-24 2018-09-11 辅助物品的图像合规的方法、装置和电子设备 WO2019100814A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711192125.9 2017-11-24
CN201711192125.9A CN108133207A (zh) 2017-11-24 2017-11-24 辅助物品的图像合规的方法、装置和电子设备

Publications (1)

Publication Number Publication Date
WO2019100814A1 true WO2019100814A1 (zh) 2019-05-31

Family

ID=62388927

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/104925 WO2019100814A1 (zh) 2017-11-24 2018-09-11 辅助物品的图像合规的方法、装置和电子设备

Country Status (3)

Country Link
CN (1) CN108133207A (zh)
TW (1) TWI701603B (zh)
WO (1) WO2019100814A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516739A (zh) * 2019-08-27 2019-11-29 阿里巴巴集团控股有限公司 一种证件识别方法、装置及设备
CN110879988A (zh) * 2019-11-22 2020-03-13 安徽小眯当家信息技术有限公司 一种信息合规检测的方法、客户端、装置、服务器及计算机可读介质
CN111553431A (zh) * 2020-04-30 2020-08-18 上海眼控科技股份有限公司 图片清晰度检测方法、装置、计算机设备及存储介质
CN112767356A (zh) * 2021-01-20 2021-05-07 景旺电子科技(珠海)有限公司 用于分配物品的方法、装置、终端设备及存储介质
CN112785659A (zh) * 2021-01-28 2021-05-11 特赞（上海）信息科技有限公司 企业案例素材图片检测方法、装置、设备和存储介质
CN115019300A (zh) * 2022-08-09 2022-09-06 成都运荔枝科技有限公司 用于自动化仓库货物识别的方法
CN115706854A (zh) * 2021-08-06 2023-02-17 北京小米移动软件有限公司 足式机器人的相机控制方法、装置及足式机器人

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133207A (zh) * 2017-11-24 2018-06-08 阿里巴巴集团控股有限公司 辅助物品的图像合规的方法、装置和电子设备
CN110650239B (zh) * 2018-06-26 2021-03-16 百度在线网络技术（北京）有限公司 图像处理方法、装置、计算机设备及存储介质
CN110889470B (zh) * 2018-09-07 2023-11-07 京东科技控股股份有限公司 用于处理图像的方法和装置
CN111860475B (zh) * 2019-04-28 2023-12-19 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
CN110647881B (zh) * 2019-09-19 2023-09-05 腾讯科技（深圳）有限公司 确定图像对应的卡片类型的方法、装置、设备及存储介质
CN111178347B (zh) * 2019-11-22 2023-12-08 京东科技控股股份有限公司 证件图像的模糊度检测方法、装置、设备及存储介质
CN111091126A (zh) * 2019-12-12 2020-05-01 京东数字科技控股有限公司 证件图像反光检测方法、装置、设备及存储介质
CN111126098B (zh) * 2019-12-24 2023-11-07 京东科技控股股份有限公司 证件图像采集方法、装置、设备及存储介质
CN113361300A (zh) * 2020-03-04 2021-09-07 阿里巴巴集团控股有限公司 标识信息识别方法、装置、设备和存储介质
CN111246113B (zh) * 2020-03-05 2022-03-18 上海瑾盛通信科技有限公司 图像处理方法、装置、设备及存储介质
CN112165571B (zh) * 2020-09-09 2022-02-08 支付宝实验室(新加坡)有限公司 一种证件图像采集方法、装置和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927552A (zh) * 2014-04-23 2014-07-16 北京奇虎科技有限公司 匹配目标***的方法和装置
CN105139404A (zh) * 2015-08-31 2015-12-09 广州市幸福网络技术有限公司 一种可检测拍摄质量的证照相机及拍摄质量检测方法
CN108133207A (zh) * 2017-11-24 2018-06-08 阿里巴巴集团控股有限公司 辅助物品的图像合规的方法、装置和电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7215828B2 (en) * 2002-02-13 2007-05-08 Eastman Kodak Company Method and system for determining image orientation
CN2648515Y (zh) * 2003-07-18 2004-10-13 四川中科院信息技术有限公司 身份证与车票图文信息自动采集装置
CN100589391C (zh) * 2004-01-16 2010-02-10 深圳市特种证件研究制作中心 基于网络的图像质量认证方法
CN1804858A (zh) * 2005-01-10 2006-07-19 赵国成 一种用于带摄像装置的移动终端上实现ocr功能的新型辅助定位技术
CN102867179A (zh) * 2012-08-29 2013-01-09 广东铂亚信息技术股份有限公司 一种数字证件照片采集质量检测的方法
CN104504321B (zh) * 2015-01-05 2017-07-14 湖北微模式科技发展有限公司 一种基于摄像头实现远程用户身份验证的方法与***
CN107209896B (zh) * 2015-02-03 2021-01-15 居米奥公司 用于成像识别信息的***和方法
CN106886774A (zh) * 2015-12-16 2017-06-23 腾讯科技（深圳）有限公司 识别身份证信息的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927552A (zh) * 2014-04-23 2014-07-16 北京奇虎科技有限公司 匹配目标***的方法和装置
CN105139404A (zh) * 2015-08-31 2015-12-09 广州市幸福网络技术有限公司 一种可检测拍摄质量的证照相机及拍摄质量检测方法
CN108133207A (zh) * 2017-11-24 2018-06-08 阿里巴巴集团控股有限公司 辅助物品的图像合规的方法、装置和电子设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516739A (zh) * 2019-08-27 2019-11-29 阿里巴巴集团控股有限公司 一种证件识别方法、装置及设备
CN110879988A (zh) * 2019-11-22 2020-03-13 安徽小眯当家信息技术有限公司 一种信息合规检测的方法、客户端、装置、服务器及计算机可读介质
CN110879988B (zh) * 2019-11-22 2024-06-11 潍坊捷尔网络科技有限公司 一种信息合规检测的方法、客户端、装置、服务器及计算机可读介质
CN111553431A (zh) * 2020-04-30 2020-08-18 上海眼控科技股份有限公司 图片清晰度检测方法、装置、计算机设备及存储介质
CN112767356A (zh) * 2021-01-20 2021-05-07 景旺电子科技(珠海)有限公司 用于分配物品的方法、装置、终端设备及存储介质
CN112785659A (zh) * 2021-01-28 2021-05-11 特赞（上海）信息科技有限公司 企业案例素材图片检测方法、装置、设备和存储介质
CN115706854A (zh) * 2021-08-06 2023-02-17 北京小米移动软件有限公司 足式机器人的相机控制方法、装置及足式机器人
CN115019300A (zh) * 2022-08-09 2022-09-06 成都运荔枝科技有限公司 用于自动化仓库货物识别的方法

Also Published As

Publication number Publication date
TWI701603B (zh) 2020-08-11
CN108133207A (zh) 2018-06-08
TW201926131A (zh) 2019-07-01

Similar Documents

Publication Publication Date Title
WO2019100814A1 (zh) 辅助物品的图像合规的方法、装置和电子设备
US10691929B2 (en) Method and apparatus for verifying certificates and identities
US11256943B2 (en) Method and apparatus for verifying identity document, electronic device, and storage medium
KR101723709B1 (ko) 이미지 기반 금융 처리
WO2021031523A1 (zh) 证件识别方法及装置
US10776609B2 (en) Method and system for facial recognition
WO2020034897A1 (en) Methods, apparatuses, storage mediums and terminal devices for authentication
US9672523B2 (en) Generating barcode and authenticating based on barcode
WO2020238232A1 (zh) 图像识别方法、装置、设备和认证方法、装置、设备
WO2017205547A1 (en) Document image quality assessment
CN110869944B (zh) 使用移动设备读取测试卡
JP2016167273A (ja) オブジェクトにおけるテキスト情報を認識するための方法およびシステム
US11367310B2 (en) Method and apparatus for identity verification, electronic device, computer program, and storage medium
US11210542B2 (en) Capturing digital images of documents
CN111340640A (zh) 一种保险理赔材料审核方法、装置和设备
US20200218772A1 (en) Method and apparatus for dynamically identifying a user of an account for posting images
CN111091126A (zh) 证件图像反光检测方法、装置、设备及存储介质
US20230046591A1 (en) Document authenticity verification in real-time
US20220343617A1 (en) Image analysis device, control method, and program
JP7322485B2 (ja) 真贋判定装置およびプログラム
CN113743396B (zh) 在证件识别过程中识别注入攻击的方法及装置
US20230316795A1 (en) Auto-Document Detection & Capture
US10796199B1 (en) Image recognition and authentication
US11961315B1 (en) Methods and systems for enhancing detection of a fraudulent identity document in an image
CN111178346B (zh) 文字区域的定位方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18881548

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18881548

Country of ref document: EP

Kind code of ref document: A1