WO2016080815A1 - Method for inspecting forged passport and recording medium therefor - Google Patents

Method for inspecting forged passport and recording medium therefor Download PDF

Info

Publication number
WO2016080815A1
WO2016080815A1 PCT/KR2015/012597 KR2015012597W WO2016080815A1 WO 2016080815 A1 WO2016080815 A1 WO 2016080815A1 KR 2015012597 W KR2015012597 W KR 2015012597W WO 2016080815 A1 WO2016080815 A1 WO 2016080815A1
Authority
WO
WIPO (PCT)
Prior art keywords
passport
image
inspection
contrast
forgery
Prior art date
Application number
PCT/KR2015/012597
Other languages
French (fr)
Korean (ko)
Inventor
이중
나기현
강태이
변준석
정도준
Original Assignee
대한민국(관리부서:행정자치부 국립과학수사연구원장)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국(관리부서:행정자치부 국립과학수사연구원장) filed Critical 대한민국(관리부서:행정자치부 국립과학수사연구원장)
Publication of WO2016080815A1 publication Critical patent/WO2016080815A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Definitions

  • the present invention relates to a forgery passport inspection method and a recording medium thereof, and more particularly, to input the image of the inspection passport to the passport inspection system using a scanner that provides visible, infrared, and ultraviolet images, image processing and pattern recognition Technology to compare the inspection passport image with the comparison passport of the issuing country stored in the database, to validate the MRZ (Machine Readable Zone) data of the inspection passport image, to compare the histogram of the inspection passport with the pattern area of the contrast passport, By comparing the calculation results of the number of pixels, average value and standard deviation of the binary pixel data forming the pattern area of the passport against the passport, or performing geometric correction and pattern analysis to match the position and rotation angle of the passport image.
  • MRZ Machine Readable Zone
  • Passport forgery and alteration methods are used forgery or alteration.
  • the alteration of the passport information is damaged and the information is rewritten or printed and the photograph is replaced.
  • 1 is a view showing a conventional passport forgery forgery prevention unit.
  • Passport forgery prevention forgery image acquisition unit through the camera 11 A masked face region generator 12 extracting only a face region portion from the face image of the issuer; A face unique data generator 13 for extracting a feature point unique to the face from the face image image extracted by the masked face region generator 12 to determine whether or not to forgery; A 2D barcode converter 14 for converting the extracted face unique data into 2D barcode data; A passport / Visa production unit 15 for creating a passport by simultaneously inserting a portrait photograph obtained from the masked face region generator 12 and printed 2D barcode data; After entering the personal information of the passport issuer through the passport input section, the passport input and certification test (16) is used to test whether the photo of the passport matches the 2D barcode before issuing, and the final passport issued after the test is issued. Issuance unit 17 is composed.
  • the forgery passport holder passing examination unit separates the face unique data stored in the 2D barcode and the face image attached to the passport photo, and generates the face unique data from the face image and compares the face unique data of the 2D barcode.
  • a passport forgery reading unit is provided.
  • each passport has a unique pattern printed with infrared or ultraviolet ink to prevent inherent forgery, and the specific technique of analyzing the portion to identify the forgery of the passport has not been introduced.
  • An object of the present invention for solving the problems of the prior art is to input the image of the inspection passport to the passport inspection system using a scanner that provides visible light, infrared, ultraviolet light image, inspection using image processing and pattern recognition technology Compare the passport image with the issuing country's contrast passport stored in the database, validate the MRZ (Machine Readable Zone) data in the inspection passport image, compare the histogram of the pattern area of the passport with the inspection passport, or compare with the inspection passport Compare the results of the calculation of the number of pixels, average value and standard deviation of the binary pixel data that form the pattern area of the passport, or perform geometric correction and pattern analysis to match the position and rotation angle of the inspection passport image. Based on the pattern, the ultraviolet ray image of the passport As compared to the turn region for identifying the passport forgery, to a forged passport control method and a recording medium.
  • MRZ Machine Readable Zone
  • a forgery passport inspection method includes a control unit, a storage unit connected to the control unit and stored a contrast passport image, an input unit connected to the control unit and means for inputting a user's command, and the control unit Is executed in a passport inspection system which is connected to and comprises a display unit displaying the inspection results;
  • a passport preparation step in which the preparation passport and the inspection passport are prepared.
  • a test result display step in which the passport forgery test result is displayed on the display unit.
  • the forgery passport inspection method and its recording medium according to the present invention are quick and simple using only software that implements the proposed technology of a scanner and passport inspection system for scanning an inspection passport image including a pattern region formed of visible light, infrared rays, or ultraviolet rays. Passport forgery and identification can be identified, thus increasing the speed of passport inspection, such as immigration, and maximizing the reliability of passport inspection by verifying the authenticity of passport through quantitative inspection.
  • the proposed forgery passport inspection method automatically calculates and provides similarity through quantitative comparison between the inspection passport (the passport to be inspected) and the comparison passport (the standard passport of the issuing country), thereby minimizing the errors caused by the subjective judgment.
  • the proposed forgery passport inspection method provides a normalization and overlapping cutoff comparison method that can help subjective detailed comparison between the inspection passport and the comparison passport, complementing the limitation of quantitative inspection to secure the reliability of passport inspection, and thus using the forged passport. Has the effect of reducing
  • 1 is a view showing a conventional passport forgery forgery prevention unit.
  • Figure 2 is a schematic diagram of a forgery passport inspection system according to the present invention.
  • FIG. 3 is an internal configuration diagram of a passport inspection system according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a forgery passport inspection method according to the present invention.
  • FIG. 5 is a flowchart illustrating a step in which a histogram of a check passport pattern region and a histogram of a contrast passport pattern region are compared.
  • FIG. 6 is a flowchart illustrating a passport comparison step in which a calculation result of the number of pixels, an average value, and a standard deviation of binarized pixel data constituting a pattern area of a passport and a passport is compared.
  • FIG. 7 is a flowchart illustrating a passport image correction step of performing a geometric correction to match the position and rotation angle of the contrast passport and inspection passport image between the contrast passport image search step and the passport contrast step.
  • FIG. 8 is a diagram for explaining the conversion after applying the result of the second derivative using the Laglacian of Gaussian (LoG) of the inspection passport image to the box filter using the Hessian matrix as the interest point of the inspection passport image.
  • LiG Laglacian of Gaussian
  • FIG. 9 is a schematic diagram of an image pyramid constructed by constructing a scale space and up-scaling the result of a second derivative using a Laglacian of Gaussian (LoG) of an inspection passport image. The figure shown.
  • LiG Laglacian of Gaussian
  • FIG. 10 is a diagram illustrating calculating a Haar-wavelet response in x and y directions for neighbors within a predetermined distance from a feature point after selecting a feature point of an inspection passport image.
  • the passport to be examined is referred to as an 'test passport'
  • the standard passport of the issuing country according to each nationality is referred to as a 'contrast passport'.
  • Figure 2 is a schematic diagram of a forgery passport inspection system according to the present invention.
  • the forgery passport inspection system compares the image of the inspection passport with the image of the contrast passport and checks the forgery of the passport, and the passport inspection system 110 is connected to the visible ray (Visible Ray) or infrared ( Infrared Rays, or Ultraviolet Ray (Ultraviolet Rays) pattern region is formed of a scanner 120 for scanning an image formed.
  • visible ray Visible Ray
  • infrared Infrared Rays
  • Ultraviolet Ray Ultraviolet Ray
  • FIG. 3 is an internal configuration diagram of a passport inspection system according to an embodiment of the present invention.
  • the passport inspection system 110 is connected to the scanner 120, and compares the inspection passport image scanned by the scanner 120 with the image of the contrast passport to the control unit 111 for checking forgery and alteration of the passport, and the control unit 111.
  • the control unit 111 which stores the inspection passport image and the contrast passport image is stored, and is connected to the input unit 113 and the control unit 111, which are means for inputting a user's command.
  • the display unit 115 is displayed, and the connection unit 119 connected to the scanner 120.
  • FIG. 4 is a flowchart illustrating a forgery passport inspection method.
  • the forgery passport inspection method includes a control unit 111, a storage unit 117 connected to the control unit 111 and storing a contrast passport image, and an input unit 113 connected to the control unit 111 and a means for inputting a user's command. And a display unit 115 connected to the control unit 111 and displaying a test result;
  • An inspection passport image is acquired and stored in the storage unit 117 through a scanner 120 that scans a passport image including a visible ray, an infrared ray, or an ultraviolet ray pattern region.
  • Obtaining an inspection passport image A validation step of performing validation of MRZ (Machine Readable Zone) data on the image of the inspection passport;
  • MRZ Machine Readable Zone
  • FIG. 5 is a flowchart illustrating a passport comparison step in which a histogram of a check passport pattern region is compared with a histogram of a passport pattern region.
  • the passport comparison step may include a pattern area separation step of separating the inspection passport and a unique pattern area formed by ultraviolet or infrared rays from the comparison passport, and histogram data of the pattern area separated from the inspection passport and the contrast passport image. Histogram data extraction step is extracted, and the histogram data contrast step is compared with the histogram of the passport pattern region contrasted with the histogram of the inspection passport pattern region.
  • FIG. 6 is a flowchart illustrating a passport comparison step in which a calculation result of the number of pixels, an average value, and a standard deviation of binarized pixel data constituting a pattern area of a passport and a passport is compared.
  • the passport comparison step may include: a pattern area separation step of separating pattern areas from the inspection passport and the comparison passport; A binarization step in which the separated pattern region is binarized; A comparison passport calculation step of calculating the number of pixels, an average value, and a standard deviation of the binarized pixel data forming the pattern region of the comparison passport; An inspection passport calculation step of calculating the number of pixels, an average value, and a standard deviation of the binarized pixel data forming the pattern region of the inspection passport; And a calculation result comparison step in which the calculation result for the passport is compared with the calculation result for the passport.
  • FIG. 7 is a flowchart illustrating a passport image correction step of performing a geometric correction to match the position and rotation angle of the contrast passport and inspection passport image between the contrast passport image search step and the passport contrast step.
  • a correction of the passport image is further performed by performing a geometric correction to match the position and rotation angle of the contrast passport and the inspection passport image;
  • the passport image correction step includes calculating a Hessian matrix of pixels forming a contrast passport image with a check passport image, generating a scale space for the pixels forming each image, and upscaling.
  • Image pyramid is generated, a feature point group is selected from an image of each scale, a Haar-wavelet response is calculated for the feature point group, and a dominant is generated from the Haar-wavelet response result.
  • the direction is calculated, and the coordinates of the pixels constituting the image of the contrast passport and the inspection passport with respect to the detected feature points are reset, and the rotational displacement is reset so that the dominant directions coincide with each other and stored in the storage unit 117.
  • a scanner 120 is connected to the control unit 111, and in the obtaining of the inspection passport image, the visible light image, the ultraviolet image, and the infrared image of the inspection passport scanned by the scanner 120 are stored in the storage unit 117; In the pattern region separation step, the pattern region in the visible light image, the ultraviolet image, and the infrared image is separated.
  • the passport comparison step includes a pattern area separation step of separating an image of a pattern area from an inspection passport and a contrast passport, and histogram data of each pixel of the image of the separated pattern area (x-axis is 8 bits each of R, G, and B values).
  • the histogram data extraction step of extracting the R, G, and B values, and the y-axis frequency (number)) and the histogram data comparison step in which the histogram of the passport pattern area is compared with the histogram of the passport pattern area.
  • a histogram contrast step A binarization step in which each pixel of the image of the separated pattern region is binarized to black and white by a threshold extracted by finding an inflection point in the contrast distribution of the image using the Otsu algorithm, and the binarization forming the pattern region of the contrast passport.
  • a comparison passport operation step in which the processed pixel data is calculated (number of black and white pixels, average value and standard deviation);
  • An inspection passport calculation step in which the binarized pixel data constituting the pattern area of the inspection passport is calculated (the number of black and white pixels, the average value and the standard deviation), and an operation in which the operation result of the passport is compared with that of the inspection passport.
  • a pixel data contrast step comprising a result contrast step.
  • Passport No Passport No, Passport No, Passport Type, Country Code, Surname, Given Name, Nationality, Sex, Date of birth, It includes social security number, date of issue, authority, date of expiry, and personal information in the description.
  • MMRZ Machine Readable Zone
  • MRZ data includes the type of passport, country code, surname, given name, passport number, nationality, date of birth, gender, expiration date, and social security number.
  • passports of various countries are printed with a unique pattern (eg, Taegeuk patterns) in infrared and ultraviolet ink, which are used to prevent passport forgery.
  • a unique pattern eg, Taegeuk patterns
  • infrared and ultraviolet ink which are used to prevent passport forgery.
  • MRZ validation is based on ICAO Document 9303 (endorsed by the International Organization for Standardization and the International Electrotechnical Commission as ISO / IEC 7501-1).
  • the second line of the MRZ area at the bottom of the passport contains the above information.
  • C stands for Checksum.
  • Four out of five checksums each validate the previous passport number, date of birth, expiration date, and personal identification code, and the last five checksums validate the entire code.
  • Each passport contains its own anti-counterfeiting element.
  • There is also a unique pattern is printed in the infrared and ultraviolet ink, in the present invention is to detect the forgery of the inspection passport by analyzing the portion of the unique pattern area of the image of the inspection passport and the contrast passport.
  • Applied techniques include geometric correction (to first position the same type of contrast passport (standard sample passport) as the inspection passport for automated analysis) and pattern analysis (UV for both passports corrected to the same position).
  • IR and infrared (UV) anti-counterfeiting device is determined whether there is a certain pattern in the anti-counterfeiting device is used to determine the authenticity using a comparative analysis algorithm for each pattern.
  • the inspection passports are obtained by the inspection passport image by varying the scanning position and the rotation angle, so the position and rotation when comparing the inspection passport and the contrast passport You need to 'geometrically correct' the angles equally.
  • the SURF algorithm finds a feature that is invariant to environmental changes by considering environmental changes such as scale, illumination, and viewpoint from multiple images. It is faster than existing algorithm by analyzing scale space with box filter using integral image.
  • first-order derivatives second-order derivatives
  • the first derivative is used with the term gradient, and it has a vector value to know the magnitude, direction, and edge direction.
  • the edge of the image is a point at which the brightness value (pixel value) of the image changes.
  • the second derivative is a derivative of the first derivative, called Laplacian.
  • Lxx, Lxy, and Lyy are convolutions of Gaussian-Laplacian second derivatives at points (x, y) in the image. sigma means scale.
  • the Hessian matrix is used in the image of the inspection passport to find the interest point.
  • Lxx (x, y, ⁇ ) is the result of the second order derivative using the Laplacian of Gaussian (LoG) of the inspection passport image and is converted as shown in FIG. 8 when applied to the box filter.
  • FIG. 8 is a diagram illustrating the results of the second derivative using the Laglacian of Gaussian (LoG) of the inspection passport image using the Hessian matrix as a feature point of the inspection passport image.
  • LiG Laglacian of Gaussian
  • FIG. 9 is a diagram illustrating an image pyramid constructed by performing scale-up and up-scaling of the result of the second derivative using a Laglacian of Gaussian (LoG) of an inspection passport image. to be.
  • LiG Laglacian of Gaussian
  • the candidate candidates are selected when the center point is the largest compared to the neighboring points by using non-maximal suppression for each.
  • an orientation is assigned to generate a descriptor of each feature point.
  • Haar- in the x and y directions with respect to neighbors within a certain distance from the feature point as shown in FIG. 14. Compute the wavelet response.
  • FIG. 10 is a diagram illustrating calculating a Haar-wavelet response in x and y directions for neighbors within a predetermined distance from a feature point after selecting a feature point of an inspection passport image.
  • the process of calculating the haar-wavelet response consists of 2.5 gradients in the x and y directions for each point for the feature point (x, y) and neighboring points (x-6: x + 6, y-6: y + 6). Calculated by multiplying Gaussian distributions with sigma values.
  • a 60 ° fan-shaped window is used to calculate the haar-wavelet response in the x and y directions for neighbors within a certain distance around the feature point (x, y). Adding all the responses in a fan-shaped window, we can create a new vector like the red arrow in Figure 14, the longest of which matches the dominant orientation.
  • matching is performed using the finally detected feature point and the descriptor of each feature point, and based on the matched result, translation is performed on the x and y axes and rotation in 2D space is performed. To match the position of the two images.
  • a unique pattern area of each passport registered in the database of the passport inspection system is retrieved and the image is extracted.
  • the image extracted from the unique pattern area of each passport is converted into a channel having a value of 8 bits for each pixel through gray-scale, and based on this, the Y, R, G, and B values (0 to 255) of the x-axis of each pixel are converted.
  • a histogram representing the frequency (number) of the axes is constructed. This is the same for both the inspection passport image entered through the scanner into the passport inspection system and the standard sample passport image retrieved from the database.
  • FIG. 11 is a channel analysis of 8-bit values for each pixel of the image extracted from the pattern area (left) of the passport using the Chi-suqare test when the pattern analysis of the pattern area image of the inspection passport and the contrast passport is performed. Based on this, the histogram (right) which shows the frequency (number) of the Y-axis with respect to the R, G, and B values (0-255) of the x-axis of each pixel is shown.
  • the histogram of the pattern area formed by infrared and ultraviolet inks of the pattern area image of the passport and the histogram of the image of the pattern area of the passport are compared with the histogram. Used. Chi-square test is a statistical technique for measuring the correlation between two discrete variables. Two histograms are used as the observed frequencies (O: Observed frequencies) and the expected frequencies (E) in Equation 2.
  • the variables included in the equation are O (observed) is the observed value (the value of the histogram bin), E (expected) is the expected value (the value of the histogram bin), and the sum of the operations for each corresponding frequency. (The number of bins is 0-255).
  • the contrast passports (standard sample passports) stored in the DB of the passport inspection system are set to the expected value (E), and the inspection passport is set to the observation value (O).
  • Equation 2 The resultant obtained through Equation 2 is used to calculate the p-value from the Chi-square distribution (chi-square distribution, ⁇ 2 distribution).
  • the final verification of passport forgery is performed by comparing the significance level stored in the database of the passport inspection system with the obtained p-value.
  • Chi-square distribution (chi-square distribution, ⁇ 2 distribution) is the sample variance when variance of ⁇ 2, and extract all samples in the sample size n from the population forms a normal distribution
  • the Chi-square distribution (chi-square distribution, ⁇ 2 distribution) with degrees of freedom of (n-1) to be.
  • p-value selects the corresponding value from the chi-square distribution table as shown in Table 3.
  • the value may change depending on the brightness of the passport image compared to the passport.
  • black and white by the threshold (binar) black and white by the threshold (binar) to extract the shade ratio is used additionally.
  • the Chi-square test uses a gray-scale space when analyzing the pattern area of the passport.
  • the value may change depending on the brightness of the passport image.
  • Each pixel of the pattern region image of the passport is binarized into black and white using a threshold using the Otsu algorithm, and the shade ratio is extracted and compared.
  • Otsu algorithm is used for binarization.
  • the Otsu algorithm extracts a threshold value that distinguishes black and white from the inflection point of the contrast image of the passport image, so that each pixel has a result independent of the brightness of the pattern region image of the passport.
  • Binary black and white images can be created.
  • the binarized pattern region image is converted to a black and white image with a channel of 1 bit per pixel.When the conversion is completed, the entire pixel of the pattern region image is read, and the number, average, and standard deviation of the black and white pixels are shown in Table 4 below. Calculate it together. The calculation is performed on all reference data of the pattern region image.
  • the mean, standard deviation, and pixel percentage (%) of the total pixel data of the pattern area image of the inspection passport and the comparison passport are respectively calculated.
  • the effective range of the shade ratio is calculated and the difference between the inspection passport (test passport) and the comparison passport (standard sample passport) is output.
  • the process of calculating the effective range of the shade ratio is first calculated using the Shade ratio average and the standard deviation of the comparative passports (standard passports), and then the probability distribution is calculated based on a certain probability (currently 10%, which is later applied by different countries). Set the effective range.
  • the final result of the pattern analysis on the passport and contrast passport areas is to compare the threshold value stored in the database for each passport with the sum of the results of the Chi-square test and the shade ratio. Whether or not is derived.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Credit Cards Or The Like (AREA)

Abstract

The present invention relates to a method for inspecting a forged passport and a recording medium therefor. The present invention is performed in a passport inspection system comprising a control unit, a storage unit which is connected to the control unit and stores an image of a passport for comparison, an input unit which is connected to the control unit and serves as a means for inputting a user's command, and a display unit which is connected to the control unit and displays the result of inspection, and comprises: an inspected passport image acquisition step for acquiring an image of an inspected passport through a scanner connected to the passport inspection system and storing the acquired image in the storage unit; a validity check step for checking the validity of machine readable zone (MRZ) data in the image of the inspected passport; a comparison passport image search step for searching for an image of a passport for comparison to be compared to the inspected passport, from the storage unit; a passport comparison step for comparing the inspected passport with the passport for comparison; and a passport forgery inspection result display step for displaying the result of the inspection on the display unit.

Description

위변조 여권 검사 방법 및 그 기록매체How to check forgery passport and record media
본 발명은 위변조 여권 검사 방법 및 그 기록매체에 관한 것으로, 보다 상세하게는 가시광선, 적외선, 자외선 이미지를 제공하는 스캐너를 사용하여 검사 여권의 이미지를 여권 검사 시스템에 입력하고, 영상처리 및 패턴인식 기술을 사용하여 검사 여권 이미지와 데이터베이스에 저장된 발급국의 대비 여권과 비교하며, 검사 여권 이미지의 MRZ(Machine Readable Zone) 데이터의 유효성을 검사하고, 검사 여권과 대비 여권의 패턴 영역의 히스토그램을 비교하거나, 검사 여권과 대비 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터에 대한 픽셀 갯수, 평균값 및 표준편차의 연산결과를 비교하거나, 또는 검사 여권 이미지의 위치와 회전 각도를 맞추는 기하보정과 패턴 분석을 실시하여 대비 여권의 비교 대상 패턴을 기준으로 검사 여권의 자외선 이미지 중에서 특징영역에 대한 패턴 영역과 비교하여 여권 위변조를 식별하는, 위변조 여권 검사 방법 및 그 기록매체에 관한 것이다.The present invention relates to a forgery passport inspection method and a recording medium thereof, and more particularly, to input the image of the inspection passport to the passport inspection system using a scanner that provides visible, infrared, and ultraviolet images, image processing and pattern recognition Technology to compare the inspection passport image with the comparison passport of the issuing country stored in the database, to validate the MRZ (Machine Readable Zone) data of the inspection passport image, to compare the histogram of the inspection passport with the pattern area of the contrast passport, By comparing the calculation results of the number of pixels, average value and standard deviation of the binary pixel data forming the pattern area of the passport against the passport, or performing geometric correction and pattern analysis to match the position and rotation angle of the passport image. During the ultraviolet image of the passport checked against the comparison target pattern of the contrast passport As compared with the pattern area on the feature space to identify the passport forgery, to a forged passport control method and a recording medium.
최근, 위변조된 여권 행사 범죄의 증가함에 따라, 여권 검사 시스템이 여권의 진위 확인을 위해 발급국의 보안 요소를 모두 숙지하고 비교 검사해야 하는 절차가 필요하다. 여권 위변조 방지 기술은 적용되어 있으나 대부분 주관적 판단에 의존하는 현 검사방법은 특수장비(VSC 6000 등)의 사용이 요구되고 시간이 많이 소모되며, 검사자의 위변조 진위 여부 판단 실수가 있을 수 있다. 또한, 검사자가 위변조 방지 기술을 모두 숙지하고 있어야 하는데 국가별로 여권에 적용 기술이 다르고, 국가별로도 여러 판본이 존재하여 이를 숙지하는 것은 실제로 어려운 일이다. In recent years, as the number of counterfeit passport event crimes increases, a procedure that requires the passport inspection system to know and compare all security elements of the issuing country to verify the authenticity of passports. Passport forgery and alteration prevention technology is applied, but the current inspection method, which relies mostly on subjective judgment, requires the use of special equipment (VSC 6000, etc.), is time consuming, and there may be a mistake in determining whether the forgery is true or not. In addition, the inspector should be familiar with all the forgery and alteration prevention techniques, and the technology applied to passports differs from country to country, and there are many versions in each country.
여권 위변조 방법은 위조 또는 변조하여 사용된다. Passport forgery and alteration methods are used forgery or alteration.
위조는 O/A기기의 대중화로 진정한 여권을 스캔받아, 포토샵 등 이미지처리 프로그램을 사용하여 위조된 여권을 생산하는 경우가 대다수이다.Forgery is the result of the popularization of O / A devices that scan for true passports and produce fake passports using image processing programs such as Photoshop.
변조는 여권의 중요 정보인 인적사항 등을 훼손한 후 해당 부분을 재기재 또는 출력하는 경우와 사진을 교체하여 사용하는 경우가 다수이다.In many cases, the alteration of the passport information is damaged and the information is rewritten or printed and the photograph is replaced.
위변조 방지용 여권/visa 발급 및 통과 심사 방법과 관련된 선행기술이 등록 실용신안 20-02934623에 개시되어 있으며, 위변조 방지용 여권 발급부와 위변조 여권 소지자 통과 심사부로 구성된다.Prior art related to the forgery / visa issuance and pass screening method is disclosed in Registered Utility Model No. 20-02934623. It consists of a passport issuance prevention and forgery pass holder.
도 1은 종래의 위변조 방지용 여권 발급부를 나타낸 도면이다.1 is a view showing a conventional passport forgery forgery prevention unit.
위변조 방지용 여권 발급부는 카메라(11)를 통한 영상획득부; 발급 희망자의 얼굴 영상에서 얼굴 영역부분만 추출하는 Mask된 얼굴 영역 발생기(12); 위조 여부를 판정하기 위해 Mask된 얼굴 영역 발생기(12)에서 추출된 얼굴 영상 이미지에서 얼굴고유의 특징 점을 추출해내는 얼굴 고유 데이터 발생기(13); 추출된 얼굴 고유 데이터를 2D 바코드 데이터로 변환하는 2D 바코드 변환부(14); Mask된 얼굴 영역 발생기(12)에서 얻어진 인물 사진과, 인쇄된 2D 바코드 데이터를 동시에 삽입하여 여권을 제작하는 여권/Visa 제작부(15); 여권 입력부를 통해 여권 발급자의 신상 정보를 입력한후, 발급 전 여권의 사진과 2D 바코드의 일치여부를 Test를 하는 여권 입력 및 인증 Test(16), 및 Test가 끝난 후 최종 여권을 발급하는 최종 연권 발급부(17)로 구성된다. Passport forgery prevention forgery image acquisition unit through the camera 11; A masked face region generator 12 extracting only a face region portion from the face image of the issuer; A face unique data generator 13 for extracting a feature point unique to the face from the face image image extracted by the masked face region generator 12 to determine whether or not to forgery; A 2D barcode converter 14 for converting the extracted face unique data into 2D barcode data; A passport / Visa production unit 15 for creating a passport by simultaneously inserting a portrait photograph obtained from the masked face region generator 12 and printed 2D barcode data; After entering the personal information of the passport issuer through the passport input section, the passport input and certification test (16) is used to test whether the photo of the passport matches the 2D barcode before issuing, and the final passport issued after the test is issued. Issuance unit 17 is composed.
위변조 여권 소지자 통과 심사부는 2D 바코드에 저장된 얼굴 고유 데이터와 여권 사진에 부착된 얼굴 영상 사진을 분리한후 얼굴 영상 사진으로부터 얼굴 고유 데이터를 다시 발생시켜 2D 바코드의 얼굴 고유 데이터와 비교하는 것을 특징으로 하는 여권 위변조 판독부를 구비한다.The forgery passport holder passing examination unit separates the face unique data stored in the 2D barcode and the face image attached to the passport photo, and generates the face unique data from the face image and compares the face unique data of the 2D barcode. A passport forgery reading unit is provided.
그러나, 각 여권들은 고유의 위변조를 방지하기 위해 적외선 또는 자외선 잉크로 고유한 패턴이 인쇄된 것도 있는데, 이 부분을 분석하여 여권의 위변조 여부를 식별하는 구체적인 기술이 도입되지 않았다.However, each passport has a unique pattern printed with infrared or ultraviolet ink to prevent inherent forgery, and the specific technique of analyzing the portion to identify the forgery of the passport has not been introduced.
이러한 종래 기술의 문제점을 해결하기 위한 본 발명의 목적은 가시광선, 적외선, 자외선 이미지를 제공하는 스캐너를 사용하여 검사 여권의 이미지를 여권 검사 시스템에 입력하고, 영상처리 및 패턴인식 기술을 사용하여 검사 여권 이미지와 데이터베이스에 저장된 발급국의 대비 여권과 비교하며, 검사 여권 이미지의 MRZ(Machine Readable Zone) 데이터의 유효성을 검사하고, 검사 여권과 대비 여권의 패턴 영역의 히스토그램을 비교하거나, 검사 여권과 대비 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터에 대한 픽셀 갯수, 평균값 및 표준편차의 연산결과를 비교하거나, 또는 검사 여권 이미지의 위치와 회전 각도를 맞추는 기하보정과 패턴 분석을 실시하여 대비 여권의 비교 대상 패턴을 기준으로 검사 여권의 자외선 이미지 중에서 특징영역에 대한 패턴 영역과 비교하여 여권 위변조를 식별하는, 위변조 여권 검사 방법 및 그 기록매체에 관한 것이다.An object of the present invention for solving the problems of the prior art is to input the image of the inspection passport to the passport inspection system using a scanner that provides visible light, infrared, ultraviolet light image, inspection using image processing and pattern recognition technology Compare the passport image with the issuing country's contrast passport stored in the database, validate the MRZ (Machine Readable Zone) data in the inspection passport image, compare the histogram of the pattern area of the passport with the inspection passport, or compare with the inspection passport Compare the results of the calculation of the number of pixels, average value and standard deviation of the binary pixel data that form the pattern area of the passport, or perform geometric correction and pattern analysis to match the position and rotation angle of the inspection passport image. Based on the pattern, the ultraviolet ray image of the passport As compared to the turn region for identifying the passport forgery, to a forged passport control method and a recording medium.
본 발명의 목적을 달성하기 위해, 위변조 여권 검사 방법은 제어부와, 상기 제어부에 연결되며 대비 여권 이미지가 저장된 저장부와, 상기 제어부에 연결되며 사용자의 명령이 입력되는 수단인 입력부와, 상기 제어부에 연결되며 검사결과가 표시되는 표시부로 이루어지는 여권검사시스템에서 실행되며; 상기 여권검사시스템에 연결된 스캐너를 통해 검사 여권 이미지가 획득되어 저장부에 저장되는 검사 여권 이미지 획득 단계; 상기 검사 여권의 이미지에서 MRZ(Machine Readable Zone) 데이터의 유효성 검사가 실행되는 유효성 검사 단계; 상기 저장부로부터 검사 여권과 대비될 대비 여권 이미지가 검색되는 대비 여권 이미지 검색 단계; 및 상기 대비 여권과 상기 검사 여권이 대비되는 여권 대비 단계; 및 여권 위변조 검사 결과가 표시부에 디스플레이되는 검사 결과 표시 단계로 이루어지는 것을 특징으로 한다.In order to achieve the object of the present invention, a forgery passport inspection method includes a control unit, a storage unit connected to the control unit and stored a contrast passport image, an input unit connected to the control unit and means for inputting a user's command, and the control unit Is executed in a passport inspection system which is connected to and comprises a display unit displaying the inspection results; An inspection passport image obtaining step of obtaining an inspection passport image through a scanner connected to the passport inspection system and storing the inspection passport image; A validation step of validating machine readable zone (MRZ) data in the image of the inspection passport; A contrast passport image search step of searching for a contrast passport image to be compared with the inspection passport from the storage; And a passport preparation step in which the preparation passport and the inspection passport are prepared. And a test result display step in which the passport forgery test result is displayed on the display unit.
본 발명에 따른 위변조 여권 검사 방법 및 그 기록매체는 가시광선, 적외선, 또는 자외선으로 형성된 패턴 영역이 포함된 검사 여권 이미지를 스캔하는 스캐너 및 여권 검사 시스템의 제안된 기술을 구현한 소프트웨어만으로 빠르고 간단하게 여권 위변조 식별이 가능하므로 출입국심사 등의 여권검사 업무 속도를 높이고, 정량적 검사를 통한 여권 진위 확인으로 여권검사의 신뢰성을 극대화될 것으로 기대된다.The forgery passport inspection method and its recording medium according to the present invention are quick and simple using only software that implements the proposed technology of a scanner and passport inspection system for scanning an inspection passport image including a pattern region formed of visible light, infrared rays, or ultraviolet rays. Passport forgery and identification can be identified, thus increasing the speed of passport inspection, such as immigration, and maximizing the reliability of passport inspection by verifying the authenticity of passport through quantitative inspection.
제안된 위변조 여권 검사 방법은 검사 여권(검사 대상 여권)과 대비 여권(발급국 표준여권)과의 정량적 비교를 통한 유사도를 자동으로 계산하여 제공함으로써 주관적 판단에 따른 오류를 최소화한다. The proposed forgery passport inspection method automatically calculates and provides similarity through quantitative comparison between the inspection passport (the passport to be inspected) and the comparison passport (the standard passport of the issuing country), thereby minimizing the errors caused by the subjective judgment.
제안된 위변조 여권 검사 방법은 검사 여권과 대비 여권과의 주관적 상세 비교를 도와줄 수 있는 정규화 및 중첩 절단 비교 방법 제공으로 정량 검사의 한계를 보완하여 여권 검사의 신뢰성을 확보하여 위변조된 여권을 사용한 범죄를 줄이는 효과가 있다.The proposed forgery passport inspection method provides a normalization and overlapping cutoff comparison method that can help subjective detailed comparison between the inspection passport and the comparison passport, complementing the limitation of quantitative inspection to secure the reliability of passport inspection, and thus using the forged passport. Has the effect of reducing
도 1은 종래의 위변조 방지용 여권 발급부를 나타낸 도면이다.1 is a view showing a conventional passport forgery forgery prevention unit.
도 2는 본 발명에 따른 위변조 여권 검사 시스템 구성도이다.Figure 2 is a schematic diagram of a forgery passport inspection system according to the present invention.
도 3은 본 발명의 실시예에 따른 여권 검사 시스템의 내부 구성도이다.3 is an internal configuration diagram of a passport inspection system according to an embodiment of the present invention.
도 4는 본 발명에 따른 위변조 여권 검사 방법을 설명한 순서도이다.4 is a flowchart illustrating a forgery passport inspection method according to the present invention.
도 5는 검사 여권 패턴 영역의 히스토그램과 대비 여권 패턴 영역의 히스토그램이 대비되는 단계를 나타낸 순서도이다.5 is a flowchart illustrating a step in which a histogram of a check passport pattern region and a histogram of a contrast passport pattern region are compared.
도 6은 검사 여권과 대비 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터에 대한 픽셀 갯수, 평균값 및 표준편차의 연산결과를 대비하는 여권 대비 단계를 나타낸 순서도이다.FIG. 6 is a flowchart illustrating a passport comparison step in which a calculation result of the number of pixels, an average value, and a standard deviation of binarized pixel data constituting a pattern area of a passport and a passport is compared.
도 7은 대비 여권 이미지 검색 단계와 여권 대비 단계 사이에 대비 여권과 검사 여권 이미지의 위치와 회전 각도를 맞추는 기하 보정을 실시하는 여권 이미지 보정 단계를 나타낸 순서도이다.7 is a flowchart illustrating a passport image correction step of performing a geometric correction to match the position and rotation angle of the contrast passport and inspection passport image between the contrast passport image search step and the passport contrast step.
도 8은 검사 여권 이미지의 특징점(Interest point)을 Hessian matrix를 사용하여 검사 여권 이미지의 LoG(Laplacian of Gaussian)를 사용한 2차 미분의 결과를 박스 필터에 적용 후 변환을 설명하기 위한 도면이다.FIG. 8 is a diagram for explaining the conversion after applying the result of the second derivative using the Laglacian of Gaussian (LoG) of the inspection passport image to the box filter using the Hessian matrix as the interest point of the inspection passport image.
도 9는 검사 여권 이미지의 LoG(Laplacian of Gaussian)를 사용한 2차 미분의 결과를 박스 필터에 의해 변환된 결과를 Scale space를 구성하고 Up-scaling을 하면서 구축된 이미지 피라미드(Image pyramid)를 도식적으로 나타낸 도면이다.9 is a schematic diagram of an image pyramid constructed by constructing a scale space and up-scaling the result of a second derivative using a Laglacian of Gaussian (LoG) of an inspection passport image. The figure shown.
도 10은 검사 여권 이미지의 특징점 선정 후, 특징점을 중심으로 일정 거리 안의 이웃들에 대하여 x, y방향의 Haar-wavelet response를 계산하는 것을 나타낸 도면이다.FIG. 10 is a diagram illustrating calculating a Haar-wavelet response in x and y directions for neighbors within a predetermined distance from a feature point after selecting a feature point of an inspection passport image.
도 11은 검사 여권과 대비 여권의 패턴 영역의 패턴 분석시, Chi-suqare test를 사용하여 여권의 고유의 패턴 영역(좌측)으로부터 추출된 이미지의 각 픽셀마다 8bit의 값을 가지는 채널로 변환되고, 이를 토대로 각 픽셀의 x축의 R, G, B 값(0~255)에 대한 Y 축의 빈도(갯수)를 나타내는 히스토그램(우측)을 나타낸 도면이다.11 is converted into a channel having a value of 8 bits for each pixel of the image extracted from the unique pattern area (left) of the passport by using the Chi-suqare test when analyzing the pattern area of the passport and the contrast passport. Based on this, it is a figure which shows the histogram (right) which shows the frequency (number) of the Y-axis with respect to the R, G, and B value (0-255) of the x-axis of each pixel.
본 발명의 목적, 특징, 장점들은 첨부한 도면들을 참조하여 상세한 설명과 바람직한 실시예로부터 더욱 분명해질 것이다. 본 명세서의 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 부여한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.The objects, features and advantages of the present invention will become more apparent from the detailed description and the preferred embodiments with reference to the accompanying drawings. In adding reference numerals to the elements of each drawing of the present specification, the same elements are given the same number as much as possible even though they are shown in different drawings. In addition, in describing the present invention, if it is determined that the detailed description of the related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 명세서에서는 검사 대상 여권을 '검사 여권'이라고 하고, 각각의 국적에 따른 발행국 표준 여권을 '대비 여권'이라고 한다.In the present specification, the passport to be examined is referred to as an 'test passport', and the standard passport of the issuing country according to each nationality is referred to as a 'contrast passport'.
도 2는 본 발명에 따른 위변조 여권 검사 시스템 구성도이다.Figure 2 is a schematic diagram of a forgery passport inspection system according to the present invention.
위변조 여권 검사 시스템은 검사 여권의 이미지와 대비 여권의 이미지를 비교하여 여권의 위변조를 검사하는 여권 검사 시스템(110)과, 여권 검사 시스템(110)과 연결되며 가시광선(Visible Ray), 또는 적외선(Infrared Rays), 또는 자외선(Ultraviloet Rays) 패턴 영역이 형성된 이미지를 스캔하는 스캐너(120)로 구성된다.The forgery passport inspection system compares the image of the inspection passport with the image of the contrast passport and checks the forgery of the passport, and the passport inspection system 110 is connected to the visible ray (Visible Ray) or infrared ( Infrared Rays, or Ultraviolet Ray (Ultraviolet Rays) pattern region is formed of a scanner 120 for scanning an image formed.
도 3은 본 발명의 실시예에 따른 여권 검사 시스템의 내부 구성도이다.3 is an internal configuration diagram of a passport inspection system according to an embodiment of the present invention.
여권 검사 시스템(110)은 스캐너(120)와 연결되며, 스캐너(120)에서 스캔된 검사 여권 이미지와 대비 여권의 이미지를 비교하여 여권의 위변조를 검사하는 제어부(111), 상기 제어부(111)에 연결되며 검사 여권 이미지를 저장하고 대비 여권 이미지가 저장된 저장부(117), 상기 제어부(111)에 연결되며 사용자의 명령이 입력되는 수단인 입력부(113), 상기 제어부(111)에 연결되며 검사결과가 표시되는 표시부(115), 및 스캐너(120)와 연결되는 연결부(119)를 포함한다.The passport inspection system 110 is connected to the scanner 120, and compares the inspection passport image scanned by the scanner 120 with the image of the contrast passport to the control unit 111 for checking forgery and alteration of the passport, and the control unit 111. Connected to the storage unit 117, the control unit 111, which stores the inspection passport image and the contrast passport image is stored, and is connected to the input unit 113 and the control unit 111, which are means for inputting a user's command. The display unit 115 is displayed, and the connection unit 119 connected to the scanner 120.
도 4는 위변조 여권 검사 방법을 설명한 순서도이다.4 is a flowchart illustrating a forgery passport inspection method.
위변조 여권 검사 방법은 제어부(111)와, 상기 제어부(111)에 연결되며 대비 여권 이미지가 저장된 저장부(117)와, 상기 제어부(111)에 연결되며 사용자의 명령이 입력되는 수단인 입력부(113)와, 상기 제어부(111)에 연결되며 검사결과가 표시되는 표시부(115)로 이루어지는 여권검사시스템에서 실행되며;The forgery passport inspection method includes a control unit 111, a storage unit 117 connected to the control unit 111 and storing a contrast passport image, and an input unit 113 connected to the control unit 111 and a means for inputting a user's command. And a display unit 115 connected to the control unit 111 and displaying a test result;
가시광선(Visible Ray), 또는 적외선(Infrared Rays), 또는 자외선(Ultraviloet Rays) 패턴 영역이 포함된 여권 이미지를 스캔하는 스캐너(120)를 통해 검사 여권 이미지가 획득되어 저장부(117)에 저장되는 검사 여권 이미지 획득 단계와; 검사 여권의 이미지에서 MRZ(Machine Readable Zone) 데이터의 유효성 검사가 실행되는 유효성 검사 단계와; 저장부(117)로부터 검사 여권과 대비될 대비 여권 이미지가 검색되는 대비 여권 이미지 검색 단계와; 대비 여권과 검사 여권이 대비되는 여권 대비 단계와, 여권 위변조 검사 결과가 표시부(115)에 디스플레이되는 검사 결과 표시 단계로 이루어진다.An inspection passport image is acquired and stored in the storage unit 117 through a scanner 120 that scans a passport image including a visible ray, an infrared ray, or an ultraviolet ray pattern region. Obtaining an inspection passport image; A validation step of performing validation of MRZ (Machine Readable Zone) data on the image of the inspection passport; A contrast passport image search step of searching for a contrast passport image to be compared with the inspection passport from the storage unit 117; Contrast Passport and Inspection Passport contrast step is prepared, and the passport forgery test result is made of the test result display step is displayed on the display unit 115.
도 5는 검사 여권 패턴 영역의 히스토그램과 대비 여권 패턴 영역의 히스토그램이 대비되는 여권 대비 단계를 나타낸 순서도이다.FIG. 5 is a flowchart illustrating a passport comparison step in which a histogram of a check passport pattern region is compared with a histogram of a passport pattern region.
상기 여권 대비 단계는 상기 검사 여권과 상기 대비 여권에서 자외선 또는 적외선으로 형성된 고유의 패턴 영역이 분리되는 패턴 영역 분리 단계와, 상기 검사 여권과 상기 대비 여권 이미지에서 분리된 패턴 영역의 히스토그램(histogram) 데이터가 추출되는 히스토그램 데이터 추출 단계와, 검사 여권 패턴 영역의 히스토그램과 대비 여권 패턴 영역의 히스토그램이 대비되는 히스토그램 데이터 대비 단계로 이루어진다.The passport comparison step may include a pattern area separation step of separating the inspection passport and a unique pattern area formed by ultraviolet or infrared rays from the comparison passport, and histogram data of the pattern area separated from the inspection passport and the contrast passport image. Histogram data extraction step is extracted, and the histogram data contrast step is compared with the histogram of the passport pattern region contrasted with the histogram of the inspection passport pattern region.
도 6은 검사 여권과 대비 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터에 대한 픽셀 갯수, 평균값 및 표준편차의 연산결과를 대비하는 여권 대비 단계를 나타낸 순서도이다.FIG. 6 is a flowchart illustrating a passport comparison step in which a calculation result of the number of pixels, an average value, and a standard deviation of binarized pixel data constituting a pattern area of a passport and a passport is compared.
상기 여권 대비 단계는 상기 검사 여권과 상기 대비 여권에서 패턴 영역이 분리되는 패턴 영역 분리 단계; 분리된 패턴 영역이 이진화되는 이진화 단계; 상기 대비 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터에 대한 픽셀 갯수, 평균값 및 표준편차가 연산되는 대비 여권 연산 단계; 상기 검사 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터에 대한 픽셀 갯수, 평균값 및 표준편차가 연산되는 검사 여권 연산 단계; 및 상기 검사 여권에 대한 연산결과와 대비 여권에 대한 연산결과가 대비되는 연산결과 대비 단계로 이루어진다.The passport comparison step may include: a pattern area separation step of separating pattern areas from the inspection passport and the comparison passport; A binarization step in which the separated pattern region is binarized; A comparison passport calculation step of calculating the number of pixels, an average value, and a standard deviation of the binarized pixel data forming the pattern region of the comparison passport; An inspection passport calculation step of calculating the number of pixels, an average value, and a standard deviation of the binarized pixel data forming the pattern region of the inspection passport; And a calculation result comparison step in which the calculation result for the passport is compared with the calculation result for the passport.
도 7은 대비 여권 이미지 검색 단계와 여권 대비 단계 사이에 대비 여권과 검사 여권 이미지의 위치와 회전 각도를 맞추는 기하 보정을 실시하는 여권 이미지 보정 단계를 나타낸 순서도이다.7 is a flowchart illustrating a passport image correction step of performing a geometric correction to match the position and rotation angle of the contrast passport and inspection passport image between the contrast passport image search step and the passport contrast step.
상기 대비 여권 이미지 검색 단계와 여권 대비 단계 사이에는 대비 여권과 검사 여권 이미지의 위치와 회전 각도를 맞추는 기하 보정을 실시하여 여권 이미지 보정 단계가 더 포함되며; 상기 여권 이미지 보정 단계는 검사 여권 이미지와 대비 여권 이미지를 이루는 픽셀들에 대한 헤시안 매트릭스(Hessian matrix)가 연산되는 단계와, 각 이미지를 이루는 픽셀에 대한 스케일 스페이스(scale space)가 생성되고 업스케일링되면서 이미지 피라미드(image pyramid)가 생성되는 단계와, 각 스케일(scale)의 이미지에서 특징점 그룹이 선정되는 단계와, 특징점 그룹에 대한 Haar-wavelet response가 연산되는 단계와, Haar-wavelet response 결과로부터 도미넌트 방향이 연산되는 단계와, 검출된 특징점에 대하여 대비 여권과 검사 여권의 이미지를 이루는 픽셀의 좌표가 재설정되고 도미넌트 방향이 일치되도록 회전 변위가 재설정되어 저장부(117)에 저장되는 것을 특징으로 한다.Between the contrast passport image search step and the passport contrast step, a correction of the passport image is further performed by performing a geometric correction to match the position and rotation angle of the contrast passport and the inspection passport image; The passport image correction step includes calculating a Hessian matrix of pixels forming a contrast passport image with a check passport image, generating a scale space for the pixels forming each image, and upscaling. Image pyramid is generated, a feature point group is selected from an image of each scale, a Haar-wavelet response is calculated for the feature point group, and a dominant is generated from the Haar-wavelet response result. The direction is calculated, and the coordinates of the pixels constituting the image of the contrast passport and the inspection passport with respect to the detected feature points are reset, and the rotational displacement is reset so that the dominant directions coincide with each other and stored in the storage unit 117.
상기 제어부(111)에는 스캐너(120)가 연결되며, 검사 여권 이미지 획득 단계에서는 스캐너(120)에서 스캔된 검사 여권의 가시광선 이미지, 자외선 이미지 및 적외선 이미지가 저장부(117)에 저장되며; 상기 패턴 영역 분리 단계에서는 가시광선 이미지, 자외선 이미지 및 적외선 이미지에서의 패턴 영역이 분리되는 것을 특징으로 한다.A scanner 120 is connected to the control unit 111, and in the obtaining of the inspection passport image, the visible light image, the ultraviolet image, and the infrared image of the inspection passport scanned by the scanner 120 are stored in the storage unit 117; In the pattern region separation step, the pattern region in the visible light image, the ultraviolet image, and the infrared image is separated.
상기 여권 대비 단계는 검사 여권과 대비 여권에서 패턴 영역의 이미지를 분리되는 패턴 영역 분리 단계와, 분리된 패턴 영역의 이미지의 각 픽셀의 히스토그램 데이터(x축은 8비트의 각각의 R,G,B 값 또는 각각의 R,G,B 값을 더한 값, y축은 빈도(갯수))가 추출되는 히스토그램 데이터 추출 단계와, 검사 여권 패턴 영역의 히스토그램과 대비 여권 패턴 영역의 히스토그램이 대비되는 히스토그램 데이터 대비 단계로 이루어지는 히스토그램 대비 단계와; 분리된 패턴 영역의 이미지의 각 픽셀들이 Otsu 알고리즘을 사용하여 이미지의 명암 분포에서 변곡점을 찾아 추출된 임계값(threshold)에 의해 흑색과 백색으로 이진화되는 이진화 단계와, 대비 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터가 연산(흑색과 백색의 픽셀 갯수, 평균값 및 표준편차)되는 대비 여권 연산 단계와; 검사 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터가 연산(흑색과 백색의 픽셀 갯수, 평균값 및 표준편차)되는 검사 여권 연산 단계와, 검사 여권에 대한 연산결과와 대비 여권에 대한 연산결과가 대비되는 연산결과 대비 단계로 이루어지는 픽셀 데이터 대비 단계를 포함한다.The passport comparison step includes a pattern area separation step of separating an image of a pattern area from an inspection passport and a contrast passport, and histogram data of each pixel of the image of the separated pattern area (x-axis is 8 bits each of R, G, and B values). Alternatively, the histogram data extraction step of extracting the R, G, and B values, and the y-axis frequency (number)) and the histogram data comparison step in which the histogram of the passport pattern area is compared with the histogram of the passport pattern area. A histogram contrast step; A binarization step in which each pixel of the image of the separated pattern region is binarized to black and white by a threshold extracted by finding an inflection point in the contrast distribution of the image using the Otsu algorithm, and the binarization forming the pattern region of the contrast passport. A comparison passport operation step in which the processed pixel data is calculated (number of black and white pixels, average value and standard deviation); An inspection passport calculation step in which the binarized pixel data constituting the pattern area of the inspection passport is calculated (the number of black and white pixels, the average value and the standard deviation), and an operation in which the operation result of the passport is compared with that of the inspection passport. And a pixel data contrast step comprising a result contrast step.
여권에는 여권 번호(Passport No), 여권의 종류(Type), 발행국(Country code), 성(Surname), 이름(Given name), 국적(Nationality), 성별(Sex), 생년월일(Date of birth), 주민등록번호(Social Security Number), 발급일(Date of Issue), 발행관청(Authority), 기간만료일(Date of expiry), 설명의 인적 사항 정보가 포함된다.Passport No, Passport No, Passport Type, Country Code, Surname, Given Name, Nationality, Sex, Date of Birth, It includes social security number, date of issue, authority, date of expiry, and personal information in the description.
그리고 여권 하단에는 MRZ(Machine Readable Zone) 데이터가 2줄로 기재된다.At the bottom of the passport are two lines of Machine Readable Zone (MRZ) data.
MRZ 데이터에는 여권의 종류(Type), 발행국(Country code), 성(Surname), 이름(Given name), 여권 번호, 국적, 생년월일, 성별, 기간만료일, 주민등록번호(뒷자리)를 포함한다.MRZ data includes the type of passport, country code, surname, given name, passport number, nationality, date of birth, gender, expiration date, and social security number.
또한, 각국의 여권에는 적외선과 자외선 잉크로 고유한 패턴(예, 태극문양)이 인쇄되어 여권 위변조를 방지하기 위해 사용된다.In addition, passports of various countries are printed with a unique pattern (eg, Taegeuk patterns) in infrared and ultraviolet ink, which are used to prevent passport forgery.
MRZ 유효성 검사는 ICAO Document 9303 (endorsed by the International Organization for Standardization and the International Electrotechnical Commission as ISO/IEC 7501-1)을 기준으로 이루어진다.MRZ validation is based on ICAO Document 9303 (endorsed by the International Organization for Standardization and the International Electrotechnical Commission as ISO / IEC 7501-1).
표 1
Figure PCTKR2015012597-appb-T000001
 Table 1
Figure PCTKR2015012597-appb-T000001
표 1에 예시된 바와 같이, 여권 하단의 MRZ 영역의 두 번째 줄에는 위와 같은 정보가 포함되어 있다.As illustrated in Table 1, the second line of the MRZ area at the bottom of the passport contains the above information.
위 도표에서 C는 Checksum의 약자이다. 총 5개의 Checksum 중 4개는 각각 앞의 여권 번호, 생년월일, 만료일자, 개인식별코드의 유효성을 검사하고 마지막의 5번째 Checksum은 전체 코드에 대한 유효성을 확인한다.In the diagram above, C stands for Checksum. Four out of five checksums each validate the previous passport number, date of birth, expiration date, and personal identification code, and the last five checksums validate the entire code.
표 2
Figure PCTKR2015012597-appb-T000002
 TABLE 2
Figure PCTKR2015012597-appb-T000002
코드 유효성 검사에 사용되는 공식은 다음과 같다.The formula used for code validation is:
차례대로 7, 3, 1을 반복적으로 곱하여 더한 후, 10으로 나눈 나머지가 Checksum이 된다. 알파벳의 경우 위의 도표를 이용하여 숫자로 변환한다. 예를 들면, 생년월일 750101의 경우 7 x 7 + 5 x 3 + 0 x 1 + 1 x 7 + 0 x 3 + 1 x 1 = 72가 되어 10으로 나눈 나머지 2가 Checksum이 된다.In turn, it multiplies 7, 3, and 1 repeatedly, adds it, and divides it by 10 to become Checksum. For alphabets, convert them to numbers using the chart above. For example, in the case of the date of birth 750101, 7 x 7 + 5 x 3 + 0 x 1 + 1 x 7 + 0 x 3 + 1 x 1 = 72, and the remaining 2 divided by 10 becomes the checksum.
이하에서 기하보정을 포함하여 위에서 설명한 여권의 진위가 판별되는 과정에 대하여 도면을 참조하여 상세하게 설명한다. 각 여권들은 저마다 고유의 위조 방지 요소를 포함하고 있다. 여기에는 적외선과 자외선 잉크로 고유한 패턴이 인쇄된 것도 있는데, 본 발명에서는 검사 여권과 대비 여권의 이미지의 고유한 패턴 영역 부분을 분석하여 검사 여권의 위변조 여부를 검출한다. 적용된 기술로는 기하보정(자동화 분석을 위해 먼저 검사 여권과 같은 종류의 대비 여권(표준 샘플 여권)의 위치를 동일하게 맞춰 주는 작업을 수행)과 패턴분석(동일 위치로 보정된 두 여권에 대하여 자외선(IR)과 적외선(UV) 위조 방지 장치의 적합성 여부를 판단한다. 위조 방지 장치에는 일정한 패턴이 존재하기 때문에 각각의 패턴에 대한 비교 분석 알고리즘을 사용하여 진위를 판별)을 사용한다.Hereinafter, the process of determining the authenticity of the passport described above including geometric correction will be described in detail with reference to the accompanying drawings. Each passport contains its own anti-counterfeiting element. There is also a unique pattern is printed in the infrared and ultraviolet ink, in the present invention is to detect the forgery of the inspection passport by analyzing the portion of the unique pattern area of the image of the inspection passport and the contrast passport. Applied techniques include geometric correction (to first position the same type of contrast passport (standard sample passport) as the inspection passport for automated analysis) and pattern analysis (UV for both passports corrected to the same position). (IR) and infrared (UV) anti-counterfeiting device is determined whether there is a certain pattern in the anti-counterfeiting device is used to determine the authenticity using a comparative analysis algorithm for each pattern.
기하보정 Geometric correction
여권 검사 시스템(110)에 연동된 스캐너(120)에 의해 스캔하는 경우, 검사 여권들은 스캔 위치와 회전각도를 달리하여 검사여권 이미지가 획득되므로, 검사여권과 대비여권의 비교시에 그 위치와 회전각도를 동일하게 맞추는 '기하 보정'을 해야 된다.In the case of scanning by the scanner 120 linked to the passport inspection system 110, the inspection passports are obtained by the inspection passport image by varying the scanning position and the rotation angle, so the position and rotation when comparing the inspection passport and the contrast passport You need to 'geometrically correct' the angles equally.
그러므로, 대비 여권의 비교 대상이 되는 패턴을 기준으로 스캐너(120)에 의해 스캔된 검사 여권의 위치와 회전 각도를 맞추는 기하 보정을 실시한다. 여권들은 각각 기입된 내용이 다르지만, 자외선이나 적외선 하에서 일정한 패턴들이 노출되기 때문에 이를 기준으로 위치를 판별한다. 여기에는 SURF(Speeded Up Robust Features) 알고리즘이 사용된다.Therefore, geometric correction is performed to match the position and rotation angle of the inspection passport scanned by the scanner 120 based on the pattern to be compared with the comparison passport. Passports are different from each other, but because the pattern is exposed under ultraviolet or infrared light, the passport is determined based on this. This uses the Speeded Up Robust Features (SURF) algorithm.
SURF 알고리즘은 여러 개의 영상으로부터 크기(Scale), 조명(Illumination), 시점(Viewpoint) 등의 환경 변화를 고려하여 환경 변화에 불변하는 특징을 찾는 알고리즘이다. Integral image를 이용한 박스 필터로 스케일 스페이스(Scale space)를 분석하여 기존의 알고리즘보다 빠른 속도를 갖는다.The SURF algorithm finds a feature that is invariant to environmental changes by considering environmental changes such as scale, illumination, and viewpoint from multiple images. It is faster than existing algorithm by analyzing scale space with box filter using integral image.
수학식 1
Figure PCTKR2015012597-appb-M000001
 Equation 1
Figure PCTKR2015012597-appb-M000001
영상의 변화량 측정은 미분 연산(1차 미분, 2차 미분)이 사용된다. 1차 미분은 기울기(gradient)라는 용어로 사용되며 벡터값을 갖고 크기, 방향, 엣지 방향을 알수 있다. 영상의 엣지(edge)는 영상의 밝기값(픽셀 값)이 변하는 지점이다. 2차 미분은 1차 미분을 다시 미분한 것으로, 라플라시안(Laplacian) 이라 한다. Differential calculations (first-order derivatives, second-order derivatives) are used to measure the amount of change in the image. The first derivative is used with the term gradient, and it has a vector value to know the magnitude, direction, and edge direction. The edge of the image is a point at which the brightness value (pixel value) of the image changes. The second derivative is a derivative of the first derivative, called Laplacian.
Lxx, Lxy, Lyy는 이미지 내의 점 (x, y)에서 가우시안-라플라시안 2차미분을 수행한 convolution이다. σ(sigma)는 scale을 의미한다.Lxx, Lxy, and Lyy are convolutions of Gaussian-Laplacian second derivatives at points (x, y) in the image. sigma means scale.
특징점(Interest point)을 찾는 데는 검사 여권의 이미지에 Hessian matrix가 사용된다. Lxx(x,y,σ)는 검사 여권 이미지의 LoG(Laplacian of Gaussian)를 사용한 2차 미분의 결과이고 이것을 박스 필터에 적용하면 도 8과 같이 변환된다.The Hessian matrix is used in the image of the inspection passport to find the interest point. Lxx (x, y, σ) is the result of the second order derivative using the Laplacian of Gaussian (LoG) of the inspection passport image and is converted as shown in FIG. 8 when applied to the box filter.
도 8은 검사 여권 이미지의 특징점을 Hessian matrix를 사용하여 검사 여권 이미지의 LoG(Laplacian of Gaussian)를 사용한 2차 미분의 결과를 박스 필터에 적용 후 변환된 도면이다.FIG. 8 is a diagram illustrating the results of the second derivative using the Laglacian of Gaussian (LoG) of the inspection passport image using the Hessian matrix as a feature point of the inspection passport image.
이를 토대로 Scale space를 구성하고 Up-scaling을 하면서 이미지 피라미드(Image pyramid)를 구축한다.Based on this, we construct an image pyramid while constructing scale space and doing up-scaling.
예를들면, 앞서 scale space를 생성할 때, 베이스 필터 사이즈(base filter size)를 최초 9x9에서 점점 확장하여 이미지 피라미드를 구축한다. 현재 필터의 사이즈(Current Filter Size)는 아래와 같이 1.2의 스케일(base filter scale)에 대응하여 증가한다.For example, when creating scale space earlier, we build an image pyramid by gradually extending the base filter size from the first 9x9. The current filter size (Current Filter Size) is increased corresponding to the scale of 1.2 (base filter scale) as shown below.
scale = Current Filter Size * 1.2(base filter scale) / 9(base filter size)scale = Current Filter Size * 1.2 (base filter scale) / 9 (base filter size)
도 9는 검사 여권 이미지의 LoG(Laplacian of Gaussian)를 사용한 2차 미분의 결과를 박스 필터에 의해 변환된 결과를 Scale space를 구성하고 Up-scaling을 하면서 구축된 이미지 피라미드(Image pyramid)를 나타낸 도면이다.FIG. 9 is a diagram illustrating an image pyramid constructed by performing scale-up and up-scaling of the result of the second derivative using a Laglacian of Gaussian (LoG) of an inspection passport image. to be.
이렇게 서로 다른 스케일의 검사 여권 이미지가 구성되면, 각각에 대해 Non-maximal suppression을 이용하여 이웃한 점들과 비교하여 중심점이 가장 클 경우 특징점 후보가 선정되게 된다.When the passport images of different scales are constructed, the candidate candidates are selected when the center point is the largest compared to the neighboring points by using non-maximal suppression for each.
검사 여권 이미지의 특징점이 선정되면, 각 특징점의 Descriptor를 생성하기 위해 오리엔테이션(Orientation)을 할당하게 되는데, 도 14에 도시된 바와 같이 특징점을 중심으로 일정 거리 안의 이웃들에 대하여 x, y방향의 Haar-wavelet response를 계산한다.When the feature points of the inspection passport image are selected, an orientation is assigned to generate a descriptor of each feature point. As shown in FIG. 14, Haar- in the x and y directions with respect to neighbors within a certain distance from the feature point as shown in FIG. 14. Compute the wavelet response.
도 10은 검사 여권 이미지의 특징점 선정 후, 특징점을 중심으로 일정 거리 안의 이웃들에 대하여 x, y방향의 Haar-wavelet response를 계산하는 것을 나타낸 도면이다.FIG. 10 is a diagram illustrating calculating a Haar-wavelet response in x and y directions for neighbors within a predetermined distance from a feature point after selecting a feature point of an inspection passport image.
Haar-wavelet response 계산하는 과정은 특징점(x, y)과 이웃한 점들(x-6:x+6, y-6:y+6)에 대하여 각각의 점에 대해 x, y방향의 그라디언트와 2.5sigma 값을 가지는 가우시안 분포를 곱하여 계산한다.The process of calculating the haar-wavelet response consists of 2.5 gradients in the x and y directions for each point for the feature point (x, y) and neighboring points (x-6: x + 6, y-6: y + 6). Calculated by multiplying Gaussian distributions with sigma values.
특징점 (x,y)를 중심으로 일정 거리 안의 이웃들에 대하여 x, y방향의 Haar-wavelet response를 계산할 때는 60°크기의 부채꼴 모양의 window를 사용한다. 부채꼴 모양의 window 내의 모든 response를 더하면, 도 14의 빨간 화살표처럼 새로운 벡터를 만들 수 있으며, 이것들 중 가장 긴 벡터가 도미넌트 방향(dominant orientation)이 일치된다. 위 과정까지 모두 완료되면 최종적으로 검출된 특징점과 각 특징점의 Descriptor를 이용하여 매칭하고, 매칭된 결과값을 토대로 x, y 축으로의 위치 이동(translation)과 2D 공간상에서의 회전(rotation)을 수행하여 두 이미지의 위치를 일치시키게 된다.A 60 ° fan-shaped window is used to calculate the haar-wavelet response in the x and y directions for neighbors within a certain distance around the feature point (x, y). Adding all the responses in a fan-shaped window, we can create a new vector like the red arrow in Figure 14, the longest of which matches the dominant orientation. When all of the above steps are completed, matching is performed using the finally detected feature point and the descriptor of each feature point, and based on the matched result, translation is performed on the x and y axes and rotation in 2D space is performed. To match the position of the two images.
패턴분석 Pattern Analysis
Chi-square testChi-square test
검사 여권의 패턴 영역 이미지의 패턴 분석 이전에 여권 검사 시스템의 데이터베이스에 등록된 각 여권별 고유 패턴 영역을 불러와 이미지를 추출한다. 각 여권별 고유 패턴 영역으로부터 추출된 이미지는 gray-scale을 통해 각 픽셀마다 8bit의 값을 가지는 채널로 변환되고, 이를 토대로 각 픽셀의 x축의 R,G,B 값(0~255)에 대한 Y축의 빈도(갯수)를 나타내는 히스토그램이 구성된다. 이 작업은 스캐너를 통해 여권 검사 시스템으로 입력받은 검사 여권이미지와 데이터베이스에서 불러온 표준 샘플 여권 이미지 양쪽에 동일하게 적용된다.Before pattern analysis of the pattern area image of the inspection passport, a unique pattern area of each passport registered in the database of the passport inspection system is retrieved and the image is extracted. The image extracted from the unique pattern area of each passport is converted into a channel having a value of 8 bits for each pixel through gray-scale, and based on this, the Y, R, G, and B values (0 to 255) of the x-axis of each pixel are converted. A histogram representing the frequency (number) of the axes is constructed. This is the same for both the inspection passport image entered through the scanner into the passport inspection system and the standard sample passport image retrieved from the database.
도 11은 검사 여권과 대비 여권의 패턴 영역 이미지의 패턴 분석시, Chi-suqare test를 사용하여 여권의 고유의 패턴 영역(좌측)으로부터 추출된 이미지의 각 픽셀마다 8bit의 값을 가지는 채널로 변환되고, 이를 토대로 각 픽셀의 x축의 R, G, B 값(0~255)에 대한 Y 축의 빈도(갯수)를 나타내는 히스토그램(우측)을 나타낸 도면이다.FIG. 11 is a channel analysis of 8-bit values for each pixel of the image extracted from the pattern area (left) of the passport using the Chi-suqare test when the pattern analysis of the pattern area image of the inspection passport and the contrast passport is performed. Based on this, the histogram (right) which shows the frequency (number) of the Y-axis with respect to the R, G, and B values (0-255) of the x-axis of each pixel is shown.
검사 여권의 패턴 영역 이미지의 적외선과 자외선 잉크로 형성된 패턴 영역의 히스토그램과 대비 여권의 패턴 영역의 이미지의 히스토그램에 대하여 여권의 위변조 여부를 확인하기 위해 두 히스토그램의 동일성을 판단하는데는 Chi-square test가 사용된다. Chi-square test는 두 불연속변수 간의 상관관계를 측정하는 통계적 기법으로 두 히스토그램은 수학식2에서 각각 관찰빈도(O:Observed frequencies)와 기대 빈도(E:Expected frequencies)로 사용된다.The histogram of the pattern area formed by infrared and ultraviolet inks of the pattern area image of the passport and the histogram of the image of the pattern area of the passport are compared with the histogram. Used. Chi-square test is a statistical technique for measuring the correlation between two discrete variables. Two histograms are used as the observed frequencies (O: Observed frequencies) and the expected frequencies (E) in Equation 2.
수학식 2
Figure PCTKR2015012597-appb-M000002
 Equation 2
Figure PCTKR2015012597-appb-M000002
chi-square test에서 식에 포함된 변수들은 O(observed)는 관측값(히스토그램 빈의 값)을, E(expected)는 기댓값(히스토그램 빈의 값)이며, 대응되는 빈도 각각에 대한 연산의 합이다(빈의 수는 0~255).In the chi-square test, the variables included in the equation are O (observed) is the observed value (the value of the histogram bin), E (expected) is the expected value (the value of the histogram bin), and the sum of the operations for each corresponding frequency. (The number of bins is 0-255).
본 프로그램에서는 여권검사 시스템의 DB에 저장된 대비 여권(표준 샘플 여권)들이 기댓값(E)으로 설정되고, 검사 여권이 관측값(O)으로 설정된다.In this program, the contrast passports (standard sample passports) stored in the DB of the passport inspection system are set to the expected value (E), and the inspection passport is set to the observation value (O).
수학식2을 통해 얻은 결과값을 사용하여 Chi-square distribution(카이제곱 분포, χ2분포)에서 p-value를 구하는데 사용한다. 구해진 p-value와 여권 검사 시스템의 데이터베이스에 저장된 significance level을 비교하여 여권 위변조 여부의 최종 검증을 수행한다.The resultant obtained through Equation 2 is used to calculate the p-value from the Chi-square distribution (chi-square distribution, χ 2 distribution). The final verification of passport forgery is performed by comparing the significance level stored in the database of the passport inspection system with the obtained p-value.
참고로, Chi-square distribution(카이제곱 분포, χ2분포)는 분산이 σ2이고 정규 분포를 이루는 모집단으로부터 표본의 크기가 n인 모든 표본을 추출했을 때 표본 분산이
Figure PCTKR2015012597-appb-I000001
이면 (n-1)의 자유도(degrees of freedom)를 가진 Chi-square distribution(카이제곱 분포, χ2분포)는
Figure PCTKR2015012597-appb-I000002
이다.Note in this, Chi-square distribution (chi-square distribution, χ 2 distribution) is the sample variance when variance of σ 2, and extract all samples in the sample size n from the population forms a normal distribution
Figure PCTKR2015012597-appb-I000001
The Chi-square distribution (chi-square distribution, χ 2 distribution) with degrees of freedom of (n-1)
Figure PCTKR2015012597-appb-I000002
to be.
p-value는 표 3에 나타난 바와 같이 카이 제곱 분포표에서 해당하는 값을 선택한다.p-value selects the corresponding value from the chi-square distribution table as shown in Table 3.
표 3
Figure PCTKR2015012597-appb-T000003
 TABLE 3
Figure PCTKR2015012597-appb-T000003
Shade ratioShade ratio
상기 Chi-square test는 gray-scale 공간을 사용하기 때문에 검사 여권과 대비 여권 이미지의 밝기(brightness)에 따라 값이 변할 가능성이 존재하기 때문에 이를 보완하기 위해 검사 여권과 대비 여권의 이미지를 Otsu 알고리즘을 사용하여 임계값(threshold)에 의해 흑색과 백색으로 이진화(Binarization)하여 Shade ratio를 추출하여 추가적으로 사용한다.Since the Chi-square test uses a gray-scale space, the value may change depending on the brightness of the passport image compared to the passport. By using the threshold (binarization) black and white by the threshold (binar) to extract the shade ratio is used additionally.
검사 여권과 대비 여권의 패턴 영역 분석시에, Chi-square test가 gray-scale 공간을 사용하기 때문에 검사 여권과 대비 여권 이미지의 밝기(brightness)에 따라 값이 변할 가능성이 존재하기 때문에 검사 여권과 대비 여권의 패턴 영역 이미지의 각 픽셀을 Otsu 알고리즘을 사용하여 임계값을 사용하여 흑색과 백색으로 이진화(Binarization)하여 Shade ratio를 추출하여 비교한다.In contrast to the test passport, the Chi-square test uses a gray-scale space when analyzing the pattern area of the passport. In contrast with the test passport, the value may change depending on the brightness of the passport image. Each pixel of the pattern region image of the passport is binarized into black and white using a threshold using the Otsu algorithm, and the shade ratio is extracted and compared.
이진화에는 Otsu 알고리즘이 사용된다. Otsu 알고리즘은 여권 이미지의 명암 분포에서 변곡점을 찾아 흑색(black)과 백색(white)을 구분하는 threshold값을 추출하기 때문에 여권의 패턴 영역 이미지의 밝기(brightness)에 구애 받지 않는 결과를 가진 각 픽셀의 이진화된 흑백 이미지를 생성할수 있다. 이진화 과정을 거친 패턴 영역 이미지는 픽셀당 1bit의 채널을 갖는 흑백 이미지로 변환되며, 변환이 완료되면 패턴 영역 이미지의 전체 픽셀을 읽고, 흑색과 백색 픽셀의 수, 평균, 표준 편차를 다음 표 4와 같이 계산한다. 계산은 패턴 영역 이미지의 모든 레퍼런스 데이터에 대하여 실행된다.Otsu algorithm is used for binarization. The Otsu algorithm extracts a threshold value that distinguishes black and white from the inflection point of the contrast image of the passport image, so that each pixel has a result independent of the brightness of the pattern region image of the passport. Binary black and white images can be created. The binarized pattern region image is converted to a black and white image with a channel of 1 bit per pixel.When the conversion is completed, the entire pixel of the pattern region image is read, and the number, average, and standard deviation of the black and white pixels are shown in Table 4 below. Calculate it together. The calculation is performed on all reference data of the pattern region image.
표 4
Figure PCTKR2015012597-appb-T000004
 Table 4
Figure PCTKR2015012597-appb-T000004
또한, 표5에 도시된 바와 같이 각각 검사 여권과 대비 여권의 패턴 영역 이미지의 전체 픽셀 데이터의 평균(Mean) 및 표준 편차(Standard Deviation), 픽셀 퍼센티지(％)를 계산한다.In addition, as shown in Table 5, the mean, standard deviation, and pixel percentage (%) of the total pixel data of the pattern area image of the inspection passport and the comparison passport are respectively calculated.
표 5
Figure PCTKR2015012597-appb-T000005
 Table 5
Figure PCTKR2015012597-appb-T000005
위 결과를 토대로 Shade ratio의 유효 범위를 계산하여 검사 여권(검사 대상 여권)과 대비 여권(표준 샘플 여권)간의 차이를 출력한다.Based on the above results, the effective range of the shade ratio is calculated and the difference between the inspection passport (test passport) and the comparison passport (standard sample passport) is output.
Shade ratio의 유효 범위를 계산하는 과정은 먼저 계산된 대비 여권(표준 여권)들의 Shade ratio 평균과 표준편차를 사용하여 확률 분포를 구하고 일정 확률(현재 10%, 추후 국가별 다른 기준 적용)을 기준으로 유효 범위를 설정한다.The process of calculating the effective range of the shade ratio is first calculated using the Shade ratio average and the standard deviation of the comparative passports (standard passports), and then the probability distribution is calculated based on a certain probability (currently 10%, which is later applied by different countries). Set the effective range.
여권의 위변조를 분석하기 위해 각각 검사 여권과 대비 여권의 패턴 영역에 대한 패턴 분석의 최종 결과는 Chi-square test 결과와 Shade ratio의 결과를 종합한 값을 여권마다 데이터베이스에 저장된 threshold와 비교하여 여권 위변조의 여부가 도출된다.To analyze the passport forgery, the final result of the pattern analysis on the passport and contrast passport areas, respectively, is to compare the threshold value stored in the database for each passport with the sum of the results of the Chi-square test and the shade ratio. Whether or not is derived.

Claims (17)

  1. 제어부와, 상기 제어부에 연결되며 대비 여권 이미지가 저장된 저장부와, 상기 제어부에 연결되며 사용자의 명령이 입력되는 수단인 입력부와, 상기 제어부에 연결되며 검사결과가 표시되는 표시부로 이루어지는 여권검사시스템에서 실행되며;In a passport inspection system comprising a control unit, a storage unit connected to the control unit and storing a contrast passport image, an input unit connected to the control unit and a means for inputting a user's command, and a display unit connected to the control unit and displaying a test result. Is executed;
    상기 여권검사시스템에 연결된 스캐너를 통해 검사 여권의 이미지가 획득되어 저장부에 저장되는 검사 여권 이미지 획득 단계;An inspection passport image obtaining step of obtaining an image of an inspection passport through a scanner connected to the passport inspection system and storing the image in a storage unit;
    상기 검사 여권의 이미지에서 MRZ(Machine Readable Zone) 데이터의 유효성 검사가 실행되는 유효성 검사 단계;A validation step of validating machine readable zone (MRZ) data in the image of the inspection passport;
    상기 저장부로부터 검사 여권 이미지와 대비될 대비 여권 이미지가 검색되는 대비 여권 이미지 검색 단계;A contrast passport image search step of searching for a contrast passport image to be contrasted with an inspection passport image from the storage;
    상기 대비 여권과 상기 검사 여권이 대비되는 여권 대비 단계; 및A passport preparation step in which the preparation passport and the inspection passport are prepared; And
    여권 위변조 검사 결과가 표시부에 디스플레이되는 검사 결과 표시 단계로 이루어지는 것을 특징으로 하는 위변조 여권 검사 방법.A forgery passport inspection method, characterized in that consisting of a test result display step of displaying the passport forgery test results displayed on the display.
  2. 제1 항에 있어서,According to claim 1,
    상기 MRZ 데이터의 유효성 검사 단계에서 검사 여권 이미지에 포함된 MRZ 데이터는 여권의 종류(Type), 발행국(Country code), 성(Surname), 이름(Given name), 여권 번호, 국적, 생년월일, 성별, 기간만료일, 주민등록번호(뒷자리)를 포함하며,MRZ data included in the inspection passport image during the validation of the MRZ data includes the type of passport, country code, surname, name, passport number, nationality, date of birth, gender, Includes the expiration date, the Social Security Number (backseat),
    여권 하단의 MRZ 영역의 두 번째 줄에는 총 5개의 Checksum 중 4개는 각각 앞의 여권 번호, 생년월일, 만료일자, 개인식별코드의 유효성을 검사하고 마지막의 5번째 C(Checksum)은 전체 코드에 대한 유효성을 확인하는 것을 특징으로 하는 위변조 여권 검사 방법.In the second line of the MRZ section at the bottom of the passport, four of the five checksums each validate the preceding passport number, date of birth, expiration date, and personal identification code, and the last five Cs (Checksum) A forgery passport inspection method, characterized in that the validation.
  3. 제1 항에 있어서,According to claim 1,
    상기 검사 여권과 상기 대비 여권은 위변조 방지를 위해 적외선과 자외선 잉크로 고유한 패턴이 인쇄되며, 상기 검사 여권과 상기 대비 여권 이미지의 고유한 패턴 영역의 이미지를 분석하여 검사 여권의 위변조 여부를 검출하는 것을 특징으로 하는 위변조 여권 검사 방법.The inspection passport and the contrast passport are printed with a unique pattern with infrared and ultraviolet inks to prevent forgery, and to detect whether the inspection passport is forged by analyzing the images of the unique pattern area of the inspection passport and the contrast passport image. Forgery passport inspection method, characterized in that.
  4. 제1 항에 있어서,According to claim 1,
    상기 스캐너는 가시광선(Visible Ray), 또는 적외선(Infrared Rays), 또는 자외선(Ultraviloet Rays) 패턴 영역이 포함된 여권 이미지를 스캔하는 것을 특징으로 하는 위변조 여권 검사 방법.And the scanner scans a passport image including a visible ray, an infrared ray, or an ultraviolet ray pattern area.
  5. 제1 항에 있어서,According to claim 1,
    상기 제어부에는 상기 스캐너가 연결되며, 상기 검사 여권 이미지 획득 단계에서는 상기 스캐너에서 스캔된 검사 여권의 가시광선 이미지, 자외선 이미지 및 적외선 이미지가 저장부에 저장되며; 상기 패턴 영역 분리 단계에서는 가시광선 이미지, 자외선 이미지 및 적외선 이미지에서의 패턴 영역이 분리되는 것을 특징으로 하는 위변조 여권 검사 방법.The scanner is connected to the control unit, and in the obtaining of the inspection passport image, the visible light image, the ultraviolet image, and the infrared image of the inspection passport scanned by the scanner are stored in the storage unit; In the pattern region separation step, forgery passport inspection method, characterized in that the pattern region in the visible light image, ultraviolet image and infrared image are separated.
  6. 제1 항에 있어서,According to claim 1,
    상기 여권 대비 단계는The passport preparation step
    상기 검사 여권과 상기 대비 여권에서 자외선 또는 적외선으로 형성된 고유의 패턴 영역이 분리되는 패턴 영역 분리 단계와, 분리된 패턴 영역의 히스토그램 데이터가 추출되는 히스토그램 데이터 추출 단계와, 검사 여권 패턴 영역의 히스토그램과 대비 여권 패턴 영역의 히스토그램이 대비되는 히스토그램 데이터 대비 단계로 이루어지는 것을 특징으로 하는 위변조 여권 검사 방법.A pattern region separation step of separating the unique pattern region formed by ultraviolet or infrared rays from the inspection passport and the contrast passport, a histogram data extraction step of extracting histogram data of the separated pattern region, and comparison with the histogram of the inspection passport pattern region A forgery passport inspection method, characterized in that the histogram of the passport pattern area is compared with the histogram data.
  7. 제1 항에 있어서, According to claim 1,
    상기 여권 대비 단계는 상기 검사 여권과 상기 대비 여권에서 패턴 영역이 분리되는 패턴 영역 분리 단계;The passport comparison step may include: a pattern area separation step of separating pattern areas from the inspection passport and the comparison passport;
    분리된 패턴 영역이 이진화되는 이진화 단계;A binarization step in which the separated pattern region is binarized;
    상기 대비 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터에 대한 픽셀 갯수, 평균값 및 표준편차가 연산되는 대비 여권 연산 단계;A comparison passport calculation step of calculating the number of pixels, an average value, and a standard deviation of the binarized pixel data forming the pattern region of the comparison passport;
    상기 검사 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터에 대한 픽셀 갯수, 평균값 및 표준편차가 연산되는 검사 여권 연산 단계; 및An inspection passport calculation step of calculating the number of pixels, an average value, and a standard deviation of the binarized pixel data forming the pattern region of the inspection passport; And
    상기 검사 여권에 대한 연산결과와 대비 여권에 대한 연산결과가 대비되는 연산결과 대비 단계로 이루어지는 것을 특징으로 하는 위변조 여권 검사 방법.The forgery passport inspection method comprising the step of comparing the operation result for the inspection passport and the operation result for the contrast passport.
  8. 제1 항에 있어서,According to claim 1,
    상기 대비 여권 이미지 검색 단계와 여권 대비 단계 사이에는 기하 보정을 통해 대비 여권과 검사 여권 이미지의 위치와 회전 각도를 맞추는 여권 이미지 보정 단계가 더 포함되며; Between the contrast passport image search step and the passport contrast step further includes a passport image correction step of matching the position and rotation angle of the contrast passport and the inspection passport image through the geometric correction;
    상기 여권 이미지 보정 단계는 검사 여권 이미지와 대비 여권 이미지를 이루는 픽셀들에 대한 헤시안 매트릭스(Hessian matrix)가 연산되는 단계와, 각 이미지를 이루는 픽셀에 대한 스케일 스페이스(scale space)가 생성되고 업스케일링되면서 이미지 피라미드가 생성되는 단계와, 각 스케일의 이미지에서 특징점 그룹이 선정되는 단계와, 특징점 그룹에 대한 Haar-wavelet response가 연산되는 단계와, Haar-wavelet response 결과로부터 도미넌트 방향이 연산되는 단계와, 검출된 특징점에 대하여 대비 여권과 검사 여권의 이미지를 이루는 픽셀의 좌표가 재설정되고 도미넌트 방향이 일치되도록 회전 변위가 재설정되어 저장부에 저장되는 것을 특징으로 하는 위변조 여권 검사 방법.The passport image correction step includes calculating a Hessian matrix of pixels forming a contrast passport image with a check passport image, generating a scale space for the pixels forming each image, and upscaling. Generating an image pyramid, selecting a feature group from each scale image, calculating a Haar-wavelet response for the feature group, calculating a dominant direction from the result of the Haar-wavelet response, The counterfeit passport inspection method, characterized in that the coordinates of the pixels constituting the contrast passport and the inspection passport with respect to the detected feature point is reset and the rotational displacement is reset so that the dominant direction coincides.
  9. 제8 항에 있어서, The method of claim 8,
    상기 여권 대비 단계는 The passport preparation step
    검사 여권과 대비 여권에서 패턴 영역의 이미지를 분리되는 패턴 영역 분리 단계와, 분리된 패턴 영역의 이미지의 각 픽셀의 히스토그램 데이터(x축은 8비트의 각각의 R,G,B 값 또는 각각의 R,G,B 값을 더한 값, y축은 빈도(갯수))가 추출되는 히스토그램 데이터 추출 단계;A pattern region separation step of separating the image of the pattern region from the inspection passport and the contrast passport, and histogram data of each pixel of the image of the separated pattern region (the x-axis is 8 bits of each R, G, B value or each R, A histogram data extraction step of extracting a value obtained by adding G and B values and a y-axis frequency (number);
    상기 검사 여권 패턴 영역의 히스토그램과 대비 여권 패턴 영역의 히스토그램이 대비되는 히스토그램 데이터 대비 단계로 이루어지는 히스토그램 대비 단계;A histogram comparison step comprising a histogram data comparison step in which a histogram of the inspection passport pattern region is compared with a histogram of a passport pattern region;
    분리된 패턴 영역의 이미지의 각 픽셀들이 이미지의 명암 분포에서 변곡점을 찾아 추출된 임계값(threshold)에 의해 흑색과 백색으로 이진화되는 이진화 단계;A binarization step in which each pixel of the image of the separated pattern region is binarized into black and white by a threshold extracted by finding an inflection point in the intensity distribution of the image;
    상기 대비 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터가 연산(흑색과 백색의 픽셀 갯수, 평균값 및 표준편차)되는 대비 여권 연산 단계;A contrast passport operation step of computing (number of black and white pixels, average value and standard deviation) of the binarized pixel data forming the pattern region of the contrast passport;
    상기 검사 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터가 연산(흑색과 백색의 픽셀 갯수, 평균값 및 표준편차)되는 검사 여권 연산 단계; 및An inspection passport calculation step of computing (number of black and white pixels, average value and standard deviation) of the binarized pixel data constituting the pattern area of the inspection passport; And
    상기 검사 여권에 대한 연산결과와 대비 여권에 대한 연산결과가 대비되는 연산결과 대비 단계로 이루어지는 픽셀 데이터 대비 단계를 포함하는 위변조 여권 검사 방법.And a pixel data comparison step of comparing a calculation result for the inspection passport with a calculation result for comparing the calculation result for the passport.
  10. 제9 항에 있어서,The method of claim 9,
    상진 이진화 단계는 Otsu 알고리즘을 사용하는 것을 특징으로 하는 위변조 여권 검사 방법.The advanced binarization step uses the Otsu algorithm.
  11. 제8 항에 있어서, The method of claim 8,
    상기 대비 여권의 비교 대상이 되는 패턴을 기준으로 상기 스캐너에 의해 스캔된 상기 검사 여권의 위치와 회전 각도를 맞추는 기하 보정을 실시하며, 여권들은 각각 기입된 내용이 다르지만, 자외선이나 적외선 하에서 일정한 패턴들이 노출되기 때문에 이를 기준으로 위치를 판별하기 위해 SURF(Speeded Up Robust Features) 알고리즘이 사용하는 것을 특징으로 하는 위변조 여권 검사 방법.The geometric correction is performed to match the position and rotation angle of the inspection passport scanned by the scanner based on the pattern to be compared with the comparison passport, and the passports have different contents, but the patterns are fixed under ultraviolet or infrared rays. A forgery passport inspection method, characterized in that it is used by the Speeded Up Robust Features (SURF) algorithm to determine the location based on exposure.
  12. 제11 항에 있어서,The method of claim 11, wherein
    상기 기하 보정은The geometric correction
    여권의 이미지에 헤시안 메트릭스(Hessian matrix)를 사용하여 이미지의 특징점 (x,y)을 선정하며, 검사 여권 이미지의 LoG(Laplacian of Gaussian)를 사용한 2차 미분의 결과를 박스 필터에 의해 변환된 결과를 Scale space를 구성하고 Up-scaling을 하면서 구축된 이미지 피라미드(Image pyramid)를 표시하고, 서로 다른 스케일의 검사 여권 이미지가 구성되면, 각각에 대해 Non-maximal suppression을 이용하여 이웃한 점들과 비교하여 중심점이 가장 클 경우 특징점 후보가 선정되며, 상기 검사 여권 이미지의 특징점이 선정되면, 상기 특징점을 중심으로 일정 거리 안의 이웃들에 대하여 x, y방향의 Haar-wavelet response를 계산하고, 특징점(x, y)과 이웃한 점들(x-6:x+6, y-6:y+6)에 대하여 각각의 점에 대해 x,y방향의 그라디언트와 2.5sigma 값을 가지는 가우시안 분포를 곱하여 계산하며,The Hessian matrix is used to select the image's feature points (x, y), and the result of the second derivative using the Laplacian of Gaussian (LoG) of the passport image is converted by a box filter. Display the image pyramid constructed by constructing scale space and up-scaling the results, and when the inspection passport images of different scales are constructed, compare them with neighboring points using non-maximal suppression for each If the center point is the largest, the feature point candidate is selected. When the feature point of the inspection passport image is selected, the Haar-wavelet response in the x and y directions is calculated for neighbors within a predetermined distance from the feature point, and the feature point (x, y) and neighboring points (x-6: x + 6, y-6: y + 6) are calculated by multiplying the Gaussian distribution with a 2.5 sigma value with a gradient in the x and y directions for each point,
    x, y방향의 Haar-wavelet response 계산 시에는 일정 각도(예:60°)크기의 부채꼴 모양의 window 내의 모든 response를 더하면 새로운 벡터들이 생성되고 그 중 가장 긴 벡터가 도미넌트 방향(dominant orientation)이 일치되며, 위 과정까지 모두 완료되면 최종적으로 검출된 특징점과 각 특징점의 Descriptor를 이용하여 매칭하고, 매칭된 결과값을 토대로 x, y축으로의 위치 이동(translation)과 2D 공간상에서의 회전(rotation)을 수행하여 검사 여권과 대비 여권 두 이미지의 위치를 일치시키는 것을 특징으로 하는 위변조 여권 검사 방법.When calculating the haar-wavelet response in the x and y directions, adding all the responses in a fan-shaped window of a certain angle (e.g. 60 °) creates new vectors, the longest of which matches the dominant orientation. When all the above steps are completed, the finally detected feature points are matched using the descriptors of each feature point, and the position translation on the x and y axes and the rotation in 2D space are based on the matched result. By performing a forgery passport inspection method, characterized in that by matching the position of the two images passport and contrast passport.
    (수학식1) 헤시안 메트릭스(Hessian matrix)
    Figure PCTKR2015012597-appb-I000003
    (Equation 1) Hessian matrix
    Figure PCTKR2015012597-appb-I000003
    단, Lxx, Lxy, Lyy는 이미지 내의 점 (x, y)에서 가우시안-라플라시안 2차미분을 수행한 convolution.However, Lxx, Lxy, and Lyy are convolution.
    Lxx(x,y,σ)는 검사 여권 이미지의 LoG(Laplacian of Gaussian)를 사용한 2차 미분의 결과, σ(sigma)는 스케일(scale).Lxx (x, y, σ) is the result of the second derivative using the Laplacian of Gaussian (LoG) of the inspection passport image, and sigma is the scale.
  13. 제12 항에 있어서,The method of claim 12,
    상기 검사 여권 이미지의 패턴 영역의 특징점을 Hessian matrix를 사용하여 검사 여권 이미지의 LoG(Laplacian of Gaussian)를 사용한 2차 미분의 결과를 박스 필터에 적용되어 변환되면, 이를 토대로 스케일 스페이스(Scale space)를 구성하고 Up-scaling을 하면서 베이스 필터 사이즈(base filter size)를 점점 확장하여 이미지 피라미드(Image pyramid)를 구축하며, 이렇게 서로 다른 스케일의 검사 여권 이미지가 구성되면, 각각에 대해 Non-maximal suppression을 이용하여 이웃한 점들과 비교하여 중심점이 가장 클 경우 특징점 후보가 선정되게 되고,The result of the second derivative using the Laglacian of Gaussian (LoG) of the inspection passport image is transformed by applying the feature point of the pattern region of the inspection passport image to the box filter, based on the scale space. When constructing and up-scaling, the base filter size is gradually expanded to build an image pyramid. When the inspection passport images of different scales are constructed, a non-maximal suppression is used for each. If the center point is the largest compared to neighboring points, the feature point candidate is selected.
    상기 검사 여권 이미지의 특징점이 선정되면, 각 특징점의 Descriptor를 생성하기 위해 오리엔테이션(Orientation)을 할당하게 되는데, 특징점을 중심으로 일정 거리 안의 이웃들에 대하여 x, y방향의 Haar-wavelet response를 계산하며,When the feature points of the inspection passport image are selected, an orientation is assigned to generate a descriptor of each feature point. The Haar-wavelet response in the x and y directions is calculated for neighbors within a certain distance from the feature points.
    상기 Haar-wavelet response 계산하는 과정은 특징점(x, y)과 이웃한 점들(x-6:x+6, y-6:y+6)에 대하여 각각의 점에 대해 x, y방향의 그라디언트와 2.5sigma 값을 가지는 가우시안 분포를 곱하여 계산하며The process of calculating the Haar-wavelet response includes gradients in x and y directions for each point with respect to feature points (x, y) and neighboring points (x-6: x + 6, y-6: y + 6). Calculated by multiplying Gaussian distribution with 2.5 sigma
    특징점 (x,y)를 중심으로 일정 거리 안의 이웃들에 대하여 x, y방향의 Haar-wavelet response를 계산할 때는 60°크기의 부채꼴 모양의 window 내의 모든 response를 더하면 새로운 벡터를 만들며 이것들 중 가장 긴 벡터가 도미넌트 방향(dominant orientation)이 일치되고, 위 과정까지 모두 완료되면 최종적으로 검출된 특징점과 각 특징점의 Descriptor를 이용하여 매칭하고, 매칭된 결과값을 토대로 x, y 축으로의 위치 이동(translation)과 2D 공간상에서의 회전(rotation)을 수행하여 검사 여권과 대비 여권의 두 이미지의 위치를 일치시키는 것을 특징으로 하는 위변조 여권 검사 방법.When calculating the Haar-wavelet response in the x and y directions for neighbors within a certain distance around the feature point (x, y), adding all the responses in a 60 ° fan-shaped window creates a new vector, the longest of which is When the dominant orientation is matched and all of the above steps are completed, matching is performed using the finally detected feature point and the descriptor of each feature point, and the position translation on the x and y axes is based on the matched result. A forgery passport inspection method, comprising performing rotation in a 2D space to match the positions of two images of the inspection passport and the contrast passport.
  14. 제1 항에 있어서, According to claim 1,
    상기 검사 여권과 상기 대비 여권의 패턴 영역 이미지를 분석하는 패턴 분석은 상기 검사 여권의 패턴 영역 이미지의 적외선과 자외선 잉크로 형성된 패턴 영역의 히스토그램과 상기 대비 여권의 패턴 영역의 이미지의 히스토그램에 대하여 상기 검사 여권의 위변조 여부를 확인하기 위해 두 히스토그램의 동일성을 판단하는 Chi-square test, Shade ratio 유효 범위를 검사 여권과 대비 여권의 차이를 출력하고, 상기 검사 여권과 대비 여권의 패턴 영역 이미지에 대한 패턴 분석의 결과는 Chi-square test 결과와 Shade ratio의 결과를 종합한 값을 각 국가의 여권마다 여권검사시스템의 데이터베이스에 저장된 임계치(threshold)와 비교하여 여권 위변조의 여부를 검사하는 것을 특징으로 하는 위변조 여권 검사 방법.The pattern analysis for analyzing the pattern region image of the inspection passport and the contrast passport includes the histogram of the pattern region formed by infrared and ultraviolet ink of the pattern region image of the inspection passport and the histogram of the image of the pattern region of the contrast passport. Chi-square test and Shade ratio validity range for determining the identity of two histograms to check the forgery of the passport. The difference between the passport and the contrast passport is printed, and the pattern analysis is performed on the pattern area image of the passport and contrast passport. The result of the test is to compare the result of the Chi-square test and the shade ratio with the threshold stored in the database of passport inspection system for each passport of each country to check for forgery and forgery. method of inspection.
  15. 제14 항에 있어서, The method of claim 14,
    상기 Chi-square test는 The Chi-square test
    상기 스캐너를 통해 여권 검사 시스템으로 입력받은 상기 검사 여권의 패턴 영역의 패턴 분석 이전에 데이터베이스에 등록된 각 여권별 고유의 패턴 영역 이미지를 추출하고 gray-scale을 통해 각 픽셀마다 8bit의 값을 가지는 채널로 변환하며, 각 픽셀의 x축의 R,G,B 값(0~255)에 대한 Y 축의 빈도(갯수)를 나타내는 히스토그램을 구성하고, 상기 검사 여권 이미지와 상기 여권 검사 시스템의 데이터베이스에서 불러온 대비 여권 이미지에 적용하여 두 히스토그램의 동일성을 판단하기 위해 아래 수학식2와 같이 Chi-square test를 사용하며, 상기 Chi-square test는 두 불연속변수 간의 상관관계를 측정하는 통계적 기법으로 두 히스토그램은 각각 관찰빈도(O:Observed frequencies)와 기대 빈도(E:Expected frequencies)를 사용하여 아래 수학식2를 통해 얻은 결과값을 사용하여 Chi-square distribution(카이제곱 분포, χ2분포)에서 p-value를 구하며, 구해진 p-value와 데이터베이스에 저장된 significance level을 비교하여 여권 위변조 여부의 최종 검증을 하는 것을 특징으로 하는 위변조 여권 검사 방법. Before the pattern analysis of the pattern area of the inspection passport received through the scanner, the unique pattern area image of each passport registered in the database is extracted and the channel having a value of 8 bits for each pixel through gray-scale Construct a histogram representing the frequency (number) of the Y-axis with respect to the R, G, and B values (0 to 255) of the x-axis of each pixel, and compare the inspection passport image with the database of the passport inspection system. To determine the identity of two histograms applied to passport images, Chi-square test is used as shown in Equation 2 below. The Chi-square test is a statistical technique for measuring the correlation between two discrete variables. Chi-square using the result obtained from Equation 2 below using O: Observed frequencies and Expected frequencies. A forgery passport test method comprising obtaining a p-value from a distribution (chi-square distribution, χ 2 distribution), and comparing the obtained p-value with a significance level stored in a database to perform final verification of passport forgery.
    (수학식 2)(Equation 2)
    Figure PCTKR2015012597-appb-I000004
    Figure PCTKR2015012597-appb-I000004
    단, O(observed) : 관측값(히스토그램 빈의 값), Where O (observed) is the observed value (the value of the histogram bin),
    E(expected) : 기댓값(히스토그램 빈의 값): 대응되는 빈 각각에 대한 연산의 합(빈의 수는 0~255)(본 프로그램에서는 DB에 저장된 대비 여권(표준 여권)들이 기댓값(E)으로 설정되고, 검사 여권이 관측값(O)으로 설정.E (expected): Expected value (Histogram bin value): Sum of operations for each corresponding bin (number of bins is 0 to 255) (In this program, the contrast passports (standard passports) stored in the database are expected values (E). Is set, and the test passport is set to the observation (O).
  16. 제14 항에 있어서, The method of claim 14,
    상기 Chi-square test는 gray-scale 공간을 사용하기 때문에 검사 여권과 대비 여권 이미지의 밝기(brightness)에 따라 값이 변할 가능성이 있기 때문에 여권 이미지를 Otsu 알고리즘을 사용하여 여권 이미지의 명암 분포에서 변곡점을 찾아 흑색과 백색을 구분하는 임계값(threshold)을 추출하기 때문에 여권 이미지의 패턴 영역 이미지의 밝기(brightness)에 구애 받지 않고 상기 임계값에 의해 패턴영역의 이미지의 각 픽셀당 이진화하여 흑백 이미지로 변환하고 Shade ratio를 추출하며, 상기 검사 여권과 상기 대비 여권의 패턴 영역 이미지의 전체 픽셀을 읽고, 전체 픽셀 데이터의 흑색과 백색 픽셀의 수, 평균, 표준 편차, 픽셀 퍼센티지(％)를 계산하여 서로 비교하며, 위 결과를 토대로 계산된 대비 여권들의 Shade ratio 평균과 표준편차를 사용하여 확률 분포를 구하고 일정 확률(현재 10%, 국가별 다른 기준 적용)을 기준으로 Shade ratio의 유효 범위를 계산하여 검사 여권과 대비 여권의 차이를 출력하여 검사 여권의 위변조를 분석하는 것을 특징으로 하는 위변조 여권 검사 방법.Since the Chi-square test uses a gray-scale space, the value may change depending on the brightness of the passport image compared to the passport and the passport image. It extracts a threshold that distinguishes black and white from each other, so it is converted into a black and white image by binarizing each pixel of the pattern region image by the threshold value regardless of the brightness of the pattern region image of the passport image. Extract the shade ratio, read the whole pixels of the patterned area image of the inspection passport and the contrast passport, calculate the number of black and white pixels, average, standard deviation, and pixel percentage of the total pixel data and compare them with each other; Based on the above results, the probability distribution is calculated using the Shade ratio average and the standard deviation of the contrast passports. Method for forgery probability passport control, characterized in that outputs the difference between the passport inspection and compared to a passport, based on the (now 10%, regional application other reference) to calculate the effective range of the ratio Shade analyzing the inspection passport forgery.
  17. 가시광선(Visible Ray), 또는 적외선(Infrared Rays), 또는 자외선(Ultraviloet Rays) 패턴 영역이 포함된 여권 이미지를 스캔하는 스캐너; 및 제어부와, 상기 제어부에 연결되며 대비 여권 이미지가 저장된 저장부와, 상기 제어부에 연결되며 사용자의 명령이 입력되는 수단인 입력부와, 상기 제어부에 연결되며 검사결과가 표시되는 표시부로 이루어지는 여권검사시스템에서,A scanner that scans passport images containing visible or infrared rays, or ultraviolet (ultraviolet rays) patterned areas; And a control unit, a storage unit connected to the control unit and storing a contrast passport image, an input unit connected to the control unit and a means for inputting a user's command, and a display unit connected to the control unit and displaying a test result. in,
    상기 여권검사시스템에 연결된 스캐너를 통해 검사 여권의 이미지가 획득되어 저장부에 저장되는 검사 여권 이미지 획득 기능;An inspection passport image acquisition function that obtains an image of an inspection passport and stores the image of the inspection passport through a scanner connected to the passport inspection system;
    상기 검사 여권의 이미지에서 MRZ(Machine Readable Zone) 데이터의 유효성 검사가 실행되는 유효성 검사 기능;A validation function for performing validation of MRZ (Machine Readable Zone) data on the image of the inspection passport;
    상기 저장부로부터 검사 여권 이미지와 대비될 대비 여권 이미지가 검색되는 대비 여권 이미지 검색 기능;A contrast passport image search function in which a contrast passport image is searched to be compared with the inspection passport image from the storage unit;
    상기 대비 여권과 상기 검사 여권이 대비되는 여권 대비 기능; 및A passport preparation function in which the preparation passport and the inspection passport are prepared; And
    여권 위변조 검사 결과가 표시부에 디스플레이되는 검사 결과 표시 기능을 실현하기 위한 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium storing a program for realizing a test result display function in which passport forgery test results are displayed on a display unit.
PCT/KR2015/012597 2014-11-21 2015-11-23 Method for inspecting forged passport and recording medium therefor WO2016080815A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0163508 2014-11-21
KR1020140163508A KR101781351B1 (en) 2014-11-21 2014-11-21 Forgery passport inspection method and recording medium thereof

Publications (1)

Publication Number Publication Date
WO2016080815A1 true WO2016080815A1 (en) 2016-05-26

Family

ID=56014253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/012597 WO2016080815A1 (en) 2014-11-21 2015-11-23 Method for inspecting forged passport and recording medium therefor

Country Status (2)

Country Link
KR (1) KR101781351B1 (en)
WO (1) WO2016080815A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215225A (en) * 2020-10-22 2021-01-12 北京通付盾人工智能技术有限公司 KYC certificate verification method based on computer vision technology

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101996816B1 (en) * 2017-12-19 2019-07-08 하트미디어(주) Method of measuring web style guide compliance rate in responsive web
KR102597955B1 (en) 2023-06-09 2023-11-07 한국조폐공사 A passport examination device with an automatic passport input module
KR102606596B1 (en) 2023-07-26 2023-11-29 한국조폐공사 A passport examination device with a passport open and close module

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030027326A (en) * 2001-09-28 2003-04-07 윤경호 Passport having anti countfeiting label and Passport identification and management system
KR20030027291A (en) * 2001-09-28 2003-04-07 주식회사 한국인식기술 Passport scanning system for protect fabricate
KR20100130832A (en) * 2009-06-04 2010-12-14 인천국제공항공사 Apparatus and method of automating emigration and immigration process in airport
KR101438443B1 (en) * 2014-02-21 2014-09-12 (주)하소인텍 Identification system of forged ids and identification method using the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200293463Y1 (en) 2002-07-31 2002-10-31 김상훈 A Mothod of issuing passport/visa and airport investigation with face recognition technology for preventing forged passport

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030027326A (en) * 2001-09-28 2003-04-07 윤경호 Passport having anti countfeiting label and Passport identification and management system
KR20030027291A (en) * 2001-09-28 2003-04-07 주식회사 한국인식기술 Passport scanning system for protect fabricate
KR20100130832A (en) * 2009-06-04 2010-12-14 인천국제공항공사 Apparatus and method of automating emigration and immigration process in airport
KR101438443B1 (en) * 2014-02-21 2014-09-12 (주)하소인텍 Identification system of forged ids and identification method using the same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AMARAL: "Content-Based Image Retrieval for Medical Applications", October 2010 (2010-10-01), Retrieved from the Internet <URL:http://www.inescporto.pt/-jsc/students/2010IgorAmaral/2010relatorioIgorAmaral.pdf> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215225A (en) * 2020-10-22 2021-01-12 北京通付盾人工智能技术有限公司 KYC certificate verification method based on computer vision technology
CN112215225B (en) * 2020-10-22 2024-03-15 北京通付盾人工智能技术有限公司 KYC certificate verification method based on computer vision technology

Also Published As

Publication number Publication date
KR20160061528A (en) 2016-06-01
KR101781351B1 (en) 2017-09-26

Similar Documents

Publication Publication Date Title
CN109684987B (en) Identity verification system and method based on certificate
Van Beusekom et al. Text-line examination for document forgery detection
WO2016080815A1 (en) Method for inspecting forged passport and recording medium therefor
CN108520514B (en) Consistency detection method for electronic elements of printed circuit board based on computer vision
CN106610969A (en) Multimodal information-based video content auditing system and method
WO2008014590A1 (en) Method and system for document comparison using cross plane comparison
CN113569863B (en) Document checking method, system, electronic equipment and storage medium
CN109446345A (en) Nuclear power file verification processing method and system
CN113449725B (en) Object classification method, device, equipment and storage medium
Yuan et al. Fingerprint liveness detection using histogram of oriented gradient based texture feature
Lamsal et al. Counterfeit paper banknote identification based on color and texture
Khan et al. Car Number Plate Recognition (CNPR) system using multiple template matching
CN111213156B (en) Character recognition sharpness determination
Bammey Analysis and experimentation on the ManTraNet image forgery detector
KR101782366B1 (en) Vision inspection method based on learning data using normalization of sample scale
Mahamad et al. A Simplified Malaysian Vehicle Plate Number Recognition
Swami et al. Currency recognition and fake currency identification using image processing
Tao et al. A hybrid approach to detection and recognition of dashboard information in real-time
EP3220311A1 (en) Investigating the validity of identity documents
WO2019078405A1 (en) Forgery defensive power analysis system for fingerprint recognition device and evaluation method therefor
Singh et al. Vehicle number plate recognition using matlab
Tapia et al. Face feature visualisation of single morphing attack detection
CN112466033B (en) Ultraviolet pattern based bill verification detection method and detection system thereof
Zhang et al. High-content analysis in monastrol suppressor screens
CN117798087B (en) Visual sorting system and terminal for lithium battery based on appearance defect detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15860375

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15860375

Country of ref document: EP

Kind code of ref document: A1