JP7212207B1 - 画像処理システム、画像処理方法、及びプログラム - Google Patents

画像処理システム、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP7212207B1
JP7212207B1 JP2022529392A JP2022529392A JP7212207B1 JP 7212207 B1 JP7212207 B1 JP 7212207B1 JP 2022529392 A JP2022529392 A JP 2022529392A JP 2022529392 A JP2022529392 A JP 2022529392A JP 7212207 B1 JP7212207 B1 JP 7212207B1
Authority
JP
Japan
Prior art keywords
image
matching
license
driver
scores
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022529392A
Other languages
English (en)
Other versions
JPWO2023007631A1 (ja
JPWO2023007631A5 (ja
Inventor
永男 蔡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Group Inc filed Critical Rakuten Group Inc
Application granted granted Critical
Publication of JP7212207B1 publication Critical patent/JP7212207B1/ja
Publication of JPWO2023007631A1 publication Critical patent/JPWO2023007631A1/ja
Publication of JPWO2023007631A5 publication Critical patent/JPWO2023007631A5/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G06V30/19013—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G06V30/18019—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

画像処理システム（Ｓ）の画像取得手段（１０１）は、対象物を含む対象物画像を取得する。マッチング実行手段（１０６）は、対象物に関する特徴を含むテンプレート画像に基づいて、対象物画像に対するマッチングを実行する。分析手段（１０９）は、マッチングで取得された複数のスコアを分析する。ぼやけ判定手段（１１０）は、複数のスコアの分析結果に基づいて、対象物画像における対象物がぼやけているか否かを判定する。

Description

本開示は、画像処理システム、画像処理方法、及びプログラムに関する。
従来、対象物画像における対象物がぼやけているか否かを、画像処理によって判定する技術が知られている。非特許文献１には、対象物画像の特徴点群と、テンプレート画像の特徴点群と、をマッチングし、対象物画像及びテンプレート画像の一致度を判定する技術が記載されている。テンプレート画像と同じ対象物を含む対象物画像だったとしても、この一致度が低い場合には、対象物画像における対象物がぼやけている可能性がある。
Shaharyar Ahmed Khan Tareen, Zahra Saleem, "A comparative analysis of SIFT, SURF, KAZE, AKAZE, ORB, and BRISK", 2018 International Conference on Computing, Mathematics and Engineering Technologies, https://ieeexplore.ieee.org/document/8346440
しかしながら、非特許文献１の技術では、対象物画像に含まれる多数の特徴点を抽出する必要があるので、画像処理を実行するコンピュータの処理負荷が増大する可能性がある。例えば、スマートフォンのカメラで連続的に生成された対象物画像から特徴点群を抽出し、対象物がぼやけているか否かを判定しようとすると、スマートフォンの処理負荷が増大する。この点は、スマートフォン以外のコンピュータについても同様である。
本開示の目的の１つは、コンピュータの処理負荷を軽減することである。
本開示に係る画像処理システムは、対象物を含む対象物画像を取得する画像取得手段と、前記対象物に関する特徴を含むテンプレート画像に基づいて、前記対象物画像に対するマッチングを実行するマッチング実行手段と、前記マッチングで取得された複数のスコアを分析する分析手段と、前記複数のスコアの分析結果に基づいて、前記対象物画像における前記対象物がぼやけているか否かを判定するぼやけ判定手段と、を含む。
本開示によれば、コンピュータの処理負荷を軽減できる。
画像処理システムの全体構成の一例を示す図である。 画像処理システムで実現される機能の一例を示す機能ブロック図である。 ユーザが運転免許証を撮影する様子の一例を示す図である。 線分検出部により実行される処理の一例を示す図である。 線分検出部により実行される処理の一例を示す図である。 線分検出部により実行される処理の一例を示す図である。 情報取得部により実行される処理の一例を示す図である。 右下の角が関心領域の外にある場合の一例を示す図である。 加工部により実行される処理の一例を示す図である。 加工部により実行される処理の一例を示す図である。 マッチング実行部により実行される処理の一例を示す図である。 マッチング実行部により実行される処理の一例を示す図である。 距離判定部により実行される処理の一例を示す図である。 分析部により実行される処理の一例を示す図である。 画像処理システムで実行される処理の一例を示すフロー図である。 第１の構成に関する変形例における機能ブロック図である。
［１．画像処理システムの全体構成］
以下、本開示に係る画像処理システムの実施形態の例を説明する。図１は、画像処理システムの全体構成の一例を示す図である。画像処理システムＳは、ユーザ端末１０及びサーバ２０を含む。ユーザ端末１０及びサーバ２０は、インターネット又はＬＡＮ等のネットワークＮに接続可能である。画像処理システムＳは、少なくとも１つのコンピュータを含めばよく、図１の例に限られない。
ユーザ端末１０は、ユーザのコンピュータである。例えば、ユーザ端末１０は、スマートフォン、タブレット端末、パーソナルコンピュータ、又はウェアラブル端末である。制御部１１は、少なくとも１つのプロセッサを含む。記憶部１２は、ＲＡＭ等の揮発性メモリと、ハードディスク等の不揮発性メモリと、を含む。通信部１３は、有線通信用の通信インタフェースと、無線通信用の通信インタフェースと、の少なくとも一方を含む。操作部１４は、タッチパネル等の入力デバイスである。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイである。撮影部１６は、少なくとも１つのカメラを含む。
サーバ２０は、サーバコンピュータである。制御部２１、記憶部２２、及び通信部２３の物理的構成は、それぞれ制御部１１、記憶部１２、及び通信部１３と同様であってよい。
なお、記憶部１２，２２に記憶されるプログラム又はデータは、ネットワークＮを介して供給されてもよい。また、サーバ２０又はユーザ端末１０に、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）、又は、外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）が含まれてもよい。例えば、情報記憶媒体に記憶されたプログラム又はデータが、読取部又は入出力部を介して供給されてもよい。
［２．画像処理システムの概要］
本実施形態では、ｅＫＹＣ（electronic Know Your Customer）に画像処理システムＳを適用する場合を例に挙げる。ｅＫＹＣは、オンラインで行われる本人確認である。ｅＫＹＣは、任意のサービスで利用可能である。例えば、通信サービス、金融サービス、電子決済サービス、電子決済サービス、保険サービス、又は行政サービスで、ｅＫＹＣを利用可能である。ｅＫＹＣが行われるタイミングも、任意のタイミングであってよく、例えば、サービスの申込時又は申込後のタイミングで、ｅＫＹＣが行われる。
ｅＫＹＣでは、ユーザの本人確認書類（身分証明書）が確認される。本人確認書類は、任意の種類であってよく、例えば、運転免許証、保険証、住民票、個人番号カード、又はパスポートといった書類である。本実施形態では、ユーザの本人確認書類の一例として運転免許証を説明する。このため、運転免許証と記載した箇所は、本人確認書類と読み替えることができる。
ユーザは、ユーザ端末１０を操作して撮影部１６で運転免許証を撮影し、サーバ２０に撮影画像をアップロードする。サーバ２０に撮影画像がアップロードされると、ｅＫＹＣが行われる。ｅＫＹＣは、光学文字認識等の画像処理を利用して自動的に実行されてもよいし、サービスの管理者による撮影画像の視認により行われてもよい。更に、画像処理と管理者による視認の両方が行われてもよい。
本実施形態では、正面方向から運転免許証を撮影することが要求される場合を説明するが、ｅＫＹＣ自体は、公知の種々の方法を利用可能である。例えば、所定に姿勢になるように運転免許証を傾けて撮影したり、運転免許証を動かしたりすることが要求されてもよい。他にも例えば、ユーザの顔及び運転免許証の両方を撮影することが要求されてもよいし、ユーザにウインク等の動作をすることが要求されてもよい。
例えば、ユーザがアップロードした撮影画像における運転免許証が歪んでいると、運転免許証の正当性を確認できない。そこで、ユーザ端末１０は、運転免許証が正面を向くように撮影画像を加工するための画像処理を実行する。このような画像処理として、特徴点群を利用した画像処理も知られているが、特徴点群を利用する画像処理は、計算量が多いので、ユーザ端末１０の処理負荷が増大する。本実施形態のユーザ端末１０は、特徴点群ではなく線分を利用した画像処理を実行する第１の構成によって、処理負荷を軽減する。
他にも例えば、ユーザがアップロードした撮影画像における運転免許証がぼやけていても、運転免許証の正当性を確認できない。そこで、ユーザ端末１０は、運転免許証がぼやけているか否かを判定するための画像処理を実行する。このような画像処理も、特徴点群を利用した画像処理が知られているが、特徴点群を利用する画像処理は、計算量が多いので、ユーザ端末１０の処理負荷が増大する。本実施形態のユーザ端末１０は、特徴点群ではなくマッチングを利用した画像処理を実行する第２の構成によって、処理負荷を軽減する。以降、第１の構成及び第２の構成の詳細を説明する。
［３．画像処理システムで実現される機能］
図２は、画像処理システムＳで実現される機能の一例を示す機能ブロック図である。
［３－１．ユーザ端末で実現される機能］
データ記憶部１００は、記憶部１２を主として実現される。ユーザ端末１０の他の機能は、制御部１１を主として実現される。データ記憶部１００及び送信部１１１は、第１の構成及び第２の構成の両方に係る機能である。画像取得部１０１、線分検出部１０２、情報取得部１０３、角判定部１０４、及び加工部１０５は、主に第１の構成に係る機能である。画像取得部１０１、マッチング実行部１０６、最大スコア判定部１０７、距離判定部１０８、分析部１０９、及びぼやけ判定部１１０は、主に第２の構成に係る機能である。
［データ記憶部］
データ記憶部１００は、画像処理に必要なデータを記憶する。例えば、データ記憶部１００は、先述したサービスを利用するためのアプリを記憶する。本実施形態では、このアプリの処理として、画像処理が実行される場合を説明するが、画像処理は、任意のプログラムの処理として実行されてよい。例えば、ブラウザから実行されるスクリプト又は他のプログラムの処理として、画像処理が実行されてもよい。データ記憶部１００は、後述のテンプレート画像及び撮影画像を記憶してもよい。
［画像取得部］
画像取得部１０１は、運転免許証を含む撮影画像を取得する。運転免許証は、対象物の一例である。運転免許証は、ユーザの本人確認書類の一例なので、ユーザの本人確認書類は、対象物の一例ということもできる。このため、運転免許証又は本人確認書類と記載した箇所は、対象物と読み替えることができる。撮影画像は、対象物画像の一例である。このため、撮影画像と記載した箇所は、対象物画像と読み替えることができる。
対象物は、画像処理の対象となる物体である。最終的に特定の種類の物体を検出することを目的とした画像処理であれば、この物体が対象物に相当する。本実施形態のように、撮影画像が対象物画像に相当する場合には、被写体が対象物に相当する。後述のスキャン画像が対象物画像に相当する場合には、スキャナで読み取られた物体が対象物に相当する。後述のセンサ画像が対象物画像に相当する場合には、センサで検出された物体が対象物に相当する。対象物は、任意の物体であってよく、本人確認書類に限られない。例えば、人間、人間の特定の部位、人間以外の動物、建物、風景、標識、又はその他の任意の物体が対象物に相当してもよい。
対象物画像は、対象物を含む画像である。対象物は、対象物画像の少なくとも一部に示される。対象物の一部を示す画素を少なくとも１つ含むことは、対象物を含むことに相当する。対象物画像には、対象物の一部だけが含まれてもよい。対象物画像は、対象物が取り込まれた画像ということもできる。本実施形態では、対象物画像は、本人確認書類が撮影部１６により連続的に撮影されることによって生成された撮影画像である。この撮影画像は、動画を構成する個々の画像（フレーム）である。撮影部１６のビデオ機能ではなくカメラ機能が利用される場合には、１枚の静止画が撮影画像に相当する。
なお、対象物画像を生成する手段自体は、公知の種々の手段を利用可能であり、撮影部１６に限られない。例えば、ユーザ端末１０の外部にあるカメラにより、対象物画像が生成されてもよい。例えば、スキャナにより対象物画像が生成されてもよい。スキャナにより対象物画像が生成される場合には、スキャナの読取結果を示すスキャン画像が対象物画像に相当する。例えば、物体を検出可能なセンサ（例えば、赤外線センサ又は超音波センサ）により対象物画像が生成されてもよい。センサにより対象物画像が生成される場合には、センサの検出結果を示すセンサ画像が対象物画像に相当する。
画像取得部１０１は、対象物画像を生成する任意の手段から対象物画像を取得する。対象物画像は、データ記憶部１００に予め記憶されていてもよい。この場合、画像取得部１０１は、データ記憶部１００から対象物画像を取得してもよい。対象物画像は、外部の情報記憶媒体又はコンピュータに記憶されていてもよい。この場合、画像取得部１０１は、外部の情報記憶媒体又はコンピュータから対象物画像を取得してもよい。
図３は、ユーザが運転免許証を撮影する様子の一例を示す図である。図３では、架空の運転免許証を含む撮影画像Ｉ１を例に挙げる。図３のように、本実施形態では、ユーザが机の上に置いた運転免許証を撮影する場合を説明するが、運転免許証は、任意の方向から撮影可能である。例えば、ユーザは、運転免許証を手で持ったまま撮影してもよい。他にも例えば、ユーザは、自分の顔と運転免許証の両方が撮影部１６の撮影範囲に含まれるように、顔の近くに運転免許証を持ったまま、撮影部１６を自分の方に向けて撮影してもよい。図３の撮影画像Ｉ１は、背景を省略しているが、実際には、撮影画像Ｉ１には背景が含まれる。
本実施形態では、画像取得部１０１は、撮影部１６により連続的に生成された撮影画像Ｉ１を取得する。画像取得部１０１は、連続的に取得した撮影画像Ｉ１をデータ記憶部１００に一時的に記録する。ユーザ端末１０は、連続的に生成された撮影画像Ｉ１を表示部１５に表示させる。本実施形態では、画像処理の対象となる関心領域ＲｏＩが表示部１５に表示される。ユーザは、運転免許証Ｄ１の輪郭が関心領域ＲｏＩに合うように、かつ、運転免許証Ｄ１が関心領域ＲｏＩに収まるように、運転免許証を撮影する。
本実施形態の関心領域ＲｏＩは、運転免許証Ｄ１の輪郭と同じ又は似た形状を有する。図３の例では、運転免許証Ｄ１は、いわゆる角丸四角形であり、関心領域ＲｏＩは、長方形なので、互いに似た形状（四角形という意味では同じ形状）である。関心領域ＲｏＩは、運転免許証Ｄ１の縦幅と横幅を所定倍した形状であってもよい。関心領域ＲｏＩは、運転免許証Ｄ１の輪郭とは異なる形状であってもよい。例えば、関心領域ＲｏＩは、円形又は楕円形であってもよい。本実施形態では、関心領域ＲｏＩが撮影画像Ｉ１の一部である場合を説明するが、関心領域ＲｏＩは、撮影画像Ｉ１の全部であってもよい。この場合、撮影画像Ｉ１の全体が画像処理の対象になる。
本実施形態の運転免許証Ｄ１は、定型部分を含む。定型部分とは、内容が固定された部分であり、他のユーザの運転免許証Ｄ１と共通する部分である。例えば、定型部分は、文書における書式部分であり、特定の文字、記号、図形、枠線、イラスト、又は画像が描かれた部分である。定型部分は、文書固有の情報を含む部分ということもできる。運転免許証Ｄ１は、複数の定型部分を含んでもよい。定型部分は、任意の位置に配置可能であり、例えば、対象物の角付近に配置される。角付近とは、角から所定距離（例えば、１ミリメートル～２センチメートル）以内の位置である。図３の運転免許証Ｄ１のように、角丸四角形の場合には、運転免許証Ｄ１の輪郭のうち、運転免許証Ｄ１の中心点から最も離れた位置（例えば、四隅の円弧上の位置）が角に相当する。
図３の運転免許証Ｄ１であれば、「ＤＲＩＶＥＲ ＬＩＣＥＮＳＥ」というタイトルは、定型部分の一例である。「ＮＡＭＥ」、「ＢＩＲＴＨ ＤＡＹ」、「ＡＤＤＲＥＳＳ」、「ＤＡＴＥ」、「ＥＸＰＩＲＥＳ」、及び「ＮＵＭＢＥＲ」といった項目名も、定型部分の一例である。「ＪＡＰＡＮ」という国名も、定型部分の一例である。「Ｔｏｋｙｏ Ｍｅｔｒｏｐｏｌｉｔａｎ Ｐｕｂｌｉｃ Ｓａｆｅｔｙ Ｃｏｍｍｉｓｓｉｏｎ」という機関の名称も、定型部分の一例である。なお、定型部分は、上記のような文字に限られず、運転免許証Ｄ１における日本の国旗を示す画像も、定型部分の一例である。また、上記の項目名等を囲む枠線も、定型部分の一例である。
本実施形態の運転免許証Ｄ１は、非定型部分も含む。非定型部分とは、内容が固定されていない部分であり、他の文書とは内容が共通しない部分である。非定型部分は、文書における書式部分以外の部分であり、例えば、ユーザの氏名、誕生日、又は住所といった個人情報である。非定型部分は、ユーザ固有の情報を含む部分ということもできる。
図３の運転免許証であれば、「ＹＡＭＡＤＡ ＴＡＲＯ」という氏名は、非定型部分の一例である。「Ｊｕｎｅ ２３，１９８０」という生年月日も、非定型部分の一例である。「１－２－３ ＡＢＣｃｉｔｙ Ｔｏｋｙｏ」という住所も、非定型部分の一例である。「Ｊｕｌｙ ２５，２０１８」という発行日も、非定型部分の一例である。「Ｊｕｌｙ ２５，２０２３」という有効期限日も、非定型部分の一例である。「１２３４ ５６７８ ９０１２」という免許証番号も、非定型部分の一例である。図３のユーザの顔写真も、非定型部分の一例である。ただし、顔写真の中身は、ユーザごとに異なるが、顔写真の枠線がユーザ間で共通であれば、この枠線は、定型部分になる。
［線分検出部］
線分検出部１０２は、所定の線分検出処理に基づいて、撮影画像Ｉ１から複数の線分を検出する。線分検出処理は、画像内の線分を検出する処理である。線分は、運転免許証Ｄ１自体の輪郭、運転免許証Ｄ１に含まれる個々の要素（定型部分及び被定型部分）の輪郭、又はこれらの一部分を示す。線分検出処理は、直線検出処理又はエッジ検出処理と呼ばれることもある。線分検出処理自体は、公知の種々のアルゴリズムを利用可能であり、例えば、Ｈｏｕｇｈ変換又はＬＳＤ（Line Segment Detector）を利用可能である。本実施形態では、連続的に撮影画像Ｉ１が取得されるので、線分検出部１０２は、撮影画像Ｉ１ごとに、複数の線分を検出する。即ち、線分検出部１０２は、個々の撮影画像Ｉ１に対し、下記に説明する処理を実行して、複数の線分を検出する。
図４～図６は、線分検出部１０２により実行される処理の一例を示す図である。図４の例では、線分検出部１０２は、撮影画像Ｉ１から複数の線分Ｌ１～Ｌ２５を検出する。以降、線分Ｌ１～Ｌ２５を区別しない時は、線分Ｌと記載する。運転免許証Ｄ１の写り具合によっては、本当は１本の線分だったとしても、線分Ｌ９，Ｌ１０のように、複数に分断されることがある。また、１本の線分が端から端まで完全に検出されないことがあり、図４のように、一部のみが検出されることが多い。他にも例えば、ユーザが運転免許証Ｄ１を手で持ったまま撮影した場合には、運転免許証Ｄ１の輪郭が指で隠れるので、輪郭が複数の線分Ｌに分断されることがある。
線分Ｌ１～Ｌ２５のうち、線分Ｌ１～Ｌ４は、運転免許証Ｄ１の輪郭の一部を示す。線分検出部１０２は、運転免許証Ｄ１の輪郭の一部を示す複数の線分Ｌ１～Ｌ４を検出する。運転免許証Ｄ１の輪郭は、運転免許証Ｄ１の外枠又は縁ということもできる。本実施形態の運転免許証Ｄ１は、角丸四角形なので、運転免許証Ｄ１の輪郭は、上下左右の４本の線分と、四隅の円弧と、を含む。図４の例では、上下左右の全てに対応する線分Ｌ１～Ｌ４が検出された場合を示しているが、上下左右のうちの一部の線分Ｌだけが検出されることもある。
線分検出部１０２は、撮影画像Ｉ１のうちの関心領域ＲｏＩに線分検出処理を実行し、関心領域ＲｏＩから線分Ｌ１～Ｌ２５を検出する。線分検出部１０２は、関心領域ＲｏＩの一部に対してのみ、線分検出処理を実行してもよい。例えば、線分検出部１０２は、関心領域ＲｏＩの外側から順番に線分検出処理を実行してもよい。この場合、線分検出部１０２は、関心領域ＲｏＩの端部ごとに、当該端部から最も近い線分Ｌを検出した場合に、当該端部に対応する線分検出処理を終了してもよい。
なお、撮影画像Ｉ１には、特に関心領域ＲｏＩが設定されなくてもよい。この場合、線分検出部１０２は、撮影画像Ｉ１の全体に線分検出処理を実行し、撮影画像Ｉ１の全体から線分Ｌを検出してもよい。他にも例えば、線分検出部１０２は、撮影画像Ｉ１の外側から順番に線分検出処理を実行してもよい。この場合、線分検出部１０２は、撮影画像Ｉ１の端部ごとに、当該端部から最も近い線分Ｌを検出した場合に、当該端部に対応する線分検出処理を終了してもよい。
線分検出部１０２は、所定の線分検出処理に基づいて、撮影画像Ｉ１から、相対的に外側にある複数の線分Ｌ１～Ｌ４を検出する。本実施形態では、関心領域ＲｏＩが設定されるので、線分検出部１０２は、撮影画像Ｉ１の関心領域ＲｏＩにおいて相対的に外側にある複数の線分Ｌ１～Ｌ４を検出する。例えば、線分検出部１０２は、関心領域ＲｏＩに両端が含まれており、かつ、関心領域ＲｏＩにおいて相対的に外側にある複数の線分Ｌ１～Ｌ４を検出する。
本実施形態では、線分検出部１０２は、関心領域ＲｏＩの少なくとも１つの端部から所定距離以内に両端が含まれており、かつ、関心領域において相対的に外側にある複数の線分を検出する。図５では、関心領域ＲｏＩの上下左右の何れかの端部から所定距離以内にある場所を、網掛けで示している。所定距離は、相対的に端部に近い位置を定義可能であればよく、任意の長さであって良い。例えば、関心領域ＲｏＩの縦幅又は横幅の１０％～３０％程度の幅の領域であってもよい。
図５の例では、線分検出部１０２は、相対的に端部に近い線分Ｌとして、網掛けの領域に含まれる線分Ｌ１～Ｌ８，Ｌ１１，Ｌ２４，Ｌ２５を検出する。その後、図６のように、線分検出部１０２は、関心領域ＲｏＩの端部ごとに、当該端部に最も近い線分を検出することによって、複数の線分Ｌ１～Ｌ４を検出する。例えば、線分検出部１０２は、関心領域ＲｏＩの上端に最も近い線分Ｌ１を検出する。線分検出部１０２は、関心領域ＲｏＩの左端に最も近い線分Ｌ２を検出する。線分検出部１０２は、関心領域ＲｏＩの下端に最も近い線分Ｌ３を検出する。線分検出部１０２は、関心領域ＲｏＩの右端に最も近い線分Ｌ４を検出する。
なお、線分検出部１０２は、相対的に長く、かつ、相対的に外側にある複数の線分を検出してもよい。例えば、線分検出部１０２は、線分Ｌ３，Ｌ２５が関心領域ＲｏＩの下端から同程度の距離にあったとすると、より長い線分Ｌ３を検出してもよい。最初に実行される線分検出処理で、線分Ｌの長さの閾値が設定されてもよい。即ち、線分検出部１０２は、閾値以上の長さの線分Ｌとして、線分Ｌ１～Ｌ２５を検出してもよい。閾値の設定自体も、公知の線分検出処理における設定方法を利用可能である。また、線分検出部１０２は、関心領域ＲｏＩにおける最も外側の線分Ｌではなく、２番目又は３番目以降に外側の線分Ｌを検出してもよい。線分検出部１０２は、他の線分Ｌよりも相対的に外側の線分Ｌを検出すればよい。
［情報取得部］
情報取得部１０３は、複数の線分Ｌ１～Ｌ４に基づいて、撮影画像Ｉ１における運転免許証Ｄ１の輪郭に関する情報を取得する。輪郭に関する情報は、運転免許証Ｄ１の輪郭の少なくとも一部の位置に関する情報である。例えば、運転免許証Ｄ１の輪郭上の少なくとも１つの位置、又は、その付近の位置（輪郭から所定距離以内の位置）を示す情報は、輪郭に関する情報に相当する。撮影画像Ｉ１上の位置は、任意の方法で表現可能であり、例えば、左上を原点とするスクリーン座標系の座標で表現される。
本実施形態では、情報取得部１０３は、輪郭に関する情報として、撮影画像Ｉ１における運転免許証Ｄ１の複数の角に関する角情報を取得する場合を説明する。このため、角情報と記載した箇所は、輪郭に関する情報と読み替えることができる。角情報は、運転免許証Ｄ１の複数の角の各々の位置、又は、その付近の位置（角から所定距離以内の位置）を示す情報である。角情報には、運転免許証Ｄ１の全部又は一部の角の位置を示す。本実施形態では、連続的に撮影画像Ｉ１が取得されるので、情報取得部１０３は、撮影画像Ｉ１ごとに、角情報を取得する。即ち、線分検出部１０２は、個々の撮影画像Ｉ１に対し、下記に説明する処理を実行して、複数の線分を検出する。
図７は、情報取得部１０３により実行される処理の一例を示す図である。図７のように、情報取得部１０３は、複数の線分Ｌ１～Ｌ４の少なくとも１つを延長することによって複数の角Ｃ１～Ｃ４の位置を推定することによって、角情報を取得する。以降、角Ｃ１～Ｃ４を区別しない時は、単に角Ｃと記載する。例えば、情報取得部１０３は、線分Ｌ１～Ｌ４の両端を互いに交差するまで延長する。情報取得部１０３は、延長した線分同士の交点を、角Ｃ１～Ｃ４として検出する。本実施形態では、運転免許証Ｄ１が角丸四角形なので、この交点は、厳密には角の位置ではないが、角とみなせるほど近い位置にあるので、本実施形態では角とみなすものとする。
例えば、情報取得部１０３は、上側の輪郭を示す線分Ｌ１と、左側の輪郭を示す線分Ｌ２と、の交点を、左上の角Ｃ１として検出する。情報取得部１０３は、左側の輪郭を示す線分Ｌ２と、下側の輪郭を示す線分Ｌ３と、の交点を、左下の角Ｃ２として検出する。情報取得部１０３は、下側の輪郭を示す線分Ｌ３と、右側の輪郭を示す線分Ｌ４と、の交点を、右下の角Ｃ３として検出する。情報取得部１０３は、上側の輪郭を示す線分Ｌ１と、右側の輪郭を示す線分Ｌ４と、の交点を、右上の角Ｃ４として検出する。
なお、情報取得部１０３は、運転免許証Ｄ１の本当の角である四隅の円弧上の位置に近づくように、角Ｃ１～Ｃ４の位置を補正してもよい。この場合、情報取得部１０３は、交点である角Ｃ１～Ｃ４がこれらの中心点に若干近づくように、角Ｃ１～Ｃ４の位置を補正する。また、運転免許証Ｄ１の縦横比は予め分かっているので、情報取得部１０３は、４つの角Ｃ１～Ｃ４のうちの３つの位置関係から残り１つ位置を推定してもよい。例えば、情報取得部１０３は、３本の線分Ｌ１～Ｌ３を延長して角Ｃ１～Ｃ３を検出する。情報取得部１０３は、角Ｃ１，Ｃ３から、角Ｃ１～Ｃ３の位置関係に応じた方向及び距離だけ離れた位置を、角Ｃ４として検出してもよい。
［角判定部］
角判定部１０４は、角情報に基づいて推定された運転免許証Ｄ１の少なくとも１つの角Ｃが関心領域ＲｏＩの外にあるか否かを判定する。撮影画像Ｉ１における関心領域ＲｏＩの位置を識別可能なデータは、データ記憶部１００に記憶されているものとする。例えば、このデータは、関心領域ＲｏＩの四隅の座標である。角判定部１０４は、角Ｃごとに、撮影画像Ｉ１における当該角Ｃの位置が関心領域ＲｏＩの外であるか否かを判定する。図７の例であれば、角判定部１０４は、４つの角Ｃ１～Ｃ４の全てが関心領域ＲｏＩの中にあると判定する。
図８は、右下の角Ｃ３が関心領域ＲｏＩの外にある場合の一例を示す図である。図８の撮影画像Ｉ１も、線分検出部１０２及び情報取得部１０３の処理によって、角Ｃ１～Ｃ４が検出される。図８の例では、角判定部１０４は、角Ｃ１～Ｃ３は関心領域ＲｏＩの中にあると判定するが、角Ｃ４は関心領域ＲｏＩの外にあると判定する。例えば、運転免許証Ｄ１が関心領域ＲｏＩに収まらないように撮影されると、少なくとも１つの角Ｃが関心領域ＲｏＩの外に出る。他にも例えば、運転免許証Ｄ１が関心領域ＲｏＩに収まっていたとしても、大きく歪んでいれば、線分Ｌを延長してもなかなか交わらないため、少なくとも１つの角Ｃが関心領域ＲｏＩの外に出ることがある。
［加工部］
加工部１０５は、情報取得部１０３により取得された角情報に基づいて、撮影画像Ｉ１における運転免許証Ｄ１の輪郭が所定の輪郭に近づくように、撮影画像Ｉ１の少なくとも一部を加工する。本実施形態では、連続的に撮影画像Ｉ１が取得されるので、加工部１０５は、撮影画像Ｉ１ごとに、加工を行う。
所定の輪郭とは、目標となる輪郭である。運転免許証Ｄ１を正面方向から所定の距離で撮影した場合の輪郭は、所定の輪郭の一例である。あえて運転免許証Ｄ１を傾けて撮影することが要求される場合には、運転免許証Ｄ１と撮影部１６との位置関係が所定の位置関係で撮影した場合の輪郭が、所定の輪郭に相当する。所定の輪郭は、所定の形状を有する輪郭であればよい。
所定の輪郭になるとは、画像処理後の輪郭が所定の輪郭と一致することである。所定の輪郭に近づくとは、画像処理後の輪郭と所定の輪郭とが一致はしないが、画像処理後の輪郭と所定の輪郭とのずれが、画像処理前の輪郭と所定の輪郭とのずれよりも小さくなることである。
加工とは、線型変換（例えば、拡大縮小、切り取り、回転）及び平行移動の少なくとも一方を実行することである。加工は、変換、整形、又は編集と呼ばれることもある。本実施形態では、撮影画像Ｉ１のうち、角Ｃ１～Ｃ４で囲われた領域内が加工の対象になる場合を説明するが、撮影画像Ｉ１の全体が加工の対象になってもよい。他にも例えば、撮影画像Ｉ１のうちの関心領域ＲｏＩの全体が加工の対象になってもよい。撮影画像Ｉ１のうちの全部又は一部に対して加工が行われるようにすればよい。
図９及び図１０は、加工部１０５により実行される処理の一例を示す図である。本実施形態では、加工部１０５は、図９の見本画像Ｉ２を利用して加工を行う。見本画像Ｉ２は、先述した所定の輪郭を含む画像である。このため、撮影画像Ｉ１に含まれる運転免許証Ｄ１の輪郭を、見本画像Ｉ２に含まれる運転免許証Ｄ２の輪郭になる又は近づくように加工できれば、ｅＫＹＣに適したものとすることができる。
図９の見本画像Ｉ２は、見本となる運転免許証Ｄ２を正面方向から所定の距離で撮影した画像である。運転免許証Ｄ２は、対象物である運転免許証Ｄ１とは異なる人物のものであるが、定型部分は原則として同じである。運転免許証Ｄ１の定型部分と、運転免許証Ｄ２の定型部分と、が異なっていてもよいが、運転免許証Ｄ１の輪郭と、運転免許証Ｄ２の輪郭と、は互いに同じ又は類似するものとする。ここでの類似とは、輪郭の違いが所定値未満であることを意味する。例えば、縦幅の長さの違い、横幅の長さの違い、角の位置の違い、又はこれらの複数の違いが所定値未満であることは、輪郭が類似することを意味する。
例えば、見本画像Ｉ２に対し、線分検出部１０２及び情報取得部１０３による処理が実行されて、見本となる角Ｃ５～Ｃ８が検出される。角Ｃ５～Ｃ８は、サービスの管理者が手動で指定してもよいし、他の画像処理によって検出されてもよい。データ記憶部１００には、角Ｃ５～Ｃ８の位置を識別可能な情報が予め記憶されているものとする。例えば、この情報は、角Ｃ５～Ｃ８の座標である。
加工部１０５は、情報取得部１０３により取得された角情報に基づいて、複数の角Ｃ１～Ｃ４の位置関係が所定の位置関係になる又は近づくように、撮影画像Ｉ１の少なくとも一部を加工する。所定の位置関係とは、理想的な位置関係である。角Ｃ５～Ｃ８の位置関係は、所定の位置関係の一例である。あえて運転免許証Ｄ１を傾けて撮影することが要求される場合には、運転免許証Ｄ１と撮影部１６との位置関係が所定の位置関係で撮影した場合の角の位置関係が、所定の位置関係に相当する。
所定の位置関係になるとは、画像処理後の位置関係が所定の位置関係と一致することである。所定の位置関係に近づくとは、画像処理後の位置関係と所定の位置関係とが一致しないが、画像処理後の位置関係と所定の位置関係とのずれが、画像処理前の位置関係と所定の位置関係とのずれよりも小さくなることである。図１０のように、例えば、加工部１０５は、角Ｃ１～Ｃ４の位置関係が角Ｃ５～Ｃ８の位置関係に近づくように、撮影画像Ｉ１に対してアフィン変換を行う。アフィン変換以外にも射影変換等の任意の変換処理を利用可能である。本実施形態では、加工後の撮影画像にＩ３の符号を付与する。
本実施形態では、加工部１０５は、少なくとも１つの角Ｃが関心領域ＲｏＩの外にあると判定されない場合に、撮影画像Ｉ１の少なくとも一部を加工する。即ち、加工部１０５は、全ての角Ｃが関心領域ＲｏＩの中にあると判定されない場合に、撮影画像Ｉ１の少なくとも一部を加工する。このため、加工部１０５は、少なくとも１つの角Ｃが関心領域ＲｏＩの外にあると判定された場合には、撮影画像Ｉ１の少なくとも一部を加工する処理は実行しない。
なお、加工部１０５は、角情報ではなく、情報取得部１０３により取得された他の情報に基づいて、加工を実行してもよい。例えば、運転免許証Ｄ１の輪郭に関する情報として、角情報ではなく、線分Ｌ１～Ｌ４を延長して交点により形成される四角形の輪郭を利用してもよい。この場合、加工部１０５は、運転免許証Ｄ１に対応する四角形が、運転免許証Ｄ２に対応する四角形になる又は近づくように、撮影画像Ｉ１の少なくとも一部を加工してもよい。他にも例えば、十分な長さの線分Ｌ１～Ｌ４が検出された場合には、角Ｃが特定されることなく、線分Ｌ１～Ｌ４を示す情報が輪郭に関する情報として取得され、加工部１０５による処理が実行されてもよい。
［マッチング実行部］
以上説明した機能が第１の構成の主な機能である。以降説明する機能は、主に第２の構成の機能である。マッチング実行部１０６は、運転免許証Ｄ１に関する特徴を含むテンプレート画像に基づいて、撮影画像Ｉ３に対するマッチングを実行する。運転免許証Ｄ１に関する特徴とは、運転免許証Ｄ１の全部又は一部の視覚的な特徴である。例えば、運転免許証Ｄ１に関する特徴は、運転免許証Ｄ１に形成された画像（例えば、背景、文字、数字、記号、図形、表、写真、模様、ホログラム等）の特徴である。画像の特徴とは、輪郭、色、輝度、又はこれらの組み合わせである。
テンプレート画像は、見本となる特徴を含む画像である。本実施形態では、運転免許証Ｄ１の定型部分が特徴として利用されるので、テンプレート画像に含まれる特徴は、この定型部分である。複数の定型部分がマッチングで利用される場合、テンプレート画像は、定型部分ごとに用意されている。テンプレート画像は、データ記憶部１００に予め記憶されているものとする。本実施形態では、図９の見本画像Ｉ２の一部がテンプレート画像として利用される。マッチング自体は、公知のマッチング手法を利用可能である。マッチングは、テンプレートマッチング又はパターンマッチングと呼ばれることもある。
図１１及び図１２は、マッチング実行部１０６により実行される処理の一例を示す図である。図１１は、撮影画像Ｉ３における運転免許証Ｄ１が鮮明である場合を示し、図１２は、撮影画像Ｉ３における運転免許証Ｄ１がぼやけている場合を示す。図１１及び図１２のように、マッチング実行部１０６は、撮影画像Ｉ３における運転免許証Ｄ１の角Ｃ１～Ｃ４付近の領域Ｒ１～Ｒ４に対し、マッチングを実行する。以降、領域Ｒ１～Ｒ４を区別しない時は、単に領域Ｒと記載する。
角Ｃ付近の領域Ｒとは、角Ｃを含む領域、又は、角Ｃを含まないが角Ｃから所定距離以内にある領域である。図１１及び図１２の例では、領域Ｒは、１００ピクセル×１００ピクセルとするが、領域Ｒのサイズ及び形状は、任意であってよい。図１１及び図１２では、角Ｃ１付近の領域Ｒ１に対するマッチングを例に挙げるが、角Ｃ２～Ｃ４付近の領域Ｒ２～Ｒ４に対するマッチングも同様にして実行される。
例えば、マッチング実行部１０６は、領域Ｒ１に対応するテンプレート画像ｉ１を、データ記憶部１００から取得する。本実施形態のテンプレート画像ｉ１は、領域Ｒ１よりも小さいものとするが、テンプレート画像ｉ１のサイズと、領域Ｒ１のサイズと、は同じであってもよい。マッチング実行部１０６は、領域Ｒ１内でテンプレート画像ｉ１を移動させながら、領域Ｒ１における現在の位置に対応するスコアを計算する。
スコアは、テンプレート画像ｉ１に含まれる定型部分との類似度を示す。図１１及び図１２の例では、定型部分は「ＤＲ」の文字列である。スコアは、ベクトル形式等の任意の形式で表現可能である。スコアの計算方法自体は、公知のマッチングで利用される計算式を利用可能である。本実施形態では、マッチング実行部１０６がＳＳＤ（Sum of Squared Difference）に基づいてスコアを計算する場合を説明するが、マッチング実行部１０６は、ＳＡＤ（Sum of Absolute Difference）等の他の任意の計算方法に基づいて、スコアを計算してもよい。
本実施形態では、スコアが示す数値が大きいことは、テンプレート画像ｉ１と類似することを意味する場合を説明するが、ＳＡＤ等の計算方法が利用される場合には、スコアが示す数値が小さいことが、テンプレート画像ｉ１と類似することを意味してもよい。例えば、領域Ｒ１が１００ピクセル×１００ピクセルであり、テンプレート画像ｉ１が１０ピクセル×１０ピクセルだったとする（図１１では長方形であるが、説明の簡略化のために、ここでは正方形とする）。この場合、マッチング実行部１０６は、テンプレート画像ｉ１を１ピクセルずつ移動させたとすると、９０×９０個のスコアを取得する。マッチングにおけるスライド幅（１回当たりのテンプレート画像ｉ１の移動量）は、１ピクセルに限られず、任意のピクセル数であってよい。
マッチング実行部１０６は、角Ｃ２～Ｃ４付近の領域Ｒ２～Ｒ４に対するマッチングも同様にして実行する。例えば、マッチング実行部１０６は、領域Ｒ２～Ｒ４に対応するテンプレート画像ｉ２～ｉ４を、データ記憶部１００から取得する。マッチング実行部１０６は、領域Ｒ２～Ｒ４の各々の中で、テンプレート画像ｉ２～ｉ４の各々を移動させながら、個々の位置に対応するスコアを計算する。以降、テンプレート画像ｉ１～ｉ４を区別しない時は、単にテンプレート画像ｉと記載する。マッチング実行部１０６は、テンプレート画像ｉごとに、マッチングを実行すればよい。
本実施形態では、加工部１０５による加工が実行された後にマッチングが実行されるので、マッチング実行部１０６は、少なくとも一部が加工された撮影画像Ｉ３に対するマッチングを実行する。本実施形態では、連続的に生成された撮影画像Ｉ１が加工され、連続的に撮影画像Ｉ３が取得されるので、マッチング実行部１０６は、撮影画像Ｉ３ごとに、マッチングを実行する。ただし、角Ｃが関心領域ＲｏＩの外に出た撮影画像Ｉ１については、加工後の撮影画像Ｉ３が取得されないので、マッチングの対象とはならない。
［最大スコア判定部］
最大スコア判定部１０７は、複数のスコアのうちの最大スコアが閾値未満であるか否かを判定する。最大スコアは、マッチング実行部１０６により計算されたスコアの中で、最も類似することを示すスコアである。図１１のように運転免許証Ｄ１が鮮明であれば最大スコアは高くなり、図１２のように運転免許証Ｄ１がぼやけていれば最大スコアは低くなる。輪郭は運転免許証Ｄ１と似ているが、運転免許証Ｄ１以外のものが撮影されている場合にも、最大スコアは低くなる。他にも例えば、運転免許証Ｄ１ではあるが、裏面が撮影されている場合にも最大スコアは低くなる。
閾値は、全ての領域Ｒで共通であってもよいし、領域Ｒごとに定められていてもよい。ただし、この閾値を高く設定しすぎると、ｅＫＹＣが成功しにくくなりユーザの利便性が低下するので、あまり高すぎない値（例えば、テンプレート画像ｉと完全に一致する場合の理論上の最大スコアの７０％～９０％程度）になるように設定される。このため、図１２のように運転免許証Ｄ１がぼやけていたとしても、多少のぼやけであれば、最大スコアは閾値以上になることがある。更に、運転免許証Ｄ１ではないが、色や模様等が運転免許証Ｄ１と似たものが撮影されていれば、最大スコアが閾値以上になることがある。
本実施形態では、複数の領域Ｒに対してマッチングが実行されるので、最大スコア判定部１０７は、領域Ｒごとに、当該領域Ｒの最大スコアが閾値未満であるか否かを判定する。例えば、ある領域Ｒの最大スコアをＳｍａｘとし、閾値をＴｈｔｍとする。最大スコア判定部１０７は、領域Ｒごとに、最大スコアＳｍａｘを取得する。最大スコア判定部１０７は、領域Ｒごとに、最大スコアＳｍａｘが閾値Ｔｈｔｍ未満であるか否かを判定する。下記数式１のように、最大スコアＳｍａｘが閾値Ｔｈｔｍ未満である撮影画像Ｉ３は、フィルタリングされて後述のぼかし判定部の処理が実行されない。
Figure 0007212207000001
［距離判定部］
距離判定部１０８は、複数のスコアのうちの最大スコアが取得された位置と、テンプレート画像ｉに示された特徴があるべき位置と、の距離が閾値未満であるか否かを判定する。テンプレート画像ｉに示された特徴があるべき位置を識別可能な情報は、データ記憶部１００に予め記憶されているものとする。本実施形態では、テンプレート画像ｉに示された特徴があるべき位置は、個々の領域Ｒの中心点（図１３の例であれば、１００ピクセル×１００ピクセルの中の中心点）である場合を説明するが、この位置は、マッチングの対象となる領域Ｒ内の任意の位置であってよい。閾値は、全ての領域Ｒで共通であってもよいし、領域Ｒごとに定められていてもよい。
図１３は、距離判定部１０８により実行される処理の一例を示す図である。本実施形態では、複数の領域Ｒに対してマッチングが実行されるので、距離判定部１０８は、領域Ｒごとに、最大スコアが取得された位置と、テンプレート画像ｉに示された特徴があるべき位置と、の距離が閾値未満であるか否かを判定する。例えば、ある領域Ｒの最大スコアが取得された位置をＰｏｓｍａｘとし、テンプレート画像ｉに示された特徴があるべき位置をＰｏｓｃｅｎｔｅｒとする。距離判定部１０８は、領域Ｒごとに、位置Ｐｏｓｍａｘ及び位置Ｐｏｓｃｅｎｔｅｒの距離が閾値Ｔｈｄｉｓｔ未満であるか否かを判定する。下記数式２のように、位置Ｐｏｓｍａｘ及び位置Ｐｏｓｃｅｎｔｅｒの距離が閾値Ｔｈｄｉｓｔよりも大きければ、フィルタリングされて後述のぼかし判定部の処理が実行されない。
Figure 0007212207000002
［分析部］
分析部１０９は、マッチングで取得された複数のスコアを分析する。本実施形態では、連続的に生成された撮影画像Ｉ１が加工され、連続的に撮影画像Ｉ３が取得されるので、分析部１０９は、撮影画像Ｉ３ごとに、複数のスコアを分析する。スコアの分析自体は、任意の方法により行われてよいが、本実施形態では、分散分析が利用される場合を説明する。分散分析では、複数のスコアの分散具合（偏り具合）が分析される。即ち、個々のスコア間の差の大きさが分析される。分散分析のアルゴリズム自体は、公知のアルゴリズムを利用可能であり、例えば、ｊｓ－ＳＴＡＲ又はＡＩＳＴ－ＡＮＯＶＡと呼ばれるアルゴリズムが利用されてもよい。
図１４は、分析部１０９により実行される処理の一例を示す図である。図１４では、角Ｃ１付近の領域Ｒ１に対するマッチングで取得されたスコアの分析を例に挙げる。例えば、分析部１０９は、複数のスコアのうちの最大スコアと、複数のスコアに基づいて計算された平均スコアと、に基づいて、複数のスコアを分析する。例えば、平均スコアをＳｍｅａｎとする。分析部１０９は、下記数式３に基づいて、最大スコアＳｍａｘを平均スコアＳｍｅａｎで割った値を計算することによって、複数のスコアを分析する。
Figure 0007212207000003
本実施形態では、複数のテンプレート画像ｉが用いられるので、分析部１０９は、テンプレート画像ｉごとに取得された複数のスコアを分析する。個々のテンプレート画像ｉに応じた分析の処理内容は、上記説明した通りである。即ち、分析部１０９は、角Ｃ２～Ｃ４に対応する領域Ｒ２～Ｒ４についても、領域Ｒ１と同様にして、最大スコアＳｍａｘを平均スコアＳｍｅａｎで割った値を計算する。分析部１０９は、上記数式３の左辺の値を計算することによって、分析を実行する。数式３のＮは、領域Ｒの数を示す自然数であり、本実施形態では、Ｎは４である。数式３の閾値Ｔｈｒａｔｉｏとの比較は、ぼやけ判定部１１０によって実行される。
以上のように、本実施形態の分析部１０９は、テンプレート画像ｉごとに取得された複数のスコアに基づいて、１の指標を計算することによって、複数のスコアを分析する。この指標は、数式３の左辺である。この指標は、数式３の例に限られず、複数のテンプレート画像ｉから取得された複数のスコアの分析結果を１つにまとめるものであればよい。例えば、４つの最大スコアの平均値であってもよいし、４つの平均スコアの平均値であってもよい。また、数式３のような最大スコアと平均スコアの比率ではなく、これらの差分が利用されてもよい。この場合、４つの角Ｃに対応する４つの差分の平均値が１の指標として利用されてもよい。
［ぼやけ判定部］
ぼやけ判定部１１０は、分析部１０９による分析の実行結果に基づいて、撮影画像Ｉ３における運転免許証Ｄ１がぼやけているか否かを判定する。本実施形態では、連続的に生成された撮影画像Ｉ１が加工され、連続的に撮影画像Ｉ３が取得されるので、ぼやけ判定部１１０は、撮影画像Ｉ３ごとに、撮影画像Ｉ３における運転免許証Ｄ１がぼやけているか否かを判定する。ぼやけ判定部１１０は、数式３に基づいて、分析部１０９により計算された指標（数式３の左辺）が閾値Ｔｈｒａｔｉｏ未満であるか否かを判定する。この指標が閾値Ｔｈｒａｔｉｏ未満であることは、運転免許証Ｄ１がぼやけていることを意味する。この指標が閾値Ｔｈｒａｔｉｏ以上であることは、運転免許証Ｄ１がぼやけていないことを意味する。数式３を満たす撮影画像Ｉ３はフィルタリングされ、サーバ２０に送信されない。数式３を満たさない撮影画像Ｉ３がサーバ２０に送信される。
［送信部］
送信部１１１は、サーバ２０に、少なくとも一部が加工された撮影画像Ｉ３を送信する。例えば、送信部１１１は、サーバ２０に、ぼやけていないと判定された撮影画像Ｉ３を送信する。本実施形態では、最大スコア判定部１０７及び距離判定部１０８の判定も実行されるので、送信部１１１は、最大スコア判定部１０７の判定結果、距離判定部１０８の判定結果、及びぼやけ判定部１１０の判定結果に基づいて、撮影画像Ｉ３を送信する。本実施形態では、数式１～３によってフィルタリングが実行されるので、送信部１１１は、数式１～３の何れにも該当しない撮影画像Ｉ３を送信する。
［３－２．サーバで実現される機能］
データ記憶部２００は、記憶部２２を主として実現される。サーバ２０の他の機能は、制御部２１を主として実現される。
［データ記憶部］
データ記憶部２００は、画像処理に必要なデータを記憶する。例えば、データ記憶部２００は、ユーザデータベースと、テンプレート画像データベースと、を記憶する。ユーザデータベースは、ユーザに関する情報が格納されたデータベースである。例えば、ユーザデータベースには、ユーザＩＤ、名前、撮影画像Ｉ３、及び本人確認結果が格納される。テンプレート画像データベースは、テンプレート画像ｉに関する情報が格納されたデータベースである。例えば、テンプレート画像データベースには、見本画像Ｉ２、本人確認書類の種類、及びテンプレート画像ｉが格納される。ｅＫＹＣでは、任意の本人確認書類を利用可能なので、ユーザが選択した本人確認書類に応じたテンプレート画像ｉがユーザ端末１０に送信される。
［受信部］
受信部２０１は、ユーザ端末１０から、少なくとも一部が加工された撮影画像Ｉ３を受信する。例えば、ユーザ端末１０から、ぼやけていないと判定された撮影画像Ｉ３を受信する。本実施形態では、数式１～３によってフィルタリングが実行されるので、受信部２０１は、数式１～３の何れにも該当しない撮影画像Ｉ３を受信する。受信部２０１は、受信した撮影画像Ｉ３をユーザデータベースに格納する。
［運転免許証判定部］
運転免許証判定部２０２は、少なくとも一部が加工された撮影画像Ｉ３に基づいて、撮影画像Ｉ３に示された対象物が所定の運転免許証Ｄ１であるか否かを判定する。運転免許証判定部２０２は、ぼやけていないと判定された撮影画像Ｉ３に基づいて、撮影画像Ｉ３に示された対象物が所定の運転免許証Ｄ１であるか否かを判定する。例えば、運転免許証判定部２０２は、ユーザ端末１０が利用したテンプレート画像ｉよりも多いテンプレート画像を利用して、撮影画像Ｉ３に対するマッチングを実行してもよい。例えば運転免許証判定部２０２は、機械学習手法によって種々の運転免許証のパターンを学習させた学習モデルを利用して、撮影画像Ｉ３に運転免許証Ｄ１が含まれているか否かを判定してもよい。例えば、運転免許証判定部２０２は、撮影画像Ｉ３に対して光学文字認識を実行し、撮影画像Ｉ３からユーザの氏名等の文字列を抽出してもよい。
［要求部］
要求部２０３は、所定の運転免許証Ｄ１ではないと判定された場合に、ユーザ端末１０に、撮影画像Ｉ３を再び取得するように要求する。この要求は、何らかのメッセージを表示可能なものであればよく、例えば、アプリ上の通知、プッシュ通知、電子メール、ＳＭＳ、又はＳＮＳであってもよい。この要求は、ユーザに視認可能なものでなくてもよい。ユーザ端末１０は、この要求を受信した場合に、再び撮影画像Ｉ１の取得を行う。
［４．画像処理システムＳで実行される処理］
図１５は、画像処理システムＳで実行される処理の一例を示すフロー図である。図１５のように、ユーザ端末１０は、撮影部１６による撮影結果に基づいて、運転免許証Ｄ１を含む撮影画像Ｉ１を取得する（Ｓ１）。ユーザ端末１０は、線分検出処理に基づいて、撮影画像Ｉ１から、相対的に外側にある線分Ｌを検出する（Ｓ２）。ユーザ端末１０は、相対的に外側にある線分Ｌに基づいて、角Ｃの位置を示す角情報を取得する（Ｓ３）。ユーザ端末１０は、角情報に基づいて、少なくとも１つの角Ｃが関心領域ＲｏＩの外にあるか否かを判定する（Ｓ４）。
角Ｃ１～Ｃ４の何れかが関心領域ＲｏＩの外にあると判定された場合（Ｓ４：Ｎ）、Ｓ５以降の処理は実行されず、Ｓ１の処理に戻る。角Ｃ１～Ｃ４の何れかが関心領域ＲｏＩの外にあると判定されない場合（Ｓ４：Ｎ）、ユーザ端末１０は、撮影画像Ｉ１における角Ｃ１～Ｃ４の位置関係が見本画像Ｉ２における角Ｃ５～Ｃ８の位置関係に近づくように、撮影画像Ｉ１を加工する（Ｓ５）。
ユーザ端末１０は、テンプレート画像ｉに基づいて、Ｓ５で加工された撮影画像Ｉ３にマッチングを実行する（Ｓ６）。ユーザ端末１０は、領域Ｒごとに、最大スコアが閾値未満であるか否かを判定する（Ｓ７）。最大スコアが閾値未満であると判定された場合（Ｓ７：Ｙ）、Ｓ８以降の処理は実行されず、Ｓ１の処理に戻る。最大スコアが閾値以上であると判定された場合（Ｓ７：Ｎ）、ユーザ端末１０は、撮影画像Ｉ３から最大スコアが取得された位置と、テンプレート画像ｉに示された特徴があるべき位置と、の距離を計算する（Ｓ８）。
ユーザ端末１０は、領域Ｒごとに、Ｓ８で計算された距離が閾値未満であるか否かを判定する（Ｓ９）。距離が閾値未満であると判定されない場合（Ｓ９：Ｙ）、Ｓ１０以降の処理は実行されず、Ｓ１の処理に戻る。距離が閾値未満であると判定された場合（Ｓ９：Ｎ）、ユーザ端末１０は、分析を実行する（Ｓ１０）。
ユーザ端末１０は、Ｓ１０における分析結果に基づいて、撮影画像Ｉ３がぼやけているか否かを判定する（Ｓ１１）。撮影画像Ｉ３がぼやけていると判定された場合（Ｓ１１：Ｙ）、Ｓ１２以降の処理は実行されず、Ｓ１の処理に戻る。撮影画像Ｉ３がぼやけていると判定されない場合（Ｓ１１：Ｎ）、ユーザ端末１０は、サーバ２０に、加工された撮影画像Ｉ３を送信する（Ｓ１２）。
サーバ２０は、ユーザ端末１０から、加工された撮影画像Ｉ３を受信する（Ｓ１３）。サーバ２０は、撮影画像Ｉ３に基づいて、より詳細なマッチングや機械学習手法を利用して、運転免許証が写っているか否かを判定する（Ｓ１４）。運転免許証が写っていると判定されない場合（Ｓ１４：Ｎ）、サーバ２０は、ユーザ端末１０に、撮影画像Ｉ３を取得し直すように要求する（Ｓ１５）。この場合、ユーザ端末１０では、Ｓ１の処理から再び実行される。運転免許証が写っていると判定された場合（Ｓ１４：Ｙ）、本処理は終了する。この場合、サーバ２０に送信された撮影画像Ｉ３に基づいて、ｅＫＹＣが行われる。
［第１の構成のまとめ］
画像処理システムＳの第１の構成によれば、相対的に外側にある複数の線分Ｌ１～Ｌ４（即ち、運転免許証Ｄ１の確率が高い線分Ｌ）に基づいて、撮影画像Ｉ１における運転免許証Ｄ１の輪郭に関する情報を取得する。第１の構成では、この情報に基づいて、この輪郭が所定の輪郭になる又は近づくように、撮影画像Ｉ１の少なくとも一部を加工する。これにより、特徴点群を抽出するといった計算量の多い画像処理を実行する必要がなくなるので、ユーザ端末１０の処理負荷を軽減できる。即ち、特徴点群ではなく線分Ｌを検出するといった比較的計算量の少ない画像処理を実行すれば済むので、ユーザ端末１０の処理負荷を軽減できる。ユーザ端末１０の処理負荷を軽減することによって、撮影画像Ｉ１に対する画像処理を高速化できる。このため、加工された撮影画像Ｉ３を短い時間で取得できる。例えば、スマートフォンのように、パーソナルコンピュータに比べて処理能力が低いユーザ端末１０だったとしても、加工された撮影画像Ｉ３を短い時間で取得できる。
また、第１の構成では、角情報に基づいて、複数の角Ｃの位置関係が所定の位置関係になる又は近づくように、撮影画像Ｉ１の少なくとも一部を加工することによって、より効果的にユーザ端末１０の処理負荷を軽減できる。例えば、四隅の角Ｃに着目すればよく、多数の特徴点群に着目する必要がないので、計算量が大幅に少なくなる。更に、運転免許証Ｄ１のように、輪郭の形状として角Ｃが重要な対象物の場合、角Ｃに着目することによって、加工の精度が高まる。
また、第１の構成では、複数の線分Ｌの少なくとも１つを延長することによって複数の角Ｃの位置を推定することによって、より簡易な処理で角情報を取得できる。角情報を取得するために必要な計算量が減るので、より効果的にユーザ端末１０の処理負荷を軽減できる。
また、第１の構成では、撮影画像Ｉ１の関心領域ＲｏＩにおいて相対的に外側にある複数の線分Ｌを検出することによって、線分検出処理の対象となる領域が小さくなる。これにより、余計な線分Ｌを検出することがなくなるので、より効果的にユーザ端末１０の処理負荷を軽減できる。例えば、ユーザ端末１０で関心領域ＲｏＩをガイドすることによって、ユーザがどのように運転免許証Ｄ１を撮影すればよいかを把握しやすくなる。また、実際には、運転免許証Ｄ１の背景として、他の物体が撮影されている。図４の例では、机に載せられた運転免許証Ｄ１が撮影されるので、実際には、撮影画像Ｉ１の背景として、机の模様が示されている。机の模様を示す線分Ｌを検出される可能性があるが、関心領域ＲｏＩ内を処理対象にすることによって、背景を示す線分Ｌが検出されにくくなる。
また、第１の構成では、関心領域ＲｏＩに両端が含まれており、かつ、関心領域ＲｏＩにおいて相対的に外側にある複数の線分Ｌを検出することによって、撮影画像Ｉ１の加工で有用な線分Ｌを検出し、加工の精度が高まる。例えば、運転免許証Ｄ１の輪郭を示す線分Ｌは、比較的長く、かつ、関心領域ＲｏＩにおいて相対的に外側にあるので、このような線分Ｌを検出することによって、輪郭である確率の高い線分Ｌに基づいて、撮影画像Ｉ１の加工を実行し、加工の精度が高まる。
また、第１の構成では、関心領域ＲｏＩの少なくとも１つの端部から所定距離以内に両端が含まれており、かつ、関心領域ＲｏＩにおいて相対的に外側にある複数の線分を検出することによって、撮影画像Ｉ１の加工で有用な線分Ｌを検出し、加工の精度が高まる。例えば、運転免許証Ｄ１の輪郭を示す線分Ｌは、関心領域ＲｏＩの端部から所定距離以内に両端が含まれており、かつ、関心領域ＲｏＩにおいて相対的に外側にあるので、このような線分Ｌを検出することによって、輪郭である確率の高い線分Ｌに基づいて、撮影画像Ｉ１の加工を実行し、加工の精度が高まる。
また、第１の構成では、運転免許証Ｄ１の少なくとも１つの角が関心領域ＲｏＩの外にあると判定されない場合に、撮影画像Ｉ１の少なくとも一部を加工することによって、精度の高い加工が可能な撮影画像Ｉ１を加工できる。このため、加工の精度が高まる。撮影画像Ｉ１における運転免許証Ｄ１が大きく歪んでおり、精度の高い加工が難しい場合には加工が実行されないため、余計な加工が実行されなくなる。このため、ユーザ端末１０の処理負荷を軽減できる。
また、第１の構成では、関心領域ＲｏＩの端部ごとに、当該端部に最も近い線分Ｌを検出することによって、撮影画像Ｉ１の加工で有用な線分Ｌを検出し、加工の精度が高まる。例えば、関心領域ＲｏＩの端部に最も近い線分Ｌは、運転免許証Ｄ１の輪郭を示す確率が高いので、このような線分Ｌを検出することによって、輪郭である確率の高い線分Ｌに基づいて、撮影画像Ｉ１の加工を実行し、加工の精度が高まる。
また、第１の構成では、相対的に長く、かつ、相対的に外側にある複数の線分Ｌを検出することによって、撮影画像Ｉ１の加工で有用な線分Ｌを検出し、加工の精度が高まる。例えば、運転免許証Ｄ１の輪郭を示す線分Ｌは、相対的に長く、かつ、相対的に外側にある確率が高いので、このような線分Ｌを検出することによって、輪郭である確率の高い線分Ｌに基づいて、撮影画像Ｉ１の加工を実行し、加工の精度が高まる。
また、第１の構成では、少なくとも一部が加工された撮影画像Ｉ３に基づいて、撮影画像Ｉ３に示された対象物が所定の運転免許証Ｄ１であるか否かを判定することによって、運転免許証Ｄ１であるか否かを判定しやすい状態に加工したうえで、判定処理を実行できる。このため、運転免許証Ｄ１であるか否かの判定精度が高まる。更に、運転免許証Ｄ１であるか否かを判定できずに、撮影画像Ｉ１の取得から再度やりなおすといった手間が発生することも防止できる。その結果、ユーザ端末１０の処理負荷と、サーバ２０の処理負荷と、の両方を軽減できる。
また、第１の構成では、ユーザ端末１０が撮影画像Ｉ１の加工までを実行し、サーバ２０が撮影画像Ｉ３に示された対象物が所定の運転免許証Ｄ１であるか否かを判定することによって、画像処理を分散し、ユーザ端末１０の処理負荷と、サーバ２０の処理負荷と、の両方を軽減できる。
また、第１の構成では、連続的に生成された撮影画像Ｉ１に対して画像処理を実行することによって、最適な加工が実行できるまで、連続的な画像処理を実行できる。その結果、１枚１枚静止画を生成するといった手間を省き、ユーザの利便性が高まる。更に、ビデオ機能における解像度は、カメラ機能における解像度よりも低いことが多いが、低解像度の撮影画像Ｉ１であったとしても、撮影画像Ｉ１に対する加工を正確に実行できる。
［第２の構成のまとめ］
画像処理システムＳの第２の構成によれば、撮影画像Ｉ３に対するマッチングで取得された複数のスコアに関する分析の実行結果に基づいて、撮影画像Ｉ３における運転免許証Ｄ１がぼやけているか否かを判定する。これにより、特徴点群を抽出するといった計算量の多い画像処理を実行する必要がなくなるので、ユーザ端末１０の処理負荷を軽減できる。即ち、特徴点群ではなくマッチングといった比較的計算量の少ない画像処理を実行すれば済むので、ユーザ端末１０の処理負荷を軽減できる。ユーザ端末１０の処理負荷を軽減することによって、撮影画像Ｉ３に対する画像処理を高速化できる。このため、撮影画像Ｉ３における運転免許証Ｄ１がぼやけているか否かを短い時間で判定できる。例えば、スマートフォンのように、パーソナルコンピュータに比べて処理能力が低いユーザ端末１０だったとしても、撮影画像Ｉ３における運転免許証Ｄ１がぼやけているか否かを短い時間で判定できる。
また、第２の構成では、テンプレート画像ｉに含まれる特徴との類似度を示すスコアを利用することによって、より簡易な処理で、運転免許証Ｄ１がぼやけているか否かを判定できる。運転免許証Ｄ１がぼやけているか否かを判定するために必要な計算量が減るので、より効果的にユーザ端末１０の処理負荷を軽減できる。
また、第２の構成では、テンプレート画像ｉごとに取得された複数のスコアに関する分析を実行することによって、複数の領域Ｒから得られたスコアを利用して、運転免許証Ｄ１がぼやけているか否かを判定できる。その結果、運転免許証Ｄ１がぼやけているか否かの判定精度が高まる。
また、第２の構成では、テンプレート画像ｉごとに取得された複数のスコアに基づいて計算した１の指標が閾値未満であるか否かを判定することによって、より簡易な処理で、運転免許証Ｄ１がぼやけているか否かを判定できる。運転免許証Ｄ１がぼやけているか否かを判定するために必要な計算量が減るので、より効果的にユーザ端末１０の処理負荷を軽減できる。
また、第２の構成では、運転免許証Ｄ１の角付近に配置された定型部分を利用してマッチングを実行することによって、マッチングを実行しやすい角付近の領域Ｒに対してマッチングを実行できる。マッチングの精度が高まるので、運転免許証Ｄ１がぼやけているか否かの判定精度も高まる。
また、第２の構成では、複数のスコアのうちの最大スコアと、複数のスコアに基づいて計算された平均スコアと、に基づいて、分析を実行することによって、より簡易な処理で、運転免許証Ｄ１がぼやけているか否かを判定できるので、より効果的にユーザ端末１０の処理負荷を軽減できる。
また、第２の構成では、最大スコアを平均スコアで割った値に基づいて、分析を実行することによって、より簡易な処理で、運転免許証Ｄ１がぼやけているか否かを判定できるので、より効果的にユーザ端末１０の処理負荷を軽減できる。
また、第２の構成では、複数のスコアのうちの最大スコアが閾値未満であるか否かの判定結果と、運転免許証Ｄ１がぼやけているか否かの判定結果と、に基づいて、サーバ２０に撮影画像Ｉ３が送信されるので、ｅＫＹＣに適さない撮影画像Ｉ３が送信されることを防止できる。例えば、輪郭が運転免許証Ｄ１と似ているが、全く以て異なるカード等が撮影された場合には、最大スコアが小さくなるので、そのようなカード等が撮影されていることを検知できる。
また、第２の構成では、最大スコアが取得された撮影画像Ｉ３の位置と、テンプレート画像における特徴の位置と、の距離が閾値未満であるか否かの判定結果と、運転免許証Ｄ１がぼやけているか否かの判定結果と、に基づいて、サーバ２０に撮影画像Ｉ３が送信されるので、ｅＫＹＣに適さない撮影画像Ｉ３が送信されることを防止できる。例えば、全体的な色が運転免許証Ｄ１と似ているが、全く以て異なるカード等が撮影された場合には、最大スコアがある程度大きくなる可能性があるが、上記距離が長くなりがちなので、そのようなカード等が撮影されていることを検知できる。
また、第２の構成では、撮影画像Ｉ１における運転免許証Ｄ１の輪郭が所定の輪郭に近づくように加工された撮影画像Ｉ３に対するマッチングを実行することによって、マッチングの精度が高まる。即ち、運転免許証Ｄ１が歪んでいると、マッチングを正常に実行できない可能性があるが、運転免許証Ｄ１の歪みを正したうえでマッチングを実行することによって、運転免許証Ｄ１がぼやけているか否かの判定精度も高まる。
また、第２の構成では、加工された撮影画像Ｉ３に基づいて、撮影画像Ｉ３に示された対象物が所定の運転免許証Ｄ１であるか否かを判定することによって、運転免許証Ｄ１であるか否かを判定しやすい状態に加工したうえで、判定処理を実行できる。このため、運転免許証Ｄ１であるか否かの判定精度が高まる。更に、運転免許証Ｄ１であるか否かを判定できずに、撮影画像Ｉ１の取得から再度やりなおすといった手間が発生することも防止できる。その結果、ユーザ端末１０の処理負荷と、サーバ２０の処理負荷と、の両方を軽減できる。
また、第２の構成では、運転免許証Ｄ１がぼやけているか否かの判定までをユーザ端末１０が実行し、サーバ２０が撮影画像Ｉ３に示された対象物が所定の運転免許証Ｄ１であるか否かを判定することによって、画像処理を分散し、ユーザ端末１０の処理負荷と、サーバ２０の処理負荷と、の両方を軽減できる。
また、第２の構成では、連続的に生成された撮影画像Ｉ３に対して画像処理を実行することによって、最適な加工が実行できるまで、連続的な画像処理を実行できる。その結果、１枚１枚静止画を生成するといった手間を省き、ユーザの利便性が高まる。更に、ビデオ機能における解像度は、カメラ機能における解像度よりも低いことが多いが、低解像度の撮影画像Ｉ３であったとしても、撮影画像Ｉ３に対する判定を正確に実行できる。
［５．変形例］
なお、本開示は、以上に説明した実施形態に限定されるものではない。本開示の趣旨を逸脱しない範囲で、適宜変更可能である。
［５－１．第１の構成に関する変形例］
図１６は、第１の構成に関する変形例における機能ブロック図である。第１の構成に関する変形例の画像処理システムＳは、少なくとも１つの角Ｃが関心領域ＲｏＩの外にあると判定された場合に、当該少なくとも１つの角Ｃ及び関心領域ＲｏＩの位置関係に基づいて、運転免許証Ｄ１及び撮影部１６の少なくとも一方の位置、姿勢、及び向きの少なくとも１つの変更方法を通知する通知部１１２を更に含む。
上記の位置関係とは、関心領域ＲｏＩの外にある角Ｃが関心領域ＲｏＩから見てどの方向にあるかである。図８の例であれば、角Ｃが関心領域ＲｏＩの右下にはみ出ているので、上記の位置関係として、角Ｃが関心領域ＲｏＩの右下にはみ出ていることが特定される。上記の変更方法は、運転免許証Ｄ１及び撮影部１６の位置関係の変更方法ということもできる。即ち、通知部１１２は、運転免許証Ｄ１に対する撮影位置及び撮影方向の少なくとも一方の変更方法を通知する。通知は、撮影画像Ｉ１上で視覚的に行われてもよいし、音声によって行われてもよい。
本変形例では、データ記憶部１００に、関心領域ＲｏＩの外にある角Ｃ及び関心領域ＲｏＩの位置関係と、通知部１１２による変更方法と、の関係が記憶されているものとする。通知部１１２は、角Ｃの位置と関心領域ＲｏＩの位置とに基づいて、関心領域ＲｏＩの外にある角Ｃ及び関心領域ＲｏＩの位置関係を特定する。通知部１１２は、当該特定された位置関係に関連付けられた変更方法に基づいて、通知を行う。
例えば、図８のように、角Ｃが関心領域ＲｏＩの右下にはみ出ている場合、通知部１１２は、運転免許証Ｄ１を左回転させるように通知してもよいし、撮影部１６を右回転するように通知してもよい。このようにすれば、運転免許証Ｄ１が関心領域ＲｏＩ内に収まりやすくなる。角Ｃが関心領域ＲｏＩの他の方向にはみ出ている場合も同様に、通知部１１２は、関心領域ＲｏＩの外にはみ出ている角Ｃが関心領域ＲｏＩに戻るように、運転免許証Ｄ１及び撮影部１６の少なくとも一方の位置、姿勢、及び向きの少なくとも１つの変更方法を通知すればよい。
本変形例によれば、少なくとも１つの角Ｃが関心領域ＲｏＩの外にあると判定された場合に、運転免許証Ｄ１及び撮影部１６の少なくとも一方の位置、姿勢、及び向きの少なくとも１つの変更方法を通知する。これにより、運転免許証Ｄ１が関心領域ＲｏＩ内に収まりやすくなり、ユーザの利便性が向上する。
なお、画像処理システムＳは、第２の構成を有さずに第１の構成を有してもよい。即ち、画像処理システムＳは、第１の構成及び第２の構成の両方を有さなければならないわけではなく、何れか一方のみを有してもよい。この場合、加工された撮影画像Ｉ３に対するマッチングが実行されなくてもよい。例えば、ユーザ端末１０は、加工された撮影画像Ｉ３に対するマッチングを実行せずに、当該撮影画像Ｉ３をそのままサーバ２０に送信してもよい。このようにすることでも、運転免許証Ｄ１がぼやけているか否かは判定されないが、運転免許証Ｄ１の輪郭が整った撮影画像Ｉ３に基づいて、ｅＫＹＣが行われるので、効率的なｅＫＹＣが可能になる。
［５－２．第２の構成に関する変形例］
実施形態では、ぼやけ判定部１１０の判定結果に基づいて実行される所定の処理として、サーバ２０に撮影画像Ｉ３を送信する処理を説明したが、所定の処理は、任意の処理であってよく、サーバ２０に撮影画像Ｉ３を送信する処理に限られない。例えば、所定の処理は、ユーザ端末１０に撮影画像Ｉ３を記録する処理であってもよい。他にも例えば、所定の処理は、サーバ２０以外のコンピュータに対し、撮影画像Ｉ３を送信する処理であってもよい。所定の処理は、撮影画像Ｉ３に対して光学文字認識を実行し、ユーザの名前等を抽出する処理であってもよい。
同様に、最大スコア判定部１０７の判定結果と、ぼやけ判定部１１０の判定結果と、に基づいて所定の処理が実行されてもよい。距離判定部１０８の判定結果と、ぼやけ判定部１１０の判定結果と、に基づいて所定の処理が実行されてもよい。即ち、数式１～数式３の何れにも該当されない場合に、所定の処理が実行されてもよい。
また、画像処理システムＳは、第１の構成を有さずに第２の構成を有してもよい。即ち、画像処理システムＳは、第１の構成及び第２の構成の両方を有さなければならないわけではなく、何れか一方のみを有してもよい。この場合、撮影画像Ｉ１が加工されずに、マッチングが実行されてもよい。例えば、ユーザ端末１０は、撮影画像Ｉ１を加工することなくそのままマッチングを実行してもよい。このようにすることでも、運転免許証Ｄ１がぼやけているか否かを判定できるので、効率的なｅＫＹＣが可能になる。
例えば、数式１又は数式２のフィルタリングの条件は省略してもよい。例えば、運転免許証Ｄ１がぼやけているか否かを判定するための条件は、数式３の例に限られない。例えば、ぼやけ判定部１１０は、スコアの確率分布を作成し、確率分布の山の高さと傾斜に基づいて、運転免許証Ｄ１がぼやけているか否かを判定してもよい。確率分布の山が高く傾斜が急であれば、ある特定の高いスコアが局所的に存在することを意味するので、運転免許証Ｄ１が鮮明であることを意味する。一方、確率分布の山が低く傾斜がなだらかであれば、一定程度のスコアが広範囲にまんべんなく存在することを意味するので、運転免許証Ｄ１がぼやけていることを意味する。
［５－３．その他変形例］
例えば、運転免許証Ｄ１がぼやけていないと判定された場合に、関心領域ＲｏＩの枠線の色が変化してもよい。ユーザ端末１０は、連続的に生成された全ての撮影画像Ｉ１に対して画像処理をする必要はなく、一部の撮影画像Ｉ１に対してのみ画像処理を実行してもよい。例えば、画像処理システムＳは、ｅＫＹＣ以外の任意の場面に適用可能である。例えば、車両又は航空機の自動運転において障害物を認識する場面にも画像処理システムＳを適用可能である。例えば、マークシート形式の試験問題の採点が行われる場面にも画像処理システムＳを適用可能である。画像処理システムＳは、認識したい対象物を含む対象物画像に対する画像処理が実行される任意の場面に適用可能である。
例えば、実施形態では、ユーザ端末１０で主な処理が実行される場合を説明したが、ユーザ端末１０で実行されるものとして説明した処理は、サーバ２０で実行されてもよい。サーバ２０が第１の構成及び第２の構成を有する場合には、サーバ２０の処理負荷を軽減できる。例えば、ユーザ端末１０が第１の構成を有し、サーバ２０が第２の構成を有するといったように、ユーザ端末１０とサーバ２０とで処理が分担されてもよい。逆に、ユーザ端末１０が第２の構成を有し、サーバ２０が第１の構成を有するといったように、ユーザ端末１０とサーバ２０とで処理が分担されてもよい。処理が分担される場合には、ユーザ端末１０とサーバ２０との間で、撮影画像Ｉ３等のデータが適宜送信されるようにすればよい。

Claims (16)

  1. 対象物を含む対象物画像を取得する画像取得手段と、
    前記対象物を含まない画像であって、前記対象物に関する特徴を含むテンプレート画像に基づいて、前記対象物画像に対するマッチングを実行するマッチング実行手段と、
    前記マッチングで取得された複数のスコアを分析する分析手段と、
    前記複数のスコアの分析結果に基づいて、前記対象物画像における前記対象物がぼやけているか否かを判定するぼやけ判定手段と、
    を含む画像処理システム。
  2. 定型部分を含む対象物を含む対象物画像を取得する画像取得手段と、
    前記定型部分を含むテンプレート画像に基づいて、前記対象物画像に対するマッチングを実行するマッチング実行手段と、
    前記マッチングで取得された、前記テンプレート画像に含まれる前記定型部分との類似度を示す複数のスコアを分析する分析手段と、
    前記複数のスコアの分析結果に基づいて、前記対象物画像における前記対象物がぼやけているか否かを判定するぼやけ判定手段と、
    を含む画像処理システム。
  3. 前記対象物は、複数の前記定型部分を含み、
    前記テンプレート画像は、前記定型部分ごとに用意されており、
    前記マッチング実行手段は、前記テンプレート画像ごとに、前記マッチングを実行し、
    前記分析手段は、前記テンプレート画像ごとに取得された前記複数のスコアを分析する、
    請求項２に記載の画像処理システム。
  4. 前記分析手段は、前記テンプレート画像ごとに取得された前記複数のスコアに基づいて１の指標を計算することによって、当該複数のスコアを分析する、
    請求項３に記載の画像処理システム。
  5. 前記定型部分は、前記対象物の角付近に配置され、
    前記マッチング実行手段は、前記対象物画像における前記対象物の角付近の領域に対し、前記マッチングを実行する、
    請求項２～４の何れかに記載の画像処理システム。
  6. 対象物を含む対象物画像を取得する画像取得手段と、
    前記対象物画像に対して、前記対象物に関する特徴を含むテンプレート画像を移動させながらマッチングを実行するマッチング実行手段と、
    前記マッチングで取得された複数のスコアを分析する分析手段と、
    前記複数のスコアの分析結果に基づいて、前記対象物画像における前記対象物がぼやけているか否かを判定するぼやけ判定手段と、
    を含む画像処理システム。
  7. 前記分析手段は、前記複数のスコアのうちの最大スコアと、前記複数のスコアに基づいて計算された平均スコアと、に基づいて、前記複数のスコアを分析する、
    請求項１～６の何れかに記載の画像処理システム。
  8. 前記分析手段は、前記最大スコアを前記平均スコアで割った値に基づいて、前記複数のスコアを分析する、
    請求項７に記載の画像処理システム。
  9. 前記画像処理システムは、前記複数のスコアのうちの最大スコアが閾値未満であるか否かを判定する最大スコア判定手段を更に含み、
    前記最大スコア判定手段の判定結果と、前記ぼやけ判定手段の判定結果と、に基づいて所定の処理が実行される、
    請求項１～８の何れかに記載の画像処理システム。
  10. 対象物を含む対象物画像を取得する画像取得手段と、
    前記対象物に関する特徴を含むテンプレート画像に基づいて、前記対象物画像に対するマッチングを実行するマッチング実行手段と、
    前記マッチングで取得された複数のスコアを分析する分析手段と、
    前記複数のスコアの分析結果に基づいて、前記対象物画像における前記対象物がぼやけているか否かを判定するぼやけ判定手段と、
    前記複数のスコアのうちの最大スコアが取得された位置と、前記特徴があるべき位置と、の距離が閾値未満であるか否かを判定する距離判定手段と、
    を含み、
    前記距離判定手段の判定結果と、前記ぼやけ判定手段の判定結果と、に基づいて所定の処理が実行される、
    画像処理システム。
  11. 前記画像処理システムは、前記対象物画像における前記対象物の輪郭が所定の輪郭に近づくように、前記対象物画像の少なくとも一部を加工する加工手段を更に含み、
    前記マッチング実行手段は、少なくとも一部が加工された前記対象物画像に対する前記マッチングを実行する、
    請求項１～１０の何れかに記載の画像処理システム。
  12. 前記画像処理システムは、ぼやけていないと判定された前記対象物画像に基づいて、前記対象物が所定の対象物であるか否かを判定する対象物判定手段を更に含む、
    請求項１～１１の何れかに記載の画像処理システム。
  13. 前記画像処理システムは、ユーザ端末及びサーバを含み、
    前記ユーザ端末は、
    前記画像取得手段、前記マッチング実行手段、前記分析手段、及び前記ぼやけ判定手段と、
    前記サーバに、ぼやけていないと判定された前記対象物画像を送信する送信手段と、
    を含み、
    前記サーバは、
    前記ユーザ端末から、ぼやけていないと判定された前記対象物画像を受信する受信手段と、
    前記対象物判定手段と、
    前記所定の対象物ではないと判定された場合に、前記ユーザ端末に、前記対象物画像を再び取得するように要求する要求手段と、
    を含む請求項１２に記載の画像処理システム。
  14. 前記対象物は、ユーザの本人確認書類であり、
    前記対象物画像は、前記本人確認書類が撮影手段により連続的に撮影されることによって生成された画像であり、
    前記画像取得手段は、連続的に生成された前記対象物画像を取得し、
    前記マッチング実行手段は、前記対象物画像ごとに、前記マッチングを実行し、
    前記分析手段は、前記対象物画像ごとに、前記複数のスコアを分析し、
    前記ぼやけ判定手段は、前記対象物画像ごとに、前記対象物画像における前記本人確認書類がぼやけているか否かを判定する、
    請求項１～１３の何れかに記載の画像処理システム。
  15. 対象物を含む対象物画像を取得する画像取得ステップと、
    前記対象物を含まない画像であって、前記対象物に関する特徴を含むテンプレート画像に基づいて、前記対象物画像に対するマッチングを実行するマッチング実行ステップと、
    前記マッチングで取得された複数のスコアを分析する分析ステップと、
    前記複数のスコアの分析結果に基づいて、前記対象物画像における前記対象物がぼやけているか否かを判定するぼやけ判定ステップと、
    を含む画像処理方法。
  16. 対象物を含む対象物画像を取得する画像取得手段、
    前記対象物を含まない画像であって、前記対象物に関する特徴を含むテンプレート画像に基づいて、前記対象物画像に対するマッチングを実行するマッチング実行手段、
    前記マッチングで取得された複数のスコアを分析する分析手段、
    前記複数のスコアの分析結果に基づいて、前記対象物画像における前記対象物がぼやけているか否かを判定するぼやけ判定手段、
    としてコンピュータを機能させるためのプログラム。
JP2022529392A 2021-07-28 2021-07-28 画像処理システム、画像処理方法、及びプログラム Active JP7212207B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/027961 WO2023007631A1 (ja) 2021-07-28 2021-07-28 画像処理システム、画像処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP7212207B1 true JP7212207B1 (ja) 2023-01-24
JPWO2023007631A1 JPWO2023007631A1 (ja) 2023-02-02
JPWO2023007631A5 JPWO2023007631A5 (ja) 2023-07-04

Family

ID=84982677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022529392A Active JP7212207B1 (ja) 2021-07-28 2021-07-28 画像処理システム、画像処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US20240193974A1 (ja)
EP (1) EP4156095A4 (ja)
JP (1) JP7212207B1 (ja)
WO (1) WO2023007631A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318423A (ja) * 2003-04-15 2004-11-11 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP2013026936A (ja) * 2011-07-23 2013-02-04 Canon Inc 画像処理装置、画像処理方法、およびプログラム
JP2014164574A (ja) * 2013-02-26 2014-09-08 Konica Minolta Inc 画像処理装置、画像処理方法および画像処理プログラム
JP2017156920A (ja) * 2016-03-01 2017-09-07 株式会社日立情報通信エンジニアリング 画像処理装置及び画像処理プログラム
WO2018225133A1 (ja) * 2017-06-05 2018-12-13 楽天株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2019519844A (ja) * 2016-05-24 2019-07-11 モルフォトラスト・ユーエスエー・リミテッド ライアビリティ カンパニーＭｏｒｐｈｏｔｒｕｓｔ Ｕｓａ，Ｌｌｃ 書類の画質評価
WO2021049234A1 (ja) * 2019-09-12 2021-03-18 日本電気株式会社 画像解析装置、制御方法、プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298979B2 (en) * 2008-01-18 2016-03-29 Mitek Systems, Inc. Systems and methods for mobile image capture and content processing of driver's licenses
EP3786844A4 (en) * 2018-07-06 2021-05-05 Rakuten, Inc. IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD AND PROGRAM
JP7322485B2 (ja) * 2019-04-16 2023-08-08 大日本印刷株式会社 真贋判定装置およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318423A (ja) * 2003-04-15 2004-11-11 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP2013026936A (ja) * 2011-07-23 2013-02-04 Canon Inc 画像処理装置、画像処理方法、およびプログラム
JP2014164574A (ja) * 2013-02-26 2014-09-08 Konica Minolta Inc 画像処理装置、画像処理方法および画像処理プログラム
JP2017156920A (ja) * 2016-03-01 2017-09-07 株式会社日立情報通信エンジニアリング 画像処理装置及び画像処理プログラム
JP2019519844A (ja) * 2016-05-24 2019-07-11 モルフォトラスト・ユーエスエー・リミテッド ライアビリティ カンパニーＭｏｒｐｈｏｔｒｕｓｔ Ｕｓａ，Ｌｌｃ 書類の画質評価
WO2018225133A1 (ja) * 2017-06-05 2018-12-13 楽天株式会社 画像処理装置、画像処理方法、および画像処理プログラム
WO2021049234A1 (ja) * 2019-09-12 2021-03-18 日本電気株式会社 画像解析装置、制御方法、プログラム

Also Published As

Publication number Publication date
US20240193974A1 (en) 2024-06-13
EP4156095A1 (en) 2023-03-29
WO2023007631A1 (ja) 2023-02-02
JPWO2023007631A1 (ja) 2023-02-02
EP4156095A4 (en) 2024-01-03

Similar Documents

Publication Publication Date Title
US10657600B2 (en) Systems and methods for mobile image capture and processing
JP5049798B2 (ja) グラウンドトルース・データからの合成画像及びビデオの生成
WO2019061658A1 (zh) 眼镜定位方法、装置及存储介质
US11682231B2 (en) Living body detection method and device
US11881043B2 (en) Image processing system, image processing method, and program
US10692230B2 (en) Document imaging using depth sensing camera
JP6574920B1 (ja) 画像処理システム、画像処理方法、及びプログラム
TWI820433B (zh) 對照系統、對照方法及資訊記錄媒體
US20150112853A1 (en) Online loan application using image capture at a client device
JP7212207B1 (ja) 画像処理システム、画像処理方法、及びプログラム
JP7137171B1 (ja) 画像処理システム、画像処理方法、及びプログラム
US20210281742A1 (en) Document detections from video images
US20060010582A1 (en) Chin detecting method, chin detecting system and chin detecting program for a chin of a human face
US11557108B2 (en) Polygon detection device, polygon detection method, and polygon detection program
TWI395469B (zh) 影像擷取方法與應用該方法之影像擷取裝置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220519

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220519

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230112

R150 Certificate of patent or registration of utility model

Ref document number: 7212207

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150