JP4946376B2 - 線織線射影抽出プログラム、線織線射影抽出装置および線織線射影抽出方法 - Google Patents

線織線射影抽出プログラム、線織線射影抽出装置および線織線射影抽出方法 Download PDF

Info

Publication number
JP4946376B2
JP4946376B2 JP2006309426A JP2006309426A JP4946376B2 JP 4946376 B2 JP4946376 B2 JP 4946376B2 JP 2006309426 A JP2006309426 A JP 2006309426A JP 2006309426 A JP2006309426 A JP 2006309426A JP 4946376 B2 JP4946376 B2 JP 4946376B2
Authority
JP
Japan
Prior art keywords
ruled line
projection
projections
ruled
parallel geodesic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006309426A
Other languages
English (en)
Other versions
JP2008123445A (ja
Inventor
克仁 藤本
美佐子 諏訪
浩明 武部
聡 直井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006309426A priority Critical patent/JP4946376B2/ja
Priority to US11/894,188 priority patent/US7903874B2/en
Publication of JP2008123445A publication Critical patent/JP2008123445A/ja
Application granted granted Critical
Publication of JP4946376B2 publication Critical patent/JP4946376B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

この発明は、線織線射影抽出プログラム、線織線射影抽出装置および線織線射影抽出方法に関する。
従来より、銀行などの金融業界では、入力業務の効率化を行なうために、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やデジタルカメラなどの非接触型画像撮像装置により紙帳票や紙文書を高速に入力する技術が実用化されている。しかし、非接触型画像撮像装置により入力された画像には、紙面の曲がりによる様々な画像歪みが存在するので（例えば、特許文献１の図１９〜図２３を参照）、この画像歪みを補正する歪み補正方式の開発が重要な課題となっている。
例えば、本願の出願人は、特許文献１において、画像から抽出された紙面の２次元輪郭の歪みを手がかりとして３次元紙面曲面を推定し、画像の歪みを補正する技術を開示している。
特開２００２−１５０２８０号公報
ところで、上記した従来の技術は、補正対象となる歪みの種類が限定されるとともに、その種類を指定する必要があり、歪みの種類が多様である実際の画像には適用が困難であるという問題点があった。
また、上記した従来技術では、画像に紙面全体が撮像されていない場合は、その輪郭が抽出できないので、適用できる画像が限定されるという問題点があった。
この問題点を解決するには、本願の出願人の先行発明である「画像歪み補正プログラム、画像歪み補正装置、画像歪み補正方法並びに画像歪み補正プログラムを格納した記録媒体」（特願２００５−５１４９０３）に開示したように、３次元紙面曲面の撮像画像から平行測地線射影の集合を抽出し、紙面が線織面であるという性質を用いて線織線射影の集合を抽出し、平行測地線射影の集合と線織線射影の集合とから３次元紙面曲面を推定し、推定した３次元紙面曲面と撮像画像との画素対応付けを行うことにより画像歪みを補正した画像を生成する方法も考えられる。
しかしながら、上記した手法では、撮像画像上から探索される線織線候補射影の集合の組み合わせが膨大であり、すべての場合について「ずれ」の総和を算出するには膨大な計算量が必要であり、例えば、逐次的探索法である最急降下法を用いて計算量を減少させたとしても、設定する初期値によっては局所的最適値を与える線織線候補射影の集合を線織線射影の集合として抽出してしまうので、高精度で安定的な線織線射影の集合を抽出できないという問題点がある。
また、上記した手法では、「ずれ」の総和が算出されるのは、抽出された平行測地線射影の集合すべてと交わる線織線候補射影に限られており、すべての平行測地線射影とは交わらない線織線候補射影の「ずれ」は線織線射影としての探索対象から除外されるために、例えば、画像上の平行測地線射影の集合における中心部に集中して線織線射影の集合が抽出される可能性があるので、高精度で安定的な線織線射影の集合を抽出できない結果として、高精度に安定して紙面の歪みを補正できないという問題点がある。
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、高精度で安定的な線織線射影の集合を抽出して、高精度に安定して紙面の歪みを補正することが可能になる線織線射影抽出プログラム、線織線射影抽出装置および線織線射影抽出方法を提供することを目的とする。
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出方法をコンピュータに実行させる線織線射影抽出プログラムであって、前記平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、前記線織線射影の集合の探索対象である線織線候補射影の集合として抽出する線織線候補射影抽出手順と、前記線織線候補射影抽出手順によって抽出された前記線織線候補射影の前記内分比から定まるベクトルと当該線織線候補射影を所定の間隔でずらした近傍直線の前記内分比から定まるベクトルとの距離である近傍のずれを、前記線織線候補射影ごとに算出する近傍ずれ算出手順と、前記近傍ずれ算出手順によって算出された前記近傍のずれを前記線織線候補射影ごとに格納して保持する近傍ずれ保持手順と、前記線織線射影候補の集合のうち互いに交わらない直線の集合において、前記近傍ずれ保持手順によって保持した近傍のずれの総和が最小となる直線の集合を、前記線織線射影の集合として連続動的計画法により抽出する線織線射影抽出手順と、をコンピュータに実行させることを特徴とする。
また、請求項２に係る発明は、線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出方法をコンピュータに実行させる線織線射影抽出プログラムであって、前記平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、前記線織線射影の集合の探索対象である線織線候補射影の集合として抽出する線織線候補射影抽出手順と、前記線織線候補射影抽出手順によって抽出された前記線織線候補射影の前記内分比から定まるベクトルである線織線候補射影ベクトルを前記線織線候補射影ごとに算出する線織線候補射影ベクトル算出手順と、前記線織線候補射影ベクトル算出手順によって算出された前記線織線候補射影ベクトルを、前記線織線候補射影ごとに格納して保持する線織線候補射影ベクトル保持手順と、線織線候補射影ベクトル保持手順によって保持された前記線織線候補射影ベクトルと前記線織線射影の集合として任意に選択した選択線織線射影の集合それぞれの前記選択線織線射影の前記内分比から定まる前記ベクトルの平均である選択平均ベクトルとの距離であるずれを、前記線織線候補射影ごとに算出するずれ算出手順と、前記線織線射影候補の集合のうち互いに交わらない直線の集合において、前記ずれ算出手順によって算出した前記ずれの総和が最小となる直線の集合を新たな前記選択線織線射影の集合として連続動的計画法により抽出する選択線織線射影抽出手順と、前記線織線候補射影ベクトル保持手順によって保持された前記線織線候補射影ベクトルと前記選択線織線射影抽出手順によって新たに抽出された前記選択線織線射影の集合とを用いた前記ずれ算出手順による処理と、前記選択線織線射影抽出手順による処理とを反復させて実行し、前記ずれの総和の値の減少が収束した際の当該選択線織線射影の集合を前記線織線射影の集合として抽出する反復線織線射影抽出手順と、をコンピュータに実行させることを特徴とする。
また、請求項３に係る発明は、線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出方法をコンピュータに実行させる線織線射影抽出プログラムであって、前記３次元紙面曲面を前記線織面の下位カテゴリーである一般化円錐モデルによる曲面に限定し、前記一般化円錐モデルによる曲面を撮像した前記画像では前記線織線射影がすべて一つの消失点で交わるという条件をさらに用いて、任意に設定した前記消失点の候補である消失点候補ごとに前記平行測地線射影の集合に向かって放射状に伸ばした直線の集合を調べて前記線織線射影の集合を抽出する一般化円錐モデル線織線射影抽出手順と、をコンピュータに実行させることを特徴とする。
また、請求項４に係る発明は、線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出方法をコンピュータに実行させる線織線射影抽出プログラムであって、前記線織線射影の集合の探索対象である線織線候補射影の集合の中で、前記平行測地線射影の集合すべてと交わる前記線織線候補射影である完全線織線候補射影の部分集合と、前記平行測地線射影の集合の一部としか交わらない前記線織線候補射影である不完全線織線候補射影の部分集合からなる前記線織線候補射影の不完全集合について、前記不完全線織線候補射影と前記平行測地線の集合の一部との前記内分比から定まるベクトルである不完全ベクトルと、前記完全線織線候補射影の部分集合それぞれと前記平行測地線射影の集合すべてとの前記内分比から定まるベクトルである完全ベクトルの平均である平均完全ベクトルとの距離であるずれの最小値を前記線織線候補射影の不完全集合ごとの不完全線織線候補射影すべてについて推定する不完全線織線候補射影ずれ推定手順と、前記不完全線織線候補射影ずれ推定手順によって推定された前記ずれの最小値を当該不完全線織線候補射影の前記不完全ベクトルと前記平均完全ベクトルとの距離であるずれとして、前記完全ベクトルと前記平均完全ベクトルとの距離であるずれとともにさらに加算したものを、前記線織線候補射影の不完全集合のずれの総和として算出する不完全集合ずれ総和算出手順と、前記不完全集合ずれ総和算出手順によって算出した前記線織線候補射影の不完全集合のずれの総和を、前記完全線織線候補射影のみからなる前記線織線候補射影の完全集合それぞれから算出した前記完全ベクトルと前記平均完全ベクトルとの前記ずれの総和とともに比較して、前記ずれの総和が最小となる線織線候補射影の集合を前記線織線射影の集合として抽出する推定ずれ線織線射影抽出手順と、をコンピュータに実行させることを特徴とする。
また、請求項５に係る発明は、線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出装置であって、前記平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、前記線織線射影の集合の探索対象である線織線候補射影の集合として抽出する線織線候補射影抽出手段と、前記線織線候補射影抽出手段によって抽出された前記線織線候補射影の前記内分比から定まるベクトルと当該線織線候補射影を所定の間隔でずらした近傍直線の前記内分比から定まるベクトルとの距離である近傍のずれを、前記線織線候補射影ごとに算出する近傍ずれ算出手段と、前記近傍ずれ算出手段によって算出された前記近傍のずれを前記線織線候補射影ごとに格納して保持する近傍ずれ保持手段と、前記線織線射影候補の集合のうち互いに交わらない直線の集合において、前記近傍ずれ保持手段によって保持した近傍のずれの総和が最小となる直線の集合を、前記線織線射影の集合として連続動的計画法により抽出する線織線射影抽出手段と、を備えたことを特徴とする。
また、請求項６に係る発明は、線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出方法であって、前記平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、前記線織線射影の集合の探索対象である線織線候補射影の集合として抽出する線織線候補射影抽出工程と、前記線織線候補射影抽出工程によって抽出された前記線織線候補射影の前記内分比から定まるベクトルと当該線織線候補射影を所定の間隔でずらした近傍直線の前記内分比から定まるベクトルとの距離である近傍のずれを、前記線織線候補射影ごとに算出する近傍ずれ算出工程と、前記近傍ずれ算出工程によって算出された前記近傍のずれを前記線織線候補射影ごとに格納して保持する近傍ずれ保持工程と、前記線織線射影候補の集合のうち互いに交わらない直線の集合において、前記近傍ずれ保持工程によって保持した近傍のずれの総和が最小となる直線の集合を、前記線織線射影の集合として連続動的計画法により抽出する線織線射影抽出工程と、を含んだことを特徴とする。
請求項１、５、または６の発明によれば、平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、線織線射影の集合の探索対象である線織線候補射影の集合として抽出し、抽出された線織線候補射影の内分比から定まるベクトルと当該線織線候補射影を所定の間隔でずらした近傍直線の内分比から定まるベクトルとの距離である近傍のずれを、線織線候補射影ごとに算出し、近傍のずれを線織線候補射影ごとに格納して保持し、線織線射影候補の集合のうち互いに交わらない直線の集合において、保持した近傍のずれの総和が最小となる直線の集合を、線織線射影の集合として連続動的計画法により抽出するので、線織線候補射影の集合から選択されるすべての組み合わせについて線織線射影としての評価を行なう場合に比べて、少ない計算量で最適な組み合わせからなる線織線射影の集合を抽出することができ、歪んだ紙面である紙面曲面を撮像した画像から高精度で安定的な線織線射影の集合を抽出して、高精度に安定して紙面の歪みを補正することが可能になる。
また、請求項２の発明によれば、平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、線織線射影の集合の探索対象である線織線候補射影の集合として抽出し、抽出された前記線織線候補射影の内分比から定まるベクトルである線織線候補射影ベクトルを線織線候補射影ごとに算出し、算出された前記線織線候補射影ベクトルを、線織線候補射影ごとに格納して保持し、保持された線織線候補射影ベクトルと線織線射影の集合として任意に選択した選択線織線射影の集合それぞれの選択線織線射影の内分比から定まるベクトルの平均である選択平均ベクトルとの距離であるずれを、線織線候補射影ごとに算出し、線織線射影候補の集合のうち互いに交わらない直線の集合において、算出したずれの総和が最小となる直線の集合を新たな選択線織線射影の集合として連続動的計画法により抽出し、保持された線織線候補射影ベクトルと新たに抽出された選択線織線射影の集合とを用いた「ずれ」を算出する処理と、新たに選択線織線射影の集合を抽出する処理とを反復させて実行し、ずれの総和の値の減少が収束した際の当該選択線織線射影の集合を線織線射影の集合として抽出するので、線織線候補射影の集合から選択されるすべての組み合わせについて線織線射影としての評価を行なう場合に比べて、少ない計算量で最適な組み合わせからなる線織線射影の集合を反復して抽出することができ、歪んだ紙面である紙面曲面を撮像した画像から高精度で安定的な線織線射影の集合を抽出して、高精度に安定して紙面の歪みを補正することが可能になる。
また、請求項３の発明によれば、３次元紙面曲面を前記線織面の下位カテゴリーである一般化円錐モデルによる曲面に限定し、一般化円錐モデルによる曲面を撮像した画像では線織線射影がすべて一つの消失点で交わるという条件をさらに用いて、任意に設定した消失点の候補である消失点候補ごとに平行測地線射影の集合に向かって放射状に伸ばした直線の集合を調べて線織線射影の集合を抽出するので、線織線射影の探索範囲を多次元から２次元に限定して少ない計算量で線織線射影の集合を抽出することができ、歪んだ紙面である紙面曲面を撮像した画像から高精度で安定的な線織線射影の集合を抽出して、高精度に安定して紙面の歪みを補正することが可能になる。
また、請求項４の発明によれば、線織線射影の集合の探索対象である線織線候補射影の集合の中で、平行測地線射影の集合すべてと交わる前記線織線候補射影である完全線織線候補射影の部分集合と、平行測地線射影の集合の一部としか交わらない線織線候補射影である不完全線織線候補射影の部分集合からなる線織線候補射影の不完全集合について、不完全線織線候補射影と平行測地線の集合の一部との内分比から定まるベクトルである不完全ベクトルと、完全線織線候補射影の部分集合それぞれと平行測地線射影の集合すべてとの内分比から定まるベクトルである完全ベクトルの平均である平均完全ベクトルとの距離であるずれの最小値を線織線候補射影の不完全集合ごとの不完全線織線候補射影すべてについて推定し、推定されたずれの最小値を当該不完全線織線候補射影の不完全ベクトルと平均完全ベクトルとの距離であるずれとして、完全ベクトルと平均完全ベクトルとの距離であるずれとともにさらに加算したものを、線織線候補射影の不完全集合のずれの総和として算出し、算出した線織線候補射影の不完全集合のずれの総和を、完全線織線候補射影のみからなる線織線候補射影の完全集合それぞれから算出した完全ベクトルと平均完全ベクトルとのずれの総和とともに比較して、ずれの総和が最小となる線織線候補射影の集合を前記線織線射影の集合として抽出するので、不完全線織線候補射影を多く含む集合でも「ずれ」を推定して線織線射影としての評価を行うことができるので、歪んだ紙面である紙面曲面を撮像した画像から高精度で安定的な線織線射影の集合を抽出して、高精度に安定して紙面の歪みを補正することが可能になる。
以下に添付図面を参照して、この発明に係る線織線射影抽出プログラム、線織線射影抽出方法および線織線射影抽出装置の実施例を詳細に説明する。なお、以下では、この発明に係る線織線射影抽出プログラムを含んで構成される線織線射影抽出装置を実施例として説明する。また、以下では、実施例１における線織線射影抽出装置の構成および処理の手順、実施例１の効果を順に説明し、次に実施例１と同様に、実施例２に係る線織線射影抽出装置、実施例３に係る線織線射影抽出装置、実施例４に係る線織線射影抽出装置、実施例５に係る線織線射影抽出装置について順に説明する。
［用語の説明］
まず最初に、線織線射影抽出装置を含む画像歪み補正装置の一例を説明する。本願の出願人の先行発明である「画像歪み補正プログラム、画像歪み補正装置、画像歪み補正方法並びに画像歪み補正プログラムを格納した記録媒体」（特願２００５−５１４９０３号）に開示した線織線射影抽出装置を含む画像歪み補正装置は、３次元紙面曲面の撮像画像から平行測地線射影の集合を抽出し、紙面が線織面である性質を用いて線織線射影の集合を抽出し、平行測地線射影の集合と線織線射影の集合とから３次元紙面曲面を推定し、推定した３次元紙面曲面と撮像画像との画素対応付けを行うことにより画像歪みを補正した画像を生成する。
本先行発明では、まず、３次元紙面曲面のモデル化を行なう。ここで、３次元紙面曲面は、「曲面上の任意の点において、その点を通り曲面に含まれる直線である線織線が存在する」という性質を満たす線織面である。また、「３次元紙面曲面上では、伸展した紙面上の平行線は、平行な測地線である平行測地線となる」という性質がある。この線織線と平行測地線とを利用して３次元紙面曲面を、図１の（Ａ）に示すように、曲線座標系（ｓ，ｔ）（０≦ｓ≦１，０≦ｔ≦１）を用いて、x(s,t)=(1-t)xU(s)+txD(s)と表す。ここで、図１の（Ｂ）に示すように、xU(s)は、３次元紙面曲面の中で上端に位置する平行測地線である上端平行測地線を構成する点を表し、xD(s)は、３次元紙面曲面の中で下端に位置する平行測地線である下端平行測地線を構成する点を表す。そして、上端平行測地線上の点xU(s)と下端平行測地線上の点xD(s)とを通る直線が線織線となるように、パラメータ「ｓ」を設定する。ここで、図１の（Ａ）に示す式では、「ｓ」を固定することで線織線を表し、「ｔ」を固定することで平行測地線を表すことになる。例えば、図１の（Ｂ）に示すように、「ｔ＝０」では、上端平行測地線を表し、「ｔ＝１」では、下端平行測地線を表し、それ以外の「ｔ」では、上端平行測地線と下端平行測地線との間にある内部平行測地線を表すことになる。
そして、撮像画像のモデル化を行なう。図１の（Ｃ）に示すように、デジタルカメラなどによる撮像画像は、ｘｙｚ座標空間中の３次元紙面曲面からカメラ中心xC=(xC,yC,zC)を中心としたｘｙ平面への透視射影により取得される。ここで、３次元紙面曲面上の平行測地線を透視射影した画像上の曲線を平行測地線射影と呼び、平行測地線を構成する点xa=(xa,ya,za)に対応する画像上の平行測地線射影を構成する点Xa=(Xa,Ya,0)と表す。なお、ａ＝Ｕの場合は、上端平行測地線の透視射影である上端平行測地線射影を表し、ａ＝Ｄの場合は、下端平行測地線の透視射影である下端平行測地線射影を表し、ａ＝ｉの場合は、内部平行測地線の透視射影である内部平行測地線射影を表す。ここで、図１の（Ｃ）に示すように、カメラ中心の高さと平行測地線上を構成する点との高さの内分比をhaとすると、平行測地線を構成する点およびこの点を透視射影した平行測地線射影を構成する点の間には、図１の（Ｄ）に示す式が成立する。これにより、３次元紙面曲面とそれを透視射影した撮像画像との対応付けができる。
これらのモデルを用いて、本先行発明では、最初に、撮像画像から平行測地線射影の集合を抽出する。具体的には、撮像画像から、伸展した紙面上では平行な直線であった歪んだ文字列や罫線を抽出し、これを手がかりに連結成分抽出や近接性の活用による画像処理により、平行測地線射影の集合を抽出する。例えば、図２の（Ａ）に示す撮像画像から、図２の（Ｂ）に黒線で示す複数の平行測地線射影からなる集合を抽出する。
次に、撮像画像から３次元紙面曲面における線織線がｘｙ平面への透視射影された直線である線織線射影の集合を抽出する。ここで、線織線射影の集合を抽出する際に、「線織線射影それぞれが平行測地線射影の集合によって分割された線分長の比は一定」という性質を、線織線射影の集合を抽出する条件として利用する。具体的に、この条件について説明すると、図３−１の（Ａ）に示すように、上端平行測地線射影と、下端平行測地線射影と、２本の内部平行測地線射影１〜２とからなる平行測地線射影の集合によって、線織線射影１が線分長「ａ１」、「ｂ１」、「ｃ１」に分割され、線織線射影２が線分長「ａ２」、「ｂ２」、「ｃ２」に分割され、線織線射影３が線分長「ａ３」、「ｂ３」、「ｃ３」に分割された場合、「ａ１：ｂ１：ｃ１＝ａ２：ｂ２：ｃ２＝ａ３：ｂ３：ｃ３」となる。
これを、内分比を使うことで、以下のように表現することができる。ここで、線織線射影１の３次元紙面曲面での線織線に対応するパラメータ「ｓ」を「ｓ１」、線織線射影２の３次元紙面曲面での線織線に対応するパラメータ「ｓ」を「ｓ２」、線織線射影３の３次元紙面曲面での線織線に対応するパラメータ「ｓ」を「ｓ３」として、以下の値を定義する。線織線射影１においては、T1(s1)=a1/(a1+b1+c1)、T2(s1)=(a1+b1)/(a1+b1+c1)、 線織線射影２においては、T1(s2)= a2/(a2+b2+c2)、T2(s1)= (a2+b2)/(a2+b2+c2)、線織線射影３においては、T1(s3)= a3/(a3+b3+c3)、T2(s3)= (a3+b3)/(a3+b3+c3)と定義する。ここで、上付きの数字「１」は内部平行測地線射影１を、「２」は内部平行測地線射影２を示す。これにより、線織線射影１が内部平行測地線射影１との交点によって分割（内分）された場合の内分比は、T1(s1):1- T1(s1)であり、線織線射影１が内部平行測地線射影２との交点によって内分された場合の内分比は、T2(s1):1− T2(s1)であり、線織線射影２が内部平行測地線射影１との交点によって内分された場合の内分比は、T1(s2):1- T1(s2)であり、線織線射影２が内部平行測地線射影２との交点によって内分された場合の内分比は、T2(s2):1- T2(s2)であり、線織線射影３が内部平行測地線射影１との交点によって内分された場合の内分比は、T1(s3):1- T1(s3)であり、線織線射影３が内部平行測地線２との交点によって内分された場合の内分比は、T2(s3):1- T2(s3)である。そして、上記した「分割された線分長の比は一定」という条件は、図３−１の（Ｂ）に示すように、内分比から求まる内分比率 の比である「((T1(s))-1): ((T2(s))-1)」は、すべての線織線射影において（すべてのパラメータ「ｓ」において）一定であると表現することができる。
この内分比を使った条件は、パラメータ「ｓ」が表す線織線に対応する線織線射影がＮ本の内部平行測地線射影によって内分された場合の内分比をＮ次元のベクトルＴ（ｓ）として、図３−２の（Ｃ）に示すように定義すると、『すべてのパラメータ「ｓ」においてこのＮ次元ベクトルＴ（ｓ）は等しい』と一般化することができる。
ここで、撮像画像上の直線の集合を線織線射影の集合の探索対象である線織線候補射影の集合として評価するには、それぞれの線織線候補の集合におけるＮ次元ベクトルＴ（ｓ）の分散（条件からの「ずれ」）を評価すればよく、この「ずれ」が最小となる線織線候補射影の集合を探索して、線織線射影の集合として抽出すればよい。
これを実施するために、さらに、図３−２の（Ｄ）に示すcross ratio vector「Ｕ（ｓ）」を定義する。なお、図３−２の（Ｄ）に示す「ｋ」は、ベクトルＵ（ｓ）の長さを「１」にするための正規化係数である。ここで、図３−２の（Ｅ）で示す式で、Ｎｓ本の線織線候補射影の集合が与えられた際の「ずれ」の総和である「Ｅ」を定義する。なお、Ｕの上に線がある記号は、「ずれ」の累積対象であるＮｓ本の線織線候補射影それぞれのcross ratio vector「Ｕ（ｓ）」から求まる平均ベクトルであり、「‖・‖」はベクトル空間における距離を示すノルムである。この「Ｅ」が最小となる線織線候補射影の集合を探索して、線織線射影の集合として抽出する。例えば、図４の点線で示す線織線候補射影の集合を、線織線射影の集合を探索して抽出する。これにより、平行測地線射影の集合と測地線射影の集合とを対応付けることができる。
続いて、平行測地線射影の集合と線織線射影の集合とから３次元紙面曲面を推定する。具体的には、平行測地線の性質から、「線織線と平行測地線それぞれの交点における接ベクトルは平行」という条件が成立するので、あるパラメータ「ｓ」で表される線織線と上端平行測地線との交点xU(s)の接ベクトルと、同一線織線と下端平行測地線との交点xD(s)の接ベクトルとは平行であり、図５の（Ａ）に示す行列式を求めることができる。ここで、文字の上にドット「・」がある記号は、パラメータ「ｓ」に対しての微分値であることを示している。この行列式から、図５の（Ｂ）に示す上端平行測地線の高さの内分比の微分関数（ａ＝Ｕ）および下端平行測地線の高さの内分比の微分関数（ａ＝Ｄ）である関数fa(s)が定まり、図５の（Ｃ）に示す式により、３次元紙面曲面を推定することができる。
そして、推定した３次元紙面曲面と撮像画像との画素対応付けを行なうことで、歪んだ３次元紙面曲面の撮像画像から歪みを補正した画像を生成する。例えば、図６に示すような歪み補正結果を得る。
［実施例１における線織線射影抽出装置の概要および特徴］
続いて、図７と図８とを用いて、実施例１における線織線射影抽出装置の主たる特徴を具体的に説明する。図７は実施例１における線織線射影抽出装置を含む画像歪み補正装置の構成を示すブロック図であり、図８は実施例１における線織線射影抽出装置の概要および特徴を説明するための図である。
図７に示すように、実施例１における画像歪み補正装置１０は、撮像画像入力部１１と、補正画像出力部１２と、入出力制御Ｉ／Ｆ部１３と、記憶部２０と、処理部３０とから構成される。
撮像画像入力部１１は、処理部３０による各種処理に用いる撮像画像を入力する。具体的には、デジタルカメラなどの非接触型画像撮像装置により歪んだ紙面が撮像された画像データであって、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの形式で保存された画像データなどを非接触型画像撮像装置から直接入力する。なお、画像歪み補正装置１０は、図示しない入力部として、キーボードや、タッチパネルを備えており、これにより画像歪み補正要求を受け付けるようにしている。
補正画像出力部１２は、後述する画像対応付け部３４による処理結果として得られる歪んだ３次元紙面曲面の撮像画像から歪みを補正した画像を、例えば、画像歪み補正装置１０に接続されるディスプレイに出力する。
入出力制御Ｉ／Ｆ部１３は、撮像画像入力部１１および補正画像出力部１２と、記憶部２０および処理部３０との間におけるデータ転送を制御する。
記憶部２０は、処理部３０による各種処理に用いるデータと、処理部３０による各種処理結果を記憶し、例えば、図７に示すように、平行測地線射影集合記憶部２１と、線織線射影集合記憶部２２と、推定紙面曲面記憶部２３とを備える。なお、各部については、後に詳述する。
処理部３０は、入出力制御Ｉ／Ｆ部１３から転送された画像データに基づき各種処理を実行し、例えば、図７に示すように、平行測地線射影抽出部３１と、線織線射影抽出部３２と、紙面曲面推定部３３と、画像対応付け部３４とを備える。
平行測地線射影抽出部３１は、入力された画像データから平行測地線射影を抽出し、抽出された平行測地線射影の集合を平行測地線射影集合記憶部２１に格納する。具体的には、撮像画像から文字列や罫線を抽出し、これを手がかりに連結成分抽出や近接性の活用による画像処理により、平行測地線射影の集合を抽出する。例えば、図２の（Ａ）に示す撮像画像から、図２の（Ｂ）に黒線で示す複数の平行測地線射影からなる集合を抽出する。
線織線射影抽出部３２は、平行測地線射影集合記憶部２１が記憶する平行測地線射影の集合を手がかりに、線織線射影を抽出し、抽出された線織線射影の集合を線織線射影集合記憶部２２に格納する。具体的には、「線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定」という条件に基づいて、例えば、図４の点線で示す線織線候補射影の集合を、線織線候補射影の集合を探索して抽出する。
紙面曲面推定部３３は、平行測地線射影集合記憶部２１が記憶する平行測地線射影の集合と線織線射影集合記憶部２２が記憶する線織線射影の集合とから、３次元紙面曲面を推定し、その結果を推定紙面曲面記憶部２３に格納する。
画像対応付け部３４は、推定した３次元紙面曲面と撮像画像との画素対応付けを行なうことで、歪んだ３次元紙面曲面の撮像画像から歪みを補正した画像を生成する。例えば、図６に示すような歪み補正結果を得る。
さて、実施例１における線織線射影抽出装置（線織線射影抽出部３２および線織線射影集合記憶部２２から構成される部分）は、先行発明のように、線織面である３次元紙面曲面を撮像した画像から抽出された平行測地線射影を手がかりに、線織線射影の集合を探索して抽出することを概要とするが、この先行発明と比較して、高精度で安定的な線織線射影の集合を抽出することが可能になることに主たる特徴がある。
この主たる特徴について簡単に説明すると、まず、実施例１における線織線射影抽出装置は、平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、線織線射影の集合の探索対象である線織線候補射影の集合として抽出する。例えば、図８の（Ａ）に示すように、上端平行測地線射影を「Ｐ」ドットおきに分割することにより、上端平行測地線射影において「Ｕ個」の離散点集合を取得し、下端平行測地線射影を「Ｑ」ドットおきに分割することにより、下端平行測地線射影において「Ｄ個」の離散点集合を取得する。そして、上端平行測地線射影の離散点「Ｕ個」と下端平行測地線射影の離散点「Ｄ個」とを１点ずつ選んで結んだすべての組み合わせからなる直線の集合（ＵｘＤ本の直線の集合）を、線織線候補射影の集合として抽出する。
続いて、実施例１における線織線射影抽出装置は、線織線候補射影のcross ratio vectorと当該線織線候補射影を所定の間隔でずらした近傍直線のcross ratio vectorとの距離である近傍のずれを、線織線候補射影ごとに算出する。すなわち、図８の（Ａ）に示す「ＵｘＤ本」の線織線候補射影それぞれについて、近傍のずれを算出する。例えば、図８の（Ｂ）に示すように、上端平行測地線射影の離散点「ａ」と下端平行測地線射影の離散点「ｂ個」を通る線織線候補射影「ａｂ」を左に「Ｒ］ドットずらした近傍直線「ａｂ−Ｒ」と、線織線候補射影「ａｂ」を右に「Ｒ］ドットずらした近傍直線「ａｂ＋Ｒ」とを設定し、図３−２の（Ｄ）で示した数式を用いて、線織線候補射影「ａｂ」のcross ratio vectorであるＵ（ａｂ）と、近傍直線「ａｂ−Ｒ」のcross ratio vectorであるＵ（ａｂ−Ｒ）と、近傍直線「ａｂ＋Ｒ」のcross ratio vectorであるＵ（ａｂ＋Ｒ）とを算出する。そして、Ｕ（ａｂ）とＵ（ａｂ−Ｒ）との距離（ノルム）と、Ｕ（ａｂ）とＵ（ａｂ＋Ｒ）との距離（ノルム）とを算出し、これらの平均を求め、この平均値を「近傍のずれ」とする。この計算を、ＵｘＤ本の線織線候補射影ごとに行なう。なお、「cross ratio vector」は、特許請求の範囲に記載の「ベクトル」に対応する。
また、実施例１における線織線射影抽出装置は、算出された「近傍のずれ」を線織線候補射影ごとに格納して保持する。具体的には、図８の（Ｃ）の表に示すように、ＵｘＤ本の線織線候補射影ごとの「近傍のずれ」（ｄ（１）〜ｄ（ＵｘＤ））を格納して保持する。
そして、実施例１における線織線射影抽出装置は、線織線射影候補の集合のうち互いに交わらない直線の集合において、近傍のずれの総和が最小となる直線の集合を、線織線射影の集合として連続動的計画法により抽出する。すなわち、ＵｘＤ本の線織線射影候補から互いに交わらない直線の集合（Ｎｓ本）のうち、図８の（Ｃ）の表に示す「近傍のずれ」（ｄ（１）〜ｄ（ＵｘＤ））の総和が最小となるＮｓ本の直線の集合を、線織線射影の集合として連続動的計画法により抽出する。この問題は、「ＵｘＤ」個の変数（近傍のずれ）から「互いに交わらない直線」という条件下でＮｓ個の変数を選択して、その合計が最小となる組み合わせを求める組み合わせ最適化問題であり、「最適性原理」が成立する問題として連続動的計画法を用いることで、すべての組み合わせについて近傍のずれの総和を算出して比較する場合に比べて少ない計算量により、この問題を解くことができる。
なお、「近傍のずれ」を用いるのは、『線織線候補射影が「線織線射影としての条件」をみたす直線であるならば、線織線候補射影のcross ratio vectorと前記線織線候補射影を所定の間隔でずらした近傍直線のcross ratio vectorとの距離である「近傍のずれ」の値は小さく、線織線候補射影が「線織線射影としての条件」から逸脱した直線であるならば、「近傍のずれ」の値は大きい』という前提に基づいている。
このようなことから、実施例１における線織線射影抽出装置は、線織線候補射影の集合から選択されるすべての組み合わせについて線織線射影としての評価を行なう場合に比べて、少ない計算量で最適な組み合わせからなる線織線射影の集合を抽出することができ、上記した主たる特徴の通り、高精度で安定的な線織線射影の集合を抽出することが可能になる。
［実施例１における線織線射影抽出装置の構成］
次に、図９を用いて、実施例１における線織線射影抽出装置を説明する。図９は、実施例１における線織線射影抽出装置の構成を示すブロック図である。
図９に示すように、実施例１における線織線射影抽出装置１００は、画像歪み補正装置１０における線織線射影抽出部３２と、線織線射影集合記憶部２２とから構成され、平行測地線射影集合記憶部２１が記憶する平行測地線射影の集合を手がかりに、線織線射影を抽出し、その結果に基づいて、紙面曲面推定部３３は、３次元紙面曲面を推定する。
線織線射影集合記憶部２２は、後に詳述する線織線射影抽出部３２による各種処理結果を記憶し、特に本発明に密接に関連するものとしては、図９に示すように、線織線候補射影集合記憶部２２ａと、近傍ずれ記憶部２２ｂと、近傍ずれ線織線射影集合記憶部２２ｃとを備える。ここで、近傍ずれ記憶部２２ｂは、特許請求の範囲に記載の「近傍ずれ保持手順」に対応する。線織線候補射影集合記憶部２２ａは、後述する線織線候補射影抽出部３２ａが抽出した線織線候補射影の集合を記憶し、近傍ずれ記憶部２２ｂは、後述する近傍ずれ算出部３２ｂが算出した近傍ずれを線織線候補射影ごとに記憶し、近傍ずれ線織線射影集合記憶部２２ｃは、後述する近傍ずれ線織線射影抽出部３２ｃが抽出した線織線射影の集合を記憶する。
線織線射影抽出部３２は、平行測地線射影集合記憶部２１が記憶する平行測地線射影の集合に基づき各種処理を実行し、特に本発明に密接に関連するものとしては、図９に示すように、線織線候補射影抽出部３２ａと、近傍ずれ算出部３２ｂと、近傍ずれ線織線射影抽出部３２ｃとを備える。ここで、線織線候補射影抽出部３２ａは、特許請求の範囲に記載の「線織線候補射影抽出手順」に対応し、近傍ずれ算出部３２ｂは、同じく「近傍ずれ算出手順」に対応し、近傍ずれ線織線射影抽出部３２ｃは、同じく「線織線射影抽出手順」に対応する。なお、各部については、以下に詳述する。
線織線候補射影抽出部３２ａは、平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、線織線射影の集合の探索対象である線織線候補射影の集合として抽出し、その結果を線織線候補射影集合記憶部２２ａに記憶する。例えば、図８の（Ａ）に示すように、上端平行測地線射影を「Ｐ」ドットおきに分割することにより、上端平行測地線射影において「Ｕ個」の離散点集合を取得し、下端平行測地線射影を「Ｑ」ドットおきに分割することにより、下端平行測地線射影において「Ｄ個」の離散点集合を取得する。そして、上端平行測地線射影の離散点「Ｕ個」と下端平行測地線射影の離散点「Ｄ個」とを１点ずつ選んで結んだすべての組み合わせからなる直線の集合（ＵｘＤ本の直線の集合）を、線織線候補射影の集合として抽出する。
近傍ずれ算出部３２ｂは、線織線候補射影のcross ratio vectorと当該線織線候補射影を所定の間隔でずらした近傍直線のcross ratio vectorとの距離である近傍のずれを、線織線候補射影ごとに算出し、その結果を近傍ずれ記憶部２２ｂに記憶する。すなわち、図８の（Ａ）に示す「ＵｘＤ本」の線織線候補射影それぞれについて、近傍のずれを算出する。例えば、図８の（Ｂ）に示すように、上端平行測地線射影の離散点「ａ」と下端平行測地線射影の離散点「ｂ個」を通る線織線候補射影「ａｂ」を左に「Ｒ］ドットずらした近傍直線「ａｂ−Ｒ」と、線織線候補射影「ａｂ」を右に「Ｒ］ドットずらした近傍直線「ａｂ＋Ｒ」とを設定し、図３−２の（Ｄ）で示した数式を用いて、線織線候補射影「ａｂ」のcross ratio vectorであるＵ（ａｂ）と、近傍直線「ａｂ−Ｒ」のcross ratio vectorであるＵ（ａｂ−Ｒ）と、近傍直線「ａｂ＋Ｒ」のcross ratio vectorであるＵ（ａｂ＋Ｒ）とを算出する。そして、Ｕ（ａｂ）とＵ（ａｂ−Ｒ）との距離（ノルム）と、Ｕ（ａｂ）とＵ（ａｂ＋Ｒ）との距離（ノルム）とを算出し、これらの平均を求め、この平均値を「近傍のずれ」とする。この計算を、ＵｘＤ本の線織線候補射影ごとに行なう。
なお、近傍直線「ａｂ−Ｒ」と近傍直線「ａｂ＋Ｒ」とのどちらか一方のみを使って、例えば、Ｕ（ａｂ−Ｒ）とＵ（ａｂ）との距離（ノルム）とを算出し、これを「近傍のずれ」とて算出してもよい。
近傍ずれ線織線射影抽出部３２ｃは、線織線射影候補の集合のうち互いに交わらない直線の集合において、近傍のずれの総和が最小となる直線の集合を、線織線射影の集合として連続動的計画法により抽出し、その結果を近傍ずれ線織線射影集合記憶部２２ｃに記憶する。すなわち、ＵｘＤ本の線織線射影候補から互いに交わらない直線の集合（Ｎｓ本）のうち、図８の（Ｃ）の表に示す「近傍のずれ」（ｄ（１）〜ｄ（ＵｘＤ））の総和が最小となるＮｓ本の直線の集合を、線織線射影の集合として連続動的計画法により抽出する。
ここで、「連続動的計画法」とは、各変数xi(i＝1〜n)が有限個の離散値からなるｎ次関数「J=f(x1,x2,・・,xn)」が２変数関数の和として表される場合に、効率的に最適解（例えば、最小値や最大値など）を求めることができる解法である。例えば、このｎ次関数「J=f(x1,x2,・・,xn)」が「J=f1(x1)+h1(x1,x2)+h2(x2+x3)+・・・+hn-1(xn-1,xn)」のように、対ごとの２変数関数の和として表されるとし、この最小値を与える最適解を求めるとする。まず、「f1(x1)+h1(x1,x2)」が最小となる最適な「x'1」を、「x2」のすべての場合について計算する。これを「x2」の関数とみなして「f2(x2)」とすると、「J」は変数の数が１つ減った関数「J=f2(x2)+ h2(x2+x3)+・・・+hn-1(xn-1,xn)」となり、この最小値を与える最適解を求める問題となる。続いて、「f2(x2)+h2(x2,x3)」が最小となる最適な「x'2」を「x3」のすべての場合について計算する。これを同じように、「x3」の関数とみなして「f3(x3)」とすると、「J」は変数の数がさらに１つ減った関数「J=f3(x3)+ h3(x3+x4)+・・・+hn-1(xn-1,xn)」となり、この最小値を与える最適解を求める問題となる。これを順次繰り返し、最終的に、１次関数「J=fn(xn)」の最小値を与える最適な「x'n」を求めることにより、今度は、「x'n」を与えた「x'n-1」、「x'n-1」を与えた「x'n-2」、・・・、「x'2」を与えた「x'1」とさかのぼることで、最適解を与える変数xi(i＝1〜n)の組み合わせを算出することができる。この解法により、『「最適解」＝「近傍のずれ」の総和が最小値』を与えるＮｓ個の変数からなる「直線の集合」である「線織線射影の集合」を効率的に求めることができる。
［実施例１における線織線射影抽出装置による処理の手順］
次に、図１０を用いて、実施例１における線織線射影抽出装置１００による処理を説明する。図１０は、実施例１における線織線射影抽出装置の処理の手順を示すフローチャートである。
まず、実施例１における線織線射影抽出装置１００は、平行測地線射影集合記憶部２１に抽出された平行測地線の集合データが格納されると（ステップＳ１００１肯定）、線織線候補射影抽出部３２ａは、平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、線織線射影の集合の探索対象である線織線候補射影の集合として抽出する（ステップＳ１００２）。
例えば、図８の（Ａ）に示すように、上端平行測地線射影において「Ｕ個」の離散点集合を取得し、下端平行測地線射影において「Ｄ個」の離散点集合を取得し、上端平行測地線射影の離散点「Ｕ個」と下端平行測地線射影の離散点「Ｄ個」とを１点ずつ選んで結んだすべての組み合わせからなる直線の集合（ＵｘＤ本の直線の集合）を、線織線候補射影の集合として抽出する。
続いて、近傍ずれ算出部３２ｂは、線織線候補射影のcross ratio vectorと当該線織線候補射影を所定の間隔でずらした近傍直線のcross ratio vectorとの距離である近傍のずれを、線織線候補射影ごとに算出する（ステップＳ１００３）。すなわち、図８の（Ａ）に示す「ＵｘＤ本」の線織線候補射影それぞれについて、近傍のずれを算出する。
例えば、図８の（Ｂ）に示すように、線織線候補射影「ａｂ」に対して、近傍直線「ａｂ−Ｒ」と近傍直線「ａｂ＋Ｒ」とを設定し、図３−２の（Ｄ）で示した数式を用いて算出したＵ（ａｂ）、Ｕ（ａｂ−Ｒ）およびＵ（ａｂ＋Ｒ）から、「（‖Ｕ（ａｂ−Ｒ）−Ｕ（ａｂ）‖＋‖Ｕ（ａｂ＋Ｒ）−Ｕ（ａｂ）‖）／２」を算出して、この値を「近傍のずれ」とする。
そして、近傍ずれ線織線射影抽出部３２ｃは、線織線射影候補の集合のうち互いに交わらない直線の集合において、近傍のずれの総和が最小となる直線の集合を、線織線射影の集合として連続動的計画法により抽出して（ステップＳ１００４）、処理を終了する。すなわち、ＵｘＤ本の線織線射影候補から互いに交わらない直線の集合（Ｎｓ本）のうち、図８の（Ｃ）の表に示す「近傍のずれ」（ｄ（１）〜ｄ（ＵｘＤ））の総和が最小となるＮｓ本の直線の集合を、線織線射影の集合として連続動的計画法により抽出する。
［実施例１の効果］
上記したように、実施例１によれば、平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、線織線射影の集合の探索対象である線織線候補射影の集合として抽出し、抽出された線織線候補射影のcross ratio vectorと当該線織線候補射影を所定の間隔でずらした近傍直線のcross ratio vectorとの距離である近傍のずれを、線織線候補射影ごとに算出し、線織線射影候補の集合のうち互いに交わらない直線の集合において、近傍のずれの総和が最小となる直線の集合を、前記線織線射影の集合として連続動的計画法により抽出するので、線織線候補射影の集合から選択されるすべての組み合わせについて線織線射影としての評価を行なう場合に比べて、少ない計算量で最適な組み合わせからなる線織線射影の集合を抽出することができ、歪んだ紙面である紙面曲面を撮像した画像から高精度で安定的な線織線射影の集合を抽出して、高精度に安定して紙面の歪みを補正することが可能になる。
上述した実施例１では、「近傍のずれ」の総和が最小となる直線の集合を、線織線射影の集合として連続動的計画法により抽出する場合について説明したが、実施例２では、任意に選択した選択線織線射影の平均ベクトルとの「ずれ」の総和が最小となる直線の集合を、新たな選択線織線射影の集合として連続動的計画法により抽出し、この処理を反復して行って、「ずれ」の総和の減少が収束した際の選択線織線射影の集合を線織線射影の集合として抽出する場合について説明する。
［実施例２における線織線射影抽出装置の概要および特徴］
まず最初に、図１１−１と図１１−２とを用いて、実施例２における線織線射影抽出装置の主たる特徴を具体的に説明する。図１１−１と図１１−２とは、実施例２における線織線射影抽出装置の概要および特徴を説明するための図である。
実施例２における線織線射影抽出装置は、実施例１における線織線射影抽出装置１００と同様に、平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、前記線織線射影の集合の探索対象である線織線候補射影の集合として抽出する。例えば、図８の（Ａ）に示すように、上端平行測地線射影における「Ｕ個」の離散点集合と下端平行測地線射影における「Ｄ個」の離散点集合とから１点ずつ選んで結んだすべての組み合わせからなる直線の集合（ＵｘＤ本の直線の集合）を、線織線候補射影の集合として抽出する。
続いて、実施例２における線織線射影抽出装置は、線織線候補射影のcross ratio vectorを線織線候補射影ごとに算出する。すなわち、図１１−１の（Ａ）に示すように、上端平行測地線射影の離散点「ａ」と下端平行測地線射影の離散点「ｂ個」を通る線織線候補射影「ａｂ」のcross ratio vectorであるＵ（ａｂ）を、図３−２の（Ｄ）で示した数式を用いて算出し、これをＵｘＤ本の線織線候補射影それぞれについて算出する。
続いて、実施例２における線織線射影抽出装置は、線織線候補射影のcross ratio vectorと線織線射影の集合として任意に選択した選択線織線射影の集合それぞれの選択線織線射影のcross ratio vectorの平均である選択平均ベクトルとの距離であるずれを、線織線候補射影ごとに算出する。
例えば、図１１−１の（Ｂ）に示すように、上端平行測地線射影および下端平行測地線をそれぞれ等間隔で切断するＮｓ本の直線の集合を選択線織線射影の集合（０）として選択し、図３−２の（Ｄ）で示した数式を用いて選択線織線射影ごとのcross ratio vectorを算出して、これらの平均ベクトルである選択平均ベクトル（０）を算出する。そして、ＵｘＤ本の線織線候補射影それぞれについて算出したcross ratio vectorと選択平均ベクトル（０）との距離である「ずれ＝ｄ（０）」を算出し、図１１−１の（Ｃ）の表に示すように線織線候補射影ごとに「ずれ」：ｄ（０：１）〜ｄ（０：ＵｘＤ）を格納する。
続いて、実施例２における線織線射影抽出装置は、線織線射影候補の集合のうち互いに交わらない直線の集合において、ずれの総和が最小となる直線の集合を新たな選択線織線射影の集合として連続動的計画法により抽出する。すなわち、図１１−１の（Ｃ）に示すように、線織線射影候補の集合のうち互いに交わらない直線の集合（Ｎｓ本）において、「ずれ」の総和が最小となる直線の集合を新たな選択線織線射影の集合（１）として連続動的計画法により抽出する。なお、「ずれ」の総和は、図３−２の（Ｅ）で示す数式で算出される「Ｅ」によって定義される値であり、新たに抽出された選択線織線射影の集合（１）の「ずれ」の総和をＥ（１）とする。
そして、「線織線候補射影のcross ratio vector」と「新たに抽出された選択線織線射影の集合から算出した選択平均ずれ」とから「ずれ」を線織線候補射影ごとに算出する処理と、線織線射影候補の集合のうち互いに交わらない直線の集合において、ずれの総和が最小となる直線の集合を新たな選択線織線射影の集合として連続動的計画法により抽出する処理とを反復させて実行し、ずれの総和の値の減少が収束した際の当該選択線織線射影の集合を線織線射影の集合として抽出する。
すなわち、図１１−２の（Ｄ）に示すように、「線織線候補射影のcross ratio vector」と『「ずれ」の総和がＥ（ｋ−１）である選択線織線射影の集合（ｋ−１）から算出した選択平均ベクトル（ｋ−１）』とから「ずれ」：ｄ（ｋ−１：１）〜ｄ（ｋ−１：ＵｘＤ）を線織線候補射影ごとに算出し、織線射影候補の集合のうち互いに交わらない直線の集合（Ｎｓ本）において、「ずれ」の総和が最小となる直線の集合を新たな『選択線織線射影の集合（ｋ）：「ずれ」の総和がＥ（ｋ）』として連続動的計画法により抽出する処理とを反復させて実行し、例えば、Ｅ（ｋ―１）とＥ（ｋ）との減少率「（Ｅ（ｋ―１）―Ｅ（ｋ））／Ｅ（ｋ―１）」が所定の値（例えば、０．１％）より小さい場合に、ずれの総和の値の減少が収束したとみなし、選択線織線射影の集合（ｋ）を線織線射影の集合として抽出する（図１１−２の（Ｅ）を参照）。
このようなことから、実施例２における線織線射影抽出装置は、線織線候補射影の集合から選択されるすべての組み合わせについて線織線射影としての評価を行なう場合に比べて、少ない計算量で最適な組み合わせからなる線織線射影の集合を反復して抽出することができ、歪んだ紙面である紙面曲面を撮像した画像から高精度で安定的な線織線射影の集合を抽出して、高精度に安定して紙面の歪みを補正することが可能になる。
［実施例２における線織線射影抽出装置の構成］
次に、図１２を用いて、実施例２における線織線射影抽出装置を説明する。図１２は、実施例１における線織線射影抽出装置の構成を示すブロック図である。
図１２に示すように、実施例２における線織線射影抽出装置１００は、実施例１と同様に、画像歪み補正装置１０における線織線射影抽出部３２と、線織線射影集合記憶部２２とから構成され、平行測地線射影集合記憶部２１が記憶する平行測地線射影の集合を手がかりに、線織線射影を抽出し、その結果に基づいて、紙面曲面推定部３３は、３次元紙面曲面を推定する。
線織線射影集合記憶部２２は、後に詳述する線織線射影抽出部３２による各種処理結果を記憶し、特に本発明に密接に関連するものとしては、図１２に示すように、線織線候補射影集合記憶部２２ａと、線織線候補射影ベクトル記憶部２２ｄと、ずれ記憶部２２ｅと、選択線織線射影集合記憶部２２ｆと、反復線織線射影集合記憶部２２ｇとを備える。ここで、線織線候補射影ベクトル記憶部２２ｄは、特許請求の範囲に記載の「線織線候補射影ベクトル保持手順」に対応する。線織線候補射影集合記憶部２２ａは、実施例１と同様に、線織線候補射影抽出部３２ａが抽出した線織線候補射影の集合を記憶し、線織線候補射影ベクトル記憶部２２ｄは、後述する線織線候補射影ベクトル算出部３２ｄが算出した線織線候補射影ベクトルを線織線候補射影ごとに記憶し、ずれ記憶部２２ｅは、後述するずれ算出部３２ｅが算出したずれを線織線候補射影ごとに記憶し、選択線織線射影集合記憶部２２ｆは、選択線織線射影抽出部３２ｆが新たに抽出した選択線織線射影の集合を記憶し、反復線織線射影集合記憶部２２ｇは、反復線織線射影抽出部３２ｇが抽出した線織線射影の集合を記憶する。
線織線射影抽出部３２は、平行測地線射影集合記憶部２１が記憶する平行測地線射影の集合に基づき各種処理を実行し、特に本発明に密接に関連するものとしては、図１２に示すように、線織線候補射影抽出部３２ａと、線織線候補射影ベクトル算出部３２ｄと、ずれ算出部３２ｅと、選択線織線射影抽出部３２ｆと、反復線織線射影抽出部３２ｇとを備える。ここで、線織線候補射影抽出部３２ａは、特許請求の範囲に記載の「線織線候補射影抽出手順」に対応し、線織線候補射影ベクトル算出部３２ｄは、同じく「線織線候補射影ベクトル算出手順」に対応し、ずれ算出部３２ｅは、同じく「ずれ算出手順」に対応し、選択線織線射影抽出部３２ｆは、同じく「選択線織線射影抽出手順」に対応し、反復線織線射影抽出部３２ｇは、同じく「反復線織線射影抽出手順」に対応する。なお、各部については、以下に詳述する。
線織線候補射影抽出部３２ａは、実施例１と同様に、平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、線織線射影の集合の探索対象である線織線候補射影の集合として抽出し、その結果を線織線候補射影集合記憶部２２ａに記憶する。
線織線候補射影ベクトル算出部３２ｄは、線織線候補射影のcross ratio vectorを線織線候補射影ごとに算出し、その結果を線織線候補射影ベクトル記憶部２２ｄに記憶する。すなわち、図１１−１の（Ａ）に示すように、線織線候補射影「ａｂ」のcross ratio vectorであるＵ（ａｂ）を、図３−２の（Ｄ）で示した数式を用いて算出し、これをＵｘＤ本の線織線候補射影それぞれについて算出する。
続いて、ずれ算出部３２ｅは、線織線候補射影のcross ratio vectorと線織線射影の集合として任意に選択した選択線織線射影の集合それぞれの選択線織線射影のcross ratio vectorの平均である選択平均ベクトルとの距離であるずれを、線織線候補射影ごとに算出、その結果をずれ記憶部２２ｅに記憶する。
例えば、図１１−１の（Ｂ）に示すように、上端平行測地線射影および下端平行測地線をそれぞれ等間隔で切断するＮｓ本の直線の集合を選択線織線射影の集合（０）として選択し、図３−２の（Ｄ）で示した数式を用いて選択線織線射影ごとのcross ratio vectorを算出して、これらの平均ベクトルである選択平均ベクトル（０）を算出する。そして、ＵｘＤ本の線織線候補射影それぞれについて算出したcross ratio vectorと選択平均ベクトル（０）との距離である「ずれ＝ｄ（０）」を算出し、図１１−１の（Ｃ）の表に示すように線織線候補射影ごとに「ずれ」：ｄ（０：１）〜ｄ（０：ＵｘＤ）を、ずれ記憶部２２ｅに格納する。
選択線織線射影抽出部３２ｆは、線織線射影候補の集合のうち互いに交わらない直線の集合において、ずれの総和が最小となる直線の集合を新たな選択線織線射影の集合として連続動的計画法により抽出し、その結果を選択線織線射影集合記憶部２２ｆに記憶する。すなわち、図１１−１の（Ｃ）に示すように、線織線射影候補の集合のうち互いに交わらない直線の集合（Ｎｓ本）において、図３−２の（Ｅ）で示す数式で算出される「ずれ」の総和が最小となる直線の集合を新たな『選択線織線射影の集合（１）：「ずれ」の総和がＥ（１）』として連続動的計画法により抽出する。ここで、「連続動的計画法」とは、実施例１で述べたように、各変数xi(i＝1〜n)が有限個の離散値からなるｎ次関数「J=f(x1,x2,・・,xn)」が２変数関数の和として表される場合に、効率的に最適解（例えば、最小値や最大値など）を求めることができる解法であり、実施例２では、『「最適解」＝「ずれ」の総和が最小値』を与えるＮｓ個の変数からなる「直線の集合」である「線織線射影の集合」を効率的に求める。
反復線織線射影抽出部３２ｇは、ずれ算出部３２ｅが実行する線織線候補射影ベクトル記憶部２２ｄの保持する「線織線候補射影のcross ratio vector」と選択線織線射影集合記憶部２２ｆに新たに格納された「選択線織線射影の集合」とに基づいて「ずれ」を算出する処理と、選択線織線射影抽出部３２ｆが実行する、「ずれ」の総和が最小となる直線の集合をさらに新たな選択線織線射影の集合として連続動的計画法により抽出する処理とを反復させて、「ずれ」の総和の値の減少が収束した際の当該選択線織線射影の集合を線織線射影の集合として抽出し、その結果を反復線織線射影集合記憶部２２ｇに記憶する。
すなわち、図１１−２の（Ｄ）に示すように、「線織線候補射影のcross ratio vector」と『選択線織線射影の集合（ｋ−１）：「ずれ」の総和がＥ（ｋ−１）』とから、「ずれ」：ｄ（ｋ−１：１）〜ｄ（ｋ−１：ＵｘＤ）を線織線候補射影ごとに算出する処理と、これに基づいて新たな『選択線織線射影の集合（ｋ）：「ずれ」の総和がＥ（ｋ）』として連続動的計画法により抽出する処理とを反復させて実行し、例えば、Ｅ（ｋ―１）とＥ（ｋ）との減少率「（Ｅ（ｋ―１）―Ｅ（ｋ））／Ｅ（ｋ―１）」が所定の値（例えば、０．１％）より小さい場合に、ずれの総和の値の減少が収束したとみなし、選択線織線射影の集合（ｋ）を線織線射影の集合として抽出する（図１１−２の（Ｅ）を参照）。
［実施例２における線織線射影抽出装置による処理の手順］
次に、図１３を用いて、実施例２における線織線射影抽出装置１００による処理を説明する。図１３は、実施例２における線織線射影抽出装置の処理の手順を示すフローチャートである。
まず、実施例２における線織線射影抽出装置１００は、平行測地線射影集合記憶部２１に抽出された平行測地線の集合データが格納されると（ステップＳ１３０１肯定）、実施例１と同様に、線織線候補射影抽出部３２ａは、平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、例えば、図８の（Ａ）に示すように、線織線射影の集合の探索対象である線織線候補射影の集合として抽出する（ステップＳ１３０２）。
続いて、線織線候補射影ベクトル算出部３２ｄは、線織線候補射影のcross ratio vectorを線織線候補射影ごとに算出する（ステップＳ１３０３）。すなわち、図１１−１の（Ａ）に示すように、線織線候補射影「ａｂ」のcross ratio vectorであるＵ（ａｂ）を、図３−２の（Ｄ）で示した数式を用いて算出し、これをＵｘＤ本の線織線候補射影それぞれについて算出する。
そして、ずれ算出部３２ｅは、線織線候補射影のcross ratio vectorと線織線射影の集合として任意に選択した選択線織線射影の集合それぞれの選択線織線射影のcross ratio vectorの平均である選択平均ベクトルとの距離であるずれを、線織線候補射影ごとに算出する（ステップＳ１３０４）。例えば、図１１−１の（Ｂ）に示すように、上端平行測地線射影および下端平行測地線をそれぞれ等間隔で切断するＮｓ本の直線の集合を選択線織線射影の集合（０）として選択し、この選択線織線射影の集合（０）から算出される選択平均ベクトル（０）と、線織線候補射影のcross ratio vectorとの距離である「ずれ」を図１１−１の（Ｃ）の表に示すように、線織線候補射影ごとに算出する。
その後、選択線織線射影抽出部３２ｆは、線織線射影候補の集合のうち互いに交わらない直線の集合において、ずれの総和が最小となる直線の集合を新たな選択線織線射影の集合として連続動的計画法により抽出する（ステップＳ１３０５）。すなわち、図１１−１の（Ｃ）に示すように、線織線射影候補の集合のうち互いに交わらない直線の集合（Ｎｓ本）において、図３−２の（Ｅ）で示す数式で算出される「ずれ」の総和が最小となる直線の集合を新たな『選択線織線射影の集合（１）：「ずれ」の総和がＥ（１）』として連続動的計画法により抽出する。
続いて、反復線織線射影抽出部３２ｇは、ずれ算出部３２ｅが実行する線織線候補射影ベクトル記憶部２２ｄの保持する「線織線候補射影のcross ratio vector」と選択線織線射影集合記憶部２２ｆに新たに格納された「選択線織線射影の集合」とに基づいて「ずれ」を算出する処理（ステップＳ１３０６）と、選択線織線射影抽出部３２ｆが実行する、「ずれ」の総和が最小となる直線の集合をさらに新たな選択線織線射影の集合として連続動的計画法により抽出する処理（ステップＳ１３０７）とを（反復して）実行し、「ずれ」の総和の値の減少が収束した場合（ステップＳ１３０８肯定）、当該選択線織線射影の集合を線織線射影の集合として抽出して（ステップＳ１３０９）、処理を終了する。
すなわち、「線織線候補射影のcross ratio vector」と『選択線織線射影の集合（１）：「ずれ」の総和がＥ（１）』とから、「ずれ」：ｄ（１：１）〜ｄ（１：ＵｘＤ）を線織線候補射影ごとに算出する処理（ステップＳ１３０６）と、これに基づいて新たな『選択線織線射影の集合（２）：「ずれ」の総和がＥ（２）』として連続動的計画法により抽出する処理（ステップＳ１３０７）とを実行し、Ｅ（１）とＥ（２）との減少率「（Ｅ（１）―Ｅ（２））／Ｅ（１）」が所定の値（例えば、０．１％）より小さい場合に（ステップＳ１３０７）、ずれの総和の値の減少が収束したとみなし、選択線織線射影の集合（１）を線織線射影の集合として抽出して（ステップＳ１３０９）、処理を終了する。
これとは反対に、減少率「（Ｅ（１）―Ｅ（２））／Ｅ（１）」が所定の値（例えば、０．１％）以上の値であった場合（ステップＳ１３０８否定）は、新たな選択線織線射影の集合の抽出を開始し（ステップＳ１３１０）、ステップＳ１３０６とステップＳ１３０７とを、ステップＳ１３０８が肯定となるまで反復して実行する。
［実施例２の効果］
上記したように、実施例２によれば、平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、前記線織線射影の集合の探索対象である線織線候補射影の集合として抽出し、抽出された線織線候補射影のcross ratio vectorを線織線候補射影ごとに算出し、線織線候補射影のcross ratio vectorと線織線射影の集合として任意に選択した選択線織線射影の集合それぞれのcross ratio vectorの平均である選択平均ベクトルとの距離である「ずれ」を、線織線候補射影ごとに算出し、線織線射影候補の集合のうち互いに交わらない直線の集合において、「ずれ」の総和が最小となる直線の集合を新たな選択線織線射影の集合として連続動的計画法により抽出し、線織線候補射影のcross ratio vectorと新たに抽出された選択線織線射影の集合とを用いた「ずれ」を算出する処理と、これら「ずれ」の総和が最小となる直線の集合を新たな選択線織線射影の集合として抽出する処理とを反復させて実行し、「ずれ」の総和の値の減少が収束した際の当該選択線織線射影の集合を線織線射影の集合として抽出するので、線織線候補射影の集合から選択されるすべての組み合わせについて線織線射影としての評価を行なう場合に比べて、少ない計算量で最適な組み合わせからなる線織線射影の集合を反復して抽出することができ、歪んだ紙面である紙面曲面を撮像した画像から高精度で安定的な線織線射影の集合を抽出して、高精度に安定して紙面の歪みを補正することが可能になる。
上述した実施例１および実施例２では、３次元紙面曲面を線織面として線織線射影を抽出する場合を説明したが、実施例３では、３次元紙面曲面を線織面の下位カテゴリーである一般化円錐モデルによる曲面に限定して線織線射影を抽出する場合の線織線射影抽出装置について説明する。
［実施例３における線織線射影抽出装置の概要および特徴］
続いて、図１４を用いて、実施例３における線織線射影抽出装置の主たる特徴を具体的に説明する。図１４は、実施例３における線織線射影抽出装置の概要および特徴を説明するための図である。
実施例３における線織線射影抽出装置は、３次元紙面曲面を線織面の下位カテゴリーである一般化円錐モデルによる曲面に限定し、一般化円錐モデルによる曲面を撮像した画像では線織線射影がすべて一つの消失点で交わるという条件をさらに用いて、任意に設定した消失点の候補である消失点候補ごとに平行測地線射影の集合に向かって放射状に伸ばした直線の集合を調べて線織線射影の集合を抽出する。
ここで、一般化円錐とは、図１４の（Ａ）の左側に示すように、底面が円に限らない任意の形に一般化した円錐であり、一般化円錐モデルによる曲面では、すべての線織線は頂点で交わる。そして、図１４の（Ａ）の右側に示すように、一般化円錐モデルによる曲面を撮像した画像では、線織線射影がすべて一つの消失点で交わる。
すなわち、「線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定」という条件に加えて、３次元紙面曲面を一般化円錐モデルによる曲面に限定すると、「線織線射影がすべて一つの消失点で交わる」という条件をさらに用いて、線織線射影の集合を抽出することができる。
そこで、例えば、図１４の（Ｂ）に示すように、消失点の候補である消失点候補を設定する。まず、上端平行測地線射影を「ｎ」ドットおきに分割することにより、「Ｎｓ個」の離散点集合を取得する。そして、「Ｎｓ個」の離散点集合から２個の離散点（「Ｎｓｘ（Ｎｓ−１）／２」通りの組み合わせ）を選択する。続いて、「選択した離散点のうち、左側に位置する点と下端平行測地線射影における左端の点とを通る直線」と「選択した離散点のうち、右側に位置する点と下端平行測地線射影における右端の点とを通る直線」との交点を「消失点候補」とする。これにより、「Ｎｓｘ（Ｎｓ−１）／２」個の「消失点候補」を設定し、さらに、図１４の（Ｃ）に示すように、消失点候補と、上述した上端平行測地線における「Ｎｓ個」の離散点それぞれとを結んだ「Ｎｓ本」の直線の集合を抽出する。
そして、図１４の（Ｃ）に示すように、抽出した直線の集合それぞれについて、「Ｎｓ本」の直線それぞれのcross ratio vectorを図３−２の（Ｄ）に示す式を用いて算出し、これにより算出した「Ｎｓ本」の直線の集合における平均ベクトルを算出し、これらの値を図３−２の（Ｅ）に示す式に代入して当該直線の集合がもつ『「ずれ」の総和：Ｅ』を算出する。
そして、「消失点候補」ごとに定まる「Ｎｓｘ（Ｎｓ−１）／２」種類の直線の集合がもつ『「ずれ」の総和：Ｅ』の中で、Ｅが最小となる直線の集合を、線織線射影の集合として抽出する。
このようなことから、実施例３における線織線射影抽出装置は、線織線射影の探索範囲を多次元から２次元に限定して少ない計算量で線織線射影の集合を抽出することができ歪んだ紙面である紙面曲面を撮像した画像から高精度で安定的な線織線射影の集合を抽出して、高精度に安定して紙面の歪みを補正することが可能になる。
［実施例３における線織線射影抽出装置の構成］
次に、図１５を用いて、実施例３における線織線射影抽出装置を説明する。図１５は、実施例１における線織線射影抽出装置の構成を示すブロック図である。
図１５に示すように、実施例３における線織線射影抽出装置１００は、実施例１、２と同様に、画像歪み補正装置１０における線織線射影抽出部３２と、線織線射影集合記憶部２２とから構成され、平行測地線射影集合記憶部２１が記憶する平行測地線射影の集合を手がかりに、線織線射影を抽出し、その結果に基づいて、紙面曲面推定部３３は、３次元紙面曲面を推定する。
線織線射影集合記憶部２２は、後に詳述する線織線射影抽出部３２による各種処理結果を記憶し、特に本発明に密接に関連するものとしては、図１５に示すように、消失点候補直線集合記憶部２２ｈと、一般化円錐モデル線織線射影集合記憶部２２ｉとを備える。消失点候補直線集合記憶部２２ｈは、後述する消失点候補直線抽出部３２ｈが抽出した消失点候補ごとの直線の集合を記憶し、一般化円錐モデル線織線射影集合記憶部２２ｉは、後述する一般化円錐モデル線織線射影抽出部３２ｉが抽出した線織線射影の集合を記憶する。
線織線射影抽出部３２は、平行測地線射影集合記憶部２１が記憶する平行測地線射影の集合に基づき各種処理を実行し、特に本発明に密接に関連するものとしては、図１５に示すように、消失点候補直線抽出部３２ｈと、一般化円錐モデル線織線射影抽出部３２ｉとを備える。ここで、消失点候補直線抽出部３２ｈおよび一般化円錐モデル線織線射影抽出部３２ｉは、特許請求の範囲に記載の「一般化円錐モデル線織線射影抽出手順」に対応する。なお、各部については、以下に詳述する。
消失点候補直線抽出部３２ｈは、３次元紙面曲面を線織面の下位カテゴリーである一般化円錐モデルによる曲面に限定し、一般化円錐モデルによる曲面を撮像した画像では線織線射影がすべて一つの消失点で交わるという条件をさらに用いて、消失点の候補である消失点候補を設定し、消失点候補ごとに平行測地線射影の集合に向かって放射状に伸ばした直線の集合を抽出し、その結果を消失点候補直線集合記憶部２２ｈに記憶する。
例えば、図１４の（Ｂ）に示すように、上端平行測地線射影における「Ｎｓ個」の離散点集合と「下端平行測地線射影における左端の点および右端の点」とから決まる直線の交点を「消失点候補」とし、図１４の（Ｃ）に示すように、消失点候補と、上述した上端平行測地線における「Ｎｓ個」の離散点それぞれとを結んだ「Ｎｓ本」の直線の集合を「Ｎｓｘ（Ｎｓ−１）／２」抽出する。
一般化円錐モデル線織線射影抽出部３２ｉは、抽出された直線の集合を調べて線織線射影の集合を抽出し、その結果を一般化円錐モデル線織線射影抽出部３２ｉに記憶する。すなわち、図１４の（Ｃ）に示すように、抽出した直線の集合それぞれについて、図３−２の（Ｅ）に示す式から求められる『「ずれ」の総和：Ｅ』を算出し、Ｅが最小となる直線の集合を、線織線射影の集合として抽出する。
［実施例３における線織線射影抽出装置による処理の手順］
次に、図１６を用いて、実施例３における線織線射影抽出装置１００による処理を説明する。図１６は、実施例３における線織線射影抽出装置の処理の手順を示すフローチャートである。
まず、実施例３における線織線射影抽出装置１００は、平行測地線射影集合記憶部２１に抽出された平行測地線の集合データが格納されると（ステップＳ１６０１肯定）、消失点候補直線抽出部３２ｈは、３次元紙面曲面を線織面の下位カテゴリーである一般化円錐モデルによる曲面に限定し、一般化円錐モデルによる曲面を撮像した画像では線織線射影がすべて一つの消失点で交わるという条件をさらに用いて、消失点の候補である消失点候補を設定し、消失点候補ごとに平行測地線射影の集合に向かって放射状に伸ばした直線の集合を抽出する（ステップＳ１６０２）。例えば、図１４の（Ｃ）に示すように、消失点候補と、上述した上端平行測地線における「Ｎｓ個」の離散点それぞれとを結んだ「Ｎｓ本」の直線の集合を「Ｎｓｘ（Ｎｓ−１）／２」抽出する。
そして、一般化円錐モデル線織線射影抽出部３２ｉは、抽出された直線の集合それぞれについて、図３−２の（Ｅ）に示す式から求められる『「ずれ」の総和：Ｅ』を算出する（ステップＳ１６０３）。
その後、一般化円錐モデル線織線射影抽出部３２ｉは、『「ずれ」の総和：Ｅ』が最小となる直線の集合を、線織線射影の集合として抽出し（ステップＳ１６０４）、処理を終了する。
［実施例３の効果］
上記したように、実施例３によれば、３次元紙面曲面を線織面の下位カテゴリーである一般化円錐モデルによる曲面に限定し、一般化円錐モデルによる曲面を撮像した画像では線織線射影がすべて一つの消失点で交わるという条件をさらに用いて、任意に設定した消失点の候補である消失点候補ごとに平行測地線射影の集合に向かって放射状に伸ばした直線の集合を調べて線織線射影の集合を抽出するので、線織線射影の探索範囲を多次元から２次元に限定して少ない計算量で線織線射影の集合を抽出することができ、歪んだ紙面である紙面曲面を撮像した画像から高精度で安定的な線織線射影の集合を抽出して、高精度に安定して紙面の歪みを補正することが可能になる。
上述した実施例１〜３では、すべての平行測地線射影と交わる直線を探索対象にして線織線射影を抽出する場合を説明したが、実施例４では、すべての平行測地線射影と交わらない直線も探索対象にして線織線射影を抽出する場合の線織線射影抽出装置について説明する。
［実施例４における線織線射影抽出装置の概要および特徴］
続いて、図１７−１と図１７−２とを用いて、実施例４における線織線射影抽出装置の主たる特徴を具体的に説明する。図１７−１と図１７−２とは、実施例４における線織線射影抽出装置の概要および特徴を説明するための図である。
実施例１〜３における線織線射影抽出装置は、図１７−１の（Ａ）に示すような、平行測地線射影の集合すべてと交わる線織線候補射影である「完全線織線候補射影」のみからなる「線織線候補射影の完全集合」についてのみ、線織線射影の集合としての条件からのずれを評価したが、実施例４における線織線射影抽出装置では、線織線射影の集合の探索対象である線織線候補射影の集合の中で、平行測地線射影の集合すべてと交わる線織線候補射影である完全線織線候補射影の部分集合と、平行測地線射影の集合の一部としか交わらない線織線候補射影である不完全線織線候補射影の部分集合からなる前記線織線候補射影の不完全集合についても、線織線射影の集合としての条件からのずれを評価する。
例えば、図１４の（Ｃ）に示す消失点候補ごとから抽出した線織線候補射影である直線の集合などにおいては、図１７−１の（Ｂ）に示すような「線織線候補射影の不完全集合」が存在する可能性がある。すなわち、図１７−１の（Ｂ）に示す「線織線候補射影の不完全集合」では、上端平行測地線射影、内部測地線射影１〜２の２本と交わるが、その他の内部平行測地線射影（Ｎ−２）本および下端平行測地線射影とは交わらない『「不完全線織線候補射影（２本）」の「部分集合」』が、『「完全線織線候補射影」の「部分集合」』と混在している。これまでの方法では、「線織線候補射影の不完全集合」が有するずれの総和は、線織線候補射影すべてに対しては算出できず、『「不完全線織線候補射影」の「部分集合」』を除外した『「完全線織線候補射影」の「部分集合」』のcross ratio vectorと平均ベクトルからしか算出できなかった。
そこで、実施例４における線織線射影抽出装置は、不完全線織線候補射影と平行測地線の集合の一部との内分比から定まる不完全なcross ratio vectorと、完全線織線候補射影の部分集合それぞれと平行測地線射影の集合すべてとのcross ratio vectorの平均である平均完全ベクトルとの距離であるずれの最小値を線織線候補射影の不完全集合ごとの不完全線織線候補射影すべてについて推定する。具体的には、図１７−２の（Ｃ）に示すような、上端平行測地線射影、内部測地線射影１〜２の２本と交わるが、その他の内部平行測地線射影（Ｎ−２）本および下端平行測地線射影とは交わらない「不完全線織線候補射影」のcross ratio vector「Ｕ」と、『「完全線織線候補射影」の「部分集合」』の平均ベクトルである完全平均ベクトルとの距離であるずれの最小値を推定する。
ここで、線織線射影を上端平行測地線と内部平行測地線「ｉ」とで切断した長さを「Li」、上端平行測地線と下端平行測地線とで切断した長さを「L」とすると、図１７−２の（Ｃ）に示すように、「Ti=Li/L」と表すことができる。ここで、『「完全線織線候補射影」の「部分集合」』において、「完全線織線候補射影」のcross ratio vectorの平均ベクトルである完全平均ベクトルは算出することができ既知である。また、「L1,L2」は既知であるが、「L3〜LN」および「L」は未知である。さらに、「Ｕ」の長さを「１」にするための正規化係数「ｋ」も未知である。
「不完全線織線候補射影」のcross ratio vector「Ｕ」と、『「完全線織線候補射影」の「部分集合」』の平均ベクトルである完全平均ベクトルとの距離である「ずれ」は図１７−２の（Ｄ）に示す式で表すことができ、この「ずれ」が最小となる場合の「L3〜LN」と「L」と「ｋ」とが満たす条件は、図１７−２の（Ｅ）で示す３種類の式で表すことができる。これを解くと、「ずれ」が最小となる場合の「L3〜LN」と「L」と「ｋ」が図１７−２の（Ｆ）に示す式として求められる。これを、図１７−２の（Ｄ）で示す式に代入してずれの最小値を推定する。
そして、実施例４における線織線射影抽出装置は、推定されたずれの最小値を不完全線織線候補射影の不完全なcross ratio vectorと平均完全ベクトルとの距離であるずれとして、『「完全線織線候補射影」の「部分集合」』におけるcross ratio vectorと平均完全ベクトルとの距離であるずれとともにさらに加算したものを、線織線候補射影の不完全集合のずれの総和として算出する。具体的には、図１７−２の（Ｆ）に示す条件式に基づいて推定した不完全線織線候補射影の『「ずれ」の最小値』を当該不完全線織線候補射影「ずれ」とし、これを「完全線織線候補射影」の「ずれ」とともに加算した値を「線織線候補射影の不完全集合のずれの総和」として算出する（図１７−２の（Ｇ）を参照）。
そして、実施例４における線織線射影抽出装置は、線織線候補射影の不完全集合のずれの総和を、完全線織線候補射影のみからなる前記線織線候補射影の完全集合それぞれから算出した完全なcross ratio vectorと平均完全ベクトルとのずれの総和とともに比較して、ずれの総和が最小となる線織線候補射影の集合を線織線射影の集合として抽出する。すなわち、図１７−１の（Ｂ）で示した「線織線射影候補の不完全集合」のずれの総和を「完全線織線候補射影」だけでなく「不完全線織線候補射影」も含めて算出し、これを図１７−１の（Ａ）で示したような「線織線射影候補の完全集合」のずれの総和とともに比較して、ずれの総和が最小となる線織線候補射影の集合を線織線射影の集合として抽出する。
このようなことから、実施例４における線織線射影抽出装置は、不完全線織線候補射影を多く含む集合でも「ずれ」を推定して線織線射影としての評価を行うことができるので、線織線射影の探索範囲を多次元から２次元に限定して少ない計算量で線織線射影の集合を抽出することができ歪んだ紙面である紙面曲面を撮像した画像から高精度で安定的な線織線射影の集合を抽出して、高精度に安定して紙面の歪みを補正することが可能になる。
［実施例４における線織線射影抽出装置の構成］
次に、図１８を用いて、実施例４における線織線射影抽出装置を説明する。図１８は、実施例４における線織線射影抽出装置の構成を示すブロック図である。
図１８に示すように、実施例４における線織線射影抽出装置１００は、実施例１〜３と同様に、画像歪み補正装置１０における線織線射影抽出部３２と、線織線射影集合記憶部２２とから構成され、平行測地線射影集合記憶部２１が記憶する平行測地線射影の集合を手がかりに、線織線射影を抽出し、その結果に基づいて、紙面曲面推定部３３は、３次元紙面曲面を推定する。
線織線射影集合記憶部２２は、後に詳述する線織線射影抽出部３２による各種処理結果を記憶し、特に本発明に密接に関連するものとしては、図１８に示すように、消失点候補直線集合記憶部２２ｈと、不完全線織線候補射影ずれ記憶部２２ｊと、不完全集合ずれ総和記憶部２２ｋと、推定ずれ線織線射影集合抽出結果記憶部２２Ｌとを備える。前述したように、消失点候補直線集合記憶部２２ｈは、消失点候補直線抽出部３２ｈが抽出した消失点候補ごとの直線の集合を記憶する。また、不完全線織線候補射影推定ずれ記憶部２２ｊは、後述する不完全線織線候補射影ずれ推定部３２ｊが推定した「ずれの最小値」を記憶し、不完全集合ずれ総和記憶部２２ｋは、後述する不完全集合ずれ総和算出部３２ｋが算出した「ずれの総和」を記憶し、推定ずれ線織線射影集合抽出結果記憶部２２Ｌは、後述する推定ずれ線織線射影抽出部３２Ｌが抽出した線織線射影の集合を記憶する。
線織線射影抽出部３２は、平行測地線射影集合記憶部２１が記憶する平行測地線射影の集合に基づき各種処理を実行し、特に本発明に密接に関連するものとしては、図１８に示すように、消失点候補直線抽出部３２ｈと、不完全線織線候補射影ずれ推定部３２ｊと、不完全集合ずれ総和算出部３２ｋと、推定ずれ線織線射影抽出部３２Ｌとを備える。ここで、不完全線織線候補射影ずれ推定部３２ｊは、特許請求の範囲に記載の「不完全線織線候補射影ずれ推定手順」に対応し、不完全集合ずれ総和算出部３２ｋは同じく「不完全集合ずれ総和算出手順」に対応し、推定ずれ線織線射影抽出部３２Ｌは同じく「推定ずれ線織線射影抽出手順」に対応する。なお、各部については、以下に詳述する。
消失点候補直線抽出部３２ｈは、図１４に示したように、３次元紙面曲面を線織面の下位カテゴリーである一般化円錐モデルによる曲面に限定し、一般化円錐モデルによる曲面を撮像した画像では線織線射影がすべて一つの消失点で交わるという条件をさらに用いて、消失点の候補である消失点候補を設定し、消失点候補ごとに平行測地線射影の集合に向かって放射状に伸ばした直線の集合を抽出し、その結果を消失点候補直線集合記憶部２２ｈに記憶する。
不完全線織線候補射影ずれ推定部３２ｊは、不完全線織線候補射影と平行測地線の集合の一部との内分比から定まる不完全なcross ratio vectorと、完全線織線候補射影の部分集合それぞれと平行測地線射影の集合すべてとのcross ratio vectorの平均である平均完全ベクトルとの距離であるずれの最小値を線織線候補射影の不完全集合ごとの不完全線織線候補射影すべてについて推定し、その結果を不完全線織線候補射影推定ずれ記憶部２２ｊに記憶する。
例えば、図１７−２の（Ｃ）に示すような、上端平行測地線射影、内部測地線射影１〜２の２本と交わるが、その他の内部平行測地線射影（Ｎ−２）本および下端平行測地線射影とは交わらない「不完全線織線候補射影」のcross ratio vector「Ｕ」と、『「完全線織線候補射影」の「部分集合」』の平均ベクトルである完全平均ベクトル（既知値）との距離であるずれの最小値を推定する。すなわち、図１７−２の（Ｄ）で表される「不完全線織線候補射影」のcross ratio vector「Ｕ」と完全平均ベクトルとの「ずれ」が最小となるのは、図１７−２の（Ｃ）で示す「Ｕ」における未知変数である「L3〜LN」と「L」と「ｋ」とが、図１７−２の（Ｅ）で示す条件を満たすときであり、この条件式を解くことにより、「ずれ」が最小となる場合の「L3〜LN」と「L」と「ｋ」が図１７−２の（Ｆ）に示す式として求められる。これを、図１７−２の（Ｄ）で示す式に代入してずれの最小値を推定する。
不完全集合ずれ総和算出部３２ｋは、推定されたずれの最小値を不完全線織線候補射影の不完全なcross ratio vectorと平均完全ベクトルとの距離であるずれとして、『「完全線織線候補射影」の「部分集合」』におけるcross ratio vectorと平均完全ベクトルとの距離であるずれとともにさらに加算したものを、線織線候補射影の不完全集合のずれの総和として算出し、その結果を不完全集合ずれ総和記憶部２２ｋに記憶する。
具体的には、図１７−２の（Ｆ）に示す条件式に基づいて推定した不完全線織線候補射影の『「ずれ」の最小値』を当該不完全線織線候補射影の「ずれ」とし、これを「完全線織線候補射影」の「ずれ」とともに加算した値を「線織線候補射影の不完全集合のずれの総和」として算出する（図１７−２の（Ｇ）を参照）。なお、不完全集合ずれ総和算出部３２ｋは、「線織線射影候補の完全集合」の「ずれ」の総和も、完全線織線射影候補ごとのcross ratio vectorと「線織線射影候補の完全集合」の平均完全ベクトルとの「ずれ」を合計して算出する。
推定ずれ線織線射影抽出部３２Ｌは、線織線候補射影の不完全集合のずれの総和を、完全線織線候補射影のみからなる前記線織線候補射影の完全集合それぞれから算出した完全なcross ratio vectorと平均完全ベクトルとのずれの総和とともに比較して、ずれの総和が最小となる線織線候補射影の集合を線織線射影の集合として抽出し、その結果を推定ずれ線織線射影集合抽出結果部２２Ｌに記憶する。すなわち、図１７−１の（Ｂ）で示した「線織線射影候補の不完全集合」のずれの総和を「完全線織線候補射影」だけでなく「不完全線織線候補射影」も含めて算出し、これを図１７−１の（Ａ）で示したような「線織線射影候補の完全集合」のずれの総和とともに比較して、ずれの総和が最小となる線織線候補射影の集合を線織線射影の集合として抽出する。
［実施例４における線織線射影抽出装置による処理の手順］
次に、図１９を用いて、実施例４における線織線射影抽出装置１００による処理を説明する。図１９は、実施例４における線織線射影抽出装置の処理の手順を示すフローチャートである。
まず、実施例４における線織線射影抽出装置１００は、平行測地線射影集合記憶部２１に抽出された平行測地線の集合データが格納されると（ステップＳ１９０１肯定）、線織線候補射影の集合を抽出する（ステップＳ１９０２）。例えば、図１４に示したように、３次元紙面曲面を線織面の下位カテゴリーである一般化円錐モデルによる曲面に限定し、一般化円錐モデルによる曲面を撮像した画像では線織線射影がすべて一つの消失点で交わるという条件をさらに用いて、消失点の候補である消失点候補を設定し、消失点候補ごとに平行測地線射影の集合に向かって放射状に伸ばした直線の集合を抽出する。
そして、不完全線織線候補射影ずれ推定部３２ｊは、不完全線織線候補射影と平行測地線の集合の一部との内分比から定まる不完全なcross ratio vectorと、完全線織線候補射影の部分集合それぞれと平行測地線射影の集合すべてとのcross ratio vectorの平均である平均完全ベクトルとの距離であるずれの最小値を線織線候補射影の不完全集合ごとの不完全線織線候補射影すべてについて推定する（ステップＳ１９０３）。
例えば、図１７−２の（Ｃ）に示すような、上端平行測地線射影、内部測地線射影１〜２の２本と交わるが、その他の内部平行測地線射影（Ｎ−２）本および下端平行測地線射影とは交わらない「不完全線織線候補射影」のcross ratio vector「Ｕ」と、『「完全線織線候補射影」の「部分集合」』の平均ベクトルである完全平均ベクトル（既知値）との距離であるずれの最小値を、図１７−２の（Ｅ）で示す条件を用いて、推定する。
その後、不完全集合ずれ総和算出部３２ｋは、推定されたずれの最小値を不完全線織線候補射影の不完全なcross ratio vectorと平均完全ベクトルとの距離であるずれとして、『「完全線織線候補射影」の「部分集合」』におけるcross ratio vectorと平均完全ベクトルとの距離であるずれとともにさらに加算したものを、線織線候補射影の不完全集合のずれの総和として算出し、また、「線織線射影候補の完全集合」の「ずれ」の総和も算出する（ステップＳ１９０４）。
具体的には、図１７−２の（Ｇ）に示すように、推定した不完全線織線候補射影の『「ずれ」の最小値』を当該不完全線織線候補射影の「ずれ」とし、これを「完全線織線候補射影」の「ずれ」とともに加算した値を「線織線候補射影の不完全集合のずれの総和」として算出する。また、「線織線射影候補の完全集合」の「ずれ」の総和も、完全線織線射影候補ごとのcross ratio vectorと「線織線射影候補の完全集合」の平均完全ベクトルとの「ずれ」を合計して算出する。
そして、推定ずれ線織線射影抽出部３２Ｌは、線織線候補射影の不完全集合のずれの総和を、完全線織線候補射影のみからなる前記線織線候補射影の完全集合それぞれから算出した完全なcross ratio vectorと平均完全ベクトルとのずれの総和とともに比較して、ずれの総和が最小となる線織線候補射影の集合を線織線射影の集合として抽出し（ステップＳ１９０５）、処理を終了する。すなわち、図１７−１の（Ｂ）で示した「線織線射影候補の不完全集合」のずれの総和を「完全線織線候補射影」だけでなく「不完全線織線候補射影」も含めて算出し、これを図１７−１の（Ａ）で示したような「線織線射影候補の完全集合」のずれの総和とともに比較して、ずれの総和が最小となる線織線候補射影の集合を線織線射影の集合として抽出する。
［実施例４の効果］
上記したように、実施例４によれば、線織線射影の集合の探索対象である線織線候補射影の集合の中で、平行測地線射影の集合すべてと交わる線織線候補射影である『「完全線織線候補射影」の「部分集合」』と、平行測地線射影の集合の一部としか交わらない線織線候補射影である『「不完全線織線候補射影」の「部分集合」』からなる「線織線候補射影の不完全集合」について、不完全線織線候補射影と平行測地線の集合の一部との不完全なcross ratio vectorと、完全線織線候補射影の部分集合それぞれと平行測地線射影の集合すべてとのcross ratio vectorの平均である平均完全ベクトルとの距離であるずれの最小値を「不完全線織線候補射影」すべてについて推定し、推定されたずれの最小値を当該不完全線織線候補射影の不完全なcross ratio vectorと平均完全ベクトルとの距離であるずれとして、「完全線織線候補射影」のcross ratio vectorと平均完全ベクトルとの距離であるずれとともにさらに加算したものを、「線織線候補射影の不完全集合」のずれの総和として算出し、算出した「線織線候補射影の不完全集合」のずれの総和を、完全線織線候補射影のみからなる線織線候補射影の完全集合それぞれから算出した完全ベクトルと平均完全ベクトルとのずれの総和とともに比較して、ずれの総和が最小となる線織線候補射影の集合を前記線織線射影の集合として抽出するので、不完全線織線候補射影を多く含む集合でも「ずれ」を推定して線織線射影としての評価を行うことができ、歪んだ紙面である紙面曲面を撮像した画像から高精度で安定的な線織線射影の集合を抽出して、高精度に安定して紙面の歪みを補正することが可能になる。
さて、これまで実施例１〜４における線織線射影抽出装置について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、実施例５における線織線射影抽出装置として、種々の異なる実施例を（１）〜（６）に区分けして説明する。
（１）線織線候補射影
上記の実施例１〜２では、「上端平行測地線射影上の離散点集合」と「下端平行測地線上の離散点集合」とから線織線候補射影の直線を抽出する場合を説明したが、本発明はこれに限定されるものではなく、「上端平行測地線射影上もしくは下端平行測地線射影上の離散点集合」と「傾き」とから線織線候補射影の直線を抽出する場合であってもよい。具体的には、上端平行測地線射影を「Ｐ」ドットおきに分割することにより、上端平行測地線射影において「Ｕ個」の離散点集合を取得し、それぞれの離散点から「Ｄ種類」の傾きで伸ばした直線の集合（ＵｘＤ本の直線の集合）を、線織線候補射影の集合として抽出してもよい。
（２）選択線織線射影の集合
上記した実施例２では、上端平行測地線射影および下端平行測地線をそれぞれ等間隔で切断する直線の集合を、最初に選択した選択線織線射影の集合（０）とする場合を説明したが、本発明はこれに限定されるものではなく、選択線織線射影の集合（０）としては、例えば、実施例１での「近傍のずれ」を用いて抽出した線織線射影の集合を採用した場合であってもよいし、実施例３での「一般化円錐モデルによる曲面」に３次元紙面曲面を限定して抽出した線織線射影の集合を採用した場合であってもよい。
（３）「消失点候補」
上記した実施例３〜４では、「上端平行測地線上の離散点から選んだ２つの離散点」と「下端平行測地線の右端および左端の点」から定まる２本の直線の交点を「消失点候補」とする場合を説明したが、本発明はこれに限定されるものではなく、例えば、「下端平行測地線上の離散点から選んだ２つの離散点」と「上端平行測地線の右端および左端の点」から定まる２本の直線の交点を「消失点候補」とする場合であってもよく、また、「上端平行測地線上の離散点から選んだ２つの離散点」と「下端平行測地線上の離散点から選んだ２つの離散点」とからから定まる２本の直線の交点を「消失点候補」とする場合であってもよい。
また、実施例４では、「消失点候補」から抽出した直線の集合を線織線候補射影の集合として抽出する場合を説明したが、本発明はこれに限定されるものではなく、例えば、実施例１〜２で示した方法により線織線候補射影の集合として抽出する場合であってもよい。
（４）「消失点候補」と「直線の集合」
上記した実施例３〜４では、「消失点候補」と「上端平行測地線上の離散点それぞれ」とを結んだ直線の集合を抽出する場合を説明したが、本発明はこれに限定されるものではなく、例えば、「消失点候補」と「上端平行測地線もしくは下端平行測地線の右端および左端の点」とを結んだ２本の直線がなす角度（挟角）を「Ｎｓ」等分する「Ｎｓ」本の直線の集合を抽出する場合であってもよい。
（５）システム構成等
また、上記の実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動でおこなうこともでき（例えば、最初に選択する選択線織線射影の集合（０）を所定の規則によって自動生成するのではなく、オペレータが主観的に生成するなど）、あるいは、手動的におこなうものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。例えば、この他、上記文章中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報（例えば、図１３に示すステップＳ１３０８の減少率の所定の値）については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各処理部および各記憶部の分散・統合の具体的形態（例えば、図１８の形態など）は図示のものに限られず、例えば、不完全線織線候補射影ずれ推定部３２ｊと不完全集合ずれ総和算出部３２ｋとを統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
（６）線織線射影抽出プログラム
ところで上記の実施例１〜４では、ハードウェアロジックによって各種の処理を実現する場合を説明したが、本発明はこれに限定されるものではなく、あらかじめ用意されたプログラムをコンピュータで実行するようにしてもよい。そこで以下では、図２０を用いて、上記の実施例１に示した線織線射影抽出装置１００と同様の機能を有する追跡信頼度判定プログラムを実行するコンピュータの一例を説明する。図２０は、実施例１における線織線射影抽出プログラムを実行するコンピュータを示す図である。
図２０に示すように、情報処理装置としてのコンピュータ２００は、キーボード２０１、ディスプレイ２０２、ＣＰＵ２０３、ＲＯＭ２０４、ＨＤＤ２０５およびＲＡＭ２０６をバス２０７などで接続して構成される。
ＲＯＭ２０４には、上記の実施例１に示した線織線射影抽出装置１００と同様の機能を発揮する線織線射影抽出プログラム、つまり、図２０に示すように、線織線候補射影抽出プログラム２０４ａ、近傍ずれ算出プログラム２０４ｂ、近傍ずれ線織線射影抽出プログラム２０４ｃが予め記憶されている。なお、これらのプログラム２０４ａ〜２０４ｃについては、図９に示した線織線射影抽出装置１００の各構成要素と同様、適宜統合または分散してもよい。
そして、ＣＰＵ２０３が、これらのプログラム２０４ａ〜２０４ｃをＲＯＭ２０４から読み出して実行することで、図２０に示すように、各プログラム２０４ａ〜２０４ｃは、線織線候補射影抽出プロセス２０３ａ、近傍ずれ算出プロセス２０３ｂ、近傍ずれ線織線射影抽出プロセス２０３ｃとして機能するようになる。なお、各プロセス２０３ａ〜２０３ｃは、図９に示した、線織線候補射影抽出部３２ａ、近傍ずれ算出部３２ｂ、近傍ずれ線織線射影抽出部３２ｃにそれぞれ対応する。
また、ＨＤＤ２０５には、図２０に示すように、平行測地線射影集合データ２０５ａが設けられる。この平行測地線射影集合データ２０５ａは、図９に用いた平行測地線射影集合記憶部２１に対応する。そしてＣＰＵ２０３は、平行測地線射影集合データ２０６ａを平行測地線射影集合データ２０５ａに対して登録し、この平行測地線射影集合データ２０６ａを読み出してＲＡＭ２０６に格納し、ＲＡＭ２０６に格納された平行測地線射影集合データ２０６ａと、線織線候補射影集合データ２０６ｂと、近傍ずれデータ２０６ｃと、近傍ずれ線織線射影集合データ２０６ｄとに基づいて線織線射影抽出処理を実行する。ここで、線織線候補射影集合データ２０６ｂは、図９に用いた線織線射影候補集合記憶部２２ａに対応し、近傍ずれデータ２０６ｃは近傍ずれ記憶部２２ｂに対応し、近傍ずれ線織線射影集合データ２０６ｄは近傍ずれ線織線射影集合記憶部２２ｃに対応する。
なお、上記した各プログラム２０４ａ〜２０４ｃについては、必ずしも最初からＲＯＭ２０４に記憶させておく必要はなく、例えばコンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータ２００の内外に備えられるＨＤＤなどの「固定用物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ２００に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ２００がこれらから各プログラムを読み出して実行するようにしてもよい。
（付記１）線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出方法をコンピュータに実行させる線織線射影抽出プログラムであって、
前記平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、前記線織線射影の集合の探索対象である線織線候補射影の集合として抽出する線織線候補射影抽出手順と、
前記線織線候補射影抽出手順によって抽出された前記線織線候補射影の前記内分比から定まるベクトルと当該線織線候補射影を所定の間隔でずらした近傍直線の前記内分比から定まるベクトルとの距離である近傍のずれを、前記線織線候補射影ごとに算出する近傍ずれ算出手順と、
前記近傍ずれ算出手順によって算出された前記近傍のずれを前記線織線候補射影ごとに格納して保持する近傍ずれ保持手順と、
前記線織線射影候補の集合のうち互いに交わらない直線の集合において、前記近傍ずれ保持手順によって保持した近傍のずれの総和が最小となる直線の集合を、前記線織線射影の集合として連続動的計画法により抽出する線織線射影抽出手順と、
をコンピュータに実行させることを特徴とする線織線射影抽出プログラム。
（付記２）線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出方法をコンピュータに実行させる線織線射影抽出プログラムであって、
前記平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、前記線織線射影の集合の探索対象である線織線候補射影の集合として抽出する線織線候補射影抽出手順と、
前記線織線候補射影抽出手順によって抽出された前記線織線候補射影の前記内分比から定まるベクトルである線織線候補射影ベクトルを前記線織線候補射影ごとに算出する線織線候補射影ベクトル算出手順と、
前記線織線候補射影ベクトル算出手順によって算出された前記線織線候補射影ベクトルを、前記線織線候補射影ごとに格納して保持する線織線候補射影ベクトル保持手順と、
線織線候補射影ベクトル保持手順によって保持された前記線織線候補射影ベクトルと前記線織線射影の集合として任意に選択した選択線織線射影の集合それぞれの前記選択線織線射影の前記内分比から定まる前記ベクトルの平均である選択平均ベクトルとの距離であるずれを、前記線織線候補射影ごとに算出するずれ算出手順と、
前記線織線射影候補の集合のうち互いに交わらない直線の集合において、前記ずれ算出手順によって算出した前記ずれの総和が最小となる直線の集合を新たな前記選択線織線射影の集合として連続動的計画法により抽出する選択線織線射影抽出手順と、
前記線織線候補射影ベクトル保持手順によって保持された前記線織線候補射影ベクトルと前記選択線織線射影抽出手順によって新たに抽出された前記選択線織線射影の集合とを用いた前記ずれ算出手順による処理と、前記選択線織線射影抽出手順による処理とを反復させて実行し、前記ずれの総和の値の減少が収束した際の当該選択線織線射影の集合を前記線織線射影の集合として抽出する反復線織線射影抽出手順と、
をコンピュータに実行させることを特徴とする線織線射影抽出プログラム。
（付記３）線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出方法をコンピュータに実行させる線織線射影抽出プログラムであって、
前記３次元紙面曲面を前記線織面の下位カテゴリーである一般化円錐モデルによる曲面に限定し、前記一般化円錐モデルによる曲面を撮像した前記画像では前記線織線射影がすべて一つの消失点で交わるという条件をさらに用いて、任意に設定した前記消失点の候補である消失点候補ごとに前記平行測地線射影の集合に向かって放射状に伸ばした直線の集合を調べて前記線織線射影の集合を抽出する一般化円錐モデル線織線射影抽出手順と、
をコンピュータに実行させることを特徴とする線織線射影抽出プログラム。
（付記４）線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出方法をコンピュータに実行させる線織線射影抽出プログラムであって、
前記線織線射影の集合の探索対象である線織線候補射影の集合の中で、前記平行測地線射影の集合すべてと交わる前記線織線候補射影である完全線織線候補射影の部分集合と、前記平行測地線射影の集合の一部としか交わらない前記線織線候補射影である不完全線織線候補射影の部分集合からなる前記線織線候補射影の不完全集合について、前記不完全線織線候補射影と前記平行測地線の集合の一部との前記内分比から定まるベクトルである不完全ベクトルと、前記完全線織線候補射影の部分集合それぞれと前記平行測地線射影の集合すべてとの前記内分比から定まるベクトルである完全ベクトルの平均である平均完全ベクトルとの距離であるずれの最小値を前記線織線候補射影の不完全集合ごとの不完全線織線候補射影すべてについて推定する不完全線織線候補射影ずれ推定手順と、
前記不完全線織線候補射影ずれ推定手順によって推定された前記ずれの最小値を当該不完全線織線候補射影の前記不完全ベクトルと前記平均完全ベクトルとの距離であるずれとして、前記完全ベクトルと前記平均完全ベクトルとの距離であるずれとともにさらに加算したものを、前記線織線候補射影の不完全集合のずれの総和として算出する不完全集合ずれ総和算出手順と、
前記不完全集合ずれ総和算出手順によって算出した前記線織線候補射影の不完全集合のずれの総和を、前記完全線織線候補射影のみからなる前記線織線候補射影の完全集合それぞれから算出した前記完全ベクトルと前記平均完全ベクトルとの前記ずれの総和とともに比較して、前記ずれの総和が最小となる線織線候補射影の集合を前記線織線射影の集合として抽出する推定ずれ線織線射影抽出手順と、
をコンピュータに実行させることを特徴とする線織線射影抽出プログラム。
（付記５）線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出装置であって、
前記平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、前記線織線射影の集合の探索対象である線織線候補射影の集合として抽出する線織線候補射影抽出手段と、
前記線織線候補射影抽出手段によって抽出された前記線織線候補射影の前記内分比から定まるベクトルと当該線織線候補射影を所定の間隔でずらした近傍直線の前記内分比から定まるベクトルとの距離である近傍のずれを、前記線織線候補射影ごとに算出する近傍ずれ算出手段と、
前記近傍ずれ算出手段によって算出された前記近傍のずれを前記線織線候補射影ごとに格納して保持する近傍ずれ保持手段と、
前記線織線射影候補の集合のうち互いに交わらない直線の集合において、前記近傍ずれ保持手段によって保持した近傍のずれの総和が最小となる直線の集合を、前記線織線射影の集合として連続動的計画法により抽出する線織線射影抽出手段と、
を備えたことを特徴とする線織線射影抽出装置。
（付記６）線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出装置であって、
前記平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、前記線織線射影の集合の探索対象である線織線候補射影の集合として抽出する線織線候補射影抽出手段と、
前記線織線候補射影抽出手段によって抽出された前記線織線候補射影の前記内分比から定まるベクトルである線織線候補射影ベクトルを前記線織線候補射影ごとに算出する線織線候補射影ベクトル算出手段と、
前記線織線候補射影ベクトル算出手段によって算出された前記線織線候補射影ベクトルを、前記線織線候補射影ごとに格納して保持する線織線候補射影ベクトル保持手段と、
線織線候補射影ベクトル保持手段によって保持された前記線織線候補射影ベクトルと前記線織線射影の集合として任意に選択した選択線織線射影の集合それぞれの前記選択線織線射影の前記内分比から定まる前記ベクトルの平均である選択平均ベクトルとの距離であるずれを、前記線織線候補射影ごとに算出するずれ算出手段と、
前記線織線射影候補の集合のうち互いに交わらない直線の集合において、前記ずれ算出手段によって算出した前記ずれの総和が最小となる直線の集合を新たな前記選択線織線射影の集合として連続動的計画法により抽出する選択線織線射影抽出手段と、
前記線織線候補射影ベクトル保持手段によって保持された前記線織線候補射影ベクトルと前記選択線織線射影抽出手段によって新たに抽出された前記選択線織線射影の集合とを用いた前記ずれ算出手段による処理と、前記選択線織線射影抽出手段による処理とを反復させて実行し、前記ずれの総和の値の減少が収束した際の当該選択線織線射影の集合を前記線織線射影の集合として抽出する反復線織線射影抽出手段と、
を備えたことを特徴とする線織線射影抽出装置。
（付記７）線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出装置であって、
前記３次元紙面曲面を前記線織面の下位カテゴリーである一般化円錐モデルによる曲面に限定し、前記一般化円錐モデルによる曲面を撮像した前記画像では前記線織線射影がすべて一つの消失点で交わるという条件をさらに用いて、任意に設定した前記消失点の候補である消失点候補ごとに前記平行測地線射影の集合に向かって放射状に伸ばした直線の集合を調べて前記線織線射影の集合を抽出する一般化円錐モデル線織線射影抽出手段と、
を備えたことを特徴とする線織線射影抽出装置。
（付記８）線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出装置であって、
前記線織線射影の集合の探索対象である線織線候補射影の集合の中で、前記平行測地線射影の集合すべてと交わる前記線織線候補射影である完全線織線候補射影の部分集合と、前記平行測地線射影の集合の一部としか交わらない前記線織線候補射影である不完全線織線候補射影の部分集合からなる前記線織線候補射影の不完全集合について、前記不完全線織線候補射影と前記平行測地線の集合の一部との前記内分比から定まるベクトルである不完全ベクトルと、前記完全線織線候補射影の部分集合それぞれと前記平行測地線射影の集合すべてとの前記内分比から定まるベクトルである完全ベクトルの平均である平均完全ベクトルとの距離であるずれの最小値を前記線織線候補射影の不完全集合ごとの不完全線織線候補射影すべてについて推定する不完全線織線候補射影ずれ推定手段と、
前記不完全線織線候補射影ずれ推定手段によって推定された前記ずれの最小値を当該不完全線織線候補射影の前記不完全ベクトルと前記平均完全ベクトルとの距離であるずれとして、前記完全ベクトルと前記平均完全ベクトルとの距離であるずれとともにさらに加算したものを、前記線織線候補射影の不完全集合のずれの総和として算出する不完全集合ずれ総和算出手段と、
前記不完全集合ずれ総和算出手段によって算出した前記線織線候補射影の不完全集合のずれの総和を、前記完全線織線候補射影のみからなる前記線織線候補射影の完全集合それぞれから算出した前記完全ベクトルと前記平均完全ベクトルとの前記ずれの総和とともに比較して、前記ずれの総和が最小となる線織線候補射影の集合を前記線織線射影の集合として抽出する推定ずれ線織線射影抽出手段と、
を備えたことを特徴とする線織線射影抽出装置。
（付記９）線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出方法であって、
前記平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、前記線織線射影の集合の探索対象である線織線候補射影の集合として抽出する線織線候補射影抽出工程と、
前記線織線候補射影抽出工程によって抽出された前記線織線候補射影の前記内分比から定まるベクトルと当該線織線候補射影を所定の間隔でずらした近傍直線の前記内分比から定まるベクトルとの距離である近傍のずれを、前記線織線候補射影ごとに算出する近傍ずれ算出工程と、
前記近傍ずれ算出工程によって算出された前記近傍のずれを前記線織線候補射影ごとに格納して保持する近傍ずれ保持工程と、
前記線織線射影候補の集合のうち互いに交わらない直線の集合において、前記近傍ずれ保持工程によって保持した近傍のずれの総和が最小となる直線の集合を、前記線織線射影の集合として連続動的計画法により抽出する線織線射影抽出工程と、
を含んだことを特徴とする線織線射影抽出方法。
（付記１０）線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出方法であって、
前記平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、前記線織線射影の集合の探索対象である線織線候補射影の集合として抽出する線織線候補射影抽出工程と、
前記線織線候補射影抽出工程によって抽出された前記線織線候補射影の前記内分比から定まるベクトルである線織線候補射影ベクトルを前記線織線候補射影ごとに算出する線織線候補射影ベクトル算出工程と、
前記線織線候補射影ベクトル算出工程によって算出された前記線織線候補射影ベクトルを、前記線織線候補射影ごとに格納して保持する線織線候補射影ベクトル保持工程と、
線織線候補射影ベクトル保持工程によって保持された前記線織線候補射影ベクトルと前記線織線射影の集合として任意に選択した選択線織線射影の集合それぞれの前記選択線織線射影の前記内分比から定まる前記ベクトルの平均である選択平均ベクトルとの距離であるずれを、前記線織線候補射影ごとに算出するずれ算出工程と、
前記線織線射影候補の集合のうち互いに交わらない直線の集合において、前記ずれ算出工程によって算出した前記ずれの総和が最小となる直線の集合を新たな前記選択線織線射影の集合として連続動的計画法により抽出する選択線織線射影抽出工程と、
前記線織線候補射影ベクトル保持工程によって保持された前記線織線候補射影ベクトルと前記選択線織線射影抽出工程によって新たに抽出された前記選択線織線射影の集合とを用いた前記ずれ算出工程による処理と、前記選択線織線射影抽出工程による処理とを反復させて実行し、前記ずれの総和の値の減少が収束した際の当該選択線織線射影の集合を前記線織線射影の集合として抽出する反復線織線射影抽出工程と、
を含んだことを特徴とする線織線射影抽出方法。
（付記１１）線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出方法であって、
前記３次元紙面曲面を前記線織面の下位カテゴリーである一般化円錐モデルによる曲面に限定し、前記一般化円錐モデルによる曲面を撮像した前記画像では前記線織線射影がすべて一つの消失点で交わるという条件をさらに用いて、任意に設定した前記消失点の候補である消失点候補ごとに前記平行測地線射影の集合に向かって放射状に伸ばした直線の集合を調べて前記線織線射影の集合を抽出する一般化円錐モデル線織線射影抽出工程と、
を含んだことを特徴とする線織線射影抽出方法。
（付記１２）線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出方法であって、
前記線織線射影の集合の探索対象である線織線候補射影の集合の中で、前記平行測地線射影の集合すべてと交わる前記線織線候補射影である完全線織線候補射影の部分集合と、前記平行測地線射影の集合の一部としか交わらない前記線織線候補射影である不完全線織線候補射影の部分集合からなる前記線織線候補射影の不完全集合について、前記不完全線織線候補射影と前記平行測地線の集合の一部との前記内分比から定まるベクトルである不完全ベクトルと、前記完全線織線候補射影の部分集合それぞれと前記平行測地線射影の集合すべてとの前記内分比から定まるベクトルである完全ベクトルの平均である平均完全ベクトルとの距離であるずれの最小値を前記線織線候補射影の不完全集合ごとの不完全線織線候補射影すべてについて推定する不完全線織線候補射影ずれ推定工程と、
前記不完全線織線候補射影ずれ推定工程によって推定された前記ずれの最小値を当該不完全線織線候補射影の前記不完全ベクトルと前記平均完全ベクトルとの距離であるずれとして、前記完全ベクトルと前記平均完全ベクトルとの距離であるずれとともにさらに加算したものを、前記線織線候補射影の不完全集合のずれの総和として算出する不完全集合ずれ総和算出工程と、
前記不完全集合ずれ総和算出工程によって算出した前記線織線候補射影の不完全集合のずれの総和を、前記完全線織線候補射影のみからなる前記線織線候補射影の完全集合それぞれから算出した前記完全ベクトルと前記平均完全ベクトルとの前記ずれの総和とともに比較して、前記ずれの総和が最小となる線織線候補射影の集合を前記線織線射影の集合として抽出する推定ずれ線織線射影抽出工程と、
を含んだことを特徴とする線織線射影抽出方法。
以上のように、本発明に係る線織線射影抽出プログラム、線織線射影抽出装置および線織線射影抽出方法は、線織面である３次元紙面曲面を撮像した画像から抽出された平行測地線射影を手がかりに線織線射影の集合を探索して抽出し、紙面の歪みを補正する場合に有用であり、特に、高精度で安定的な線織線射影の集合を抽出し、高精度に安定して紙面の歪みを補正することに適する。
３次元紙面曲面と撮像画像のモデル化について説明するための図である。 抽出された平行測地線射影の集合を説明するための図である。 線織線射影の性質および線織線射影の抽出条件を説明するための図である。 線織線射影の性質および線織線射影の抽出条件を説明するための図である。 抽出された線織線射影の集合を説明するための図である。 ３次元紙面曲面の推定を説明するための図である。 対応付けによる歪み補正を説明するための図である。 実施例１における線織線射影抽出装置を含む画像歪み補正装置の構成を示すブロック図である。 実施例１における線織線射影抽出装置の概要および特徴を説明するための図である。 実施例１における線織線射影抽出装置の構成を示すブロック図である。 実施例１における線織線射影抽出装置の処理の手順を説明するための図である。 実施例２における線織線射影抽出装置の概要および特徴を説明するための図である。 実施例２における線織線射影抽出装置の概要および特徴を説明するための図である。 実施例２における線織線射影抽出装置の構成を示すブロック図である。 実施例２における線織線射影抽出装置の処理の手順を説明するための図である。 実施例３における線織線射影抽出装置の概要および特徴を説明するための図である。 実施例３における線織線射影抽出装置の構成を示すブロック図である。 実施例３における線織線射影抽出装置の処理の手順を説明するための図である。 実施例４における線織線射影抽出装置の概要および特徴を説明するための図である。 実施例４における線織線射影抽出装置の概要および特徴を説明するための図である。 実施例４における線織線射影抽出装置の構成を示すブロック図である。 実施例４における線織線射影抽出装置の処理の手順を説明するための図である。 実施例１の線織線射影抽出プログラムを実行するコンピュータを示す図である。
符号の説明
１０ 画像歪み補正装置
１１ 撮像画像入力部
１２ 補正画像出力部
１３ 入出力制御Ｉ／Ｆ部
２０ 記憶部
２１ 平行測地線射影集合記憶部
２２ 線織線射影集合記憶部
２３ 推定紙面曲面記憶部
３０ 処理部
３１ 平行測地線射影抽出部
３２ 線織線射影抽出部
３３ 紙面曲面推定部
３４ 画像対応付け部
１００ 線織線射影抽出装置
２２ａ 線織線候補射影集合記憶部
２２ｂ 近傍ずれ記憶部
２２ｃ 近傍ずれ線織線射影集合記憶部
３２ａ 線織線候補射影抽出部
３２ｂ 近傍ずれ算出部
３２ｃ 近傍ずれ線織線射影抽出部

Claims (6)

  1. 線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出方法をコンピュータに実行させる線織線射影抽出プログラムであって、
    前記平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、前記線織線射影の集合の探索対象である線織線候補射影の集合として抽出する線織線候補射影抽出手順と、
    前記線織線候補射影抽出手順によって抽出された前記線織線候補射影の前記内分比から定まるベクトルと当該線織線候補射影を所定の間隔でずらした近傍直線の前記内分比から定まるベクトルとの距離である近傍のずれを、前記線織線候補射影ごとに算出する近傍ずれ算出手順と、
    前記近傍ずれ算出手順によって算出された前記近傍のずれを前記線織線候補射影ごとに格納して保持する近傍ずれ保持手順と、
    前記線織線射影候補の集合のうち互いに交わらない直線の集合において、前記近傍ずれ保持手順によって保持した近傍のずれの総和が最小となる直線の集合を、前記線織線射影の集合として連続動的計画法により抽出する線織線射影抽出手順と、
    をコンピュータに実行させることを特徴とする線織線射影抽出プログラム。
  2. 線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出方法をコンピュータに実行させる線織線射影抽出プログラムであって、
    前記平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、前記線織線射影の集合の探索対象である線織線候補射影の集合として抽出する線織線候補射影抽出手順と、
    前記線織線候補射影抽出手順によって抽出された前記線織線候補射影の前記内分比から定まるベクトルである線織線候補射影ベクトルを前記線織線候補射影ごとに算出する線織線候補射影ベクトル算出手順と、
    前記線織線候補射影ベクトル算出手順によって算出された前記線織線候補射影ベクトルを、前記線織線候補射影ごとに格納して保持する線織線候補射影ベクトル保持手順と、
    線織線候補射影ベクトル保持手順によって保持された前記線織線候補射影ベクトルと前記線織線射影の集合として任意に選択した選択線織線射影の集合それぞれの前記選択線織線射影の前記内分比から定まる前記ベクトルの平均である選択平均ベクトルとの距離であるずれを、前記線織線候補射影ごとに算出するずれ算出手順と、
    前記線織線射影候補の集合のうち互いに交わらない直線の集合において、前記ずれ算出手順によって算出した前記ずれの総和が最小となる直線の集合を新たな前記選択線織線射影の集合として連続動的計画法により抽出する選択線織線射影抽出手順と、
    前記線織線候補射影ベクトル保持手順によって保持された前記線織線候補射影ベクトルと前記選択線織線射影抽出手順によって新たに抽出された前記選択線織線射影の集合とを用いた前記ずれ算出手順による処理と、前記選択線織線射影抽出手順による処理とを反復させて実行し、前記ずれの総和の値の減少が収束した際の当該選択線織線射影の集合を前記線織線射影の集合として抽出する反復線織線射影抽出手順と、
    をコンピュータに実行させることを特徴とする線織線射影抽出プログラム。
  3. 線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出方法をコンピュータに実行させる線織線射影抽出プログラムであって、
    前記３次元紙面曲面を前記線織面の下位カテゴリーである一般化円錐モデルによる曲面に限定し、前記一般化円錐モデルによる曲面を撮像した前記画像では前記線織線射影がすべて一つの消失点で交わるという条件をさらに用いて、任意に設定した前記消失点の候補である消失点候補ごとに前記平行測地線射影の集合に向かって放射状に伸ばした直線の集合を調べて前記線織線射影の集合を抽出する一般化円錐モデル線織線射影抽出手順と、
    をコンピュータに実行させることを特徴とする線織線射影抽出プログラム。
  4. 線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出方法をコンピュータに実行させる線織線射影抽出プログラムであって、
    前記線織線射影の集合の探索対象である線織線候補射影の集合の中で、前記平行測地線射影の集合すべてと交わる前記線織線候補射影である完全線織線候補射影の部分集合と、前記平行測地線射影の集合の一部としか交わらない前記線織線候補射影である不完全線織線候補射影の部分集合からなる前記線織線候補射影の不完全集合について、前記不完全線織線候補射影と前記平行測地線の集合の一部との前記内分比から定まるベクトルである不完全ベクトルと、前記完全線織線候補射影の部分集合それぞれと前記平行測地線射影の集合すべてとの前記内分比から定まるベクトルである完全ベクトルの平均である平均完全ベクトルとの距離であるずれの最小値を前記線織線候補射影の不完全集合ごとの不完全線織線候補射影すべてについて推定する不完全線織線候補射影ずれ推定手順と、
    前記不完全線織線候補射影ずれ推定手順によって推定された前記ずれの最小値を当該不完全線織線候補射影の前記不完全ベクトルと前記平均完全ベクトルとの距離であるずれとして、前記完全ベクトルと前記平均完全ベクトルとの距離であるずれとともにさらに加算したものを、前記線織線候補射影の不完全集合のずれの総和として算出する不完全集合ずれ総和算出手順と、
    前記不完全集合ずれ総和算出手順によって算出した前記線織線候補射影の不完全集合のずれの総和を、前記完全線織線候補射影のみからなる前記線織線候補射影の完全集合それぞれから算出した前記完全ベクトルと前記平均完全ベクトルとの前記ずれの総和とともに比較して、前記ずれの総和が最小となる線織線候補射影の集合を前記線織線射影の集合として抽出する推定ずれ線織線射影抽出手順と、
    をコンピュータに実行させることを特徴とする線織線射影抽出プログラム。
  5. 線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出装置であって、
    前記平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、前記線織線射影の集合の探索対象である線織線候補射影の集合として抽出する線織線候補射影抽出手段と、
    前記線織線候補射影抽出手段によって抽出された前記線織線候補射影の前記内分比から定まるベクトルと当該線織線候補射影を所定の間隔でずらした近傍直線の前記内分比から定まるベクトルとの距離である近傍のずれを、前記線織線候補射影ごとに算出する近傍ずれ算出手段と、
    前記近傍ずれ算出手段によって算出された前記近傍のずれを前記線織線候補射影ごとに格納して保持する近傍ずれ保持手段と、
    前記線織線射影候補の集合のうち互いに交わらない直線の集合において、前記近傍ずれ保持手段によって保持した近傍のずれの総和が最小となる直線の集合を、前記線織線射影の集合として連続動的計画法により抽出する線織線射影抽出手段と、
    を備えたことを特徴とする線織線射影抽出装置。
  6. 線織面である３次元紙面曲面を撮像した画像から前記３次元紙面曲面において互いに平行な測地線である平行測地線が前記画像に射影された平行測地線射影の集合を抽出し、前記３次元紙面曲面を形成する直線である線織線が前記画像に射影された線織線射影それぞれが前記平行測地線射影の集合によって分割された線分長の比から求まる内分比はすべて一定であるという条件を用いて前記線織線射影の集合を探索して抽出する線織線射影抽出方法であって、
    前記平行測地線射影の集合の中で、上端に位置する上端平行測地線射影と下端に位置する下端平行測地線射影とを対応付ける直線の集合を、前記線織線射影の集合の探索対象である線織線候補射影の集合として抽出する線織線候補射影抽出工程と、
    前記線織線候補射影抽出工程によって抽出された前記線織線候補射影の前記内分比から定まるベクトルと当該線織線候補射影を所定の間隔でずらした近傍直線の前記内分比から定まるベクトルとの距離である近傍のずれを、前記線織線候補射影ごとに算出する近傍ずれ算出工程と、
    前記近傍ずれ算出工程によって算出された前記近傍のずれを前記線織線候補射影ごとに格納して保持する近傍ずれ保持工程と、
    前記線織線射影候補の集合のうち互いに交わらない直線の集合において、前記近傍ずれ保持工程によって保持した近傍のずれの総和が最小となる直線の集合を、前記線織線射影の集合として連続動的計画法により抽出する線織線射影抽出工程と、
    を含んだことを特徴とする線織線射影抽出方法。
JP2006309426A 2006-11-15 2006-11-15 線織線射影抽出プログラム、線織線射影抽出装置および線織線射影抽出方法 Expired - Fee Related JP4946376B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006309426A JP4946376B2 (ja) 2006-11-15 2006-11-15 線織線射影抽出プログラム、線織線射影抽出装置および線織線射影抽出方法
US11/894,188 US7903874B2 (en) 2006-11-15 2007-08-20 Ruled-line-projection extracting apparatus, ruled-line projection extracting method, and computer product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006309426A JP4946376B2 (ja) 2006-11-15 2006-11-15 線織線射影抽出プログラム、線織線射影抽出装置および線織線射影抽出方法

Publications (2)

Publication Number Publication Date
JP2008123445A JP2008123445A (ja) 2008-05-29
JP4946376B2 true JP4946376B2 (ja) 2012-06-06

Family

ID=39369272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006309426A Expired - Fee Related JP4946376B2 (ja) 2006-11-15 2006-11-15 線織線射影抽出プログラム、線織線射影抽出装置および線織線射影抽出方法

Country Status (2)

Country Link
US (1) US7903874B2 (ja)
JP (1) JP4946376B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4940270B2 (ja) * 2009-07-06 2012-05-30 シャープ株式会社 画像形成装置
US20110299775A1 (en) * 2010-06-08 2011-12-08 International Business Machines Corporation Correcting page curl in scanned books
JP5867045B2 (ja) * 2011-12-12 2016-02-24 富士ゼロックス株式会社 画像処理装置及びプログラム
US9095423B2 (en) * 2013-03-15 2015-08-04 OrCam Technologies, Ltd. Apparatus and method for providing failed-attempt feedback using a camera on glasses
CN107014421B (zh) * 2017-04-19 2023-04-28 吉林宇恒光电仪器有限责任公司 基于双向黑白比的光电编码器码盘不均匀误差检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970592B2 (en) * 2000-09-04 2005-11-29 Fujitsu Limited Apparatus and method for correcting distortion of input image
JP4456304B2 (ja) 2000-09-04 2010-04-28 富士通株式会社 歪み補正方式
JP2005041125A (ja) 2003-07-23 2005-02-17 Hitachi Maxell Ltd マイクロレンズアレイの製造方法
WO2005041123A1 (ja) * 2003-10-24 2005-05-06 Fujitsu Limited 画像歪み補正プログラム，画像歪み補正装置並びに画像歪み補正方法

Also Published As

Publication number Publication date
JP2008123445A (ja) 2008-05-29
US7903874B2 (en) 2011-03-08
US20080112619A1 (en) 2008-05-15

Similar Documents

Publication Publication Date Title
JP4047352B2 (ja) 画像歪み補正プログラム，画像歪み補正装置並びに画像歪み補正方法
JP4924165B2 (ja) 形状比較装置および形状比較方法
US8422763B2 (en) Method for comparing first computer-aided 3D model with a second computer-aided 3D model
JP4946376B2 (ja) 線織線射影抽出プログラム、線織線射影抽出装置および線織線射影抽出方法
JP4998220B2 (ja) 帳票データ抽出プログラム、帳票データ抽出装置および帳票データ抽出方法
US11568098B2 (en) Designing convective cooling channels
US20220245510A1 (en) Multi-dimensional model shape transfer
JP2010102711A (ja) 画像処理方法、画像処理プログラム及び画像処理装置
JP4791295B2 (ja) 罫線抽出プログラム、罫線抽出装置、罫線抽出方法
JP7075654B2 (ja) ３次元ｃａｄモデル部分検索方法及び３次元ｃａｄモデル検索方法
Tsai et al. Using cell phone pictures of sheet music to retrieve MIDI passages
JP2014102810A (ja) 被写体認識装置、被写体認識方法および被写体認識プログラム
KR101666449B1 (ko) 3차원 포인트 클라우드 기반 형상 템플릿 유사도를 이용하여 스위핑 형상을 역설계하기 위한 장치 및 그 방법
US20220245908A1 (en) Multi-dimensional model texture transfer
US8612183B2 (en) Analysis model generation system
JP5009803B2 (ja) 板金部品モデルのパターン認識
JP5404109B2 (ja) 情報処理装置及び情報処理方法
JPH08194716A (ja) 画像処理方法及びその装置
CN108073924B (zh) 图像处理方法和装置
KR101364375B1 (ko) 3차원 데이터로부터 특정 객체를 추출하는 시스템 및 방법.
CN112507149A (zh) 一种动态k近邻图的构建方法及基于动态k近邻图的快速图像检索方法
Huang et al. A surface approximation method for image and video correspondences
Chien et al. Line drawing simplification by stroke translation and combination
JP4460277B2 (ja) 画像の対応点探索方法、対応点探索装置および対応点探索プログラム
Yeh et al. Detecting symmetries and curvilinear arrangements in vector art

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120220

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees