JP6099281B2 - 書籍読み取りシステム及び書籍読み取り方法 - Google Patents

書籍読み取りシステム及び書籍読み取り方法 Download PDF

Info

Publication number
JP6099281B2
JP6099281B2 JP2015226738A JP2015226738A JP6099281B2 JP 6099281 B2 JP6099281 B2 JP 6099281B2 JP 2015226738 A JP2015226738 A JP 2015226738A JP 2015226738 A JP2015226738 A JP 2015226738A JP 6099281 B2 JP6099281 B2 JP 6099281B2
Authority
JP
Japan
Prior art keywords
book
image
page
shape
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015226738A
Other languages
English (en)
Other versions
JP2016053580A (ja
Inventor
義浩 渡辺
義浩 渡辺
正俊 石川
正俊 石川
裕樹 柴山
裕樹 柴山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Original Assignee
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC filed Critical University of Tokyo NUC
Publication of JP2016053580A publication Critical patent/JP2016053580A/ja
Application granted granted Critical
Publication of JP6099281B2 publication Critical patent/JP6099281B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)

Description

本発明は、書籍読み取りシステム及び書籍読み取り方法に関するものである。特に、本発明は、綴じられた書籍をめくりながら、書籍に記載された情報を自動的に読み取るために好適な技術に関するものである。
複数枚の画像から形状を復元する技術は、模型のモデリングから建築物の復元まで多くの魅力あるアプリケーションを生み出し続けている。しかし、その多くの技術は、対象物体が剛体であることを前提として様々な課題を解決してきた。対象が非剛体である場合には、形状が変形するという大きな前提の違いにより、新たな手法による問題の解決が求められている。対象が非剛体である場合の形状復元として、近年、いくつかの手法が提案されているが、剛体の場合ほど標準的な手法が確立されていない。そのため、コンピュータビジョンの分野においてチャレンジングなトピックとなっている。
非剛体の変形推定は、技術的なチャレンジング性とともにその応用においても、産業検査からエンターテイメントの分野まで幅広く革新的な貢献をすることができると考えられる。これまでの同様の手法に関する報告では決定的な応用展開を示唆するものはなかったが、有用性の高いアプローチが提案されている。例えば、紙、缶、T シャツ、ヨットの帆などの変形を推定する評価実験が行われている。特に、材質の非伸縮性を拘束条件として利用し、変形のみの復元に焦点が置かれてきた。
ここで、従来の変形モデルで導入されている対象の非伸縮性は、対象が元々平面から変形したものであれば平らな状態に展開することができることを意味していると考えられる。この展開する操作は、復元問題において重要な意味を持つ可能性がある。具体的には、全ての観測画像に対して展開されたテクスチャ画像は1 種類しか存在しないという条件を利用することができる。このように、観測された画像を利用して対象表面のテクスチャの復元を合わせて実施する事には、応用とテクニカルな2つの側面で大きなアドバンテージがあると考えられる。
このような技術は、書籍電子化の分野に貢献するものと考えられる。近年、書籍電子化へのニーズが全世界で高まってきている。書籍電子化には高速性と高精細が必須であるが、その両者を兼ね備えたシステムは未だに実現されていない。これまでは、書籍を1 ページずつ固定して比較的平坦な状態にされた紙面を順に電子化するスタイルが一般的であり、時間を要するという問題があった。
この問題を解決するために、書籍のページめくり動作中に動きを止めることなく電子化を行うBook Flipping Scanning が提唱されている（下記非特許文献１）。
この新しい方法によって、業務用途から個人用途まで、各種の必要性に応じて、いくつかのシステム構成が生み出されると考えられる。例えば、3 次元センサを用いることで形状をリアルタイムに取得し、この形状の情報を用いて、カメラで取得された歪んだ書籍画像を補正するタイプのシステムが提案されている（下記非特許文献１）。しかし、このシステムは1台のカメラのみで構成されているとともに、1ページあたり1回しか撮像しないため、書籍画像の解像度が低い点や、紙面の重なりによる死角が生じる点で改善の余地があった。
[1] T. Nakashima, Y. Watanabe, T. Komuro, and M. Ishikawa. Book flipping scanning. 22nd Symposium on User Interface Software and Technology (UIST2009) (Victoria, 2009.10.5) / Adjunct Proceedings, pp. 79-80, 2009.
ところで、めくり動作中の書籍を連続的に電子化するシステムの実行においては、めくり中のあるページの背後に次のページが隠れたり、あるいは、予期しないページ変形のために、適切な書籍画像を取得できないことがある。すると、書籍画像を適正に復元できないおそれがある。また、高速なカメラは解像度が低くなるため、電子化される書籍画像の精細度が低い問題があった。
すなわち、書籍電子化のためには、この点において改善の余地があった。
本発明は、前記の状況に鑑みてなされたものである。本発明は、ページをめくりながら、正確な書籍画像を取得するために利用可能な技術を提供することを目的としている。
前記した課題を解決する手段は、以下の項目のように記載できる。
（項目１）
ページ状態測定部と、書籍画像取得部と、データ処理部とを備えており、
前記ページ状態測定部は、めくられている書籍のページ状態を測定する構成となっており、
前記書籍画像取得部は、複数の第１カメラを備えており、
前記複数の第１カメラは、互いに異なる方向から、前記書籍のページについての書籍画像をそれぞれ取得する構成となっており、
前記データ処理部は、前記ページ状態測定部で測定された前記書籍のページ状態の情報を用いて、前記書籍画像取得部で取得された前記書籍画像を補正する構成となっている
ことを特徴とする書籍読み取りシステム。
（項目２）
前記ページ状態測定部は、前記書籍のページに向けて既定のパターンを投影するためのパターン光源を備えており、
前記複数の第１カメラは、前記パターンが投影されているページの形状画像をさらに取得する構成となっている
項目１に記載の書籍読み取りシステム。
（項目３）
前記複数の第１カメラは、前記パターン光源から前記パターンが投影されているタイミングで前記形状画像を取得し、前記パターン光源から前記パターンが投影されていないタイミングで前記書籍画像を取得する構成となっている
項目２に記載の書籍読み取りシステム。
（項目４）
前記ページ状態測定部は、形状画像用の第２カメラを備えており、
前記第２カメラは、前記パターン光源から投影される波長の光を透過させ、それ以外の環境光を遮断するフィルタを備えており、
前記パターン光源は、既定の波長の光を用いて、前記書籍のページに向けて、前記既定のパターンを投影する構成とされており、
これによって、前記第２カメラは、前記書籍のページに投影された前記既定のパターンを取得可能とされている
項目１に記載の書籍読取システム。
（項目５）
前記第１カメラは、前記書籍の１ページ当たりで複数枚の書籍画像を取得する構成となっており、
前記データ処理部は、前記複数枚の書籍画像の情報を統合す ることで、ページ形状の歪みが補正された 書籍画像の精細度を向上させる構成となっている
項目１〜４のいずれか１項に記載の書籍読取システム。
本発明によれば、複数の第１カメラにより書籍の紙面に印字された文字や絵を撮像した画像（書籍画像）を取得するので、単一のカメラによる場合に比較して、書籍画像を、より精度良く補正して、書籍の情報を電子化することが可能となる。さらに、本発明の他の目的は、変形中の紙面を複数回撮像した書籍画像を統合することにより、1ページを1回撮像した書籍画像のみから補正される場合に比較して、高品質な書籍電子化を行うことである。
本発明の第１実施形態における書籍読み取りシステムの概略的な構成を示すブロック図である。 本発明の第１実施形態におけるカメラ及びパターン光源の配置を説明するための説明図である。 本発明の第１実施形態における書籍読み取りシステムの全体的な動作を説明するためのフローチャートである。 ページ初期形状を取得する手順を説明するためのフローチャートである。 可展面を説明するための説明図である。 可展面の平面展開を説明するための説明図である。 ページ位置の推定について説明するための説明図である。 可展面の推定について説明するための説明図である。 展開された補正画像を復元する手順を説明するための説明図である。 ページ形状の復元を説明するためのフローチャートである。 ページの三次元形状を復元する手順を説明するための説明図である。 本発明の第２実施形態における書籍読み取りシステムの概略的な構成を示すブロック図である。
以下、添付図面を参照しながら、本発明の第１実施形態に係る書籍読み取りシステムについて説明する。
（第１実施形態の構成）
本実施形態の書籍読み取りシステムは、書籍画像取得部１と、ページ状態測定部２と、データ処理部３と、制御部４とを備えている（図１参照）。
書籍画像取得部１は、複数の第１カメラ１１と、拡散光源１２とを備えている。
複数の第１カメラ１１は、互いに異なる方向から、書籍のページについての書籍画像をそれぞれ取得する構成となっている。第１カメラ１１は、書籍の情報において、アレイ状に配置されている。また、第１カメラ１１は、書籍に向けて配置されており、書籍の各ページを撮影できるようになっている。
第１カメラ１１が複数台である場合は、書籍のページを分割して撮影できるように配置されることが好ましい。また、各カメラの撮影領域は重複していることが好ましい。第１カメラ１１が奇数台である場合は、前記した偶数台のカメラの配置に加えて、残りの１台が、ページ全体を撮影できるように配置することが好ましい。
また、前記第１カメラは、１枚のページをめくる度に、複数枚の書籍画像を撮影できる程度に高速動作できるものであることが好ましい。
拡散光源１２は、制御部４により、第１カメラ１１の動作時期に同期して動作するようになっている。すなわち、拡散光源１２は、第１カメラ１１が書籍画像を取得する時にオンとなり、鮮明な書籍画像の取得を容易としている。拡散光源１２は、第１カメラ１１が撮影すべき書籍を照らすものである。ただし、環境光で足る場合は、拡散光源１２を省略することができる。
ページ状態測定部２は、めくられている書籍のページ状態を測定する構成となっている。より詳しくは、本実施形態のページ状態測定部２は、パターン光源２２を備えている。パターン光源２２は、書籍のページに向けて既定のパターンを投影するためのものである。本実施形態では、パターン光源２２からのパターンを照射したページの画像（形状画像）を、複数の第１カメラ１１で取得するようになっている。また、パターン光源２２としては、本実施形態では、プロジェクタが用いられている。より詳しくは、複数の第１カメラ１１は、パターン光源からパターンが投影されているタイミング（ｆフレーム目）で形状画像を取得し、パターン光源からパターンが投影されていないタイミング（ｆ＋１フレーム目）で書籍画像を取得する構成となっている。パターン光源２２は、複数台設置することができる。ただし、以下の説明では、パターン光源２２を１台と仮定する。なお、形状画像についても、後述するように、１ページ当たりで複数枚撮影できるように構成することが好ましい。
図２に、第１カメラ１１とパターン光源２２の配置例を示す。図２は、システムと書籍の動きを側面から見たものである。書籍は1 ページずつめくられるものとする。図では、ある瞬間の書籍の様子を示しているが、紙面は常に動いている。ここで、書籍の綴じ部中心を原点O とし、水平軸をx 軸、垂直軸をy 軸とする。紙面の中心までの距離をr とし、同中心がめくり動作によって半径r の半円を描くとする。このとき、めくられた紙面の回転角をθ とすると、カメラ１１とパターン光源を
となる位置に設置することが望ましい。ここで、D は書籍の紙面の中心と設置カメラ/パターン光源までの距離であり、各デバイス（カメラないし光源）の画角で決定されるパラメータである。そこで、同モデルが描く曲線上にカメラと光源を任意に並べる。
ここで、全てのカメラと光源の位置関係と内部パラメータは予め取得されているものとする。この取得作業をキャリブレーションと呼ぶ。したがって、本実施形態では、全てのカメラ画像間の座標変換が可能となっている。
データ処理部３は、ページ状態測定部２で測定された書籍のページ状態の情報を用いて、書籍画像取得部１で取得された書籍画像を補正する構成となっている。より具体的には、この実施形態のデータ処理部３は、ページ初期形状取得部３１と、補正画像復元部３２と、形状復元部３３とを備えている。データ処理部３の具体的な動作については後述する。データ処理部３は、例えば、コンピュータハードウエアに実装されたコンピュータプログラムにより構成することができる。
制御部４は、既定のタイミングで書籍画像取得部１とページ状態測定部２とを動作させるためのものである。制御部４による書籍画像取得部１及びページ状態測定部２の動作タイミングについては後述する。また、制御部４も、例えば、コンピュータハードウエアに実装されたコンピュータプログラムにより構成することができる。
（第１実施形態の動作）
次に、図３を参照して、本実施形態に係る書籍読取システムの動作を説明する。
（図３のステップＳＡ−１及び２）
まず、制御部４により、ページ状態測定部２と書籍画像取得部１とを駆動して、書籍の形状画像と書籍画像とをそれぞれ取得する。
より具体的には、たとえば、t時刻で拡散光源を発光し、同時に複数の第１カメラ１１で書籍画像を取得する。ついで、t+1時刻でパターン光源を発光し、同時に複数の第１カメラで形状画像を取得する。この動作を繰り返すことにより、複数枚の書籍画像及び形状画像を取得できる。書籍画像と形状画像の撮影周期は、ページめくり速度に応じて適宜に決定できる、好ましくは、各ページのページめくり開始からページめくり終点までの間に、複数の書籍画像と形状画像とを取得できるように撮影周期を設定する。
取得された書籍画像及び形状画像は、順次、データ処理部３に送られる。
（図３のステップＳＡ−３）
次に、データ処理部３のページ初期形状取得部３１により、形状画像についての各撮影時刻での、ページ初期形状を取得する。この処理を、図４をさらに参照しながら説明する。
（図４のステップＳＢ−１）
（可展面について）
ここで、本実施形態の説明において言及する可展面について説明する。可展面は、直線ベクトルξが動いた時の包絡面として描かれる曲面のうち、曲面上の任意の点のガウス曲率が0 となるものを指す。ここでは、可展面を描く各直線を母線と呼ぶ。また、母線(rulings) を結ぶ曲線ベクトルγを準線(directrix) と呼ぶ（図５参照）。可展面の一般式は、X(s, r) = γ(s)+rξ(s) で記述される。s は曲線γ の曲線長であり、rは単位ベクトルξの向きと長さを表す。可展面の記述例として、
がある。この場合、準線を定めることで、可展面となる曲面を設定することができるため、可展面を決定するモデルパラメータは、準線を定義するパラメータと定義される。その他の定義も考えられるが、本説明では主に同モデルを前提として用いる。
また、可展面は伸縮断裂することなく、平面に展開することができる。本実施形態では、紙面変形を表す可展面を推定した後に、この平面展開を行うことで、観測画像上における歪みの補正を行う。以降では、歪みが補正された画像を補正画像と呼ぶ。ここで平面展開について、図６を参照して説明する。展開前と展開後の座標系では距離が保存される。従って、展開された面の座標は、Q(s,r)=L(s)+rη(s)と表される。また、準線は測地線であるため、展開後の平面上では直線Lとなる。さらに、準線γと母線ξの間の角度は展開後の直線Lと母線に対応するηと同じである。これらの関係を用いて、可展面上の各点が展開後に位置する座標を求めることができる。
（形状画像を用いて3次元形状を計算する方法: SB-1）
形状画像から、可展面の3 次元形状を計算する方法を以下に説明する。本ステップは、形状画像の各点が、実際に投影された光源パターンのどの位置と対応するかを特定し、その対応を利用して各点の3次元位置を三角測量によって導出するものである。
例えば、形状画像中の点と光源パターン中の点との対応付けは、書籍の紙面変形の範囲が予め既知である場合に、形状画像上でパターンが一意に特定できるように、パターンを設計するとともに、カメラと光源パターンを設置することで解決する。簡単な例として、パターンが平行な複数の線分で構成されるマルチラインのパターンである場合について説明する。光源から投影された各ラインは、対象物体の表面で反射してカメラに捉えられる。カメラで捉えられるラインの位置は、反射した場所とカメラの位置に応じて変化する。カメラが固定されており、対象の計測範囲が予め既知である場合、各ラインがカメラ上で変化する範囲は既知とすることができる。この各ラインの変化範囲が他のラインと重複しないようにカメラと光源を設置することができる。これによって、カメラ上で観測されたラインが、投影したパターンのどの位置に相当するものなのかを一意に特定することができる。
または、サンプルとなる書籍画像を利用する方法によって、形状画像と光源パターンの対応付けを解決する。この手法では、書籍の変形によって生じる形状画像の複数の事例画像を、システム設置後に予め撮像する。同事例画像と光源パターンの対応付けは手動で行う。観測時には、入力の形状画像と同事例画像との照合を行い、最も相関が高い画像を見つける。その後、入力の形状画像の各点で、同点を中心とする局所領域の相関が最も高い位置を、検出した事例画像の各点近傍で探索して見つける。事例画像中で見つかった点に相当するパターンの位置を形状画像の点に対応付ける。
第1実施形態では、タイミング制御によって形状画像と書籍画像を取得しているため、これらの画像が取得された時刻が異なる。紙面変形の速度に対して、十分に高速に撮像を行うことで、この時刻ずれによる精度の劣化は下記の手法によって補償されると考えられる。すなわち、カメラのフレームレートが十分に高い場合は、形状画像から算出された3次元点群を、連続する時刻の書籍画像に対するデータとして割り当てる。一方、この仮定が成立困難である場合は、書籍画像が取得された時刻における形状を下記方法のいずれかを用いて推定する。本手法は、各視点のデータに対して適用される。
（方法1）
この方法の概要を図７に示す。入力画像のレンズ歪みは補正されているものとする。まず、透視投影の関係式
によって導出されるカメラの光学中心と画像点を結ぶ3 次元直線と、算出された時刻t−1 とt +1の曲面形状との交点Xt−1,Xt+1 を求める。曲面形状は前述の手法によって算出された3次元点群から近似的な連続曲面を求めることで取得する。両点の中央値を、
とする。書籍画像上の複数の位置に対して同手続きを繰り返し、時刻tの3次元点の集合を算出する。
（方法2）
連続する3 時刻に撮像された画像で、対応点を取得する。対応点を取得するために、連続する画像を3枚用意する。ここでは、時刻t−1, t, t + 1の画像を用意したものとする。なお、t−1，t + 1時刻目の画像が形状画像、t時刻目の画像が書籍画像とする。
まず、時刻t の画像内で、代表点を任意に設定する。次に、同点を中心とする局所領域の画像Is を切りだす。時刻t−1 の画像内で、代表点と同じ座標を中心とする近傍範囲を設定する。同範囲内で、画像Is を走査し、範囲内の各点において、切り出した画像Is と時刻t−1 の画像It−1 の画像相関を計算する。最も相関が高い時刻t−1 の画像上の位置を決定する。同位置を、時刻t の代表点と対応する位置とする。t+1 時刻目の画像に対しても、同様の手続きを行う。また、代表点を複数設定し、同手続きを繰り返し、対応点の集合を取得する。なお、パターンが投影されている位置は代表点として設定しないものとする。
次に、取得された画像点ut±1 の3 次元位置Xt±1 を求める。算出式は、次の2 式
とする。ここで、g(X) = 0 は、3 次元点X が、曲面形状上の点であることを表わす。
時刻t−1,t+1 の3 次元点を求めた後、対応する時刻t の3 次元点を求める。このために、
の制約付き最小化問題を解く。
（図３のステップＳＢ−２）
本実施形態では、第１カメラが複数となっている。そこで、各カメラの座標系で記述された形状を、キャリブレーションで得られた座標変換を用いて基準座標系に位置合わせする。基準座標系は、メインカメラを1 つ選び、同カメラの座標系とする。このように、時刻ごとに、全てのカメラの形状を同一座標系に移動する。
（図４のステップＳＢ−３）
ステップＳＢ−２において同一座標に位置合わせされている3 次元点群を入力とした可展面の形状推定を述べる。可展面のモデルとして、
とする展直可展面を利用する。展直可展面では、準線が測地線となる。以下、具体例を説明する。
まず、入力データP(計測された3 次元点の集合) を、一時的なパラメトリック連続曲面にあてはめる。パラメトリック連続曲面としては、例えば、多項式近似z = f(x, y) や、線形メッシュなどがある。あてはめ後に、母線の集合を取得する。図８に手法の概要を示す。
まず、点〜ci上の母線〜ξiを求める方法を説明する。点〜ci を通る母線〜ξi は、点〜ci における法線ベクトル〜ni と直交する。また、母線群は曲面と接する。これらの条件から、点〜ci における母線〜ξi を探索する。
次に、i 番目の母線〜ξi を決定後、新しい近傍点〜ci+1 を探す方法を説明する。今回、準線γ は測地線となる。そこで、2 点(〜ci, 〜ci+1) の間の距離は曲面上で最短である必要がある。この条件に従い、注目する点〜ci の周囲領域が平面であることを仮定し、新しい点〜ci+1 を、2 点を結ぶベクトルと新しい母線〜ξi+1 が直交するように選択する。
上記の手法によって、解の候補となる母線の集合を、始点〜c0 を変えて、複数取得する。例えば、xy 平面(3 次元空間の基底軸をx, y, z 軸と呼ぶ) 上で、始点を均等に配置する。
ここで得られた初期値を用いて、次の最小化問題を解く。
ここで、θ は可展面のモデルパラメータである。また、s は、可展面の準線上の位置を決定する媒介変数である。求められた可展面を用いて、計測された点群のそれぞれに対応する媒介変数s, r を求める。なお、ここでの媒介変数sは、曲線長を表すものであるが、使用する曲線モデルに従い、同モデルの媒介変数を用いても良い。媒介変数を決定後、次の最小化問題を適用する。
推定精度が不足している場合は、上記の最小化問題で推定された可展面を用いて、計測点に対応する媒介変数を算出し直し、その後に可展面を再度推定する。
以上のステップSB-3を各時刻の同一座標系に位置合わせされた3次元点群に適用して、１時刻目〜Ｔ時刻目の可展面を推定することができる。
（図４のステップＳＢ−４）
T×N2枚の書籍画像から、曲面上の同じ範囲を画像中で観測している2枚の画像のペアを複数作成する。取り出した2枚の画像から同一の点の位置を検出し、対応点として保存する。ここでTは撮影時間数、N2は第１カメラの台数である。
対応点の検出方法を述べる。まず、2枚の画像から対応点を抽出する。対応点の検出には、局所領域の画像特徴量を照合する方式(Scale-Invariant Feature Transform(D. G. Lowe. Object recognition from local scale-invariant features. In Proceedings of the International Conference on Computer Vision, pages 1150-1157,1999.を参照)など)を用いる。また、2枚の画像の変動が小さい場合は、対応点間の距離が大きいものを除外する。ただし、ここで得られる対応点のペアには誤ったものも含まれる。
この外れ値を除外するために、次の手続きを適用する。RANSAC法（Martin A. Fischler and Robert C. Bolles (June 1981). 'Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography'. Comm. of the ACM 24: 381-395.を参照）を用いて、2枚の画像の対応点間の照合率が最も高くなる射影変換を推定する。この射影変換にはホモグラフィ変換や2次元アフィン変換などが利用できる。この射影変換を用いて、2枚の画像を大まかに位置合わせする。
次に、大まかに位置合わせされた2枚の画像をパッチ分割する。パッチ分割とは、画像を小さい区画に分割する操作を指す。各区画をパッチと呼ぶ。2枚の画像でパッチの大きさは同一とする。
分割後、各パッチに対して、次の手続きを適用する。2枚の画像間で同じ位置のパッチ内の対応点ペアを取得する。この対応点ペアに対して、上述と同様にRANSAC法を用いて、2つのパッチ間の対応点ペアから外れ値を除外する。これを全てのパッチについて繰り返す。
射影変換を画像全体で仮定した場合に比べて、パッチ内でのみ仮定した場合はその仮定が近似的により高い精度で満たされるため、外れ値の検定が有効に機能すると考えられる。以上の手続きを完了後、各パッチで取得された対応点の集合を特徴点として用いる。
（図４のステップＳＢ−５）
ここでは、ステップSB-4で検出された画像上の各対応点の可展面上の位置を求める。これは各カメラの光軸中心と画像点を結ぶ3次元直線と、可展面との交点を求める問題として算出が可能である。次に、算出された可展面上の3次元点から、平面に展開されたときの同点の座標を求める。これは、上述の可展面の概要で述べた手法を用いる。次に、展開された座標系での基準座標系を定め、同座標系への変換を求める。以上の手続きによって、画像上の点qに対応する可展面上の3次元点Xと展開面上の点u、及び各時刻の可展面を展開後に基準の展開面の座標系に位置合わせするための変換ψが求められる。
（図４のステップＳＢ−６）
ステップSB-4で検出された、２枚の書籍画像間での対応点は、可展面の展開によって生成される補正画像上で、同じ位置になる。そこで、対応点について次のような最適化問題を解くことで、Ｔ時刻分の可展面を再推定する。この処理は、複数のカメラ視点で複数回撮像された観測情報を統合して、各時刻の可展面を推定しているものなので、本発明における「複数枚の書籍画像の情報を統合する処理」の一例に相当する。
これらの式中、Θkは時刻kの可展面を表すパラメータである。同パラメータは前記の式(5)のように、可展面の変形を表すパラメータθと展開後の基準座標系に位置合わせする変換パラメータψの2つで構成されている。このパラメータはT時刻分用意する。また、ηiは可展面上の位置を表すパラメータである。このパラメータはステップSB-4で取得された全ての点数だけ用意する。前記の式(1)では、ステップSB-4で取得された全ての点に対して、評価関数が最小化されるような上記のパラメータを求めている。
前記の式(1)の第1項が前記の式(2)に示されている。この項は、推定される可展面が観測された書籍画像と整合するように、観測画像上の点とこの点に対応する推定画像点の位置との間の誤差を計算している。qiは画像点を表しており、〜qiはパラメータΘとηから算出される「推定される画像点」を表している。この算出は、パラメータΘとηから可展面上の3次元位置を計算した後に、対応する視点のカメラ面上に同位置を投影することで行われる。なお、Θkiはi番目の画像点の時刻に相当する可展面パラメータを表している。
前記の式(1)の第2項を前記の式(3)に示している。この項は、ステップSB-4で書籍紙面上の同一の点として検出された対応点のペアに対して、計算される。これらの点は展開後に同じ位置となる。前記の式(3)では、展開座標上でのこれらの点の位置誤差を計算している。j番目の対応点の展開座標のペアは、〜ui j,1と〜ui j,2で表されている。ペアの1つ目に相当する点の番号をij,1、2つ目に相当する点の番号をij,2で表している。ここでの展開座標は、推定パラメータΘとηを用いて計算される。ペアの各点に対応する推定パラメータの割当に関する添字も上述と同じ規則で記載した。
前記の式(1)の第3項を前記の式(4)に示す。この項は、補正後の座標位置が既知である点に対して計算を行うものである。例えば、紙面の4隅の角などは、紙面のサイズが既知であれば補正後の座標を確定させることができる。そこで、同項では推定パラメータΘとηを用いて計算される座標〜uicと既知の目標座標uicの位置の誤差を計算している。なお、icはc番目の既知点に相当する点の番号を表している。
（図３のステップＳＡ−４）
ついで、図3のステップSA-4とSA-5を収束するまで繰り返す。これらの処理は、複数枚の書籍画像を統合して、1枚の補正された書籍画像を生成するものなので、本発明における「複数枚の書籍画像の情報を統合する処理」の一例に相当する。
ステップSA-4では、データ処理部３の補正画像復元部３２により、展開された補正画像を復元する。その処理を図９に示す。すなわち、T時刻分の可展面と、T時刻分の書籍画像とを用いて、図９の式を解くことで、展開された補正画像（書籍画像を補正したもの）を得ることができる。
図９の式で、I(q)は座標qの輝度値を表している。Ik jは時刻kのj番目の視点で観測された画像を表している。〜I(q)はパラメータΘと補正画像Jから計算される推定観測画像を表している。この計算は
で表される。同式のg(u)は補正画像と観測画像の座標変換を表している。これは、可展面の形状によって異なる変換となる。この変換関数を
に示す。この式は、可展面の展開と可展面上の点を観測カメラ面上に投影する操作の2つから計算される。座標系の変換後、レンズぼけモデルに基づき、観測カメラの各点の近傍に位置する補正画像の輝度値の重み付き総和を計算し、推定観測画像〜Iを計算する。
図９のf(J)は補正画像Jに関する拘束条件を表す。事前にJに関する情報がわかっている場合にf(J)を追加する。
（図３のステップＳＡ−５）
ついで、データ処理部３の形状復元部３３により、書籍画像の形状を復元する。この手続きはステップSA-4で補正画像Jを推定していた問題を、可展面パラメータΘを推定する問題に切り替えることで達成できる。これは
で表される。ただし、この最小化問題は解の探索に時間を要する。短時間でのデータ処理を実施する場合には、以降の復元手順を適用する。この復元の手順を、図１０を参照しながら説明する。
（図１０のステップＳＣ−１）
まず、推定された変形パラメータΘkを用いて推定撮像画像〜Ik を作成する。この画像の作成方法は、 ステップSA-4で述べたものと同じである。
（図１０のステップＳＣ−２）
次に、入力画像Ik と作成された推定撮像画像〜Ik の間で特徴点の対応を取得する。特徴点の対応は、ステップSB-4で述べたものと同じ手法を用いる。
（図１０のステップＳＣ−３）
本実施形態の手法では、補正画像を変化させずに、カメラ画像同士の対応点同士の位置の誤差を最小化する可展面パラメータを探索し、正しい可展面を復元する。
正しい可展面の復元の概念図を図１１に示す。誤差を最小化し、可展面を復元する問題を下式に示す。この問題は各時刻で解かれる。
この式のVk j,i を次式に示す。
これは、時刻kのj番目の視点のi番目の注目点(SC-2で対応点として取得された点)について、そのカメラ上の座標qと補正画像上の座標uを並べたものである。カメラ上の座標はステップSC-2で取得されている。補正画像上の座標は、ステップSC-2で対応点を見つけた後に、その時点での対応する補正画像上の位置を用いる。この座標はステップSC-3の推定においては定数であって変化しない。〜Vk j,i は可展面パラメータΘと可展面上の位置を表す媒介変数ηk j,iを用いて計算される観測画像上の位置と補正画像の位置を表すものである。なお、ステップSB-6でも述べたように、注目点のうち、展開後の座標が予めわかっているものについては、Vk j,iの補正画像の座標として既知の値を設定する。
これらのデータの誤差を最小化することで、補正画像が一意である条件を満たしつつ可展面を復元することができる。
（第２実施形態）
以下、本発明の第２実施形態に係るシステムを、図１２を参照しながら以下に説明する。なお、第２実施形態の説明においては、前記した第１実施形態の説明と基本的に共通する要素については、同一符号を用いることにより、説明の煩雑を避ける。
前記した第１実施形態では、第１カメラ１１により、書籍画像と形状画像とを共に撮影した。しかしながら、第２実施形態の第１カメラ１１は、書籍画像のみを撮影する。
また、第２実施形態のページ状態測定部２は、形状画像用の第２カメラ２１を備えている。第２カメラ２１は、パターン光源から投影される波長の光を透過させ、それ以外の環境光を遮断するフィルタ（図示せず）を備えている。
第２実施形態のパターン光源２２は、既定の波長の光を用いて、書籍のページに向けて、既定のパターンを投影する構成とされている。これによって、第２カメラ２１は、書籍のページに投影された既定のパターンを、形状画像として取得可能とされている。
第２実施形態では、第１カメラ１１は、拡散光源１２が発光するタイミングで動作して、書籍画像を取得することができる。また、第２カメラ２１は、パターン光源２２が発光するタイミングで動作して、フィルタを介して、形状画像を取得することができる。ここで、この第２実施形態では、拡散光源１２からの光とパターン光源２２からの光とを波長により区別できるので、拡散光源１２とパターン光源２２とを同時に発光させ、かつ、第１カメラ１１と第２カメラ２１とを同時に動作させることによって、書籍画像と形状画像とを同時に取得することができる。これにより、この実施形態では、単位時間内に取得できる書籍画像と形状画像の枚数を増やすことができるという利点がある。
また、第２実施形態の書籍画像取得部１の第1カメラ１１は、パターン光源22の波長の光を遮断し、拡散光源12及び環境光からの波長の光を透過するフィルタ（図示せず）を備えることが好ましい。この構成により、書籍画像にパターンが映り込むことを防ぐことができる。ただし、書籍画像取得部１の第１カメラ１１にフィルタを設置せずに、書籍画像取得後に画像処理によってパターンを除去することも可能であると考えられ、この場合はフィルタの設置を省略することもできる。なお、第２実施形態では、拡散光源１２からの光とパターン光源２２からの光とを波長により区別できるので、各光源を常時オンとすることも可能である。
第２実施形態における他の構成及び動作は、前記した第１実施形態と基本的に同様なので、これ以上詳細な説明は省略する。ただし、ステップSB-1で述べた形状画像と書籍画像の時刻ずれの解消手順は本実施形態では行わない。
なお、本発明は、前記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加え得るものである。
例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。
また、本発明を構成する各機能要素は、離散して存在しても良い。離散して存在する場合には、例えばネットワークを介して必要なデータを受け渡すことができる。各部の内部における各機能も、同様に、離散して存在することが可能である。例えば、グリッドコンピューティングやクラウドコンピューティングを用いて、本実施形態における各機能要素あるいはその一部分を実現することも可能である。
１ 書籍画像取得部
１１ 第１カメラ
１２ 拡散光源
２ ページ状態測定部
２１ 第２カメラ
２２ パターン光源
３ データ処理部
３１ ページ初期形状取得部
３２ 補正画像復元部
３３ 形状復元部
４ 制御部

Claims (6)

  1. ページ状態測定部と、書籍画像取得部と、データ処理部とを備えており、
    前記ページ状態測定部は、めくられている途中での書籍のページ状態を測定する構成となっており、
    前記書籍画像取得部は、複数の第１カメラを備えており、
    前記複数の第１カメラは、互いに異なる方向から、前記書籍のページについての書籍画像をそれぞれ取得する構成となっており、
    前記第１カメラにおける撮影周期は、各ページにおけるページめくりの開始から終了までの間に複数の書籍画像を取得するように設定されており、
    前記データ処理部は、ページ初期形状取得部と、補正画像復元部と、形状復元部とを備えており、
    前記ページ初期形状取得部は、ページめくり途中の複数時点でのページの形状を初期形状として取得する構成となっており、
    前記補正画像復元部は、前記ページの初期形状と、その初期形状に対応する前記書籍画像との対応関係を用いて、展開された補正画像を復元する構成となっており、
    前記形状復元部は、前記補正画像と、この補正画像に対応する前記書籍画像との対応関係を用いて、前記書籍画像の取得時点での前記書籍画像の形状を復元する構成となっている
    ことを特徴とする書籍読み取りシステム。
  2. 前記ページ状態測定部は、前記書籍のページに向けて既定のパターンを投影するためのパターン光源を備えており、
    前記複数の第１カメラは、前記パターンが投影されているページの形状画像をさらに取得する構成となっている
    請求項１に記載の書籍読み取りシステム。
  3. 前記複数の第１カメラは、前記パターン光源から前記パターンが投影されているタイミングで前記形状画像を取得し、前記パターン光源から前記パターンが投影されていないタイミングで前記書籍画像を取得する構成となっている
    請求項２に記載の書籍読み取りシステム。
  4. 前記ページ状態測定部は、前記書籍のページに向けて既定のパターンを投影するためのパターン光源と、形状画像用の第２カメラとを備えており、
    前記第２カメラは、前記パターン光源から投影される波長の光を透過させ、それ以外の環境光を遮断するフィルタを備えており、
    前記パターン光源は、既定の波長の光を用いて、前記書籍のページに向けて、前記既定のパターンを投影する構成とされており、
    これによって、前記第２カメラは、前記書籍のページに投影された前記既定のパターンを取得可能とされている
    請求項１に記載の書籍読み取りシステム。
  5. 前記書籍画像取得部又は前記ページ初期形状測定部は、前記ページを見たときの形状画像を、１ページ当たり複数時点において取得する構成となっており、
    前記ページ初期形状取得部は、
    前記複数時点でのそれぞれの形状画像を用いて、対応する可展面をそれぞれ推定する処理と、
    前記書籍画像における対応点を検出する処理と
    前記可展面上における前記対応点の位置を推定する処理と
    前記複数時点に対応する前記可展面の情報を統合することにより、ある時点における可展面を再推定する処理と
    を行う構成とされている
    請求項１〜４のいずれか１項に記載の書籍読み取りシステム。
  6. 書籍画像取得部とデータ処理部とを備えた書籍読み取りシステムを用いる書籍読み取り方法であって、
    前記書籍画像取得部は、複数の第１カメラを備えており、
    （ａ）前記複数の第１カメラが、互いに異なる方向から、前記書籍のページについての書籍画像をそれぞれ取得するステップと、ここで、前記第１カメラにおける撮影周期は、各ページにおけるページめくりの開始から終了までの間に複数の書籍画像を取得するように設定されており、
    （ｂ）前記データ処理部が、ページめくり途中の複数時点でのページの形状を初期形状として取得するステップと、
    （ｃ）前記データ処理部前記ページの初期形状と、その初期形状に対応する前記書籍画像との対応関係を用いて、展開された補正画像を復元するステップと、
    （ｄ）前記データ処理部前記補正画像と、この補正画像に対応する前記書籍画像との対応関係を用いて、前記書籍画像の取得時点での前記書籍画像の形状を復元するステップと
    を備える書籍読み取り方法。
JP2015226738A 2010-08-20 2015-11-19 書籍読み取りシステム及び書籍読み取り方法 Active JP6099281B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US37551110P 2010-08-20 2010-08-20
US61/375,511 2010-08-20
US201161509038P 2011-07-18 2011-07-18
US61/509,038 2011-07-18

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012529618A Division JPWO2012023596A1 (ja) 2010-08-20 2011-08-19 書籍読み取りシステム及び書籍読み取り方法

Publications (2)

Publication Number Publication Date
JP2016053580A JP2016053580A (ja) 2016-04-14
JP6099281B2 true JP6099281B2 (ja) 2017-03-22

Family

ID=45605248

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012529618A Pending JPWO2012023596A1 (ja) 2010-08-20 2011-08-19 書籍読み取りシステム及び書籍読み取り方法
JP2015226738A Active JP6099281B2 (ja) 2010-08-20 2015-11-19 書籍読み取りシステム及び書籍読み取り方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2012529618A Pending JPWO2012023596A1 (ja) 2010-08-20 2011-08-19 書籍読み取りシステム及び書籍読み取り方法

Country Status (5)

Country Link
US (1) US9065962B2 (ja)
EP (1) EP2608147B1 (ja)
JP (2) JPWO2012023596A1 (ja)
CN (1) CN103069452B (ja)
WO (1) WO2012023596A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6163806B2 (ja) * 2013-03-19 2017-07-19 大日本印刷株式会社 検査装置、検査方法、および、検査装置用のプログラム
JP6236819B2 (ja) * 2013-03-19 2017-11-29 大日本印刷株式会社 検査装置、検査方法、および、検査装置用のプログラム
JP6728750B2 (ja) * 2016-02-22 2020-07-22 株式会社リコー 画像読取装置、画像形成装置、原稿画像表示方法およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3340413B2 (ja) 2000-01-20 2002-11-05 株式会社スキャンテクノロジー ペットボトル内沈殿異物検査方法及びその装置
JP4012710B2 (ja) 2001-02-14 2007-11-21 株式会社リコー 画像入力装置
JP3954436B2 (ja) * 2001-12-11 2007-08-08 株式会社リコー 画像入力装置
US7508978B1 (en) * 2004-09-13 2009-03-24 Google Inc. Detection of grooves in scanned images
US7660458B1 (en) * 2004-12-14 2010-02-09 Google Inc. Three-dimensional model construction using unstructured pattern
JP5041458B2 (ja) 2006-02-09 2012-10-03 本田技研工業株式会社 三次元物体を検出する装置

Also Published As

Publication number Publication date
EP2608147A4 (en) 2017-08-30
US20140009797A1 (en) 2014-01-09
EP2608147B1 (en) 2020-01-15
WO2012023596A1 (ja) 2012-02-23
CN103069452B (zh) 2017-05-24
CN103069452A (zh) 2013-04-24
US9065962B2 (en) 2015-06-23
EP2608147A1 (en) 2013-06-26
JP2016053580A (ja) 2016-04-14
JPWO2012023596A1 (ja) 2013-10-28

Similar Documents

Publication Publication Date Title
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US7317558B2 (en) System and method for image processing of multiple images
JP6344050B2 (ja) 画像処理システム、画像処理装置、プログラム
JP5445461B2 (ja) 画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム
JP4010754B2 (ja) 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体
JP2011253376A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2007323615A (ja) 画像処理装置及びその処理方法
JP2013005258A (ja) ブレ補正装置、ブレ補正方法及び帳票
JP6099281B2 (ja) 書籍読み取りシステム及び書籍読み取り方法
WO2009096520A1 (ja) 対応点探索装置および対応点探索方法
JP2015233266A (ja) 画像処理システム、情報処理装置、プログラム
WO2010013289A1 (ja) カメラ校正画像作成装置およびカメラ校正画像作成プログラム
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
CN108062790B (zh) 应用于物体三维重建的三维坐标系建立方法
JP5151922B2 (ja) 画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム
JP4776983B2 (ja) 画像合成装置及び画像合成方法
JP2007323616A (ja) 画像処理装置及びその処理方法
EP1692869A2 (en) Inspection apparatus and method
Anwar Calibrating projector flexibly for a real-time active 3D scanning system
JP3452188B2 (ja) ２次元動画像中の特徴点の追跡方法
JP5563390B2 (ja) 画像処理装置およびその制御方法、及びプログラム
JP2007040841A (ja) 三次元形状測定装置、及び三次元形状測定方法
JP4796295B2 (ja) カメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法
JP6071142B2 (ja) 画像変換装置
KR101765257B1 (ko) 삼차원 영상 정보 획득 방법 및 이를 구현한 컴퓨팅 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170220

R150 Certificate of patent or registration of utility model

Ref document number: 6099281

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250