JP4133060B2 - Image input apparatus, image input method, and computer-readable recording medium - Google Patents

Image input apparatus, image input method, and computer-readable recording medium Download PDF

Info

Publication number
JP4133060B2
JP4133060B2 JP2002209947A JP2002209947A JP4133060B2 JP 4133060 B2 JP4133060 B2 JP 4133060B2 JP 2002209947 A JP2002209947 A JP 2002209947A JP 2002209947 A JP2002209947 A JP 2002209947A JP 4133060 B2 JP4133060 B2 JP 4133060B2
Authority
JP
Japan
Prior art keywords
subject
image
photographing
pattern
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002209947A
Other languages
Japanese (ja)
Other versions
JP2003338907A (en
Inventor
雄史 長谷川
憲彦 村田
貴史 北口
康弘 佐藤
智文 北澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2002209947A priority Critical patent/JP4133060B2/en
Publication of JP2003338907A publication Critical patent/JP2003338907A/en
Application granted granted Critical
Publication of JP4133060B2 publication Critical patent/JP4133060B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Facsimile Scanning Arrangements (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、書籍などの被写体に所定の投光パターンを光照射し、その反射光から得られる画像の３次元形状を計測して被写体画像の歪み補正を行ない、高解像度の撮影を得る画像入力装置、画像入力方法、およびコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
従来の画像入力装置（撮影装置）において、被写体に、たとえば平行線などのパターンを投光し、その反射光を入力して被写体画像の３次元画像を計測することが行なわれている。このような被写体の３次元形状を計測する技術に関しては、マシンビジョン・コンピュータビジョンの分野で研究されている。また、３次元形状の計測方法についてはマシンビジョン（江尻正員、大田友一、池内克史著）や三次元画像計測（井口往史、佐藤宏介、昭晃堂出版）などに開示されている。
【０００３】
ところで、被写体が製本された原稿などである場合、製本された本を開きその上方から撮影すると、本の継ぎ目の部分では画像が圧縮されて歪んだ画像になる。そこで、これを解消するものとして、たとえば、原稿を走査して読み取るラインセンサと原稿面との距離を検出する距離センサとを用い、読み取り時に、検出した距離に応じてラインセンサの副走査方向の読み取りピッチを変化させるものが特開昭６２−１４３５５７号公報に開示されている。また、特開平３−１１７９６５号公報には、読み取り面を上向きに配置された原稿を読み取る原稿読み取り装置において、原稿面上に所定角度で直線状の光を照射する照射手段と、撮像面の曲がり具合を検出する検出手段と、読み取り面を上向きに配置された原稿に対して原稿の上方に所定の間隔で配置された原稿読み取り手段と、を有し、原稿の歪みを補正することが開示されている。
【０００４】
また、特開平４−１９９４７８号公報には、原稿表面の３次元位置を測定し、その３次元位置情報を利用して原稿の歪みを補正するものが開示されている。さらに、特開平１０−６５８７７号公報には、原稿を撮影して得られたエッジ情報から原稿のスキューを検出するエッジ検出手段と、原稿のスキューを検出するスキュー検出手段と、原稿のエッジ情報とスキュー情報から本の歪みを補正する補正手段とを有した撮像装置により、原稿の歪みを補正することが開示されている。
【０００５】
また、投光器のパターンに液晶を使用し、撮影する被写体の大きさによって投光器のパターンを変化させて、被写体の３次元形状の計測制度を向上させるものが特開平５−１１３３２０号公報に開示されている。さらに、原稿画像を分割撮影し合成することにより、撮影画像の解像度を向上させるものが特公平８−１３０８８号公報に開示されている。ここでは、原稿画像全体を撮影し、全体画像より原稿画像の大きさを算出し、全体画像の大きさと解像度より分割撮影のための分割画像領域を求めて分割画像を撮影し、これを合成して任意の解像度の原稿画像を得ている。
【０００６】
また、画像シンポジウム２００１において、「次世代ドキュメント撮影装置アイスキャナの試作」（講演番号：Ｇ−２２、講演者：富士ゼロックス）の講演でデジタルカメラと、Ｃｕｂｉｃｓｃｏｐｅ（市販のパターン投光ユニット）を使用することによって、分割撮影による高解像度撮影と被写体画像の歪み補正を可能にした撮影装置が発表されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、３次元計測で使用される投光手段が撮像部と一体化していることが多い従来の装置にあっては、被写体画像を高解像度で撮影を行なうために、撮像部と支持台の接合部にある二軸回転機構を利用して原稿画像の分割撮影を行なう際に、撮像部が移動するので、投光手段と被写体の位置関係に変化が生じる。
【０００８】
これをさらに図３、図２７〜図２９を参照して説明すると、図３に示すように、被写体２１と投光パターン２２の位置関係が最適な状態であれば、図２８に示すように縞模様のパターンが被写体２１（製本された原稿）に照射されるため、被写体画像の歪みが大きい方向、すなわち被写体画像の歪み補正に必要な３次元形状データが含まれる方向と分解能の高い３次元形状の計測が可能な方向とが一致するので、被写体画像の歪み補正を行なうに必要な３次元形状を多く得ることができる。しかし、原稿画像の分割撮影時には、投光器１２と被写体２１の位置関係に変化が生じるため、被写体２１と投光パターン２２との配置関係に対応してパターンを移動する手段がない場合には、図２７に示すように、被写体２１と投光パターン２２が正確に配置されず、図２９に示すように、投光パターン２２が被写体２１に照射されるため、被写体画像の歪みが大きい方向と分解能の高い３次元形状の計測が可能な方向とが一致しない。このため、被写体画像の歪み補正を行なうに必要な３次元形状データを多く得られず、この３次元形状データを用いた被写体画像の歪み補正を精度よく行なうことができないので、高解像度の撮影が実現されないという問題点があった。
【０００９】
なお、特開昭６２−１４３５５７号公報、特開平３−１１７９６５号公報に開示されている方法にあっては、画像の歪み補正を行なうだけのため、分割撮影による高解像度の画像撮影を行なうことができなかった。また、特開平５−１１３３２０号公報に開示されている方法にあっては、被写体と投光パターンの配置関係に対応して投光パターンを変化させる機能が設けられていないので、撮像部の移動によって被写体と投光パターンとの位置関係が変化すると３次元形状の計測精度を向上させることができなかった。さらに、特公平８−１３０８８号公報にか開示されている方法では、分割撮影による高解像度の撮影を行なうだけのため、画像の歪み補正を行なうことができなかった。
【００１０】
さて、今後、画像を用いたコミュニケーションが特に重要になってくると予想される。たとえば、会議など電子データを表示する大画面を囲んだコミュニケーションの場において、手元の被写体を画像入力装置（図１参照）を用いて取り込んで大画面に表示させることが多くなる。このようにコミュニケーションを行なっている最中に被写体を撮影し、被写体画像の歪み補正を行なうことを想定した場合、従来の技術では被写体とパターンを正確に配置する作業があるため、コミュニケーションの場が中断されることがある。
【００１１】
ところが、特開平１０−６５８７７号公報に開示されている方法にあっては、スキュー検出手段を使用することにより、被写体とパターンが正確に配置されていない場合に対しても被写体画像の歪みを補正することができるものの、被写体画像の歪み補正に被写体画像のエッジ情報を使用するため、エッジ部分に急激な歪みまたは損傷があるような被写体においては被写体画像の歪みを補正することができなかった。なお、特開平４−１９９４７８号公報に開示されている方法にあっては、被写体を上方から撮影した場合を考慮したものではない。
【００１３】
本発明は、上記に鑑みてなされたものであって、被写体とパターンが正確に配置されていなくても、かつエッジ部分に急激な歪みまたは損傷が存在するような被写体であっても、被写体画像の精度のよい歪み補正を可能にすることを目的とする。
【００１４】
【課題を解決するための手段】
上記の目的を達成するために、請求項１にかかる画像入力装置にあっては、被写体を撮影する撮影手段と、前記被写体上に所定のパターンを照射する投光手段と、前記撮影手段と前記投光手段とを支持する支持手段と、前記撮影手段にて前記被写体の予備撮影を行ない、前記被写体と前記パターンとの位置関係を検出する位置検出手段と、前記位置検出手段の検出結果にしたがって前記被写体と前記パターンとの位置関係を、前記投光手段を前記支持手段に対して移動させて調整する位置調整手段と、前記位置調整手段により位置調整が行なわれた後に、前記投光手段により前記パターンが照射された被写体を被写体画像として前記撮影手段で撮影し、当該被写体画像から前記被写体の３次元形状を計測する計測手段と、前記計測手段により計測された３次元形状に基づいて、前記被写体画像の歪みを補正する補正手段と、を備えたものである。
【００１６】
また、請求項２にかかる画像入力装置にあっては、前記位置検出手段は、予備撮影時に前記被写体と前記投光手段のパターンとの位置関係を画像の特徴から検出するものである。
【００１８】
また、請求項３にかかる画像入力方法にあっては、撮影手段と投光手段とを支持する支持手段を有し、前記撮影手段により被写体を撮影する撮影工程と、投光手段により前記被写体上に所定のパターンを照射する投光工程と、位置検出手段により、前記撮影手段にて前記被写体の予備撮影を行ない、前記被写体と前記パターンとの位置関係を検出する位置検出工程と、位置調整手段により、前記位置検出工程の検出結果にしたがって前記被写体と前記パターンとの位置関係を、前記投光手段を前記支持手段に対して移動させて調整する位置調整工程と、計測手段により、前記位置調整手段により位置調整が行なわれた後に、前記投光手段により前記パターンが照射された被写体を被写体画像として前記撮影手段で撮影し、当該被写体画像から前記被写体の３次元形状を計測する計測工程と、補正手段により、前記計測工程で計測された３次元形状に基づいて、前記被写体画像の歪みを補正する補正工程と、を含むものである。
【００２０】
また、請求項４にかかる画像入力方法にあっては、前記位置検出工程は、予備撮影時に前記被写体と前記投光手段のパターンとの位置関係を画像の特徴から検出するものである。
【００４４】
【発明の実施の形態】
以下、本発明にかかる画像入力装置、画像入力方法、およびコンピュータ読み取り可能な記録媒体の好適な実施の形態について添付図面を参照し、詳細に説明する。なお、本発明はこの実施の形態に限定されるものではない。
【００４５】
本発明は、被写体の高解像度の撮影を実現するために、撮像部を移動させて被写体画像の分割撮影を行なうものである。すなわち、分割撮影時に、移動させる撮影部に付随している投光器が移動する移動距離を検出し、その検出結果にしたがって照射パターンを変更する。さらに、被写体画像の歪みが大きい方向、つまり被写体画像の歪み補正に必要な３次元形状データが含まれる方向と分解能の高い３次元形状の計測が可能な方向とを一致させて撮影することにより、被写体画像の歪み補正を行なうに必要な３次元形状データを数多く取得する。また、この取得した３次元形状データより分割撮影時に撮影された被写体の分割画像の歪み補正を行なう。さらに、歪み補正後の複数枚の被写体画像を合成することにより、書籍などの湾曲している被写体画像の歪み補正の精度を向上させ、高解像度の撮影、および安価で汎用性の画像入力装置を実現するものである。以下、実施の形態１〜６において具体的な構成および動作について説明する。
【００４６】
（実施の形態１）
図１は、本発明の実施の形態にかかる画像入力装置の概略構成を示す説明図である。この画像入力装置１０は、撮像部１１と、投光器１２と、支持部１３と、解像度指示部１４と、移動部１５と、撮影スイッチ１６と、Ｉ／Ｆ部１７と、後述する計測位置設定方法切換スイッチ１８と、を備えている。なお、符号２１は書籍などの被写体、符号２２は投光パターンである。
【００４７】
撮像部１１と投光器１２は、移動部１５を介して支持部１３によって支持され、支持部１３に対して投光器１２と撮像部１１が上下、左右、斜め方向にその投光軸や撮像光軸を移動できるような首振り機構となっている。解像度指示部１４により、被写体画像に要する解像度を指定する。解像度指示部１４は、表示つきのタッチパネルなどで構成され、所望の解像度を選択できるように機能する。撮影スイッチ１６を押下すると、支持部１３が設置されている机などに配置されている被写体２１を撮像する。Ｉ／Ｆ部１７は、パーソナルコンピュータなどの外部装置に接続するために、ＲＳ２３２ＣやＵＳＢなどの所定のインターフェイス仕様に準拠し、撮影した画像を転送するために用いられる。
【００４８】
図２は、図１における撮像部１１の構成を示すブロック図である。図２において、符号１はレンズ、符号２は絞り部、符号３は撮像素子、符号４は相関二重サンプリング回路（以下、ＣＤＳという）、符号５はＡ／Ｄ変換器、符号６はタイミングジェネレータ（以下、ＴＧという）、符号７は画像前処理回路（以下、ＩＰＰという）、符号８はメモリ、符号９は撮影などの一連の動作を統括的に制御するＭＰＵである。また、符号２０は液晶パネルなどで構成され、投光パターン２２を形成させるための投光パターンフィルタである。
【００４９】
以上のように構成された画像入力装置１０は、被写体２１は、投光器１２で照射されその反射画像が、レンズ１、絞り部２によって撮像素子３の上の結像される。撮像素子３からの画像信号はＣＤＳ４でサンプリングされた後、Ａ／Ｄ変換器５でデジタルの信号に変換される。このときのタイミング信号はＴＧ６で生成される。上記画像信号は、ＩＰＰ７でアパーチャ補正などの画像処理、圧縮などが行なわれメモリ８に保存される。この一連の動作はＭＰＵ９によって制御される。
【００５０】
また、投光器１２も撮像部１１のＭＰＵ９によって投光のタイミングが制御される。投光器１２には投光パターンフィルタ２０が設けられており、投光器１２から照射される光が投光パターンフィルタ２０を通過することにより特定のパターンが被写体２１に投光される。
【００５１】
投光パターン２２は一般的に３次元形状を計測する際の計算処理の短縮化を考慮し、平面上の被写体にパターンを照射したときには、図３に示すように、パターン形状が直線状になることが多いが、他の模様であってもよい。
【００５２】
つぎに、被写体の撮影動作について図４に示すフローチャートを参照し、説明する。まず、撮影開始前に解像度指示部１４により、被写体２１の画像撮影に関する画像解像度、または被写体の大きさを指定する（ステップＳ１１）。さらに、解像度指示部１４により指定された画像解像度または被写体の大きさにしたがって撮像部１１を移動部１５により回転させる（ステップＳ１２）。
【００５３】
さて、撮像部１１と投光器１２が一体化している構造であると撮像部１１の回転に伴い、投光器１２も回転し、投光器１２が被写体２１に対して最適なパターンを投光する位置からずれる場合がある。このような場合には投光器１２の回転に応じて投光パターン２０を変化させることにより、被写体２１に照射するパターンを最適な撮影条件となるように変化させる（ステップＳ１３）。
【００５４】
続いて、解像度指示部１４により指定された画像解像度に対応してズーム倍率を変更し、被写体１２のテクスチャ画像の撮影を行なう（ステップＳ１４）。さらに、投光器１２より投光パターン２２を被写体２１に照射し、撮像部１１により撮影を行ない（ステップＳ１５）、撮影された画像から被写体２１の３次元形状を計測し（ステップＳ１６）、３次元形状の計測結果にしたがって被写体画像の歪みを補正する（ステップＳ１７）。
【００５５】
続いて、上述の撮影動作において、全体画像の撮影範囲まで撮影したか否かを判断し（ステップＳ１８）、全体画像の撮影が行なわれていないと判断した場合には、上記ステップＳ１２に戻り、以降の動作を全体画像の撮影終了まで繰り返し実行する。全体画像の撮影が行なわれると、補正された複数枚の画像を合成する（ステップＳ１９）。
【００５６】
つぎに、図４のステップＳ１６における撮像画像から被写体２１の３次元形状を計測する例として投光パターン２２が直線状である場合について説明する。投光器１２より投光パターン２２を被写体２１に照射し、撮像部１１で撮像することにより、被写体２１に照射されて歪んだパターンが撮影される。この歪みの程度より被写体表面上の点の３次元的な位置を検出することができる。この検出方法について図５を用いて説明する。
【００５７】
投光器１２から投光パターン２２が照射された部分は、撮像素子３上の点（ｕ，ｖ）で結像される。撮像部１１の光学中心を原点とする座標系を定義すると、投光パターン２２が照射された被写体２１上の奥行き距離ｚは次式（数１）で表される。
【００５８】
【数１】

Figure 0004133060
【００５９】
上記式において、θ1は投光パターン２２を照射した角度であり既知である。また、θ2は次式（数２）で与えられる。また、ｆは撮像部１１の焦点距離である。
【００６０】
【数２】
Figure 0004133060
【００６１】
上記式によりｚが求まると、次式（数３）によりｘ，ｙが求まる。
【００６２】
【数３】
Figure 0004133060
【００６３】
以上により、被写体２１上の点の３次元位置が求まる。これを様々な点で求めることにより、被写体２１の３次元形状が得られる。
【００６４】
つぎに、図４におけるステップＳ１２〜Ｓ１８の分割撮影の方法について図６を用いて説明する。ここで、解像度指示部１４により指示された解像度をｒとし、被写体２１までの距離をｈとすると、光学系に焦点距離（画素換算値）ｆは、
ｆ＝ｒ・ｈ
となる。図６（ａ）は、被写体２１の全体と、撮像部１１の焦点距離の画素換算値ｆ＝ｒ・ｈとしたときの撮影エリア２５の概略を示したものである。
【００６５】
まず、図６（ｂ）に示すように、その画角で原稿の左上を第１分割画像▲１▼として撮影する。続いて、図６（ｃ）に示すように、第１分割画像▲１▼に含まれていない領域の一部を撮影できるように、撮像部１１を移動させ、第２分割画像▲２▼として撮影する。このような動作を繰り返し実行し、図６（ｄ）に示すように、原稿全体（図中における▲１▼〜▲４▼）が撮影されれば終了する。
【００６６】
ところで、分割撮影では、撮像部１１を２軸回転機構によって図７に示すように回転移動させて撮影を行なうため、被写体２１を斜めから撮影することになり、被写体２１の撮影画像には図７に示すような画像のあおりが発生する。被写体２１の位置回転前に撮影される画像の位置を（ｕ1，ｖ1）、回転後の画像の位置を（ｕ2，ｖ2）とすると、両者の間には次式（数４）の関係が成立する。
【００６７】
【数４】
Figure 0004133060
【００６８】
上記式において、Ｒは２軸回転機構によって撮像部１１が移動した回転を表す回転行列である。また、ｆは焦点距離の画素換算値であり、ａは左辺の列ベクトルの第３成分をｆに保つための係数である。
【００６９】
回転前の画像範囲外の点（ｕ1，ｖ1）にある像は、回転後の画像の（ｕ2，ｖ2）の位置にある。したがって、（ｕ1，ｖ1）の画素値を（ｕ2，ｖ2）の画素値にすれば画像を修正することができる。また、（ｕ2，ｖ2）は整数値をとるとは限らないので、バイリニア法などで補間すると被写体画像の修正精度が向上する。
【００７０】
つぎに、被写体画像の歪み補正方法について説明する。図８は、３次元形状から被写体画像の歪みを補正するまでの動作を示すフローチャートである。図９は、図８の動作における画像撮影座標系を示す説明図である。図８において、まず、被写体表面上の複数点の３次元位置（ｕ，ｖ，ｚ）を入力し（ステップＳ２１）、曲率を持たない方向（ｕ方向）の高さの平均値ｚ（ｖ）を算出する（ステップＳ２２）。続いて、被写体画像をｕ方向に伸張し（ステップＳ２３）、さらに被写体画像をｖ方向に伸張する（ステップＳ２４）。
【００７１】
上記動作について図９を用いてさらに説明する。図９に示す画像撮影座標系ｕ，ｖが、被写体２１に対してｖ方向までの距離ｚは、ｕ方向には曲率を持たないようにとる。理想的には、撮像面（画像面２６）から被写体２１までの距離ｚは、ｕに依存せずｖのみの関数ｚ（ｖ）と表現できる。しかしながら、実際には３次元位置計測値は、ノイズや被写体２１の特性などに起因してばらつくことがある。したがって、ｚ（ｖ）は以下の式（数５）で算出する。
【００７２】
【数５】
Figure 0004133060
【００７３】
ここで、ｕがＵ１からＵ２の間に被写体２１が確実に存在するものとする。また、すべての画素に撮像面から被写体２１までの距離ｚの情報が割り当てられているわけではない。そこで、その範囲に撮像面（画像面２６）から被写体２１までの距離ｚの情報を有している画素の数をＮ（ｖ）とする。このＮ（ｖ）の数が多いほど歪み補正に使用される３次元形状の計測精度は向上する。
【００７４】
分割撮影時には被写体２１と投光パターン２２の位置関係が変化するが、撮像部１１の回転に対して投光パターン２２を変化させることにより、ｖ方向に伸びたマルチスリット光による３次元形状計測を行なうことができるので、被写体画像の歪み補正を行なうために必要な３次元形状データを多く計測することができる。理想的は、ｖ方向の全画素についての３次元位置を算出することができる。しかし、被写体２１に反射率が非常に小さい部分があるなどの場合、撮像面（画像面２６）から被写体２１までの距離ｚの情報を求めることはできない。あるｖについて撮像面（画像面２６）から被写体２１までの距離ｚの情報を有する画素がない場合、あるいは極少数である場合、その上下で撮像面（画像面２６）から被写体２１までの距離ｚの情報を有する画素から、スプライン補間によって、撮像面（画像面２６）から被写体２１までの距離ｚを算出する。
【００７５】
つぎに、撮像面（画像面２６）から被写体２１までの距離ｚを用いてｕ方向の歪みを補正する。被写体２１の撮影画像３０を図１０に示す。まず、各列は、撮像面（画像面２６）から被写体２１までの距離ｚが異なることにより、撮影画像３０上での、原稿領域の長さが変化するので、これを補正する。
【００７６】
基準となる列ｖ＝Ｖ０のときの撮像面（画像面２６）から被写体２１までの距離ｚの平均値ｚ（Ｖ０）を用い、以下の式（数６）にしたがって画素（ｕ，ｖ）を（ｕ'，ｖ）に再配置する。なお、この式におけるｃｕは画像のｕ方向の中心位置である。
【００７７】
【数６】
Figure 0004133060
【００７８】
上述した歪み補正処理により、ｕ方向の歪みを除去することができ、四角い被写体２１は四角形の画像になる。しかし、ｖ方向の歪みが残っており、縦に縮んだような画像になっている。そこで、図１１に示すように、ｖ方向に画像を伸張することにより、撮像画像３０の歪みを除去することができる。この歪み補正方法について図１２を用いて説明する。
【００７９】
図１２において符号３０は被写体２１の３次元位置である。図１２では、ある列内の画素Ｐｉ０〜Ｐｉ３に相当する３次元位置空間上での点の位置を白丸で示している。これらの点の隣接する点の間の距離Ｌ０１〜Ｌ２３を求める。さらに、長さを求めるために、各点の間をスプライン補間によって埋める。その後、再配置すべき画素の位置を、画像の基準線からの距離として、縮尺を合わせて順次足し合わせていくことにより決定する。
【００８０】
たとえば、Ｐｉ３は、（Ｌ０＋Ｌ１２＋Ｌ２３）・ｆ／Ｆの位置に再配置される。なお、ｆは焦点距離、Ｆは画像の中心点に相当する被写体２１までの奥行きの距離である。この再配置処理と、各画素間の補間処理により、ｖ方向の歪みが除去される。したがって、被写体２１の分割された画像の歪み補正を行なうことができる。
【００８１】
つぎに、分割撮影のために撮像部１１が回転した角度に対応して投光パターン２２を変化させる例について図１３を用いて説明する。分割撮影時に投光パターン２２が並ぶ方向に撮像部１１を回転させても、平面状の物体に投影される投光パターン２２の形状変化はないが、投光パターン２２が伸びている方向に撮像部１１を回転させたときには、投光器１２から被写体２１までの距離の変化により、図１３に示すように、投光パターン２２の並びは等ピッチの直線パターンではなく扇型に変化するために、被写体２１に投光パターン２２が照射される本数が減少して３次元形状を計測できる点数が少なくなる。そこで、撮像部１１から被写体２１までの距離の変化に応じて図１４に示すように変化させることにより、撮像部２１を回転させたときであっても、３次元形状を計測できる点数が減少しないようにすることができる。
【００８２】
（実施の形態２）
上述した実施の形態１では、使用者が指定した被写体２１の大きさの値に対応して撮像部１１の回転量を判定したが、この実施の形態２では、使用者が被写体２１の大きさを指定する作業をしなくても、撮像部１１の回転量を自動的に判定し、撮影を開始するものである。なお、この実施の形態２における装置構成は実施の形態１と同一とする。
【００８３】
図１５は、本発明の実施の形態２にかかる撮影動作を示すフローチャートである。まず、撮影開始前に解像度指示部１４から被写体２１の撮影する際の画像解像度を指定する（ステップＳ３１）。続いて、撮像部１１の倍率を最小にし、撮影領域全体の画像を撮影し（ステップＳ３２）、この撮影された全体画像から被写体２１の大きさを抽出する（ステップＳ３３）。なお、被写体２１の範囲を抽出するには、被写体２１の端部を示すエッジやコーナーなどの特徴を利用するとか、あるいは背景との輝度値の差異により抽出しても、あるいは３次元計測結果から被写体２１の高さの差異により抽出してもよい。
【００８４】
続いて、抽出された被写体２１の大きさと指示された画像解像度にしたがって分割撮影のために回転させる撮像部１１の回転角を算出する（ステップＳ３４）。さらに、算出した回転角に応じて撮像部１１を回転する（ステップＳ３５）。その後は、前述した図４のステップＳ１３〜Ｓ１９と同様の動作を実行する（ステップＳ３６〜Ｓ４２）。これにより、被写体画像の歪み補正の精度を向上させ、高解像度の撮影が実現する。
【００８５】
（実施の形態３）
実施の形態１で説明したように、投光器１２から照射された投光パターン２２の反射を撮像部１１で撮影することにより、３次元形状の計測を行なっている。図５に示すように、撮像素子３の左側部分と右側部分では、投光器１２から投光される投光パターン２２が被写体２に照射される角度θ1に差が生じるために、被写体２１の高さ方向の変化に対して投光パターン２２が移動する割合が変化する。
【００８６】
撮像素子３の場所に対する投光パターン２２の移動の割合を図１６を用いて説明する。投光パターン２２を照射する間隔を投光パターン２２の移動する割合に対応させて変化させることにより、撮影領域全体において所定の高さまで計測することができ、空間解像度を向上させ、３次元形状を計測することができる。
【００８７】
すなわち、投光器１２投光される投光パターン２２が被写体２に照射される角度θ1が大きくなるほど、高さの変化に対する投光パターン２２の移動量が小さくなり、反対に角度θ1が小さくなるにしたがって高さの変化に対する投光パターン２２の移動量を大きくすることにより、投光パターン２２の間隔を変化させる。
【００８８】
（実施の形態４）
これまでの実施の形態１〜３においては３次元形状の計測精度を向上させるために投光パターン２２を変化させる例について説明したが、この実施の形態４では、投光パターン２２を変化させたときの形状情報を被写体２１の画像情報に付随させて記憶させる例について説明する。
【００８９】
図１の構成において、Ｉ／Ｆ部１７にたとえばパーソナルコンピュータやサーバなどの外部計算装置を接続し、撮像部１１で撮影した画像を転送し、記憶装置に記憶させる。また、撮影した画像情報に投光パターン２２を変化させたときの形状情報を付随させてディスプレイに表示させることにより、撮影が終了した後であっても、被写体２１の３次元形状の計測条件を容易に確認することが可能となる。
【００９０】
（実施の形態５）
ところで、投光パターン２２の模様を変化させると、投光パターンフィルタ２０の場所によっては投光器１２からの光が通過する面積に変化が生じる場合がある。この状態を図１７に示す。図１７に示すように、投光器１２からの光量が強い部分と弱い部分では投光パターン２２の線幅が異なる。すなわち、投光器２２からの光量が強い部分では、投光パターン２２の光量が弱くなる部分４０ａが生じ、反対に、投光器２２からの光量が弱い部分では、投光パターン２２の光量が強くなる部分４０ｂが生じる。
【００９１】
そこで、投光器１２からの光が投光パターンフィルタ２０を通過する面積が小さい箇所（左部分）では投光器１２の光量を上昇させることによって、撮影領域全体に照射される投光パターン２２の光量を一定にして撮影する。光量の調整は、投光器１２と投光パターンフィルタ２０の間に鏡を入れて光量の少ない場所に投光器１２からの光を誘導してもよいし、投光パターンフィルタ２０の透過率を投光パターン２２の変化に応じて変化させるか、あるいは投光器１２に複数台の発光素子を入れて光量を調整してもよい。
【００９２】
（実施の形態６）
さて、書籍などの被写体２１の形状は、被写体全体の３次元形状を計測しなくても、被写体２１の一部分だけの３次元形状の情報より、被写体全体の３次元形状を推定することができる。図１８に示すように、画像領域Ａ，Ｂ，Ｃ内にある被写体２１の３次元形状を計測することにより、被写体全体（Ａ〜Ｉの画像領域）の形状を推定することができる。
【００９３】
つぎに、図１９に示すフローチャートを参照し、上述の一連の動作について説明する。まず、撮影領域全体を撮影し（ステップＳ５１）、撮影領域内にある被写体２１の位置と２次元平面状に投影されたときの形を検出し、撮影領域の全体画像から被写体２１のエッジを検出する（ステップＳ５２）。続いて、被写体２１を２次元平面状に投影されたときの形が、長方形に近い形状であれば書籍とみなし、被写体２１の３次元形状を計測する領域を判定する（ステップＳ５３）。
【００９４】
上記における計測する領域としては、たとえば図１８における撮影領域Ａ，Ｂ，Ｃだけでよい。続いて、撮影領域Ａ，Ｂ，Ｃの３次元形状の計測を行なうために撮像部２１を回転し（ステップＳ５４）、投光パターン２２を変化させ（ステップＳ５５）、そのパターン投光画像を撮影し（ステップＳ５６）、その撮影画像から３次元形状を計測する（ステップＳ５７）。続いて、判定した撮影範囲まで撮影したか否かを判断し（ステップＳ５８）、判定した撮影範囲まで撮影が行なわれた場合には、被写体全体の３次元形状を推定する（ステップＳ５９）。この際、図１８の撮影領域Ｄ，Ｇ内にある被写体２１の３次元形状は、撮影領域Ａ内にある被写体２１の３次元形状とほぼ同じ形状になる（撮影領域Ｂ，Ｅ，Ｈ，Ｃ，Ｆ，Ｉにおいても同様）ので、撮影領域Ａ，Ｂ，Ｃの３次元形状から被写体全体の３次元形状を推定することができる。
【００９５】
一方、ステップＳ５８において、判定した撮影範囲まで撮影していない場合にはステップＳ５４に戻り、以降の動作を、判定した撮影範囲まで撮影が行なわれるまで繰り返し実行する。ステップＳ５９の処理が終了すると、つぎに撮像部１１を回転し（ステップＳ６０）、テクスチャ画像を撮影し（ステップＳ６１）、さらに、３次元形状の計測結果にしたがって被写体画像の歪みを補正する（ステップＳ６２）。続いて、上述の撮影動作において、全体画像の撮影範囲まで撮影したか否かを判断し（ステップＳ６３）、全体画像の撮影が行なわれていないと判断した場合には、上記ステップＳ６０に戻り、以降の動作を全体画像の撮影終了まで繰り返し実行する。全体画像の撮影が行なわれると、補正された複数枚の画像を合成する（ステップＳ６４）。
【００９６】
また、上述した動作において、被写体２１の３次元形状を計測する領域を撮影前から指定しておくことにより、撮影領域の全体画像の撮影と、被写体２１のエッジを検出し３次元形状を計測する撮影領域を判定する作業が不要となる。さらに、ユーザが意図した３次元形状を計測する領域を切り換えるための計測位置設定方法切換スイッチ１８（図１参照）を設けることにより、被写体２１の３次元形状を計測する一部分を判定する方法を選択することができる。
【００９７】
（実施の形態７）
この実施の形態７以降においては、図１および図２に示す画像入力装置を用い、予備撮影を行ない被写体２１と投光パターン２２との配置関係を検出（図５参照）し、その検出結果に応じて、被写体画像の歪み補正を実行するのに必要な３次元データを多く計測する最適な撮影条件となるように、被写体２１と投光パターン２２との配置位置を変化させることにより、撮影前に被写体２１と投光パターン２２との位置関係を正確に調整しなくても、被写体画像の歪み補正を精度よく行なえる例について説明する。
【００９８】
図２０は、本発明の実施の形態７にかかる撮影動作を示すフローチャートである。まず、画像入力装置１の撮影位置へ被写体２１を適当に配置し、撮影スイッチ１６を押下して予備撮影を行なう（ステップＳ７１）。なお、予備撮影の詳細については後述する（実施の形態８、９参照）。続いて、この予備撮影で取得した画像情報から被写体２１と投光パターン２２との位置関係を検出し（ステップＳ７２）、その検出結果にしたがって被写体２１と投光パターン２２と位置関係を調整する（ステップＳ７３）。なお、この位置調整については後述する（実施の形態１０〜１２参照）。
【００９９】
続いて、投光器１２より投光パターン２２を被写体２１に対して投光し（ステップＳ７４）、撮像部１１により被写体２１の撮影を実行する（ステップＳ７５）。さらに、この撮影された画像から被写体２１の３次元形状を前述した手順（実施の形態１）を計測し（ステップＳ７６）、この計測した３次元形状にしたがって被写体画像の歪み補正を行なう(ステップＳ７７)。
【０１００】
なお、上記ステップＳ７６，Ｓ７７における３次元形状の計測処理および被写体画像の歪み補正処理は、画像入力装置１０の計算処理の負荷を軽減させるために、画像情報を画像入力装置１０からパーソナルコンピュータやサーバなどの外部計算機へ転送し、その計算機内で実行させるようにしてもよい。
【０１０１】
(実施の形態８)
この実施の形態８は、被写体２１と投光パターン２２との位置関係を検出するための予備撮影について記述するものである。図２１は、本発明の実施の形態８にかかる撮影動作を示すフローチャートである。まず、画像入力装置１０の撮影位置へ被写体２１を適当にに配置し、撮影スイッチ１６を押下することにより予備撮影が開始される（ステップＳ８１）。投光器１２より投光パターン２２を被写体２１に投光し（ステップＳ８２）、撮像部１１によって撮影を行なう（ステップＳ８３）。さらに、撮像部１１で取得した画像から３次元形状を計測し（ステップＳ８４）、予備撮影を終了する（ステップＳ８５）。
【０１０２】
続いて、上記ステップＳ８１〜ステップＳ８５の予備撮影処理にしたがって、前述の図２０と同様に、被写体２１と投光パターン２２との位置検出、位置合わせ、３次元形状の計測、被写体画像の歪み補正を実行する（ステップＳ８６〜ステップＳ９１）。
【０１０３】
なお、上述の予備撮影において被写体２１の３次元形状が計測されない場合には、投光器１２を移動させ、再度、予備撮影を行ない、大まかな３次元形状が計測されるまで予備撮影を繰り返し実行する。また、この予備撮影に制限時間を設定し、当該制限時間を過ぎた場合に、たとえば音や投光パターン２２などにより撮影不可能であることをユーザに知らせるようにしてもよい。
【０１０４】
（実施の形態９）
この実施の形態９は、被写体２１と投光パターン２２との位置関係を画像の特徴から検出する予備撮影について記述するものである。図２２は、本発明の実施の形態９にかかる撮影動作を示すフローチャートである。まず、画像入力装置１０の撮影位置へ被写体２１を適当に配置し、撮影スイッチ１６を押下することにより予備撮影が開始される（ステップＳ１０１）。続いて、撮像部１１により被写体２１のテクスチャ画像の撮影を行ない（ステップＳ１０２）、被写体２１のテクスチャ画像の輝度情報にしたがって被写体２１の特徴点の位置を抽出する（ステップＳ１０３）。これらの予備撮影を終了し（ステップＳ１０４）、予備撮影処理にしたがって、前述の図２０と同様に、被写体２１と投光パターン２２との位置検出、位置合わせ、３次元形状の計測、被写体画像の歪み補正を実行する（ステップＳ１０５〜ステップＳ１１０）。
【０１０５】
上述した撮影処理において、被写体２１が、たとえば製本された原稿など特徴点がほぼ決定しているものであれば、被写体２１の特徴点の位置を計測することにより、被写体２１と投光パターン２２との位置関係を検出することができる。製本された原稿などの特徴点の抽出には、本の継ぎ目の部分など外光が照射されず影になって被写体２１の輝度が低くなる部分や、被写体２１のエッジ情報、被写体２１に記載されている文字列などを利用することができる。
【０１０６】
このように、テクスチャ画像から被写体２１と投光パターン２２との位置関係を検出することにより、予備撮影時における３次元形状の計測処理が軽減されるので、撮影時間を短縮することができる。
【０１０７】
なお、上述の予備撮影において被写体２１の特徴点が抽出されない場合には、投光器１２を移動させ、再度、予備撮影を行ない、特徴点が抽出されるまで予備撮影を繰り返し実行する。また、この予備撮影に制限時間を設定し、当該制限時間を過ぎた場合に、たとえば音や投光パターン２２などにより撮影不可能であることをユーザに知らせるようにしてもよい。
【０１０８】
(実施の形態１０)
この実施の形態１０では、被写体２１と投光パターン２２との位置関係を予備撮影によって求めた後に、その位置調整を、投光器１１を支持部１３に対して移動させて行なう例について説明する。画像入力装置１０は、先に述べたように、投光器１２が、移動部１５を介して支持部１３によって支持され、支持部１３に対して投光器１２が上下、左右、斜めに投光軸や撮影光軸を移動する機構を有している。
【０１０９】
図２３は、本発明の実施の形態１０にかかる撮影動作を示すフローチャートである。まず、画像入力装置１０の撮影位置へ被写体２１を適当に配置し、撮影スイッチ１６を押下することにより予備撮影が開始される（ステップＳ１１１）。続いて、この予備撮影で取得した画像情報から被写体２１と投光パターン２２との位置関係を検出し（ステップＳ１１２）、その検出結果にしたがって被写体２１と投光パターン２２と位置関係の調整を開始し（ステップＳ１１３）、移動部１５の首振り機構を用いて投光器１２を支持部１３から移動させ（ステップＳ１１４）、被写体２１と投光パターン２２と位置合わせを行なう（ステップＳ１１５）。その後、前述と同様に、投光パターン２２の投光、被写体２１の撮影、３次元形状の計測、被写体画像の歪み補正を実行する（ステップＳ１１６〜ステップＳ１１９）。
【０１１０】
（実施の形態１１）
この実施の形態１１では、被写体２１と投光パターン２２との位置関係を予備撮影によって求めた後に、その位置調整を、投光パターン２２を変化させることにより行なう例について説明する。
【０１１１】
図２４は、本発明の実施の形態１１にかかる撮影動作を示すフローチャートである。まず、画像入力装置１０の撮影位置へ被写体２１を適当に配置し、撮影スイッチ１６を押下することにより予備撮影を行なう（ステップＳ１２１）。続いて、この予備撮影で取得した画像情報から被写体２１と投光パターン２２との位置関係を検出し（ステップＳ１２２）、その検出結果にしたがって投光パターンフィルタ２０を変化させて投光パターンを変化させ（ステップＳ１２４）、被写体２１と投光パターン２２と位置合わせを行なう（ステップＳ１２５）。
【０１１２】
なお、ステップＳ１２４では、投光器１２の投光口に設置されている投光パターンフィルタ２０の材料には液晶パネルなどを用い、たとえば図１４に示すように、投光パターン２２を可変させる。
【０１１３】
その後、前述と同様に、投光パターン２２の投光、被写体２１の撮影、３次元形状の計測、被写体画像の歪み補正を実行する（ステップＳ１２６〜ステップＳ１２９）。
【０１１４】
（実施の形態１２）
この実施の形態１２では、被写体２１と投光パターン２２との位置関係を予備撮影によって求めた後に、その位置調整を、被写体２１を回転させることにより行なう例について説明する。被写体２１を回転させる機構としては、たとえば図２６に示すターンテーブル５０を用いる。
【０１１５】
図２５は、本発明の実施の形態１２にかかる撮影動作を示すフローチャートである。まず、画像入力装置１０の撮影位置へ被写体２１を適当に配置し、撮影スイッチ１６を押下することにより予備撮影を行なう（ステップＳ１３１）。続いて、この予備撮影で取得した画像情報から被写体２１と投光パターン２２との位置関係を検出し（ステップＳ１３２）、その検出結果にしたがって被写体２１と投光パターン２２の位置合わせを開始し（ステップＳ１３３）、被写体２１をターンテーブル５０で移動し（ステップＳ１３４）、被写体２１と投光パターン２２と位置合わせを行なう（ステップＳ１３５）。その後、前述と同様に、投光パターン２２の投光、被写体２１の撮影、３次元形状の計測、被写体画像の歪み補正を実行する（ステップＳ１３６〜ステップＳ１３９）。
【０１１６】
すなわち、撮影前に被写体２１をターンテーブル５０に載せ、被写体２１と投光パターン２２の位置関係の検出結果にしたがってターンテール５０を回転させることにより、被写体２１に照射される投光パターン２２を変化させる。なお、ターンテーブル５０の制御をパーソナルコンピュータ６０やサーバなどを介して行なうことにより、画像入力装置１０の処理負担が軽減する。
【０１１７】
【発明の効果】
以上説明したように、本発明にかかる画像入力装置（請求項１）によれば、撮影対象の被写体（たとえば書籍など）を撮影可能な適当な位置に配置し、その被写体に投光パターンを照射して予備撮影を行ない、そこで取得した被写体と投光パターンとの配置位置を検出し、当該検出結果にしたがって被写体と投光パターンとの配置位置を調整し、その調整された最適位置での撮影を行ない、その画像から被写体の３次元形状を計測し、さらにこの３次元形状の計測結果にしたがって被写体画像の歪み補正を実行することにより、被写体と投光パターンが正確に配置されない場合にも被写体画像の歪み補正が可能になるため、撮影前に被写体と投光パターンとの位置関係を正確に調整して合わすという煩わしい作業をしなくても、被写体画像の歪み補正を精度よく実行することができる。
【０１１８】
また、本発明にかかる画像入力装置（請求項２）によれば、請求項１において、位置調整手段により位置調整が行なわれた後に、前記投光手段により前記パターンが照射された被写体を被写体画像として前記撮影手段で撮影し、当該被写体画像から被写体と投光パターンとの位置関係を検出することにより、予備撮影時における３次元形状の計測処理が軽減されるので、撮影時間を短縮することができる。
【０１１９】
また、本発明にかかる画像入力方法（請求項３）によれば、撮影対象の被写体（たとえば書籍など）を撮影可能な適当な位置に配置し、その被写体に投光パターンを照射して予備撮影を行ない、そこで取得した被写体と投光パターンとの配置位置を検出し、当該検出結果にしたがって被写体と投光パターンとの配置位置を調整し、その調整された最適位置での撮影を行ない、その画像から被写体の３次元形状を計測し、さらにこの３次元形状の計測結果にしたがって被写体画像の歪み補正を実行することにより、被写体と投光パターンが正確に配置されない場合にも被写体画像の歪み補正が可能になるため、撮影前に被写体と投光パターンとの位置関係を正確に調整して合わすという煩わしい作業をしなくても、被写体画像の歪み補正を精度よく実行することができる。
【０１２０】
また、本発明にかかる画像入力方法（請求項４）によれば、請求項３において、位置調整手段により位置調整が行なわれた後に、前記投光手段により前記パターンが照射された被写体を被写体画像として前記撮影手段で撮影し、当該被写体画像から被写体と投光パターンとの位置関係を検出することにより、予備撮影時における３次元形状の計測処理が軽減されるので、撮影時間を短縮することができる。
【０１２１】
また、本発明にかかるコンピュータ読み取り可能な記録媒体（請求項５）によれば、請求項３または４に記載の画像入力方法をプログラムした記録媒体をコンピュータで読み取ることにより、請求項３または４に記載の画像入力方法をコンピュータ上で実行することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる画像入力装置の概略構成を示す説明図である。
【図２】図１における撮像部の構成を示すブロック図である。
【図３】投光器による直線状のパターン投光例を示す説明図である。
【図４】本発明の実施の形態１にかかる被写体の撮影動作を示すフローチャートである。
【図５】被写体表面上の点の３次元位置を検出する方法を示す説明図である。
【図６】分割撮影の方法を示す説明図である。
【図７】撮像部の回転による画像のあおり現象を示す説明図である。
【図８】３次元形状から被写体画像の歪み補正を行なう動作を示すフローチャートである。
【図９】図８における画像撮影座標系を示す説明図である。
【図１０】歪み補正前の撮影画像およびｕ方向の歪み補正の状態を示す説明図である。
【図１１】図１０の撮影画像に対するｖ方向への伸張処理を示す説明図である。
【図１２】図１１におけるｖ方向の歪み補正方法を示す説明図である。
【図１３】分割撮影時における撮像部回転に被写体までの距離の変化による投光パターンの状態および被写体画像の状態を示す説明図である。
【図１４】撮像部の回転角度に対応して投光パターンを変化させる例を示す説明図である。
【図１５】本発明の実施の形態２にかかる撮影動作を示すフローチャートである。
【図１６】本発明の実施の形態３にかかる投光パターンの調整例を示す説明図である。
【図１７】投光パターンフィルタの場所の違いによるパターンの変化状態およびその調整例を示す説明図である。
【図１８】本発明の実施の形態６にかかる３次元形状の推定例を示す説明図である。
【図１９】被写体の一部分の３次元形状から被写体全体の３次元形状を推定する動作などを示すフローチャートである。
【図２０】本発明の実施の形態７にかかる撮影動作を示すフローチャートである。
【図２１】本発明の実施の形態８にかかる撮影動作を示すフローチャートである。
【図２２】本発明の実施の形態９にかかる撮影動作を示すフローチャートである。
【図２３】本発明の実施の形態１０にかかる撮影動作を示すフローチャートである。
【図２４】本発明の実施の形態１１にかかる撮影動作を示すフローチャートである。
【図２５】本発明の実施の形態１２にかかる撮影動作を示すフローチャートである。
【図２６】本発明の実施の形態１２にかかるシステム構成を示す説明図である。
【図２７】被写体と投光パターンとの位置関係がずれた状態を示す説明図である。
【図２８】図３の正常な投光時における撮影状態を示す説明図である。
【図２９】図２７の不正確な投光時における撮影状態を示す説明図である。
【符号の説明】
３ 撮像素子
７ ＩＰＰ
８ メモリ
９ ＭＰＵ
１０ 画像入力装置
１１ 撮像部
１２ 投光器
１３ 支持部
１４ 解像度指示部
１５ 移動部
１６ 撮影スイッチ
１７ Ｉ／Ｆ部
１８ 計測位置設定方法切換スイッチ
２０ 投光パターンフィルタ
２１ 被写体
２２ 投光パターン
５０ ターンテーブル[0001]
BACKGROUND OF THE INVENTION
The present invention irradiates a subject such as a book with a predetermined projection pattern, measures the three-dimensional shape of an image obtained from the reflected light, corrects the subject image for distortion, and inputs an image to obtain a high-resolution image. apparatus , Image input method, and computer-readable recording medium About.
[0002]
[Prior art]
In a conventional image input device (imaging device), a pattern such as parallel lines is projected onto a subject, and the reflected light is input to measure a three-dimensional image of the subject image. Such technology for measuring the three-dimensional shape of a subject has been studied in the field of machine vision and computer vision. In addition, 3D shape measurement methods are disclosed in machine vision (Masashi Ejiri, Yuichi Ota, Katsushi Ikeuchi) and 3D image measurement (Oshii Iguchi, Kosuke Sato, Shosodo Publishing).
[0003]
By the way, when the subject is a bound document, when the bound book is opened and taken from above, the image is compressed and distorted at the seam portion of the book. In order to solve this problem, for example, a line sensor that scans and reads a document and a distance sensor that detects the distance between the document surface are used. A device for changing the reading pitch is disclosed in Japanese Patent Laid-Open No. 62-143557. Japanese Patent Application Laid-Open No. 3-117965 discloses a document reading apparatus that reads a document with a reading surface facing upward, and irradiation means for irradiating linear light at a predetermined angle on the document surface, and bending of the imaging surface. Disclosed is a correction means for detecting a condition, and a document reading means arranged at a predetermined interval above a document with respect to a document with a reading surface facing upward. ing.
[0004]
Japanese Patent Application Laid-Open No. 4-199478 discloses a technique for measuring a three-dimensional position on the surface of a document and correcting the distortion of the document using the three-dimensional position information. Further, Japanese Patent Laid-Open No. 10-65877 discloses an edge detection unit that detects document skew from edge information obtained by photographing a document, a skew detection unit that detects document skew, and document edge information. It is disclosed that a document distortion is corrected by an imaging apparatus having correction means for correcting book distortion from skew information.
[0005]
Japanese Patent Application Laid-Open No. 5-113320 discloses a method for improving the measurement system for a three-dimensional shape of a subject by using liquid crystal as a projector pattern and changing the projector pattern according to the size of the subject to be photographed. Yes. Further, Japanese Patent Publication No. 8-13088 discloses a technique for improving the resolution of a photographed image by dividing and synthesizing a document image. Here, the entire document image is shot, the size of the document image is calculated from the entire image, the divided image area for divided shooting is obtained from the size and resolution of the entire image, and the divided images are shot and synthesized. A document image with an arbitrary resolution is obtained.
[0006]
In addition, at the image symposium 2001, a digital camera and Cubsscope (commercial pattern projector unit) were used in the lecture of “Prototype of next-generation document photographing device eye scanner” (lecture number: G-22, speaker: Fuji Xerox). By doing so, an imaging apparatus that enables high-resolution imaging by division imaging and distortion correction of a subject image has been announced.
[0007]
[Problems to be solved by the invention]
However, in the conventional apparatus in which the light projecting means used in the three-dimensional measurement is often integrated with the imaging unit, the imaging unit and the support base are joined in order to capture the subject image with high resolution. When the document image is divided and photographed using the biaxial rotation mechanism in the unit, the imaging unit moves, so that the positional relationship between the light projecting unit and the subject changes.
[0008]
This will be further described with reference to FIGS. 3 and 27 to 29. As shown in FIG. 3, if the positional relationship between the subject 21 and the light projection pattern 22 is in an optimum state, the stripes as shown in FIG. Since the pattern 21 is irradiated onto the subject 21 (bound book), the direction in which the distortion of the subject image is large, that is, the direction in which the three-dimensional shape data necessary for correcting the distortion of the subject image is included and the high-resolution three-dimensional shape. Therefore, it is possible to obtain many three-dimensional shapes necessary for correcting distortion of the subject image. However, since the positional relationship between the projector 12 and the subject 21 changes when the document image is divided and photographed, there is no means for moving the pattern corresponding to the positional relationship between the subject 21 and the projection pattern 22. 27, the subject 21 and the projection pattern 22 are not accurately arranged, and the projection pattern 22 is irradiated to the subject 21 as shown in FIG. The direction in which a high three-dimensional shape can be measured does not match. Therefore, a large amount of three-dimensional shape data necessary for correcting the distortion of the subject image cannot be obtained, and the distortion correction of the subject image using the three-dimensional shape data cannot be performed with high accuracy. There was a problem that it was not realized.
[0009]
In the methods disclosed in Japanese Patent Application Laid-Open Nos. Sho 62-143557 and Hei 3-117965, high-definition image shooting is performed by division shooting only for image distortion correction. I could not. Further, in the method disclosed in Japanese Patent Laid-Open No. 5-113320, the function of changing the projection pattern corresponding to the arrangement relationship between the subject and the projection pattern is not provided. If the positional relationship between the subject and the projection pattern changes due to the above, the measurement accuracy of the three-dimensional shape cannot be improved. Furthermore, in the method disclosed in Japanese Patent Publication No. 8-13088, only high-resolution imaging by division imaging is performed, so that image distortion correction cannot be performed.
[0010]
In the future, communication using images is expected to become particularly important. For example, in a place of communication surrounding a large screen for displaying electronic data such as a meeting, the subject at hand is often captured using an image input device (see FIG. 1) and displayed on the large screen. Assuming that the subject is photographed during the communication in this way and that the distortion of the subject image is corrected, there is a task of accurately arranging the subject and the pattern in the conventional technology. May be interrupted.
[0011]
However, in the method disclosed in Japanese Patent Laid-Open No. 10-65877, the skew of the subject image is corrected even when the subject and the pattern are not accurately arranged by using the skew detection means. However, since the edge information of the subject image is used for correcting the distortion of the subject image, the distortion of the subject image cannot be corrected for a subject whose edge portion has abrupt distortion or damage. Note that the method disclosed in Japanese Patent Laid-Open No. 4-199478 does not consider the case where the subject is photographed from above.
[0013]
The present invention has been made in view of the above, Enable accurate distortion correction of subject images even if the subject and pattern are not accurately placed and the subject has a sharp distortion or damage at the edges. Eyes Target.
[0014]
[Means for Solving the Problems]
In order to achieve the above object, the claims 1 In the image input device according to A photographing unit for photographing a subject, a light projecting unit that irradiates a predetermined pattern on the subject, a support unit that supports the photographing unit and the light projecting unit, and a preliminary photographing of the subject by the photographing unit. Do, Position detecting means for detecting the positional relationship between the subject and the pattern, and the positional relationship between the subject and the pattern according to the detection result of the position detecting means. , Moving the light projecting means relative to the support means A position adjusting means for adjusting, and a subject irradiated with the pattern by the light projecting means after the position adjustment is performed by the position adjusting means. As subject image Photographed by the photographing means, subject Measuring means for measuring the three-dimensional shape of the subject from an image; Correction means for correcting distortion of the subject image based on the three-dimensional shape measured by the measurement means; It is equipped with.
[0016]
In the image input device according to claim 2, The position detecting means detects a positional relationship between the subject and the pattern of the light projecting means from image characteristics during preliminary shooting. Is.
[0018]
An image input according to claim 3 Method In that, A supporting unit that supports the photographing unit and the light projecting unit, a photographing step of photographing a subject by the photographing unit, a light projecting step of irradiating a predetermined pattern on the subject by the light projecting unit, and a position detecting unit; The photographing means performs preliminary photographing of the subject, detects a positional relationship between the subject and the pattern, and a position adjusting means detects the subject and the subject according to the detection result of the position detecting step. The position adjustment step of adjusting the positional relationship with the pattern by moving the light projecting means relative to the support means, and after the position adjustment by the position adjusting means is performed by the measuring means, the light projecting means A measuring step of photographing the subject irradiated with the pattern as a subject image by the photographing means and measuring the three-dimensional shape of the subject from the subject image; By means, based on the three-dimensional shape measured by said measuring step includes a correction step of correcting the distortion of the subject image Is.
[0020]
An image input according to claim 4 Method In that, In the position detection step, a positional relationship between the subject and the pattern of the light projecting unit is detected from image characteristics during preliminary shooting. To do.
[0044]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an image input apparatus according to the present invention. , Image input method, and computer-readable recording medium A preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings. The present invention is not limited to this embodiment.
[0045]
In the present invention, in order to realize high-resolution imaging of a subject, the imaging unit is moved to perform segmented imaging of the subject image. That is, at the time of divided shooting, the moving distance that the projector associated with the moving shooting unit moves is detected, and the irradiation pattern is changed according to the detection result. Furthermore, by photographing the direction in which the distortion of the subject image is large, that is, the direction in which the three-dimensional shape data necessary for correcting the distortion of the subject image is included and the direction in which the high-resolution three-dimensional shape can be measured, A lot of three-dimensional shape data necessary for correcting distortion of the subject image is acquired. Further, distortion correction of a divided image of a subject taken at the time of divided shooting is performed from the acquired three-dimensional shape data. Furthermore, by synthesizing a plurality of subject images after distortion correction, the accuracy of distortion correction of curved subject images such as books is improved, high-resolution shooting, and an inexpensive and versatile image input device. It is realized. Hereinafter, specific configurations and operations in the first to sixth embodiments will be described.
[0046]
(Embodiment 1)
FIG. 1 is an explanatory diagram showing a schematic configuration of an image input apparatus according to an embodiment of the present invention. The image input apparatus 10 includes an imaging unit 11, a projector 12, a support unit 13, a resolution instruction unit 14, a moving unit 15, a photographing switch 16, an I / F unit 17, and a measurement position setting method described later. And a changeover switch 18. Reference numeral 21 denotes a subject such as a book, and reference numeral 22 denotes a light projection pattern.
[0047]
The imaging unit 11 and the projector 12 are supported by the support unit 13 via the moving unit 15, and the projector 12 and the imaging unit 11 have their projection axes and imaging optical axes in the vertical, horizontal, and diagonal directions with respect to the support unit 13. The swing mechanism is movable. The resolution required by the subject image is designated by the resolution instruction unit 14. The resolution instruction unit 14 includes a touch panel with a display and the like, and functions so that a desired resolution can be selected. When the photographing switch 16 is pressed, the subject 21 arranged on a desk or the like where the support unit 13 is installed is imaged. The I / F unit 17 is used to transfer a captured image in accordance with a predetermined interface specification such as RS232C or USB in order to connect to an external device such as a personal computer.
[0048]
FIG. 2 is a block diagram illustrating a configuration of the imaging unit 11 in FIG. In FIG. 2, reference numeral 1 denotes a lens, reference numeral 2 denotes an aperture, reference numeral 3 denotes an image sensor, reference numeral 4 denotes a correlated double sampling circuit (hereinafter referred to as CDS), reference numeral 5 denotes an A / D converter, and reference numeral 6 denotes a timing generator. (Hereinafter referred to as TG), reference numeral 7 denotes an image preprocessing circuit (hereinafter referred to as IPP), reference numeral 8 denotes a memory, and reference numeral 9 denotes an MPU that comprehensively controls a series of operations such as photographing. Reference numeral 20 denotes a light projection pattern filter that is formed of a liquid crystal panel or the like and forms a light projection pattern 22.
[0049]
In the image input apparatus 10 configured as described above, the subject 21 is irradiated by the projector 12, and the reflected image is formed on the image sensor 3 by the lens 1 and the diaphragm unit 2. The image signal from the image sensor 3 is sampled by the CDS 4 and then converted into a digital signal by the A / D converter 5. The timing signal at this time is generated by TG6. The image signal is subjected to image processing such as aperture correction and compression in the IPP 7 and stored in the memory 8. This series of operations is controlled by the MPU 9.
[0050]
In addition, the timing of light projection of the projector 12 is controlled by the MPU 9 of the imaging unit 11. The light projector 12 is provided with a light projection pattern filter 20, and the light emitted from the light projector 12 passes through the light projection pattern filter 20 so that a specific pattern is projected onto the subject 21.
[0051]
The projection pattern 22 generally takes into account the shortening of calculation processing when measuring a three-dimensional shape, and when the pattern is irradiated onto a subject on a plane, the pattern shape becomes linear as shown in FIG. Often, other patterns may be used.
[0052]
Next, the subject photographing operation will be described with reference to the flowchart shown in FIG. First, before the start of shooting, the resolution instruction unit 14 designates the image resolution related to the image shooting of the subject 21 or the size of the subject (step S11). Further, the imaging unit 11 is rotated by the moving unit 15 according to the image resolution or the size of the subject designated by the resolution instruction unit 14 (step S12).
[0053]
When the imaging unit 11 and the projector 12 are integrated, the projector 12 also rotates with the rotation of the imaging unit 11, and the projector 12 deviates from the position where the optimal pattern is projected onto the subject 21. There is. In such a case, by changing the projection pattern 20 according to the rotation of the projector 12, the pattern irradiated to the subject 21 is changed so as to satisfy the optimum photographing condition (step S13).
[0054]
Subsequently, the zoom magnification is changed in accordance with the image resolution designated by the resolution instruction unit 14, and the texture image of the subject 12 is photographed (step S14). Furthermore, the light projection pattern 22 is irradiated to the subject 21 from the projector 12, and the imaging unit 11 performs imaging (step S15), and the three-dimensional shape of the subject 21 is measured from the captured image (step S16). The distortion of the subject image is corrected according to the measurement result (step S17).
[0055]
Subsequently, in the above-described photographing operation, it is determined whether or not the entire image has been captured (step S18). If it is determined that the entire image has not been captured, the process returns to step S12. The subsequent operations are repeated until the entire image is captured. When the entire image is shot, a plurality of corrected images are combined (step S19).
[0056]
Next, a case where the light projection pattern 22 is linear will be described as an example of measuring the three-dimensional shape of the subject 21 from the captured image in step S16 of FIG. By projecting the projection pattern 22 onto the subject 21 from the projector 12 and capturing the image with the imaging unit 11, a pattern irradiating the subject 21 and distorted is photographed. The three-dimensional position of a point on the subject surface can be detected from the degree of distortion. This detection method will be described with reference to FIG.
[0057]
A portion irradiated with the projection pattern 22 from the projector 12 is imaged at a point (u, v) on the image sensor 3. When a coordinate system with the optical center of the imaging unit 11 as the origin is defined, the depth distance z on the subject 21 irradiated with the projection pattern 22 is expressed by the following equation (Equation 1).
[0058]
[Expression 1]
Figure 0004133060
[0059]
In the above formula, θ 1 Is an angle at which the projection pattern 22 is irradiated and is known. And θ 2 Is given by the following equation (Equation 2). Further, f is the focal length of the imaging unit 11.
[0060]
[Expression 2]
Figure 0004133060
[0061]
When z is obtained by the above equation, x and y are obtained by the following equation (Equation 3).
[0062]
[Equation 3]
Figure 0004133060
[0063]
As described above, the three-dimensional position of the point on the subject 21 is obtained. By obtaining this from various points, the three-dimensional shape of the subject 21 can be obtained.
[0064]
Next, the method of divided photographing in steps S12 to S18 in FIG. 4 will be described with reference to FIG. Here, assuming that the resolution instructed by the resolution instruction unit 14 is r and the distance to the subject 21 is h, the focal length (pixel conversion value) f in the optical system is
f = r · h
It becomes. FIG. 6A shows the outline of the photographing area 25 when the entire subject 21 and the pixel conversion value f = r · h of the focal length of the imaging unit 11 are used.
[0065]
First, as shown in FIG. 6B, the upper left corner of the document is taken as the first divided image {circle around (1)} at that angle of view. Subsequently, as shown in FIG. 6C, the imaging unit 11 is moved so that a part of the region not included in the first divided image {circle around (1)} can be photographed to obtain a second divided image {circle around (2)}. Take a picture. This operation is repeatedly executed, and the process is completed when the entire original ((1) to (4) in the figure) is photographed as shown in FIG. 6 (d).
[0066]
By the way, in the divided shooting, since the imaging unit 11 is rotated and moved as shown in FIG. 7 by the biaxial rotation mechanism, the subject 21 is shot obliquely, and the shot image of the subject 21 is shown in FIG. As shown in FIG. The position of the image taken before the position of the subject 21 is rotated (u 1 , V 1 ), The position of the rotated image (u 2 , V 2 ), The relationship of the following equation (Equation 4) is established between the two.
[0067]
[Expression 4]
Figure 0004133060
[0068]
In the above equation, R is a rotation matrix that represents the rotation that the imaging unit 11 has moved by the biaxial rotation mechanism. Further, f is a pixel conversion value of the focal length, and a is a coefficient for keeping the third component of the column vector on the left side at f.
[0069]
Points outside the image range before rotation (u 1 , V 1 ) Is the (u) of the rotated image 2 , V 2 ) Position. Therefore, (u 1 , V 1 ) Pixel value of (u 2 , V 2 ), The image can be corrected. Also, (u 2 , V 2 ) Does not always take an integer value, so that the correction accuracy of the subject image is improved by interpolation using the bilinear method or the like.
[0070]
Next, a method for correcting distortion of the subject image will be described. FIG. 8 is a flowchart showing an operation from correcting the distortion of the subject image to the three-dimensional shape. FIG. 9 is an explanatory diagram showing an image capturing coordinate system in the operation of FIG. In FIG. 8, first, the three-dimensional positions (u, v, z) of a plurality of points on the surface of the subject are input (step S21), and the average value z (v) of the height in the direction (u direction) having no curvature. Is calculated (step S22). Subsequently, the subject image is expanded in the u direction (step S23), and the subject image is further expanded in the v direction (step S24).
[0071]
The above operation will be further described with reference to FIG. The distance z between the image capturing coordinate system u and v shown in FIG. 9 in the v direction with respect to the subject 21 is set so as not to have a curvature in the u direction. Ideally, the distance z from the imaging surface (image surface 26) to the subject 21 can be expressed as a function z (v) of only v without depending on u. However, actually, the three-dimensional position measurement value may vary due to noise, the characteristics of the subject 21, and the like. Therefore, z (v) is calculated by the following equation (Formula 5).
[0072]
[Equation 5]
Figure 0004133060
[0073]
Here, it is assumed that the subject 21 exists reliably between u1 and U2. Further, not all the pixels are assigned information on the distance z from the imaging surface to the subject 21. Therefore, the number of pixels having information on the distance z from the imaging surface (image surface 26) to the subject 21 in the range is N (v). As the number of N (v) increases, the measurement accuracy of the three-dimensional shape used for distortion correction improves.
[0074]
Although the positional relationship between the subject 21 and the light projection pattern 22 changes during the divided shooting, the three-dimensional shape measurement using the multi-slit light extending in the v direction is performed by changing the light projection pattern 22 with respect to the rotation of the imaging unit 11. Therefore, it is possible to measure a large amount of three-dimensional shape data necessary for correcting the distortion of the subject image. Ideally, a three-dimensional position for all pixels in the v direction can be calculated. However, when the subject 21 has a portion with a very low reflectance, information on the distance z from the imaging surface (image surface 26) to the subject 21 cannot be obtained. If there is no pixel having information on the distance z from the imaging surface (image surface 26) to the subject 21 for a certain v, or if there are very few pixels, the distance z from the imaging surface (image surface 26) to the subject 21 above and below it. The distance z from the imaging surface (image surface 26) to the subject 21 is calculated from the pixel having the above information by spline interpolation.
[0075]
Next, distortion in the u direction is corrected using the distance z from the imaging surface (image surface 26) to the subject 21. A captured image 30 of the subject 21 is shown in FIG. First, in each column, the length of the document area on the captured image 30 changes due to the difference in the distance z from the imaging surface (image surface 26) to the subject 21, and this is corrected.
[0076]
The average value z (V0) of the distance z from the imaging surface (image surface 26) to the subject 21 when the reference column v = V0 is used, and the pixel (u, v) is expressed according to the following equation (Equation 6). Rearrange to (u ′, v). Note that cu in this equation is the center position in the u direction of the image.
[0077]
[Formula 6]
Figure 0004133060
[0078]
The distortion correction process described above can remove the distortion in the u direction, and the square subject 21 becomes a square image. However, the distortion in the v direction remains and the image is shrunk vertically. Therefore, as shown in FIG. 11, the distortion of the captured image 30 can be removed by expanding the image in the v direction. This distortion correction method will be described with reference to FIG.
[0079]
In FIG. 12, reference numeral 30 denotes a three-dimensional position of the subject 21. In FIG. 12, the positions of points on the three-dimensional position space corresponding to the pixels Pi0 to Pi3 in a certain column are indicated by white circles. The distances L01 to L23 between adjacent points of these points are obtained. Furthermore, in order to obtain the length, the space between the points is filled by spline interpolation. Thereafter, the position of the pixel to be rearranged is determined by sequentially adding together the scales as the distance from the reference line of the image.
[0080]
For example, Pi3 is rearranged at a position of (L0 + L12 + L23) · f / F. Note that f is a focal length, and F is a depth distance to the subject 21 corresponding to the center point of the image. The distortion in the v direction is removed by the rearrangement process and the interpolation process between the pixels. Therefore, distortion correction of the divided image of the subject 21 can be performed.
[0081]
Next, an example in which the light projection pattern 22 is changed corresponding to the angle at which the imaging unit 11 is rotated for divided shooting will be described with reference to FIG. Even if the imaging unit 11 is rotated in the direction in which the light projection patterns 22 are arranged at the time of divided photographing, there is no change in the shape of the light projection pattern 22 projected onto the planar object, but the image is taken in the direction in which the light projection pattern 22 extends. When the section 11 is rotated, the arrangement of the light projection patterns 22 changes not to a straight line pattern at an equal pitch but to a fan shape as shown in FIG. 13 due to a change in the distance from the projector 12 to the subject 21. The number of projection patterns 22 irradiated to 21 is reduced, and the number of points at which a three-dimensional shape can be measured is reduced. Therefore, by changing the distance from the imaging unit 11 to the subject 21 as shown in FIG. 14, the number of points at which the three-dimensional shape can be measured does not decrease even when the imaging unit 21 is rotated. Can be.
[0082]
(Embodiment 2)
In the first embodiment described above, the rotation amount of the imaging unit 11 is determined in accordance with the size value of the subject 21 specified by the user. However, in this second embodiment, the user determines the size of the subject 21. Even if the work of designating is not performed, the amount of rotation of the imaging unit 11 is automatically determined, and shooting is started. The apparatus configuration in the second embodiment is the same as that in the first embodiment.
[0083]
FIG. 15 is a flowchart showing a photographing operation according to the second embodiment of the present invention. First, the image resolution at the time of shooting the subject 21 is designated from the resolution instruction unit 14 before the start of shooting (step S31). Subsequently, the magnification of the imaging unit 11 is minimized, an image of the entire imaging region is captured (step S32), and the size of the subject 21 is extracted from the captured entire image (step S33). Note that the range of the subject 21 can be extracted by using features such as edges and corners that indicate the end of the subject 21, or by extracting from the difference in luminance value from the background, or from the three-dimensional measurement result. You may extract by the difference in the height of the to-be-photographed object 21. FIG.
[0084]
Subsequently, the rotation angle of the imaging unit 11 to be rotated for divided shooting is calculated according to the size of the extracted subject 21 and the instructed image resolution (step S34). Further, the imaging unit 11 is rotated according to the calculated rotation angle (step S35). Thereafter, the same operations as in steps S13 to S19 of FIG. 4 described above are performed (steps S36 to S42). Thereby, the accuracy of distortion correction of the subject image is improved, and high-resolution imaging is realized.
[0085]
(Embodiment 3)
As described in the first embodiment, the three-dimensional shape is measured by photographing the reflection of the projection pattern 22 irradiated from the projector 12 with the imaging unit 11. As shown in FIG. 5, in the left side portion and the right side portion of the image sensor 3, the angle θ at which the light projection pattern 22 projected from the light projector 12 is irradiated to the subject 2. 1 Therefore, the rate at which the light projection pattern 22 moves with respect to the change in the height direction of the subject 21 changes.
[0086]
The rate of movement of the light projection pattern 22 relative to the location of the image sensor 3 will be described with reference to FIG. By changing the interval of irradiating the projection pattern 22 in accordance with the moving ratio of the projection pattern 22, it is possible to measure up to a predetermined height in the entire imaging region, improving the spatial resolution, and improving the three-dimensional shape. It can be measured.
[0087]
That is, the angle θ at which the projection pattern 22 projected by the projector 12 is irradiated to the subject 2 1 The larger the is, the smaller the amount of movement of the light projection pattern 22 with respect to the change in height becomes. On the contrary, the angle θ 1 As the distance becomes smaller, the distance of the light projection pattern 22 is changed by increasing the amount of movement of the light projection pattern 22 with respect to the change in height.
[0088]
(Embodiment 4)
In the first to third embodiments, the example in which the light projection pattern 22 is changed in order to improve the measurement accuracy of the three-dimensional shape has been described. However, in the fourth embodiment, the light projection pattern 22 is changed. An example in which the shape information at the time is stored in association with the image information of the subject 21 will be described.
[0089]
In the configuration of FIG. 1, an external computer such as a personal computer or a server is connected to the I / F unit 17, and an image captured by the imaging unit 11 is transferred and stored in a storage device. Further, the shape information obtained when the projection pattern 22 is changed is added to the photographed image information and displayed on the display so that the measurement conditions for the three-dimensional shape of the subject 21 can be set even after the photographing is finished. It can be easily confirmed.
[0090]
(Embodiment 5)
By the way, when the pattern of the light projection pattern 22 is changed, the area through which the light from the light projector 12 passes may change depending on the location of the light projection pattern filter 20. This state is shown in FIG. As shown in FIG. 17, the line width of the light projection pattern 22 is different between a portion where the light quantity from the projector 12 is strong and a weak portion. That is, in the portion where the light amount from the projector 22 is strong, a portion 40a where the light amount of the light projection pattern 22 is weak is generated. On the contrary, in the portion where the light amount from the projector 22 is weak, the portion 40b where the light amount of the light projection pattern 22 is strong. Occurs.
[0091]
Therefore, by increasing the light amount of the light projector 12 at a portion (left part) where the light from the light projector 12 passes through the light projection pattern filter 20 is small, the light amount of the light projection pattern 22 irradiated to the entire imaging region is constant. To shoot. The light amount may be adjusted by inserting a mirror between the light projector 12 and the light projection pattern filter 20 to guide the light from the light projector 12 to a place where the light amount is small, or by changing the transmittance of the light projection pattern filter 20 to the light projection pattern. The light quantity may be adjusted according to the change of 22 or a plurality of light emitting elements may be inserted into the projector 12 to adjust the light quantity.
[0092]
(Embodiment 6)
As for the shape of the subject 21 such as a book, the three-dimensional shape of the entire subject can be estimated from the information of the three-dimensional shape of only a part of the subject 21 without measuring the three-dimensional shape of the entire subject. As shown in FIG. 18, by measuring the three-dimensional shape of the subject 21 in the image regions A, B, and C, the shape of the entire subject (image regions A to I) can be estimated.
[0093]
Next, the above-described series of operations will be described with reference to the flowchart shown in FIG. First, the entire photographing area is photographed (step S51), the position of the subject 21 in the photographing area and the shape when projected onto the two-dimensional plane are detected, and the edge of the subject 21 is detected from the whole image of the photographing area. (Step S52). Subsequently, if the shape when the subject 21 is projected onto the two-dimensional plane is a shape close to a rectangle, it is regarded as a book, and an area for measuring the three-dimensional shape of the subject 21 is determined (step S53).
[0094]
For example, the imaging areas A, B, and C in FIG. Subsequently, the imaging unit 21 is rotated to measure the three-dimensional shape of the imaging areas A, B, and C (step S54), the projection pattern 22 is changed (step S55), and the pattern projection image is captured. Then, a three-dimensional shape is measured from the captured image (step S57). Subsequently, it is determined whether or not shooting has been performed up to the determined shooting range (step S58). If shooting has been performed up to the determined shooting range, the three-dimensional shape of the entire subject is estimated (step S59). At this time, the three-dimensional shape of the subject 21 in the shooting regions D and G in FIG. 18 is substantially the same as the three-dimensional shape of the subject 21 in the shooting region A (shooting regions B, E, H, and C). , F, and I)), the three-dimensional shape of the entire subject can be estimated from the three-dimensional shapes of the imaging regions A, B, and C.
[0095]
On the other hand, if it is determined in step S58 that shooting has not been performed up to the determined shooting range, the process returns to step S54, and the subsequent operations are repeatedly executed until shooting is performed up to the determined shooting range. When the process of step S59 is completed, the imaging unit 11 is then rotated (step S60), a texture image is captured (step S61), and the distortion of the subject image is corrected according to the measurement result of the three-dimensional shape (step S61). S62). Subsequently, in the above-described photographing operation, it is determined whether or not the entire image has been captured (step S63). If it is determined that the entire image has not been captured, the process returns to step S60. The subsequent operations are repeated until the entire image is captured. When the entire image is shot, a plurality of corrected images are combined (step S64).
[0096]
Further, in the above-described operation, by specifying a region for measuring the three-dimensional shape of the subject 21 before photographing, photographing of the entire image of the photographing region, detecting the edge of the subject 21, and measuring the three-dimensional shape. The operation of determining the shooting area is not necessary. Further, a method for determining a part of the subject 21 to measure the three-dimensional shape is selected by providing a measurement position setting method changeover switch 18 (see FIG. 1) for switching a region where the user intends to measure the three-dimensional shape. can do.
[0097]
(Embodiment 7)
In the seventh and subsequent embodiments, the image input device shown in FIGS. 1 and 2 is used to perform preliminary photographing to detect the positional relationship between the subject 21 and the light projection pattern 22 (see FIG. 5), and the detection result Accordingly, by changing the arrangement position of the subject 21 and the light projection pattern 22 so as to obtain an optimum photographing condition for measuring a large amount of three-dimensional data necessary for executing the distortion correction of the subject image, before photographing. Next, an example will be described in which distortion correction of a subject image can be performed accurately without accurately adjusting the positional relationship between the subject 21 and the projection pattern 22.
[0098]
FIG. 20 is a flowchart showing a photographing operation according to the seventh embodiment of the present invention. First, the subject 21 is appropriately arranged at the shooting position of the image input apparatus 1, and the shooting switch 16 is pressed to perform preliminary shooting (step S71). Details of the preliminary shooting will be described later (see Embodiments 8 and 9). Subsequently, the positional relationship between the subject 21 and the light projection pattern 22 is detected from the image information acquired by the preliminary photographing (step S72), and the positional relationship between the subject 21 and the light projection pattern 22 is adjusted according to the detection result (step S72). Step S73). This position adjustment will be described later (see Embodiments 10 to 12).
[0099]
Subsequently, the light projection pattern 22 is projected onto the subject 21 from the projector 12 (step S74), and the imaging of the subject 21 is executed by the imaging unit 11 (step S75). Further, the above-described procedure (Embodiment 1) is measured for the three-dimensional shape of the subject 21 from the captured image (step S76), and the distortion of the subject image is corrected according to the measured three-dimensional shape (step S77). ).
[0100]
Note that the three-dimensional shape measurement process and the subject image distortion correction process in steps S76 and S77 are performed by transferring image information from the image input apparatus 10 to a personal computer or server in order to reduce the load of calculation processing of the image input apparatus 10. It may be transferred to an external computer or the like and executed within the computer.
[0101]
(Embodiment 8)
In this eighth embodiment, preliminary photographing for detecting the positional relationship between the subject 21 and the light projection pattern 22 will be described. FIG. 21 is a flowchart showing a photographing operation according to the eighth embodiment of the present invention. First, the subject 21 is appropriately arranged at the photographing position of the image input device 10 and the photographing switch 16 is pressed to start preliminary photographing (step S81). The light projecting pattern 22 is projected onto the subject 21 from the light projector 12 (step S82), and the imaging unit 11 performs photographing (step S83). Further, the three-dimensional shape is measured from the image acquired by the imaging unit 11 (step S84), and the preliminary shooting is ended (step S85).
[0102]
Subsequently, according to the preliminary photographing process in steps S81 to S85, as in FIG. 20, the position detection between the subject 21 and the projection pattern 22, the alignment, the measurement of the three-dimensional shape, and the distortion correction of the subject image are performed. Are executed (step S86 to step S91).
[0103]
When the three-dimensional shape of the subject 21 is not measured in the above-described preliminary photographing, the projector 12 is moved, the preliminary photographing is performed again, and the preliminary photographing is repeatedly executed until a rough three-dimensional shape is measured. In addition, a time limit may be set for this preliminary shooting, and when the time limit has passed, the user may be notified that shooting is not possible, for example, by sound or the light projection pattern 22.
[0104]
(Embodiment 9)
The ninth embodiment describes pre-shooting in which the positional relationship between the subject 21 and the projection pattern 22 is detected from image features. FIG. 22 is a flowchart showing a photographing operation according to the ninth embodiment of the present invention. First, the subject 21 is appropriately arranged at the shooting position of the image input device 10 and the shooting switch 16 is pressed to start preliminary shooting (step S101). Subsequently, the imaging unit 11 captures a texture image of the subject 21 (step S102), and extracts the position of the feature point of the subject 21 according to the luminance information of the texture image of the subject 21 (step S103). These preliminary shootings are finished (step S104), and according to the preliminary shooting process, as in FIG. 20 described above, the positions of the subject 21 and the projection pattern 22 are detected, aligned, three-dimensional shapes are measured, and the subject image is scanned. Distortion correction is executed (steps S105 to S110).
[0105]
In the above-described photographing process, if the subject 21 has almost determined feature points such as a bound document, the subject 21 and the light projection pattern 22 are measured by measuring the position of the feature point of the subject 21. Can be detected. For extraction of feature points of a bound original, etc., it is described in a portion where the brightness of the subject 21 is lowered due to a shadow without being irradiated with outside light, such as a book joint, edge information of the subject 21, and the subject 21. You can use the character string etc.
[0106]
Thus, by detecting the positional relationship between the subject 21 and the light projection pattern 22 from the texture image, the measurement process of the three-dimensional shape at the time of preliminary photographing is reduced, so that the photographing time can be shortened.
[0107]
If the feature point of the subject 21 is not extracted in the preliminary shooting described above, the projector 12 is moved, the preliminary shooting is performed again, and the preliminary shooting is repeatedly executed until the feature point is extracted. In addition, a time limit may be set for this preliminary shooting, and when the time limit has passed, the user may be notified that shooting is not possible, for example, by sound or the light projection pattern 22.
[0108]
(Embodiment 10)
In the tenth embodiment, an example will be described in which after the positional relationship between the subject 21 and the light projection pattern 22 is obtained by preliminary photographing, the position adjustment is performed by moving the light projector 11 relative to the support unit 13. As described above, in the image input apparatus 10, the projector 12 is supported by the support unit 13 via the moving unit 15, and the projector 12 is vertically, horizontally, and obliquely projected with respect to the support unit 13. It has a mechanism for moving the optical axis.
[0109]
FIG. 23 is a flowchart showing a photographing operation according to the tenth embodiment of the present invention. First, the subject 21 is appropriately arranged at the photographing position of the image input device 10 and the photographing switch 16 is pressed to start preliminary photographing (step S111). Subsequently, the positional relationship between the subject 21 and the light projection pattern 22 is detected from the image information acquired by the preliminary shooting (step S112), and adjustment of the positional relationship between the subject 21 and the light projection pattern 22 is started according to the detection result. Then, the projector 12 is moved from the support unit 13 using the swing mechanism of the moving unit 15 (step S114), and the subject 21 and the projection pattern 22 are aligned (step S115). Thereafter, in the same manner as described above, the projection pattern 22 is projected, the subject 21 is photographed, the three-dimensional shape is measured, and the subject image distortion is corrected (steps S116 to S119).
[0110]
(Embodiment 11)
In the eleventh embodiment, an example will be described in which after the positional relationship between the subject 21 and the light projection pattern 22 is obtained by preliminary photographing, the position adjustment is performed by changing the light projection pattern 22.
[0111]
FIG. 24 is a flowchart showing a photographing operation according to the eleventh embodiment of the present invention. First, the subject 21 is appropriately arranged at the shooting position of the image input device 10, and the shooting switch 16 is pressed to perform preliminary shooting (step S121). Subsequently, the positional relationship between the subject 21 and the projection pattern 22 is detected from the image information acquired by the preliminary shooting (step S122), and the projection pattern is changed by changing the projection pattern filter 20 according to the detection result. (Step S124), the subject 21 and the light projection pattern 22 are aligned (Step S125).
[0112]
In step S124, a liquid crystal panel or the like is used as the material of the light projecting pattern filter 20 installed at the light projecting port of the light projector 12, and the light projecting pattern 22 is varied, for example, as shown in FIG.
[0113]
Thereafter, in the same manner as described above, the projection pattern 22 is projected, the subject 21 is photographed, the three-dimensional shape is measured, and the subject image distortion is corrected (steps S126 to S129).
[0114]
(Embodiment 12)
In the twelfth embodiment, an example will be described in which the positional relationship between the subject 21 and the projection pattern 22 is obtained by preliminary photographing and then the position adjustment is performed by rotating the subject 21. As a mechanism for rotating the subject 21, for example, a turntable 50 shown in FIG. 26 is used.
[0115]
FIG. 25 is a flowchart showing a photographing operation according to the twelfth embodiment of the present invention. First, the subject 21 is appropriately arranged at the photographing position of the image input device 10 and preliminary photographing is performed by pressing the photographing switch 16 (step S131). Subsequently, the positional relationship between the subject 21 and the light projection pattern 22 is detected from the image information acquired by the preliminary photographing (step S132), and the alignment of the subject 21 and the light projection pattern 22 is started according to the detection result ( In step S133), the subject 21 is moved on the turntable 50 (step S134), and the subject 21 and the light projection pattern 22 are aligned (step S135). Thereafter, in the same manner as described above, the projection pattern 22 is projected, the subject 21 is photographed, the three-dimensional shape is measured, and the subject image distortion is corrected (steps S136 to S139).
[0116]
In other words, the subject 21 is placed on the turntable 50 before shooting, and the turn tail 50 is rotated according to the detection result of the positional relationship between the subject 21 and the projection pattern 22, thereby changing the projection pattern 22 irradiated to the subject 21. Let Note that the processing load on the image input apparatus 10 is reduced by controlling the turntable 50 via the personal computer 60 or the server.
[0117]
【The invention's effect】
As described above, according to the image input device (claim 1) of the present invention, Place the subject to be photographed (for example, a book) at an appropriate position where it can be photographed, irradiate the subject with a light projection pattern, perform preliminary photography, and detect the placement position of the acquired subject and the light projection pattern. Then, the arrangement position of the subject and the light projection pattern is adjusted according to the detection result, shooting is performed at the adjusted optimum position, the three-dimensional shape of the subject is measured from the image, and the measurement of the three-dimensional shape is further performed. By performing distortion correction of the subject image according to the result, it is possible to correct distortion of the subject image even when the subject and the projection pattern are not accurately arranged, so the positional relationship between the subject and the projection pattern before shooting Execute distortion correction of subject images accurately without the troublesome task of accurately adjusting be able to.
[0118]
Moreover, according to the image input device (claim 2) of the present invention, 2. The object according to claim 1, wherein after the position adjustment is performed by the position adjustment unit, the subject irradiated with the pattern by the light projecting unit is photographed by the photographing unit as a subject image, and the subject and the light projection pattern are obtained from the subject image. By detecting the positional relationship, the measurement process of the three-dimensional shape at the time of preliminary shooting is reduced, so that the shooting time can be shortened. .
[0119]
Also, image input according to the present invention Method According to (Claim 3), Place the subject to be photographed (for example, a book) at an appropriate position where it can be photographed, irradiate the subject with a light projection pattern, perform preliminary photography, and detect the placement position of the acquired subject and the light projection pattern. Then, the arrangement position of the subject and the light projection pattern is adjusted according to the detection result, shooting is performed at the adjusted optimum position, the three-dimensional shape of the subject is measured from the image, and the measurement of the three-dimensional shape is further performed. By performing distortion correction of the subject image according to the result, it is possible to correct distortion of the subject image even when the subject and the projection pattern are not accurately arranged, so the positional relationship between the subject and the projection pattern before shooting Execute distortion correction of subject images accurately without the troublesome task of accurately adjusting be able to.
[0120]
Also, image input according to the present invention Method According to (Claim 4), 4. The method according to claim 3, wherein after the position adjustment is performed by the position adjustment unit, the subject irradiated with the pattern by the light projecting unit is photographed by the photographing unit as a subject image, and the subject and the light projection pattern are obtained from the subject image. By detecting the positional relationship, the measurement process of the three-dimensional shape at the time of preliminary shooting is reduced, so that the shooting time can be shortened. .
[0121]
Also according to the present invention Computer-readable recording medium (Claims 5 ) The image input method according to claim 3 or 4 can be executed on the computer by reading the recording medium programmed with the image input method according to claim 3 or 4 with a computer. .
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing a schematic configuration of an image input apparatus according to an embodiment of the present invention.
2 is a block diagram illustrating a configuration of an imaging unit in FIG. 1. FIG.
FIG. 3 is an explanatory diagram showing an example of linear pattern projection by a projector.
FIG. 4 is a flowchart showing a photographing operation of a subject according to the first embodiment of the present invention.
FIG. 5 is an explanatory diagram illustrating a method for detecting a three-dimensional position of a point on the surface of an object.
FIG. 6 is an explanatory diagram showing a method of divided shooting.
FIG. 7 is an explanatory diagram illustrating an image tilting phenomenon caused by rotation of an imaging unit.
FIG. 8 is a flowchart showing an operation of correcting distortion of a subject image from a three-dimensional shape.
FIG. 9 is an explanatory diagram showing an image photographing coordinate system in FIG.
FIG. 10 is an explanatory diagram showing a captured image before distortion correction and a state of distortion correction in the u direction.
FIG. 11 is an explanatory diagram illustrating extension processing in the v direction for the captured image of FIG. 10;
12 is an explanatory diagram showing a distortion correction method in the v direction in FIG. 11; FIG.
FIG. 13 is an explanatory diagram illustrating a state of a light projection pattern and a state of a subject image according to a change in a distance to a subject during rotation of an imaging unit during divided shooting.
FIG. 14 is an explanatory diagram illustrating an example in which a light projection pattern is changed according to a rotation angle of an imaging unit.
FIG. 15 is a flowchart showing a photographing operation according to the second embodiment of the present invention.
FIG. 16 is an explanatory diagram illustrating an adjustment example of a light projection pattern according to the third embodiment of the present invention.
FIG. 17 is an explanatory diagram illustrating a pattern change state and an example of adjustment thereof depending on the location of a light projection pattern filter.
FIG. 18 is an explanatory diagram showing an example of estimating a three-dimensional shape according to the sixth embodiment of the present invention.
FIG. 19 is a flowchart showing an operation of estimating the three-dimensional shape of the entire subject from the three-dimensional shape of a part of the subject.
FIG. 20 is a flowchart showing a photographing operation according to the seventh embodiment of the present invention.
FIG. 21 is a flowchart showing a photographing operation according to the eighth embodiment of the present invention.
FIG. 22 is a flowchart showing a photographing operation according to the ninth embodiment of the present invention.
FIG. 23 is a flowchart showing a photographing operation according to the tenth embodiment of the present invention.
FIG. 24 is a flowchart showing a photographing operation according to the eleventh embodiment of the present invention.
FIG. 25 is a flowchart showing a photographing operation according to the twelfth embodiment of the present invention.
FIG. 26 is an explanatory diagram showing a system configuration according to the twelfth embodiment of the present invention;
FIG. 27 is an explanatory diagram showing a state in which the positional relationship between the subject and the light projection pattern is deviated.
FIG. 28 is an explanatory diagram showing a shooting state at the time of normal light projection in FIG. 3;
29 is an explanatory diagram showing a shooting state at the time of inaccurate light projection of FIG. 27. FIG.
[Explanation of symbols]
3 Image sensor
7 IPP
8 memory
9 MPU
10 Image input device
11 Imaging unit
12 Floodlight
13 Support part
14 Resolution indicator
15 Moving part
16 Shooting switch
17 I / F section
18 Measurement position setting method switch
20 Light emission pattern filter
21 Subject
22 Flood pattern
50 turntable

Claims (5)

被写体を撮影する撮影手段と、
前記被写体上に所定のパターンを照射する投光手段と、
前記撮影手段と前記投光手段とを支持する支持手段と、
前記撮影手段にて前記被写体の予備撮影を行ない、前記被写体と前記パターンとの位置関係を検出する位置検出手段と、
前記位置検出手段の検出結果にしたがって前記被写体と前記パターンとの位置関係を、前記投光手段を前記支持手段に対して移動させて調整する位置調整手段と、
前記位置調整手段により位置調整が行なわれた後に、前記投光手段により前記パターンが照射された被写体を被写体画像として前記撮影手段で撮影し、当該被写体画像から前記被写体の３次元形状を計測する計測手段と、
前記計測手段により計測された３次元形状に基づいて、前記被写体画像の歪みを補正する補正手段と、
を備えたことを特徴とする画像入力装置。 Photographing means for photographing the subject;
A light projecting means for irradiating the subject with a predetermined pattern;
Support means for supporting the photographing means and the light projecting means;
Position detecting means for performing preliminary photographing of the subject by the photographing means and detecting a positional relationship between the subject and the pattern;
Position adjusting means for adjusting the positional relationship between the subject and the pattern according to the detection result of the position detecting means by moving the light projecting means with respect to the support means ;
After the position adjustment was performed by the position adjusting means, the object on which the pattern is illuminated by said light projecting means and photographed by said photographing means as a subject image, measuring a three-dimensional shape of the object from the subject image measurement Means,
Correction means for correcting distortion of the subject image based on the three-dimensional shape measured by the measurement means;
An image input device comprising: 前記位置検出手段は、予備撮影時に前記被写体と前記投光手段のパターンとの位置関係を画像の特徴から検出することを特徴とする請求項１に記載の画像入力装置。The image input apparatus according to claim 1, wherein the position detection unit detects a positional relationship between the subject and the pattern of the light projecting unit from a feature of the image during preliminary shooting . 撮影手段と投光手段とを支持する支持手段を有し、
前記撮影手段により被写体を撮影する撮影工程と、
投光手段により前記被写体上に所定のパターンを照射する投光工程と、
位置検出手段により、前記撮影手段にて前記被写体の予備撮影を行ない、前記被写体と前記パターンとの位置関係を検出する位置検出工程と、
位置調整手段により、前記位置検出工程の検出結果にしたがって前記被写体と前記パターンとの位置関係を、前記投光手段を前記支持手段に対して移動させて調整する位置調整工程と、
計測手段により、前記位置調整手段により位置調整が行なわれた後に、前記投光手段により前記パターンが照射された被写体を被写体画像として前記撮影手段で撮影し、当該被写体画像から前記被写体の３次元形状を計測する計測工程と、
補正手段により、前記計測工程で計測された３次元形状に基づいて、前記被写体画像の歪みを補正する補正工程と、
を含むことを特徴とする画像入力方法。 Having a supporting means for supporting the photographing means and the light projecting means,
A photographing step of photographing a subject by the photographing means;
A light projecting step of irradiating the subject with a predetermined pattern by a light projecting unit;
A position detecting step of performing a preliminary shooting of the subject by the shooting means and detecting a positional relationship between the subject and the pattern by a position detecting means;
A position adjusting step of adjusting the positional relationship between the subject and the pattern by moving the light projecting unit with respect to the support unit according to the detection result of the position detecting step;
After the position adjustment is performed by the measurement unit by the measurement unit, the subject irradiated with the pattern by the light projecting unit is photographed by the photographing unit as a subject image, and the three-dimensional shape of the subject is obtained from the subject image. Measuring process to measure,
A correction step of correcting distortion of the subject image based on the three-dimensional shape measured in the measurement step by a correction unit;
An image input method which comprises a. 前記位置検出工程は、予備撮影時に前記被写体と前記投光手段のパターンとの位置関係を画像の特徴から検出することを特徴とする請求項３に記載の画像入力方法。The image input method according to claim 3 , wherein the position detecting step detects a positional relationship between the subject and the pattern of the light projecting unit from a feature of the image during preliminary photographing . 請求項３または４に記載の画像入力方法をプログラムし、これをコンピュータ上で実行可能とすることを特徴とするコンピュータ読み取り可能な記録媒体。A computer-readable recording medium, wherein the image input method according to claim 3 or 4 is programmed and can be executed on a computer.
JP2002209947A 2002-03-14 2002-07-18 Image input apparatus, image input method, and computer-readable recording medium Expired - Fee Related JP4133060B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002209947A JP4133060B2 (en) 2002-03-14 2002-07-18 Image input apparatus, image input method, and computer-readable recording medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002070920 2002-03-14
JP2002-70920 2002-03-14
JP2002209947A JP4133060B2 (en) 2002-03-14 2002-07-18 Image input apparatus, image input method, and computer-readable recording medium

Publications (2)

Publication Number Publication Date
JP2003338907A JP2003338907A (en) 2003-11-28
JP4133060B2 true JP4133060B2 (en) 2008-08-13

Family

ID=29714164

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002209947A Expired - Fee Related JP4133060B2 (en) 2002-03-14 2002-07-18 Image input apparatus, image input method, and computer-readable recording medium

Country Status (1)

Country Link
JP (1) JP4133060B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017099510A1 (en) * 2015-12-09 2017-06-15 경북대학교산학협력단 Method for segmenting static scene on basis of image statistical information and method therefor

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2426071B (en) * 2005-05-11 2009-02-11 Haroon Ahmed Document imaging
JP5633719B2 (en) * 2009-09-18 2014-12-03 学校法人福岡工業大学 3D information measuring apparatus and 3D information measuring method
JP2012195875A (en) * 2011-03-17 2012-10-11 Seiko Epson Corp Image output device
KR20140015077A (en) * 2012-07-27 2014-02-06 삼성테크윈 주식회사 Visual presenter
CN106029585B (en) * 2013-12-19 2019-04-09 康宁股份有限公司 Method for determining the shape of substantially cylindrical specular reflection surface
JP6422362B2 (en) * 2014-05-22 2018-11-14 キヤノン株式会社 Image reading apparatus, image reading method, and program
CN116141845B (en) * 2023-02-03 2023-10-13 广州一龙印刷有限公司 Auxiliary verification device and method for bookbinding

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017099510A1 (en) * 2015-12-09 2017-06-15 경북대학교산학협력단 Method for segmenting static scene on basis of image statistical information and method therefor
US10593050B2 (en) 2015-12-09 2020-03-17 Kyungpook National University Industry-Academic Cooperation Foundation Apparatus and method for dividing of static scene based on statistics of images

Also Published As

Publication number Publication date
JP2003338907A (en) 2003-11-28

Similar Documents

Publication Publication Date Title
JP4012710B2 (en) Image input device
US7139424B2 (en) Stereoscopic image characteristics examination system
JP4297630B2 (en) Electronic imaging device
US6720997B1 (en) Image generating apparatus
JP5596972B2 (en) Control device and control method of imaging apparatus
EP3468163B1 (en) Intelligent internet high-definition scanner with laser correction
JP2005020314A (en) Calculating method, calculating program and calculating apparatus for display characteristic correction data
JPWO2006064751A1 (en) Compound eye imaging device
JPH05316302A (en) Picture input device
JP3907008B2 (en) Method and means for increasing the depth of field for a photograph
JP2006338584A (en) Image processing apparatus, image processing method, image processing program, image processing system and imaging apparatus
JPH08181828A (en) Picture input device
JP4133060B2 (en) Image input apparatus, image input method, and computer-readable recording medium
JP2003015218A (en) Projection display device
JP2007082005A (en) Image reading apparatus and image reading method
JP2899553B2 (en) Position adjustment method for solid-state imaging device
JP4390779B2 (en) Image input device
JP2001250114A (en) Method and device for image processing and computer- readable recording medium
JP4833304B2 (en) Imaging device
KR101816781B1 (en) 3D scanner using photogrammetry and photogrammetry photographing for high-quality input data of 3D modeling
CN109565544B (en) Position designating device and position designating method
RU2368091C2 (en) System and method for scanning and copying
JP2020067511A (en) Camera system, control method and program of the same
JP7463133B2 (en) Area measuring device, area measuring method, and program
JP3963219B2 (en) Non-contact type shape measuring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080513

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080602

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130606

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees