JP3684479B2 - デジタルカメラ - Google Patents
デジタルカメラ Download PDFInfo
- Publication number
- JP3684479B2 JP3684479B2 JP24714799A JP24714799A JP3684479B2 JP 3684479 B2 JP3684479 B2 JP 3684479B2 JP 24714799 A JP24714799 A JP 24714799A JP 24714799 A JP24714799 A JP 24714799A JP 3684479 B2 JP3684479 B2 JP 3684479B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- reading
- digital camera
- distance
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003702 image correction Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 description 45
- 238000010586 diagram Methods 0.000 description 33
- 238000012545 processing Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 238000013507 mapping Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 239000006185 dispersion Substances 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001290864 Schoenoplectus Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は、紙などの媒体に書かれたり、印字された文字や図形、画像、または押印された印影などの情報を読み取り認識したり、照合したり、画像データとして入力する非接触文書画像の入力として利用するためのデジタルカメラに関するものである。
【0002】
【従来の技術】
現在製品化されているデジタルカメラは、画像入力したい被写体に向かってカメラを向け、シャッタを押すという簡単な操作により、立体物など形状を簡単な操作により撮影することができる特徴を持っている。
【0003】
一方、文書などを画像入力するための製品として、フラットベッドスキャナやシートスキャナなどがある。どちらも文書画像を入力するという点ではデジタルカメラより優れた性能を持っている反面、フラットベッドスキャナは設置面積が大きく、読み取り速度が遅い、シートスキャナは設置面積が小さいがシート形状のものしか読めないというように一長一短があり、手軽に画像を入力するという点ではデジタルカメラが優れている。
【0004】
デジタルカメラを文書などの画像入力装置として利用する際の問題点として、紙などの平面上に印字された文字や図形、画像などの情報が重要であり、必要な情報をより正確に読み取るためには、読み取る対象をできるだけ理想的な平面の状態にし、さらにカメラを被写体に向けて正確に正面を向けて撮影する必要がある。
【0005】
カメラを対象物に対して正面以外から読み込んだ画像を正面から見た画像に補正する発明は種々提案されている。例えば、特開平9−289611号公報には被写体の斜め画像を擬似的な正面画像に補正して撮影するデジタルカメラが示されている。
【0006】
ところが紙などの媒体は、常にフラットな状態にたもつことは難しく、実際には凹凸が発生していることが多い。こうした紙面の入力に対して、従来フラットベッドスキャナなどは読み取り紙面をガラスなどの読み取り面に押さえつけることで、変形による画像の変形を防止し、凸凹のない状態での画像を入力することを行っている。
【0007】
【発明が解決しようとする課題】
ところで、従来のフラットベッドスキャナでは、読み取りヘッドの走査に時間がかかり、読み取り対象が多い場合には、読み取りに非常に多くの時間が必要であった。また、読み取り環境にも制限があって、読み取り位置とサイズに制約があった。さらに、フラットベッドスキャナは横方向に大きいため、装置の設置にも大きな面積を必要としていた。
【0008】
本発明の目的は、フラットベッドスキャナの代わりにデジタルカメラを用い、この場合、折れ曲がった文書や画像でも平面画像データとして取り込むことのできるデジタルカメラを提供することである。
【0009】
【課題を解決するための手段】
上記目的を達成するために、本発明は、画像をデジタル化して読み取る読取手段と、前記読取手段で読み取った画像を記憶する記憶手段とを備えたデジタルカメラにおいて、前記読取手段が焦点位置を変更して被写体を複数枚読み取った各画像間の偏差を求め、該偏差が大きい画像部位を特徴点として抽出し、前記特徴点の周囲の明度変化に基づいて該特徴点と前記読取手段との距離を求めた上で複数の前記特徴点の三次元位置を求め、読み取った前記画像を複数の前記特徴点を結んで形成される平面に基づき複数のポリゴン画像に分割し、前記各特徴点の三次元位置に基づいて前記各ポリゴン画像の各辺の道程距離を求め、求めた道程距離に従って前記各ポリゴン画像を二次元の原稿台平面に展開する画像補正手段を設けたことを特徴としている。この場合、補正した画像データを前記記憶手段に対して出力するよう構成することもできる。
【0010】
上記構成によれば、読取部は、例えば焦点位置、あおり角などの読み取り条件を変更して読み取ることが可能となる。画像補正手段は、変更した複数の条件で読み取った複数の画像から画像間の特徴点を検出し、そのときの画像のボケ量から、文書の各点と読取手段との距離を測定することができる。そして、測定した距離を用いると、凸凹のある画像を平面画像に展開することができる。また、凸凹画像の平面画像への展開に必要なテクスチャーマッピングをハードウエア化することで、高速化が可能になる。斜め読みにより歪んだ画像は、上記テクスチャーマッピングの過程で統合処理することで変換回数を減らすことが可能となり、画質の向上と処理速度の向上を図ることができる。また距離に応じてフィルタの係数を変化させボケを修復した画像を距離に応じて加算合成することで光電変換にともなうホワイトノイズを減少できる。
【0013】
上記デジタルカメラを構成するに際しては、以下の要素を付加することができる。
【0016】
(1)前記読取手段で読み取った読取画像をそのまま前記記憶手段に入力するモードと、前記読取画像を前記画像補正手段で補正してから前記記憶手段に入力するモードとを備え、前記両モードは切換自在であるように構成されている。
【0018】
(2)外部との画像データ転送を行う無線データ通信手段が設けられている。
【0019】
【発明の実施の形態】
以下、本発明の実施の形態を図面に従って説明する。
図1は、本発明に係るデジタルカメラと、その周辺のシステム構成を示した図である。本発明に係るデジタルカメラ1は、読取部11、モード切換スイッチ12、3次元補正部2、画像補正部13、画像メモリ14および補助ディスプレイ15を備えている。3次元補正部2には、焦点位置制御部22と次元画像補正部21が設けられている。また、画像メモリ14には、ディスプレイ4やプリンタ5を備えたパーソナルコンピュータ(PC)3が接続されている。
【0020】
上記構成のデジタルカメラ1は、机上などに置かれた文書(図形なども含む)を読取部11で読み取り、読み取り画像のデジタル化を行うとともに、画像の補正を行った後に、画像メモリ14にデータを転送し保存する。この場合、モード切換スイッチ12がどの状態に操作されているかに応じて、画像データに対し3次元補正部2による補正を行うかどうか選択が可能となっている。
【0021】
3次元補正部2による補正を行う場合には、読取部11は、撮影の際に焦点位置制御部22の信号に基づき焦点を変更させながら、複数回読取処理を実行する。ここで、焦点位置制御部22には光学系から求まる適正な複数の焦点位置が予め設定されており、ユーザの読取指示に基づき読取部11はレンズを移動させて撮影を行う。例えば読取部11は、ユーザが撮影指示をすると、原稿台に焦点が合った状態で一度目の読取を行い、次に原稿台から上方3センチメートルの位置に焦点が合った状態で二度目の読取を行うといった読取処理を実施する。そして3次元補正部21は、一度目の読取と二度目の読取に基づいて補正処理を行い、その補正処理後の画像データを画像補正部13に出力する。
【0022】
3次元補正部2による補正を行わない場合には、読取部11で読み取った画像データは画像補正部13に直接出力される。
【0023】
画像補正部13では、3次元補正部2または読取部11からの画像データを取り込んで輝度補正などの画質補正を行うとともに、その画像データを画像メモリ14に保存する。保存した画像データは、カメラに付属のディスプレイ15に表示可能である。
【0024】
また、画像メモリ14に保存された画像データはパーソナルコンピュータ3に転送され、パーソナルコンピュータ3では文字や図形の認識、画像の処理などを実行して、認識結果や対象画像をディスプレイ4に表示したり、必要に応じてプリンタ5に出力したりする。また、画像データを画像メモリ14からプリンタ5に直接出力して表示することも可能である。
【0025】
以下、図1に示したデジタルカメラの各部の詳細について説明する。
図2は、本発明に係るデジタルカメラの外観を示した図である。デジタルカメラ1は、撮像素子としてCCDセンサを備えレンズを通して画像を取り込むものである。カメラ本体内には、ボタン18と、取り込んだ画像や補正後の画像などを表示するためのディスプレイ15と、読み込み時の補正内容などを選択するモード選択スイッチ12、現在の取り込みモードを表示するための表示装置17、および取り込んだ画像に音声でインデックスをつけるためのマイク16等を備えている。このような構成により、デジタルカメラを用いて、自由度が高く、操作性良く、画像を取り込むための装置を提供することが可能となる。
【0026】
また、取り込んだ画像データをパソコンやプリンタに転送するために、例えばUSBなどの汎用インタフェースを取り付けることで、ユーザはカメラ内の画像データを取り出し、プリンタで印刷したり、画像内の文字情報の認識処理を行ったりすることが可能となる。また、カメラ内にデータ発信装置を内蔵し、パソコンなどのデータ受信側に受信機を取り付けることで、取り込んだ画像の転送にケーブルを用いる必要がなくなり、さらに自由度が高く画像を取り込むことが可能となる。
【0027】
図3は、3次元補正部2内の3次元画像補正部21の機能ブロック図を示したものである。焦点位置制御部22と読取部11により読み込んだ複数枚の画像を用いて、特徴点毎距離測定部212にて、画像間の偏差を計算し、特徴点を抽出する。ここでは、読取条件により画像が異なる部分を特徴点と呼んでいる。つまり、カメラのフォーカス値を変化させ、机上の紙片を読み込むと紙面のエッジ部分の画像はボケていくため変化していく。こうした点のことを特徴点と呼んでいる。この特徴点の画像の異なり方によってカメラと特徴点の間の距離を計測する。次に前記距離を用いて焦点補正係数計算部213で、焦点位置に応じてボケ具合をあらかじめ測定しておき、その測定結果からボケを抑制するようなフィルタを作成して施すことで「ボケ」の補正を行う。さらに、各特徴点毎に測定したレンズと特徴点の距離に応じて複数焦点で撮影した画像からもっとも焦点距離の近い画像を選択して画像の合成を行う。次に、透視補正道程計算部214で、読取時の幾何学変化、傾き、原稿の厚みや、原稿の折れ曲がりにより、本来平面である原稿に対して、幾何学的な変形状態を特徴点とレンズとの距離測定の結果から原稿台の浮き上がり量を計算することで求め、その形状データをテクスチャーマッピング部215に渡し、変形した形状を平面に戻すように変形補正し、補正画像をフレームメモリ216に格納する。その後、画像データは画像補正部13にデータ転送する。
【0028】
このような構成にすることにより、特別な距離測定センサを必要としないためコストの低い装置を提供できるという効果がある。また、特徴点毎に距離を計測することができるので、特徴点毎にボケの補正パラメータといった距離に応じて変化するパラメータに対して、最適な補正パラメータを設定することが可能となり、複雑に折れ曲がった帳票や三次元物体表面の読取の際に画像全体に最適なパラメータ設定を可能にできるといった効果がある。また、複数の焦点で読み取った画像を用いて画像を合成するために、文書内部に記載されている文字や記号などのノイズやボケの少ない画像を得られるという効果がある。また、幾何学補正と距離補正の両方を実行するため、文書内部に記載されている文字や記号などに歪の少ない画像を提供できるという効果がある。
【0029】
図4は、読取動作のフローを示している。取り込みボタンが押下されたら(ステップ1001)、モード選択スイッチ12の状態を検索し(ステップ1002)、3次元取り込みモードであれば焦点位置制御部22から読取部11に制御信号を送信し、レンズの焦点位置を焦点位置1に合わせる(ステップ1003)。焦点位置をセット完了後、読取動作を行う(ステップ1004)。これで原稿面上に焦点を合わせた画像を入力する。読取動作が完了したら、同様に焦点位置制御部22から読取部11に制御信号を送信し、レンズの焦点位置を焦点位置2に合わせる(ステップ1005)。焦点位置のセット完了後、読取動作を行う(ステップ1006)。ここで、焦点位置1、および焦点位置2の設定値は、厚みのある原稿を読めるような焦点位置の値をあらかじめ調整したものを用いる。また、さらに必要に応じ、焦点位置の読取条件を変化させ画像を入力しておく。これらの画像から3次元補正を実施し(ステップ1007)、画像補正部へデータ転送を行う(ステップ1009)。
【0030】
また、ステップ1002にて3次元取り込みモードでない場合は、一度だけ読取を行い画像補正部へデータ転送を行う(ステップ1009)。画像補正部では画像が暗く映った場合などには明度補正等を行い、最終的に画像メモリ14に保存する(ステップ1010)。このような構成とすることにより、カメラの取り込みボタン18を押すだけで複数回の撮影を一度に行い、その画像データを撮影直後に補正し保存することが可能となり、操作性が向上するという効果がある。
【0031】
図5は、三次元補正の特徴点毎距離測定部212の概要を示した機能ブロック図である。入力メモリ211内の複数の画像データA,Bを用いて、座標位置補正部2121で座標位置の補正を行い、分散画像作成部2122で画像間の偏差を検出するため分散画像を作成する。さらに特徴点抽出部2123で特徴点を抽出し、距離計測部2124でその特徴点に関して距離の計測を行い、特徴点毎の距離データDを作成し、その距離データDを入力メモリ211に格納する。
【0032】
まず、座標位置補正部2121での座標位置の補正は、焦点の変化に伴う、画像の拡大縮小の変化を補正する。つまり焦点を変化させて取り込んだ画像内部のスケールは、焦点に依存して変化しているため、スケールを合わせるための補正を行う。この補正係数は、あらかじめ一定パターンの画像を、焦点を変化させて複数枚読み込み、その結果得られるパターン内の基準点間の距離、ボケ具合を測定することで、容易に特性を把握できる。次に分散画像作成部2122での分散画像作成は、複数枚の画像間の分散値計算する。ここで分散画像は、焦点を変化させて撮影した複数の画像間の同じ特徴点における画素データの差を定量化するために用いている。特徴点における分散値は、焦点を変化させて読み込んだ画像における同じ特徴点での明度の平均値Vを求め、Vとそれぞれの焦点距離での画像の明度との差を2乗した値の総和の平均値である。ここで得られる各特徴点での分散値を保存したものを分散画像データとして保存しておく。
【0033】
次に特徴点抽出部2123で、特徴点における分散画像データの値を特定の閾値で比較すれば、容易に特徴点をこの分散画像データが、あらかじめ設定した閾値を越えるもの、つまり画像間の偏差の大きいものが特徴点として抽出できる。これは、たとえば浮き上がった紙片の端部などが候補としてあげられる。
【0034】
このような構成とすることにより、読取条件が異なる複数の画像のみから、距離測定が実現でき、特殊な距離センサが不要にできるという効果がある。
【0035】
図6(a)は、特徴点毎距離測定部212内の距離計測部2124での距離測定のフローを示している。まず、特徴点を中心とした周囲の明度値をもとに、特徴点の周囲の明度変化を直線で近似する(ステップ1021)、この操作を焦点変化させて取り込んだだけ作成し、これを用いて同じ明度をむすんだ等明度直線を作成する(ステップ1022)。焦点が結ばれる位置からのカメラからの距離を計算し(ステップ1023)、これらの位置関係から三次元の位置情報を計算する(ステップ1024)。
【0036】
図6(b)および(c)は、光学系の焦点位置と原稿読取位置によって画像がどのように観測されるかを概念的に示した図である。A,Bは原稿を置く位置で、図示していない左側からこれらの原稿を読み取っている。図中の点線は光軸を、実線は光束の一部をそれぞれ示しており、焦点位置で集約している。図6(b)の、原稿が読取位置Aに置かれており、光学系の焦点がAの位置にあっている場合の画像で、白と黒の境界を画像1026のようにボケなく読み取ることができる。同じ焦点位置で、原稿がBの位置にあった場合は、原稿の白と黒の境界が、ボケが発生し、読取画像は1025のように境界がはっきりしない画像となる。この場合は、画像1026をそのまま用いれば良い画像を得ることができる。図6(c)は、焦点位置が原稿位置Bに近い点で焦点の合う場合を示しており、原稿位置AでもBでも、画像1027,1028のようにボケている。この場合は、これらの二つの画像1027,1028を用いて画像を合成することで、高画質な出力画像を得ることができる。このような構成とすることで、焦点の異なる画像から、精度高く距離データを計測できるという効果がある。
【0037】
次に、焦点補正機能213について詳細に述べる。図7は、原稿が原稿台からの浮き上がっている高さ位置Zに応じて、取り込んだ画像内の特徴点でのボケf(Z)が、どのように変化するかを示した概念図である。ここでボケf(Z)は、あらかじめ設定した閾値で分散画像を二値化した際の線の幅と考える。単位は画素のドット数である。ここで、焦点位置1をZ0、焦点位置2をZ1の高さで合うような焦点位置に固定し、それぞれ原稿台から原稿を浮かせた時のボケ幅の変化を示している。焦点位置1での画像はZ0では焦点が合っているため、ボケ幅は0であるが原稿をZ0から浮かせていくことで、焦点がずれるにしたがってボケ幅が変化し、実線でのグラフのようにボケ幅が単調増加となる。焦点位置2での画像は破線でのグラフのようにボケ幅が変化し、焦点の合っているZ1で最小値を取る二次曲線に似た形状になる。このグラフを用いることで、ボケ量の測定することができれば焦点距離を求めることができ、距離が推定できる。
【0038】
次に、透視補正道程計算機能214について詳細に述べる。図8(a)は、透視補正道程計算部214における道程計算の概念図を示している。これは、ある紙片を読み込んだ時の特徴点、すなわち紙片のある一辺の距離測定結果を示した図である。グラフの横軸は紙片のある頂点からの距離を示し、縦軸は原稿台からの紙片の浮き上がり量を示している。この例では紙片の頂点が両端とも浮き上がっているような状況を示している。まず、(b)のように直線の端点P,Q,R,S,Tのみを抽出し、道程距離としての端点間の距離を測定する。これは、たとえば端点間P,Qの距離は読取画像データ上ではP,Q間の距離はX軸上に写像した形で観測されるが、実際は紙が傾いているため、短く見えている。これを紙上での端点P,Qの距離を、たとえば三平方の定理などを用いて測定することで道程を把握できる。この距離に基づいて、(c)のように基準点P’を基に、それぞれの道程距離の応じて端点Q’,R’,S’,T’のように、端点毎に展開した位置情報を引き継ぎながら、平面に並べて展開する。これは、三次元グラフィックスで用いられているテクスチャーマッピングの技術の適用が可能である。
【0039】
図9は、これを二次元の平面に拡張した概念図である。図9(a)のように折れ曲がった帳票を、上方から観測すると(b)のように見えるが、図8で説明した二次元の道程計算を三次元に拡張し、距離情報に基づき道程計算し、平面に展開すると(c)のような合成画像が得られる。このようにすれば、折れ曲がった帳票や曲がった曲面に書かれた文字も、平面に押し付けて、正面から観測した合成画像を得ることができる。
【0040】
図10は、これらの処理をフローにまとめたものである。特徴点の距離データを入力し、図8で説明したように、特徴点を直線近似し(ステップ1401)、不要な特徴点を削除した距離データを生成する。次に、図9で説明したように、これらの特徴点が作る平面を近似作成する(ステップ1402)。これは近接する3点を選び、これから構成される平面と、上記3点の周辺特徴点の距離を計算し、あらかじめ設定した閾値よりも小さければ、上記平面に近似し併合するという処理を繰り返す。これらを三角形に近似しポリゴンとして記述し(ステップ1403)、その座標関係や接続関係の整合性をチェックして、距離データで作成した三次元モデルから二次元の原稿台平面へテクスチャーマッピングするための座標位置や拡大縮小率などの展開係数を計算する(ステップ1404)。このような構成とすることで、特徴点について求めた距離データを用いて画像を平面展開でき、折れ曲がった帳票や厚い本の表面でも正しく原稿を補正して読むことができるという効果がある。
【0041】
次に、透視変換について述べる。読取を文書の正面上方ではなく、斜め上方など自由な位置から読むと、近くは大きく、遠くは小さく観測される。これを正面から見たように変更するのが透視変換である。図11(a)は、透視変換の概念図を示している。正面から観測した画像を矩形PBCQとすると、斜め上方から観測すると台形ABCDのように見える。辺ADが近くの辺で、辺BCが遠くの辺である。斜め読みの光学系は、遠くの辺でも読取解像度を保証できるように設計されるため、辺BCを共通に揃えるとすると、辺ADは、辺PQに比べ長く、また、辺ABも辺PBに比べ長い。透視変換の目的は、観測した台形ABCDを矩形PBCQに変換することにある。図11(b)は、変換のための変数定義を示している。辺ADの長さをSrc_Width、辺BCの長さをDest_Width、座標Aと座標Bのx方向の差をDx_Left、y方向の差をDy_Leftとする。このハッチがかかった部分が読取領域である。
【0042】
図12は、透視変換のフローを示している。まず、入力メモリ211内の読取領域の画像取り出しスタート位置を計算する(ステップ1501)。このスタート位置xiは、始めはA点であるが、副走査ラインyの関数であり、y*Dx_Left/Dy_Leftと表現できる。次にライン単位に長さをDest_Widthに揃える必要があるため、ライン毎に縮小率を計算する(ステップ1502)。これは、まず注目ラインの長さx_widthを計算する。これは、簡単な比例計算により、x_width=(Dest_Width+((Src_Width-Dest_Width)*(Dest_Length-y) /Dest_Length))と表現できる。縮小率は、Dest_Width /x_widthとなる。しかし、小数点を用いる計算は、時間がかかるので、実際の処理はDDA(Digital Differential Analyzer)を用いる(ステップ1503)。そして最後に、処理終了であるか否かを判断する(ステップ1504)。このような構成とすることで、処理時間のかかるテクスチャーマッピング処理を簡単なハードウエアで実現でき低価格で高速な処理システムが提供できるという効果がある。
【0043】
図13は、テクスチャーマッピング部215における画像合成の方式とハードウエアの構成図を示している。図13(a)は、計測されたレンズ位置から原稿の特徴点までの距離Zによって、第一の焦点距離Z0での画像g0(Z)と第二の焦点距離Z1での画像とg1(Z)の混合比率を表わすグラフである。Z軸のZ1からgn(Z)軸上の1までの破線は距離Zに対する第一の焦点距離Z1での画像g1(Z)の混合比率を示し、Z軸のZ0からgn(Z)軸上の0までの直線は距離Zに対する第二の焦点距離Z0での画像g0(Z)の混合比率を示している。焦点距離がZ0にあっていれば、第一の焦点距離Z0での画像g0(Z)だけを用いれば良く、焦点距離がZ1にあっていれば、第二の焦点距離Z1での画像g1(Z)だけを用いれば良い。もし、焦点距離がZ0とZ1の中間にあっていれば、第一の焦点距離Z0での画像g0(Z)と第二の焦点距離Z1での画像g1(Z)を半分づつ用いれば良い。一般的にいえば、測定距離がZpであった際、第一の焦点距離での画像はg0(Zp)、第二の焦点距離での画像はg1(Zp)で混合することで、出力画像を生成している。
【0044】
図13(b)は、画像合成部のハードウエア構成図である。入力メモリ211内の第一の焦点距離での画像1301を読み込み、ボケ補正フィルタ1304を通して、配分器1307で比率調整するとともに、入力メモリ11内の第二の焦点距離での画像1302を読み込み、ボケ補正フィルタ1305を通して、配分器1308で比率調整した後、加算器1310で合成し、ラッチ1311でタイミング調整して出力G_Out1312する。ここで、ボケ補正フィルタ1305は、距離に応じて画像に生じたボケを修復するフィルタであり、一般的にはエッジ強調フィルタで代用が可能である。このフィルタの係数は、距離に応じて変化する必要があり、中心値と周辺値の係数を距離に応じて変化させることで実現している。このボケ補正フィルタ係数1306のみならず、配分器の比率設定1309は図7、図13(a)のテーブルに基づき計算され、バス1303を介して設定される。このような構成とすることで、複数の画像をボケ修正した画像を距離に応じて合成することによりホワイトノイズを削減し、高画質な画像を合成できるという効果がある。
【0045】
図14は、テクスチャーマッピング215を実行するハードウエア構成を示す。画像合成部の出力G_Outは、透視変換の縮小時にデータが失われないように多値データで平均化しながらデータを生成し出力データMW_DATを得ている。これは、縮小率に応じて、入力データを配分器1331で比率調整し、加算器1332で合成する。この出力は入力データと同様配分器1333で比率調整し一時記憶1334し、加算器1332で蓄積加算する。図11(b)で示した変数パラメータは、図14のレジスタ1341,1343,1345,1351,1349にセットすると、ハードウエア透視変換を実行する。まず、注目ラインの長さx_width1343は、1ライン単位に、変位DX_Width1341づつ減算器1342で減算し作成する。これに対して、1クロック毎にDDA用の一時記憶レジスタX_DDA1348を用いて出力長さDest_Width1345を加算器1346で加算する。ただし、X_DDA1348の出力からX_Width1343を減算器1344で減算しX_DDA1348減算できれば、減算結果をセレクタ1347を介してX_DDA1348にセットする。減算器1344のボローを制御信号X_Skipとして用いる。読み出し開始アドレスX_Start1351は、1ラインごと変位DX_Start1349づつ加算器1350で加算し、x方向カウンタX_Count1352へロードする。このカウンタで読み込みアドレスとして用いる。メモリへの書き込みアドレスは、他のメモリカウンタM_Count1355を用いてアドレス管理する。このカウントアップ制御をX_Skipを用いてコントロールすることで出力長さを均一に揃えることができる。このような構成とすることで、CPUから数個のレジスタを設定するだけで透視変換機能付きテクスチャーマッピング処理が実現できるという効果がある。
【0046】
図15は、画像インデックス機能が付加されたデジタルカメラの構成図である。このデジタルカメラ1には、撮影後の画像に、メモなどを付加して画像データの保存を行うための音声入力部(マイク)16が設けられている。
【0047】
ユーザが画像の撮影時や撮影後、マイク16を通して、撮影画像に関する説明やメモ、タイトルなどの記録を音声で入力する。読取部11から読み込んだ画像を3次元補正部2で補正、もしくは直接画像補正部13にデータ転送された後に、入力した記録を画像データに付加し、画像メモリ14に記憶する。付加する際のデータ形式としては、画像メモリの末尾や先頭部分に音声データを付加して記録を行い、読み出すときに音声と画像それぞれのデータを切り分けて再現することが可能である。この機能により、画像を撮影した後のデータ管理を容易に行うことができるため、効率のよい画像データの取得作業を行うことができるという効果がある。
【0048】
図16は、巨大な平面などの画像を取り込むことのできるデジタルカメラの構成図である。モード切換スイッチ12により分割読み込みモードに選択された場合、読取部11で取り込まれた画像は前述した3次元画像補正を行った後、画像メモリ20に記憶される。この場合、撮影する際には、あらかじめユーザが分割枚数を指定すると一定の規則により平面を四角形に分割しインデックスをつけ、その結果をディスプレイ15に表示する。ユーザは撮影する際にどの領域を撮影するか、マイク16などを用いて宣言してから撮影を行う。
【0049】
始めに指定した分割枚数だけの画像が画像メモリ20に記憶されると、画像データを画像張り合わせ部21に転送する。画像張り合わせ部21では隣り合う画像を張り合わせ、ひとつの画像として画像補正部13に出力する。画像の張り合わせ方法についてはすでに一般のソフトウエアでは実現されており、これらの方法を用いることで実現できる。
【0050】
この構成により、本発明のデジタルカメラにメモリと画像張り合わせソフトを組み込むだけで実現できるという効果がある。
【0051】
図17は分割読み込み機能のフローを示している。はじめにユーザにより分割枚数を入力してもらうと(ステップ1601)、カメラ内部で一定規則に従い、インデックスを自動で作成し、その分割結果をディスプレイに表示する(ステップ1602)。次にユーザは表示されたインデックス番号を入力し(ステップ1603)、その対応する位置の画像を撮影する(ステップ1604)。この動作を分割枚数分繰り返す(ステップ1605)。分割枚数分の画像がそろったら、画像データを画像張り合わせ部で合成を行い(ステップ1606)、本体の画像メモリにデータを保存する。
【0052】
この機能で大きな壁画など巨大な平面に描かれた図形や文字などを撮影する場合、撮影場所の制限を大幅に低減することができるため自由度の高い読み取り作業を行うことができるという効果がある。
【0053】
図18は、特徴点抽出を用いて読み取り範囲を自動設定する機能が付いたデジタルカメラの構成図である。モード選択スイッチ12で自動設定処理を選択した場合、読み取った画像に対して、特徴点抽出部30は特徴点毎距離測定内にある特徴点を抽出し、特徴点情報を保存する。また、特徴点を抽出する際に、画像処理で一般的に用いられているエッジ検出の処理を用いても同じ結果を得ることが可能である。この特徴点情報から画像内の矩形部を読み取り範囲として抽出し、この範囲内の画像のみを3次元画像補正を行い、読み取り結果として出力する。これにより書籍などのページ内部のみの読み込みを行いたい場合、撮影時にユーザが読み込み範囲をページに合わせて撮影するという手間が省けるため、操作性よく画像の取り込みが行うことができるという効果がある。
【0054】
書籍などの複数ページにまたがる書類を順次連続して読み取る際の適用例を示す。モード切換スイッチ12で連続読み取りモードとページ記憶部をカメラ内に追加する。このモードでは連続したページを順次読み込む場合、あらかじめページ番号が画像内の上部もしくは下部中央に記載しているという情報を記憶させておき、読み込み時にその位置にある番号をOCRを用いて認識してその番号の変化を監視し、読み飛ばしなどがあった場合に警告を行うものである。
【0055】
この動作フローを図19に示す。読み取りボタンが押下されると(ステップ1701)、読み取り動作を行い(ステップ1702)、その画像内のページ番号の認識処理を行う(ステップ1703)。その番号が直前に読み込んだ時の番号の次のページか否かを判断し(ステップ1704)、次のページでない場合には、ユーザにブザーや補助ディスプレイなどを用いて警告を行い(ステップ1706)、読み直しを行うかどうかの選択を行ってもらう(ステップ1705)。これにより、ユーザは連続した画像を順次読み取る際の読み飛ばしの発生が少なくなり、操作性のよい取り込みができるという効果がある。
【0056】
また、以上の処理は複数条件で取り込んだ画像データを元に特徴点の距離を測定し、補正を行ってきたが、あらかじめ取り込む平面の形状がA4縦サイズやB5書籍サイズの書類であると決まっている場合には、その特徴点の枠の形状を記憶するメモリを設け、その情報を用いて取り込みを行う場合には、特徴点の距離測定手段を用いなくても画像処理のみで行うことが可能である。その方法については、画像の特徴点と指定形状のサイズを合わせ、その大きさの比から画像の拡大縮小といった処理を組み合わせることで可能である。
【0057】
この方法の場合、常に定型文書の読み込みを行う場合には、距離測定手段を用意する必要がなく、処理の負荷が少なくなり、読取動作が高速化されユーザはすばやく画像取り込みを行うことができるといった効果がある。
【0058】
なお、図1、図15、図16、図18に示したデジタルカメラに、外部との画像データ転送を行う無線データ通信手段を設けることもできる。
【0059】
【発明の効果】
以上説明したように、本発明によれば、デジタルカメラの簡易な操作で、折れた帳票や厚い本などといった平面上の文書等の画像入力を、被写体を固定することなく、また特殊な距離検出センサを用いることなく、高画質に画像を入力できるのですることができるため、紙や平面上に描かれている情報をデジタルとして取り込む際の操作性を大幅に改善できる。
【0060】
また、フラットベッドスキャナのような読み取りヘッドを走査する時間が不要となり、取り込み時間も高速に行うことができる。さらに撮影条件の制約が少なく、自由な位置から画像取り込みを行うことができる。使用しないときもフラットベッドスキャナのような大きな設置面積を必要とせず、利用者の作業を妨げることがなくなる。
【図面の簡単な説明】
【図1】本発明の係るデジタルカメラの構成図である。
【図2】本発明に係るデジタルカメラの外観を示した斜視図である。
【図3】3次元画像補正部の機能ブロック図である。
【図4】読み取り動作のフローを示した図である。
【図5】三次元補正の特徴点毎距離測定部の概要を示した図である。
【図6】3次元補正の原理を示しており、(a)は距離測定のフローを、(b)および(c)は光学系の焦点位置と原稿読取位置によって画像がどのように観測されるかを概念的に示した図である。
【図7】原稿の高さ位置と線のボケとの関係を示した図である。
【図8】道程補正が(a)→(b)→(c)の順に行われることを概念的に示した図である。
【図9】図8での道程補正を具体的に示した図である。
【図10】3次元補正の処理フローを示した図である。
【図11】(a)は透視変換の概念図、(b)は変換のための変数定義を示した図である。
【図12】透視変換のフローを示した図である。
【図13】(a)は画像合成の方式を示した図、(b)はハードウエア構成図である。
【図14】テクスチャーマッピング部のハードウエア構成図である。
【図15】画像インデックス機能が付加されたデジタルカメラの構成図である。
【図16】分割読み込み機能が付加されたデジタルカメラの構成図である。
【図17】分割読み込みモードでの処理フローを示した図である。
【図18】特徴点抽出を用いて読み取り範囲を自動設定する機能が付加されたデジタルカメラの構成図である。
【図19】ページ番号認識による連続読み取りの処理フローを示した図である。
【符号の説明】
1 デジタルカメラ
2 3次元補正部
3 パーソナルコンピュータ
4 ディスプレイ装置
5 プリンタ
11 読み取り部
12 モード切換スイッチ
13 画像補正部
14 画像メモリ
15 ディスプレイ
21 3次元画像補正部
22 焦点位置制御部
Claims (3)
- 画像をデジタル化して読み取る読取手段と、前記読取手段で読み取った画像を記憶する記憶手段とを備えたデジタルカメラにおいて、
前記読取手段が焦点位置を変更して被写体を複数枚読み取った各画像間の偏差を求め、該偏差が大きい画像部位を特徴点として抽出し、前記特徴点の周囲の明度変化に基づいて該特徴点と前記読取手段との距離を求めた上で複数の前記特徴点の三次元位置を求め、読み取った前記画像を複数の前記特徴点を結んで形成される平面に基づき複数のポリゴン画像に分割し、前記各特徴点の三次元位置に基づいて前記各ポリゴン画像の各辺の道程距離を求め、求めた道程距離に従って前記各ポリゴン画像を二次元の原稿台平面に展開する画像補正手段を設けたことを特徴とするデジタルカメラ。 - 請求項1に記載のデジタルカメラにおいて、
前記読取手段で読み取った読取画像をそのまま前記記憶手段に入力するモードと、前記読取画像を前記画像補正手段で補正してから前記記憶手段に入力するモードとを備え、前記両モードは切換自在であることを特徴とするデジタルカメラ。 - 請求項1に記載のデジタルカメラにおいて、
外部との画像データ転送を行う無線データ通信手段が設けられていることを特徴とするデジタルカメラ。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24714799A JP3684479B2 (ja) | 1999-09-01 | 1999-09-01 | デジタルカメラ |
KR10-1999-0041687A KR100402043B1 (ko) | 1998-09-30 | 1999-09-29 | 비접촉형 화상 판독 장치 및 그것을 이용한 시스템 |
TW088116689A TW468331B (en) | 1998-09-30 | 1999-09-29 | Non-contact image reading device and the system using the same |
US09/409,223 US6721465B1 (en) | 1998-09-30 | 1999-09-30 | Non-contact image reader and system using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24714799A JP3684479B2 (ja) | 1999-09-01 | 1999-09-01 | デジタルカメラ |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005030620A Division JP3837710B2 (ja) | 2005-02-07 | 2005-02-07 | デジタルカメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001078074A JP2001078074A (ja) | 2001-03-23 |
JP3684479B2 true JP3684479B2 (ja) | 2005-08-17 |
Family
ID=17159143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24714799A Expired - Fee Related JP3684479B2 (ja) | 1998-09-30 | 1999-09-01 | デジタルカメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3684479B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3837710B2 (ja) * | 2005-02-07 | 2006-10-25 | 株式会社日立製作所 | デジタルカメラ |
US8873862B2 (en) | 2011-06-28 | 2014-10-28 | Rakuten, Inc. | Product image processor, product image processing method, information recording medium, and program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6180463A (ja) * | 1984-09-28 | 1986-04-24 | Fujitsu Ltd | 曲面表示処理方法 |
DE4316847A1 (de) * | 1993-05-19 | 1994-11-24 | Philips Patentverwaltung | Verfahren zum Entzerren von Röntgenaufnahmen und Anordnung zur Durchführung des Verfahrens |
JPH10210355A (ja) * | 1997-01-27 | 1998-08-07 | Minolta Co Ltd | デジタルカメラ |
JPH11136564A (ja) * | 1997-10-31 | 1999-05-21 | Fuji Xerox Co Ltd | 撮像装置及び画像読取装置 |
JPH11196317A (ja) * | 1997-12-26 | 1999-07-21 | Minolta Co Ltd | 撮像装置 |
-
1999
- 1999-09-01 JP JP24714799A patent/JP3684479B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001078074A (ja) | 2001-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3837710B2 (ja) | デジタルカメラ | |
JP4856263B2 (ja) | 撮像画像処理システム、画像出力方法、プログラムおよび記録媒体 | |
JP4772894B2 (ja) | 画像出力装置、携帯端末装置、撮像画像処理システム、画像出力方法、プログラムおよび記録媒体 | |
JP3425366B2 (ja) | 画像補正装置 | |
JP5026484B2 (ja) | 携帯端末装置、画像出力装置、撮像画像処理システム、携帯端末装置の制御方法、画像出力方法、プログラム、および記録媒体 | |
US6721465B1 (en) | Non-contact image reader and system using the same | |
JP4556813B2 (ja) | 画像処理装置、及びプログラム | |
JP3618056B2 (ja) | 画像処理装置 | |
US7869651B2 (en) | Image processing apparatus and image processing method | |
WO2013108727A1 (ja) | 撮像装置、撮像画像処理システム、プログラムおよび記録媒体 | |
US20050078192A1 (en) | Imaging apparatus and image processing method therefor | |
KR20060044366A (ko) | 화상의 비뚤어짐을 보정하는 화상처리장치, 촬영화상의비뚤어짐을 보정하는 촬영장치 | |
JP4758493B2 (ja) | 携帯端末装置、撮像画像処理システム、携帯端末装置の制御方法、プログラムおよび記録媒体 | |
JP4772889B2 (ja) | 携帯端末装置、撮像画像処理システム、プログラムおよび記録媒体 | |
JP2010130181A (ja) | 画像取得装置 | |
JP3608955B2 (ja) | 非接触型画像読取装置及びそれを用いたシステム | |
JP3684479B2 (ja) | デジタルカメラ | |
JP3582988B2 (ja) | 非接触型画像読取装置 | |
JP2001250114A (ja) | 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体 | |
JP2010056771A (ja) | 画像読み取り装置、画像読み取り方法、プログラム、記憶媒体 | |
JP2010273218A (ja) | 画像出力装置、撮像画像処理システム、画像出力方法、プログラムおよび記録媒体 | |
RU2368091C2 (ru) | Система и способ сканирования и копирования | |
JP2000261653A (ja) | 画像処理装置 | |
RU2298292C2 (ru) | Система и способ сканирования | |
JP3852247B2 (ja) | 画像形成装置及び転写画像歪み補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040802 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050207 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050517 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |