JP2005503080A

JP2005503080A - カメラと、画像のパースペクティブ補正及びことによると回転及び揺れ補正とを持つ画像装置

Info

Publication number: JP2005503080A
Application number: JP2003528006A
Authority: JP
Inventors: マーティンディーリーテス; ジリアンエイミムナグ−ケリハー
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-09-07
Filing date: 2002-09-02
Publication date: 2005-01-27
Also published as: KR20040044858A; EP1433306A1; WO2003024090A1; CN1552155A; US20030048271A1

Abstract

画像装置（１）は、図形及び／又はテキストを含む最初の画像（Ｉ）を撮影する画像手段（２）と、前記撮影された画像を補正するための前記画像手段（２）と結合された画像補正手段（４）とを有する。画像装置（２）はカメラ手段（２）であり、前記画像補正手段（４）は前記撮影された画像に対して画像サイジングを実行することによりパースペクティブ補正を実行するように構成される。このようにして平坦な画像の撮影から生じるパースペクティブのエラーが、適切なソフトウェアによって補正されることができる。例えば既にマイクロプロセッサを含む移動ＧＳＭ電話における本特徴の実装はそれ故、高品質のファックス通信を可能にし有利である。

Description

【技術分野】
【０００１】
本発明は、図形及び／又はテキストを含む最初の画像を撮影する画像手段と、前記撮影された画像を補正するための前記画像手段に結合された画像補正手段とを有する画像装置に関する。
【０００２】
本発明はまた、かような画像装置を備えた、電子手帳又は例えば電話、とりわけ携帯電話のような通信装置のようなデータ処理装置、前記撮影された画像を処理する方法、及び前記方法により処理された画像にも関する。
【背景技術】
【０００３】
かような画像装置は特開平１０−２８９３０２号公報より既知である。該既知の画像装置は、画像を走査することにより撮影する画像走査装置の形をとる画像手段を有し、ここで前記走査された画像は密度が歪んだ部分を有する。かような密度が歪んだ部分は、例えば本が走査され前記走査されている本の中央線の部分が奥行き方向において曲がっている場合に起こるように、前記走査された画像が平坦ではないという事実から生じる。前記走査される画像は次いで、適切に決定されたスケール係数を用いて水平及び垂直の走査方向の両方において、前記走査された画像のデータの画素の伸長によって、密度歪み補正をかけられても良い。これらのスケール係数を決定するために、元の画像及び前記走査された画像の両方のエッジ（edge）位置が検出される。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
かような伸長画素補正はしかしながら、平坦な領域の画像が撮影された場合、及び高品質のファックス画像が必要とされる場合には適切ではない。
【０００５】
それ故本発明の目的は、撮影された画像がファックス符号化されることを可能とする画像処理を用いて、平坦な元の画像から得られる、実質的に歪みのない、高品質なファックス画像を再構築することが可能な、コストが効果的で且つ低電力消費の画像装置及び方法を提供することにある。
【課題を解決するための手段】
【０００６】
これに対し本発明による画像装置は、前記画像手段はカメラ手段であり、前記画像補正手段は前記撮影された画像に対して画像サイジングを実行することによりパースペクティブ補正を実行するように構成されることを特徴とする。
【０００７】
本発明による画像装置の利点は、デジタルカメラ又はライン走査カメラのような、比較的安価で小型なカメラ手段が利用されることができ、元の画像が平坦であるという事実のために、撮影された画像のパースペクティブ（perspective）に応じて該手段の出力ディジタル画像データが容易に補正され得るという点である。有利にも、カメラ手段が利用されるとき、密度歪みは発生せず、従って密度歪み補正も必要とされない。
【０００８】
生じ得るパースペクティブ補正は、前記カメラ手段が、撮影されるべき又は走査されるべき画像の全ての部分に渡って正確に中央に及び垂直に保持されない可能性があるという事実に関連する。略平坦な元の画像の結果、関連するパースペクティブ画像補正は、撮影された画像のサイジングに関係する。それ故、画像補正手段による処理は幾分単純で、とりわけ携帯電話のような、市販されているデータ処理又は通信装置において既に利用可能であるマイクロプロセッサのような、低電力消費の一般のマイクロプロセッサによってさえ実行され得る。とりわけＧＳＭ電話のような今日の通信装置において、該装置のサイズ又は通常一般の充電可能なバッテリを含む電源の寿命を乱すことなく、前記画像装置の実装が従って可能であり、該装置の有用な応用の可能性を著しく増大させる。
【０００９】
本発明による画像装置の一実施例は、前記画像補正手段は更に、回転及び／又は揺れ補正を実行するように構成されることを特徴とする。
【００１０】
前記回転（rotation）補正は、前記カメラ手段が、撮影される画像のエッジが元の画像のエッジと平行であるように正確に保持されない可能性があるという事実に関連する。一方前記揺れ（staggering）補正は、前記カメラ手段が、前記画像の撮影の間にわずかに移動される又は振動される可能性があるという事実に関連する。これら双方の補正の少なくとも１つが有利に実行される。
【００１１】
本発明による画像装置の一実施例は、前記画像補正手段は、前記撮影された画像のそれぞれ左及び／又は右のエッジに沿ってエッジ整合を実行する整合手段として構成されることを特徴とする。有利にも、左方向へのみ、右方向へのみ、又は一部左方向へ及び一部右方向へ若しくはその逆のエッジ整合の間で選択が為されることができる。
【００１２】
本発明による画像装置の更なる実施例は、前記画像補正手段は、画像短縮及び／又は画像伸長手段として、とりわけそれぞれ画像行及び／画像列の短縮及び伸長手段として構成されることを特徴とする。
【００１３】
前記画像短縮は、撮影される画像の解像度より高い解像度を持つカメラ手段が利用される場合に前記画像短縮手段によって適用される。前記画像伸長を提供することにより、隣接する画素の色の平均である色又はグレー値を持つ付加的な点又は画素が、好ましくは均等な距離で、伸長されるべき画像又は走査線に挿入されることができる。伸長のみが実行される場合には、画像解像度はいずれの画像処理ステップの間にも失われない。それ故本方法は、比較的低い分解能のカメラ手段の場合に好ましく、このとき前記処理される画像の最高の品質に帰着する。撮影及び処理される画像はその後、ファックス符号化され、同様に構成された他の装置に送信されても良い。
【００１４】
従って、本発明による、画像行及び画像列を有する撮影された画像を処理する方法は、
前記画像行を整合するステップと、
前記画像行をサイジングするステップと、
前記画像列を整合するステップと、
前記画像列をサイジングするステップと、
所望の処理された画像フォーマットを形成するため前記画像行及び画像列をサイジングするステップと、
のうちの１つ以上のステップを有することを特徴とする。
【００１５】
有利にも、最初に前記画像行を処理し、次いで前記画像列を処理するという順序は、必要なら逆転されても良い。とりわけ前記サイジングは、上述したように伸長及び／又は短縮に関係する。
【００１６】
本発明による方法の更なる詳細な実施例は、前記画像行及び／又は前記画像列の伸長の量はそれぞれ、最初の及び最後の完全な前記画像行及び／又は前記画像列の長さ及び位置の一次関数であることを特徴とする。
【００１７】
このことは有利にも利用可能な画像空間の効果的な充填に帰着する。
【００１８】
ここで、本発明による画像装置及び関連する方法は、添付された図への参照が為されつつ、これらの付加的な利点と共に更に説明されるであろう。
【発明を実施するための最良の形態】
【００１９】
図１は、電子手帳又は例えば電話若しくは携帯電話などのような何らかのタイプの通信装置のようなデータ処理装置Ｄに含まれ得る画像装置１のとり得る実施例を示す。画像装置１は、図形、テキスト、文字又は画像等を含む、Ｉによって示される最初の画像を撮影する画像手段２を有する。前記画像手段は、ビデオカメラ、例えばＣＣＤカメラのようなライン走査カメラ、例えばＣＭＯＳ画像カメラのような画像カメラ、又は１以上のかようなカメラの組み合わせのようなカメラ手段２である。カメラ手段２によって記録される画像は、通常前記カメラ手段と関連する何らかのメモリ３に保存される。画像装置１は更に、通常は撮影された画像の画像エラーを補正するためにカメラ手段２に結合された何らかの種類の適切にプログラムされた画像プロセッサである画像補正手段４を有する。画像Ｉは、Ａ４フォーマットのような所定のフォーマットを持つ紙Ｐのような平坦な背景に再生される。カメラ手段２は前記画像を撮影し、紙Ｐ上の画像Ｉを記録し、手段２は通常中央線Ｃの近く及び撮影されるべき画像Ｉの上方において、ことによると手で保持される。実質的に平坦な紙から外れて、このことは必然的に撮影された画像データとしてメモリ３に保存される画像におけるパースペクティブの歪みに導く。これらの歪みは、前記撮影された画像に対して画像サイジングを実行することにより、画像補正手段４によって補正される。前記サイジングは、前記撮影された画像を構成する画素を含む画像行及び画像列の整合（以下シフトと呼ぶ）及び伸長によって実行される。前記サイジング操作は、手段４において画像処理アルゴリズムによって実施される。このとき、元の画像のエッジ及び角が特定され、その後前記撮影された画像のエッジ及び角は、前記元の画像のエッジ及び角と一致するまで変形される。このようにして、パースペクティブ、角度及び揺れ歪みのような画像歪みが補正される。
【００２０】
前記撮影された画像をサイジング又は直線化する画像処理方法のアルゴリズムは図２によって示される。撮影されるべき画像を含む紙の境界としてエッジと角を特定した後、各行及び列は一般に連続関数を用いて伸長され整合（シフト）され、これにより補正された紙の対向するエッジは平行となる。最後に、補正された画像の結果の長方形は所望のフォーマットに伸長され、その後前記補正されたフォーマットされた画像はファックス符号化され、ことによると通信装置Ｄによって送信されても良い。
【００２１】
前記撮影された画像を補正する画像処理方法のとり得る実施例は、以下により詳細に説明される。ここで図４は、対応する画像の画素データがメモリ３に保存された、歪んだ撮影された画像を例として示す。関係する図において、前記撮影された画像の各画素行の一部は太線で示され、一方で背景は通常の線によって示される。前記撮影された画像における特徴的な点はＰ_１、Ｐ_２、Ｐ_３及びＰ_４と示され、特徴的な長さはＬ_３及びＬ_４と示される。Ｐ_１及びＰ_２は前記撮影された画像の角の点であり、それぞれ太線の画像行のエッジと通常の背景とのコントラストの差を注意しながら、右上及び左下の境界点を見つけることにより特定されることができる。元の画像Ｉの中央線Ｃに対するカメラ３の位置に依存して、Ｐ_１が右上に存在するかも知れないし、Ｐ_２が左下に存在するかも知れない。点Ｐ_３及びＰ_４は、前記撮影された画像の中央部に存在する水平線の長さが、該画像のそれぞれ上部及び低部に向かって幾分急激に減少し始めるところにおいて見出されることができる。このことは、前記画像における行の番号に対する前記撮影された画像における水平線の長さのグラフを示す図５において示される。図５のグラフにおける不連続点は、特徴的な点Ｐ_３及びＰ_４を表す。Ｐ_３及びＰ_４に関連する行の長さはＬ_３及びＬ_４と示される。
【００２２】
かくして図３Ａによれば、初期化及びコントラスト強調、必要であれば上述の紙境界特定並びにＰ_１乃至Ｐ_４の発見のような適切な前処理の後、図４に示された画像の揺れの除去が、Ｐ_３がＰ_１より左にあるか否か及びＰ_４がＰ_２より左にあるか否かに依存して開始することができる。かような揺れは、前記画像の撮影の間の前記カメラ手段の移動又は振動から生じる。ここでＰ_３がＰ_１より左にある場合、図４の画像における行の上半分は右側に整合され、そうでなければ左側に整合される。同様に、Ｐ_４がＰ_２より左にある場合、前記画像の下半分は右側に整合され、そうでなければ左側に整合される。
【００２３】
前記画像行の整合の結果は図６に示される。前記画像行伸長ステップは図３Ｃに詳細化される。最初に、適切な画像行長依存の伸長係数Ｒｉが決定される。前記伸長は、均等な距離で前記行に付加的な画素点を挿入することにより実行される。これらの付加的な点は、隣接する点のそれぞれの色の平均である色又はグレー値（白黒の場合）を持つ。行番号ｉについての伸長係数Ｒ_ｉは、Ｒ_Ｉ４／Ｒ_Ｉ３＝Ｌ_３／Ｌ_４によって与えられ（ここでＩ_３は点Ｐ_３に関連する長さＬ_３を持つ行の番号、Ｉ_４は点Ｐ_４に関連する長さＬ_４を持つ行の番号）、ここで前記伸長も前記点の位置に依存する。Ｐ_３がＰ_１より左である場合、図６の画像における上半分の行が左側に伸長され、そうでなければ右側に整合される。同様に、Ｐ_４がＰ_２より左である場合、下半分の前記画像行が左側に伸長され、そうでなければ右側に伸長される。
【００２４】
前記行の伸長の結果は図７に示される。ここで図３Ｄに従って、前記画面の全ての列が前記画面の上端に整合され、その結果は図８に示される。Ｍｃで示される、前記画像の列の長さの最大値を見出した後、全ての列はこの最大の長さにまで伸長される。このことは、挿入位置の下の部分を下にシフトしつつ、均等な位置において前記列に付加的な画素点を挿入することにより為される。これらの付加的な点は、隣接する点のそれぞれの色の平均である色又はグレー値（白黒の場合）を持つ。前記列の伸長の結果は図９に示される。最終的に、前記画像の全ての行及び全ての列はかくして伸長され（図１０を参照のこと）、かくして補正された画像サイズは（例えばＡ４の）紙Ｐのサイズに合致される。その後、希望によっては、補正された画像はファックス符号化され、装置Ｄによって送出されても良い。
【００２５】
上述の方法のとり得る変形においては、伸長係数Ｒｉは、当該の画像が所望のフォーマットの幅に即時に伸長されるように選択されても良い。このことは図３Ｃの最後の、しかし１つのステップにおける処理時間を節約する。更なる変形においては、前記アルゴリズムは、それぞれ水平及び垂直の長さへの即時の水平及び垂直の伸長が実行されるように動作しても良い。このとき帰着する最終的な長方形は前記所望のフォーマットを持ち、更なる伸長は必要としない。前記画像の解像度が（例えばファックス符号化され得る）結果の画像の解像度よりも高い場合、前記サイジングステップは伸長及び短縮のみを含んでも良い。
【００２６】
以上は本質的に好ましい実施例及び最良のとり得る様式を参照しながら説明されたが、これらの実施例は決して、当該装置及び方法の限定的な例として解釈されるべきではないことは理解されよう。なぜなら、添付される請求項の範囲内の種々の変形、特徴及び特徴の組み合わせは、ここで当業者の理解の範囲内にあるからである。上述の方法ステップはソフトウェアによっても、また専用のチップ及び回路のようなハードウェアのユニットにおいても実施され得ることも明らかであろう。とりわけ、更なる前記画像の品質を向上させるための付加的な補正の目的で、当該装置による画像の撮影又は走査の間、前記画像の中央線に対する移動の速度及び角度が記録されることができるように、１以上のカメラ手段が利用されても良い。前記画像を撮影するために例えばＣＭＯＳ１０３０×１２８６画素のアレイが利用される場合、ディジタル写真品質が達成されることができる。当然、手動の走査の代わりの電子的な走査もまた画像の品質を改善するであろう。加えて、ビデオチップ又は所謂フラッシュは、露光時間を減少させ、それによって前記画像を撮影する間の好ましくない手の動きの良くない揺れの効果を減少させる。以上提案された補正は、とりわけパースペクティブの歪みが比較的小さい場合に適用できる。
【図面の簡単な説明】
【００２７】
【図１】携帯型データ処理装置に含まれたときの本発明による画像装置のとり得る実施例の全体的な概要を示す。
【図２】図１の画像装置によって撮影された画像におけるパースペクティブのエラー及びことによると付加的なエラーを補正する本発明による方法の原理的なアルゴリズムを示す。
【図３（Ａ）】図２のアルゴリズムをより詳細に示す。
【図３（Ｂ）】図２のアルゴリズムをより詳細に示す。
【図３（Ｃ）】図２のアルゴリズムをより詳細に示す。
【図３（Ｄ）】図２のアルゴリズムをより詳細に示す。
【図４】画像の特徴的な点Ｐ_１乃至Ｐ_４及び行の長さＬ_３乃至Ｌ_４が特定された、（太線で表される）歪んだ走査された画像を例として示す。
【図５】特徴的な点Ｐ_３及びＰ_４を見出すための、走査される画像における行の番号に対する走査された画像における行のそれぞれの長さのグラフを示す。
【図６】本発明による方法の第１の態様による走査された画像のエッジの整合の後の（太線で表される）撮影された画像を示す。
【図７】本発明による方法の第２の態様による走査された画像の行の伸長の後の（太線で表される）撮影された画像を示す。
【図８】本発明による方法の第３の態様による画像の列の整合の後の（太線で表される）撮影された画像を示す。
【図９】本発明による方法の第４の態様による画像の列の伸長の後の（太線で表される）撮影された画像を示す。
【図１０】本発明による方法の第５の態様による所望のページフォーマットへの画像の伸長の後の（太線で表される）撮影された画像を示す。

Claims

図形及び／又はテキストを含む最初の画像を撮影する画像手段と、前記撮影された画像を補正するための前記画像手段に結合された画像補正手段とを有する画像装置であって、前記画像手段はカメラ手段であり、前記画像補正手段は前記撮影された画像に対して画像サイジングを実行することによりパースペクティブ補正を実行するように構成されることを特徴とする画像装置。
前記画像補正手段は更に、回転及び／又は揺れ補正を実行するように構成されることを特徴とする、請求項１に記載の画像装置。
前記画像補正手段は、前記撮影された画像のそれぞれのエッジに沿って左及び／又は右へのエッジ整合を実行する整合手段として構成されることを特徴とする、請求項１又は２に記載の画像装置。
前記画像補正手段は、画像短縮及び／又は画像伸長手段として、とりわけそれぞれ画像行及び／画像列の短縮及び伸長手段として構成されることを特徴とする、請求項１乃至３のいずれか一項に記載の画像装置。
請求項１乃至４のいずれか一項に記載の画像装置を備えた、電子手帳又は例えば電話、とりわけ携帯電話といった通信装置のようなデータ処理装置。
画像行及び画像列を有する撮影された画像を処理する方法であって、
前記画像行を整合するステップと、
前記画像行をサイジングするステップと、
前記画像列を整合するステップと、
前記画像列をサイジングするステップと、
所望の処理された画像フォーマットを形成するため前記画像行及び画像列をサイジングするステップと、
のうちの１つ以上のステップを有することを特徴とする方法。
前記サイジングは前記撮影された画像の伸長及び／又は短縮であることを特徴とする、請求項６に記載の方法。
前記画像行及び／又は前記画像列の伸長の量はそれぞれ、最初の及び最後の完全な前記画像行及び／又は前記画像列の長さ及び位置の一次関数であることを特徴とする、請求項７に記載の方法。
とりわけ請求項１乃至５のいずれか一項に記載の装置によって、請求項６乃至８のいずれか一項に記載の方法により処理される図形データ及び／又はテキストデータを含む画像。