JP3615162B2

JP3615162B2 - 画像符号化方法及び画像符号化装置

Info

Publication number: JP3615162B2
Application number: JP2001209017A
Authority: JP
Inventors: 秀樹小林; 浩一郎平尾
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2001-07-10
Filing date: 2001-07-10
Publication date: 2005-01-26
Anticipated expiration: 2021-07-10
Also published as: US20030016875A1; US20070025629A1; US7139428B2; US7664334B2; JP2003023544A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像符号化方法及び画像符号化装置に関し、特に大量の電子文書の内容を高速に認識する技術に関する。
【０００２】
【従来の技術】
近年、森林資源の有効活用や事務処理コストを削減するために、ＩＴ（ＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ）を利用したペーパーレス化が進められている。このようなペーパーレス化の１つの方法として、紙媒体に記録された情報をスキャナで読み取って電子データに変換し、これを電子文書として情報処理装置に格納しておき、利用者は、情報処理装置に格納されている電子文書を読み出して表示させ、以て記録された情報を閲覧することが行われている。
【０００３】
このような情報処理装置は、一般に、大量の電子文書の中から目的の電子文書を探し出すために、検索ツールを備えている。この検索ツールを使用するために、情報処理装置に格納される電子文書にはキーワードが付される。そして、検索時は、このキーワードを情報処理装置に入力することにより目的の電子文書が検索される。
【０００４】
また、紙媒体に記録された情報を電子文書に変換する場合、電子文書の保存や伝送の効率を上げるために、電子文書を構成する電子データを符号化することによりデータ量を小さくすることが行われている。
【０００５】
更に、電子文書を伝送して表示する場合、最初に、解像度、階調性、周波数帯域等が不十分な品質の悪い画像を伝送して表示し、段階的に付加情報を加えながら画像の品質を向上させ、最終的に最大品質の画像を伝送して表示するというプログレッシブ方式が知られている。
【０００６】
【発明が解決しようとする課題】
しかしながら、現在提供されている、電子文書を処理する情報処理装置は紙媒体より使い勝手が悪いことから、上述したペーパーレス化は進んでいない。
【０００７】
また、このような情報処理装置で使用される検索ツールは、キーワードを予め用意する必要があるが、適切なキーワードを作成することが難しいという問題がある。例えば、「センスのよい服」といった抽象的、個人的な趣向が入るキーワードでは、目的の電子文書を検索できない。
【０００８】
また、雑誌や新聞等は、一般に、予め決めておいた目的の記事だけを読むのではなく、先ず全体を概観し、その中から興味のある記事を見つけて詳細に読むということが行われている。しかし、文字情報と多値の絵や写真情報が混在している文書や多量の情報量を含む文章の場合、単なる復号化で表示や伝送を行ったとしても、結局全データが揃うのを待たなければならず、電子文書の内容を認識するのに時間がかかるという問題がある。
【０００９】
更に、利用者が情報処理装置を使って、多数頁で構成されるカタログ掲載等を眺めながら、その中から興味のある頁を探そうとした場合に電子文書の表示や伝送に時間がかかり、紙媒体より扱い難いという問題がある。
【００１０】
本発明は、上述した諸問題を解消するためになされたものであり、その目的は、人間の認識特性に合わせて電子文書の内容を表示や伝送することにより、大量の電子文書の内容を高速に認識できる画像符号化方法及び画像符号化装置を提供することにある。
【００１１】
【課題を解決するための手段】
本発明の第１の態様に係る画像符号化方法は、上記目的を達成するために、入力された画像データの属性に従って該画像データを区分するレイアウト解析を行うステップと、該レイアウト解析により区分された領域の各々をタイルに分割するステップと、該分割により得られたタイルに含まれる前記画像データの属性を該タイルの属性として対応付けするステップと、該対応付けされたタイルの属性に従って該タイルのプログレッシブ順序を切り替えて前記画像データを符号化するステップ、とを備えている。
【００１２】
この第１の態様に係る画像符号化方法によれば、入力された画像データの特性に好適なプログレッシブ順序で、その画像データを符号化するので、この符号化されたデータを伝送又は表示する場合に、完全なデータが送信又は表示される前に利用者がデータの内容を把握できる。
【００１３】
この第１の態様に係る画像符号化方法では、前記符号化は、ＪＰＥＧ２０００に規定される仕様に従って行われるように構成できる。
【００１４】
この場合、前記プログレッシブ順序として、前記タイルの属性が文字であることを表している場合はＳＮＲプログレッシブが用いられ、文字でないことを表している場合は解像度プログレッシブが用いられるように構成できる。
【００１５】
また、前記プログレッシブ順序として、前記タイルの属性がコントラストが強いことを表している場合はＳＮＲプログレッシブが用いられ、コントラストが弱いことを表している場合は解像度プログレッシブ方式が用いられるように構成できる。
【００１６】
また、前記プログレッシブ順序として、前記タイルの属性が表題でないことを表している場合はＳＮＲプログレッシブが用いられ、表題であることを表している場合は解像度プログレッシブが用いられるように構成できる。
【００１７】
更に、前記タイルの属性が罫線で囲まれた枠の中又は細かい情報であることを表している場合はＳＮＲプログレッシブが用いられ、罫線で囲まれた枠の外又は大まかな情報であることを表している場合は解像度プログレッシブが用いられるように構成できる。
【００１８】
また、本発明の第１の態様に係る画像符号化方法は、前記対応付けされたタイルの属性に従って前記タイルの量子化の方法を切り替えるステップ、を更に備え、前記量子化は、前記タイルに含まれる画像データの符号化前に係数を変化させることによって行われるスカラー量子化及び前記タイルに含まれる画像データの符号化後にパラメータを変化させることによって行われるポスト量子化を含むように構成できる。
【００１９】
この場合、前記タイルの属性が文字であることを表している場合は、前記プログレッシブ順序としてＳＮＲプログレッシブが用いられ、且つ前記スカラー量子化では所定の係数で量子化し、且つ前記ポスト量子化では所定のパラメータで量子化し、文字でないことを表している場合は、前記プログレッシブ順序として解像度プログレッシブが用いられ、且つ前記スカラー量子化では前記所定の係数より大きい係数で量子化し、且つ前記ポスト量子化では前記所定のパラメータより小さいパラメータで量子化するように構成できる。
【００２０】
また、前記タイルの属性がコントラストが強いことを表している場合は、前記プログレッシブ順序としてＳＮＲプログレッシブが用いられ、且つ前記スカラー量子化では所定の係数で量子化し、且つ前記ポスト量子化では所定のパラメータで量子化し、前記タイルの属性がコントラストが弱いことを表している場合は、前記プログレッシブ順序として解像度プログレッシブが用いられ、且つ前記スカラー量子化では前記所定の係数より大きい係数で量子化し、前記ポスト量子化では前記所定のパラメータより小さいパラメータで量子化するように構成できる。
【００２１】
また、前記タイルの属性が表題でないことを表している場合は、前記プログレッシブ順序としてＳＮＲプログレッシブが用いられ、且つ前記スカラー量子化では所定の係数で量子化し、且つ前記ポスト量子化では所定のパラメータで量子化し、表題であることを表している場合は、前記プログレッシブ順序として解像度プログレッシブが用いられ、且つ前記スカラー量子化では前記所定の係数より大きい係数で量子化し、前記ポスト量子化では前記所定のパラメータより小さいパラメータで量子化するように構成できる。
【００２２】
更に、前記タイルの属性が罫線で囲まれた枠の中又は細かい情報であることを表している場合は、前記プログレッシブ順序としてＳＮＲプログレッシブが用いられ、且つ前記スカラー量子化では所定の係数で量子化し、且つ前記ポスト量子化では所定のパラメータで量子化し、罫線で囲まれた枠の外又は大まかな情報であることを表している場合は、前記プログレッシブ順序として解像度プログレッシブが用いられ、且つ前記スカラー量子化では前記所定の係数より大きい係数で量子化し、前記ポスト量子化では前記所定のパラメータより小さいパラメータで量子化するように構成できる。
【００２３】
また、本発明の第２の態様に係る画像符号化方法は、上記と同様の目的で、入力された画像データの属性に従って該画像データを区分するレイアウト解析を行うステップと、該レイアウト解析により区分された領域の各々をタイルに分割するステップと、該分割により得られたタイルに含まれる前記画像データの属性を該タイルの属性として対応付けするステップと、該対応付けされたタイルの属性に従って該タイルの量子化の方法を切り替えて前記画像データを圧縮するステップ、とを備えている。
【００２４】
この第２の態様に係る画像符号化方法では、前記量子化は、前記タイルに含まれる画像データの符号化前に係数を変化させることによって行われるスカラー量子化及び前記タイルに含まれる画像データの符号化後にパラメータを変化させることによって行われるポスト量子化を含むように構成できる。
【００２５】
この場合、前記スカラー量子化では、前記タイルの属性が文字であることを表している場合は、所定の係数で量子化し、文字でないことを表している場合は、前記所定の係数より大きい係数で量子化するように構成できる。
【００２６】
また、前記スカラー量子化では、前記タイルの属性がコントラストが強いことを表している場合は、所定の係数で量子化し、コントラストが弱いことを表している場合は、前記所定の係数より大きい係数で量子化するように構成できる。
【００２７】
また、前記スカラー量子化では、前記タイルの属性が表題でないことを表している場合は、所定の係数で量子化し、表題であることを表している場合は、前記所定の係数より大きい係数で量子化するように構成できる。
【００２８】
また、前記スカラー量子化では、前記タイルの属性が罫線で囲まれた枠の中又は細かい情報であることを表している場合は、所定の係数で量子化し、罫線で囲まれた枠の外又は大まかな情報であることを表している場合は、前記所定の係数より大きい係数で量子化するように構成できる。
【００２９】
また、前記ポスト量子化では、前記タイルの属性が文字であることを表している場合は、所定のパラメータで量子化し、文字でないことを表している場合は、前記所定のパラメータより小さいパラメータで量子化するように構成できる。
【００３０】
また、前記ポスト量子化では、前記タイルの属性がコントラストが強いことを表している場合は、所定のパラメータで量子化し、コントラストが弱いことを表している場合は前記所定のパラメータより小さいパラメータで量子化するように構成できる。
【００３１】
また、前記ポスト量子化では、前記タイルの属性が表題でないことを表している場合は所定のパラメータで量子化し、表題であることを表している場合は前記所定のパラメータより小さいパラメータで量子化するように構成できる。
【００３２】
更に、前記ポスト量子化では、前記タイルの属性が罫線で囲まれた枠の中又は細かい情報であることを表している場合は所定のパラメータで量子化し、罫線で囲まれた枠の外又は大まかな情報であることを表している場合は前記所定のパラメータより小さいパラメータで量子化するように構成できる。
【００３３】
また、本発明の第２の態様に係る画像符号化装置は、上記と同様の目的で、
入力された画像データの属性に従って該画像データを区分するレイアウト解析を行うレイアウト解析部と、前記レイアウト解析部におけるレイアウト解析により区分された領域の各々をタイルに分割するタイル分割部と、前記タイル分割部における分割により得られたタイルに含まれる前記画像データの属性を該タイルの属性として対応付けする対応付け部と、前記対応付け部により対応付けされたタイルの属性に従って該タイルのプログレッシブ順序を切り替える切り替え部と、前記切り替え部によって切り替えられたプログレッシブ順序に従って前記画像データを符号化する符号化部、とを備えている。
【００３４】
【発明の実施の形態】
以下、本発明の実施の形態を、ＪＰＥＧ２０００を例に挙げて、図面を参照しながら詳細に説明する。
【００３５】
先ず、この実施の形態で使用されるプログレッシブ方式について説明する。プログレッシブ方式とは、解像度、階調性、周波数帯域等が不十分な品質の悪い画像を伝送して表示し、段階的に付加情報を加えながら画像の品質を向上させ、最終的に最大品質の画像を伝送して表示するという画像の表示方式である。
【００３６】
ＪＰＥＧ２０００ｐａｒｔ１では、このプログレッシブ方式として、解像度（ｒｅｓｏｌｕｔｉｏｎｌｅｖｅｌ）、プレシンクト（ｐｒｅｃｉｎｃｔ：ｐｏｓｉｔｉｏｎ）、色成分（ｃｏｍｐｏｎｅｎｔ）及びレイヤ（Ｌａｙｅｒ）の組合せによる５つのプログレッシブ順序を規定している。以下では、この実施の形態で一例として採用する「解像度プログレッシブ」及び「ＳＮＲプログレッシブ」について説明する。
【００３７】
ＳＮＲプログレッシブは、Ｌａｙｅｒ−ｒｅｓｏｌｕｔｉｏｎｌｅｖｅｌ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ（ＬＲＣＰ）のプログレッシブ順序を有し、ビットプレーンを最上位から符号化する方式である。このＳＮＲプログレッシブで画像を表示すると、利用者からは、少ない色数から徐々に色数が増えてくるように見える。これを文字や写真等が混在した文書に適用した場合、写真は中間調が見えないのでほぼ完全に復元されないと認識できない。一方、文字はエッジが強いので完全に復元される前に認識できる。
【００３８】
これに対し、解像度プログレッシブは、ｒｅｓｏｌｕｔｉｏｎｌｅｖｅｌ−Ｌａｙｅｒ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ（ＲＬＣＰ）のプログレッシブ順序を有し、ウエーブレット変換の多重解像度性を利用して、小さい解像度から符号化することで、画像を画像の木目細かさや荒さで圧縮する。復号化において、低い解像度から徐々に解像度が上がる解像度プログレッシブを用いて画像を表示すると、利用者からは、ピントがぼけた状態から徐々にピントが合ってくるように見える。これを文字及び写真等が混在した文書に適用すると、写真は完全に復元される前に大まかな内容を認識することができ、文字はほぼ完全に復元されないと認識できないことが分かる。
【００３９】
本発明の実施の形態に係る画像符号化方法及び画像符号化装置は、このような両プログレッシブの特徴を利用して、文字の場合はＳＮＲプログレッシブ、写真の場合は解像度プログレッシブを用いて表示及び伝送を行うように構成する。これにより、利用者は、画像データの表示や伝送の途中でも、その画像の内容を認識することができる。
【００４０】
次に、実施の形態で使用される量子化について説明する。量子化は、係数のダイナミックレンジを削減する方法である。ＪＰＥＧ２０００では、スカラー量子化とポスト量子化といった２種類の量子化方法が定義されている。
【００４１】
スカラー量子化は、効率のよい圧縮を行うために、ウエーブレット変換された係数に対して実行される。このスカラー量子化は、周知の画素単位の量子化であり、種々の量子化方法が提案されている。
【００４２】
この実施の形態では、スカラー量子化の対象が文字であるか写真であるかによって、量子化ステップ幅を指定する係数（≧１）を変更し、それぞれに合致する量子化を行う。より具体的には、文字であれば小さい圧縮率で圧縮するような小さい係数（「１」の近傍の所定値）を用いて量子化する。極端な場合（係数が「１」の場合）は、文字であれば量子化をしない。一方、写真であれば、大きい圧縮率で圧縮するような大きい係数を用いて量子化する。写真の場合は、大きい係数を用いて圧縮しても、見た目に及ぼす影響が少ない。
【００４３】
一方、ポスト量子化は、量子化の後に行われる符号化がビットプレーンであることを利用して、完成した符号列の下位ビットプレーンを切り捨てることによって行う量子化である。スカラー量子化では、符号量の制御を行うためには、量子化ステップ幅を適宜変更しながら符号化を行う必要があるが、ポスト量子化では、符号化後の符号列に対して量子化を行うので再度符号化を行う必要がなく、符号量の制御を１パスで実現可能であるという特徴を有する。
【００４４】
この実施の形態では、ポスト量子化の対象が文字であるか写真であるかによってパラメータ（≧１）を変更し、それぞれに合致する量子化を行う。より具体的には、写真であればパラメータを小さくすることにより切り捨てるビットプレーンを少なくして量子化を行う。極端な場合（パラメータが「１」の場合）は、写真であれば量子化をしない。一方、文字であればパラメータを大きくして量子化を行う。この場合、より多くの情報が切り捨てられるが、文字であることにより見た目に及ぼす影響が少ない。
【００４５】
（実施の形態１）
次に、本発明の実施の形態１に係る画像符号化装置の構成を説明する。図１は、本発明の実施の形態１で使用される画像符号化装置の概略構成を示すブロック図である。この画像符号化装置は、処理装置１０、スキャナ１１、記憶装置１２及び表示装置１３から構成されている。
【００４６】
処理装置１０は、パーソナルコンピュータ、ワークステーション、汎用コンピュータといったコンピュータで構成することができる。なお、この画像符号化装置が、例えば多機能ファクシミリ装置や複写機とプリンタとが複合された複合装置のような一体型の装置である場合は、処理装置１０は、その画像符号化装置の内部に搭載される中央処理装置（ＣＰＵ）、画像処理専用のＬＳＩ等で構成することができる。この処理装置１０は、画像符号化装置の全体を制御する。この処理装置１０の動作は、後にフローチャートを参照して詳細に説明する。
【００４７】
スキャナ１１は、紙媒体である文書に記載された文字、記号、図形、写真等をスキャンし、このスキャンにより得られた画像信号を処理装置１０に送る。
【００４８】
記憶装置１２は、処理装置１０から送られてくる符号化データを格納する。この記憶装置１２に格納された符号化データは、処理装置１０によって読み出され、表示装置１３に送られる。
【００４９】
表示装置１３は、処理装置１０から送られてくる符号化データに基づいて文書を再生して表示する。この表示装置１３と処理装置１０との間は、ワイヤで直接に接続されてもよいし、無線、公衆回線、或いはインターネットのようなネットワーク介して接続されていてもよい。
【００５０】
次に、上記のように構成される本発明の実施の形態１に係る画像符号化装置の動作を図２に示したフローチャートを参照しながら説明する。
【００５１】
先ず、電子化したい紙媒体の文書がスキャンされる（ステップＳ１０）。即ち、図３に示すような文字と写真とが混在する文書をスキャナ１１でスキャンする。
【００５２】
次いで、ビットマップデータが生成される（ステップＳ１１）。即ち、処理装置１０は、スキャナ１１から送られてくる画像信号に基づいてピットマップ形式のデータを生成し、ビットマップデータとして、その内部のワークメモリ（図示は省略する）に一時的に記憶する。
【００５３】
次いで、レイアウト解析が行われる（ステップＳ１２）。即ち、ワークメモリに格納されたビットマップデータに基づいて、光学文字認識（ＯＣＲ：ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅｃｏｇｎｉｔｉｏｎ）の一種であるレイアウト解析が行われる。このレイアウト解析により、文書が文字領域と写真領域とに分類される。
【００５４】
今、レイアウト解析の結果により、図４に示すように、写真領域１、文字領域２及び文字領域３といった３つの領域が認識されたものとすると、各領域の属性を「文字」と「文字以外（写真）」とに分ける。そして、符号化フォーマットとは別に、各々に属性を指定する。
【００５５】
次いで、ＪＰＥＧ２０００の符号化を行う前の前処理として、タイル分割が行われる（ステップＳ１３）。このタイル分割の一例を図５に示す。この図５では、写真領域１が６個、文字領域２が８個及び文字領域３が６個のタイルにそれぞれ分割された例を示す。なお、各タイルの大きさは同じである。また、タイル分割方法及びタイルの形は、上記に限らず、他の種々の分割の方法及び形を用いることができる。
【００５６】
次いで、各タイルに含まれるビットマップデータに解析情報が付加される（ステップＳ１４）。ここで、解析情報を付加する方法の一例として、タイル番号に対応するテーブルを備える方法を説明する。タイル番号とは、ＪＰＥＧ２０００で規定されているＳＯＴマーカセグメントの中のパラメータの１つで、「０」から始まるラスター順に付された番号である。このタイル番号に、例えば、「０」を文字、「１」を文字以外とする解析情報を対応付けたテーブルを作成し、これを図示しないワークメモリに格納する。以上のタイル番号と解析情報の対応付けは、全てのタイルに対して実行される。
【００５７】
次いで、ワークメモリから１つのタイルが取り出され、その属性は文字であるかどうかが調べられる（ステップＳ１５）。この属性の判断は、上記テーブルを参照することにより行われる。このステップＳ１５で、文字であることが判断されると、タイル内のデータが離散ウエーブレット変換（ＤＷＴ）により係数に変換され、この変換により得られた係数に対して、文字用の量子化係数を用いてスカラー量子化が行われる（ステップＳ１６）。文字用の量子化係数としては、量子化を行わないような係数又は小さい圧縮率で圧縮するような小さい係数が用いられる。
【００５８】
次いで、量子化された係数がＳＮＲプログレッシブ方式で符号化される（ステップＳ１７）。符号化の方式は、上掲のＪＰＥＧ２０００の仕様書を参照されたい。次いで、符号化により得られた符号化データに対して文字用の量子化パラメータを用いてポスト量子化が行われる（ステップＳ１８）。文字用の量子化パラメータとしては、大きい圧縮率で圧縮するような大きな値のパラメータが用いられる。これにより、符号量及び画質が制御されるが、利用者の閲覧に影響が出ない範囲に抑えられるようになっている。次いで、ポスト量子化された符号化データが記憶装置１２に格納される（ステップＳ２２）。
【００５９】
上記ステップＳ１５で、タイルの属性が文字でない、つまり写真や絵であることが判断されると、タイル内のデータが離散ウエーブレット変換により係数に変換され、この変換により得られた係数に対して、写真用の量子化係数を用いてスカラー量子化が行われる（ステップＳ１９）。写真用の量子化係数としては、大きい圧縮率で圧縮するような大きい係数が用いられる。
【００６０】
次いで、量子化された係数が、解像度プログレッシブ方式で符号化される（ステップＳ２０）。符号化の方式は、上掲のＪＰＥＧ２０００の仕様書を参照されたい。次いで、符号化により得られた符号化データに対して写真用の量子化パラメータを用いてポスト量子化が行われる（ステップＳ２１）。写真用の量子化パラメータとしては、小さい圧縮率で圧縮するような小さい値のパラメータが用いられる。即ち、写真用の量子化パラメータは文字用の量子化パラメータより小さい。これにより、符号量及び画質が制御されるが、利用者の閲覧に影響が出ない範囲に抑えられるようになっている。その後、シーケンスはステップＳ２２へ分岐し、ポスト量子化が行われた符号化データが記憶装置１２に格納される。以上のステップＳ１５〜Ｓ２２の処理は全てのタイルについて実行される。
【００６１】
以上説明したように、この実施の形態１に係る画像符号化装置によれば、入力された画像が文字であればＳＮＲプログレッシブによる符号化が行われ、文字以外であれば解像度プログレッシブによる符号化が行われる。従って、このようにして符号化されたデータを復号して利用者の閲覧に供する情報処理装置は、各タイルに付された属性情報に基づいて、画像が文字であればＳＮＲプログレッシブを、文字以外であれば解像度プログレッシブをそれぞれ選択して復号化するように構成できる。これにより、最適な復号方式が選択されることになり、利用者は、データが完全に復号化される前に、その画像の内容を認識できる。
【００６２】
また、入力された画像の符号化データはポスト量子化により圧縮されるので符号量の制御が簡単になり、特に、文字は、ポスト量子化により写真より大きい圧縮率で圧縮されるので、文字の多い文書等では、伝送及び表示の高速化が図れる。
【００６３】
なお、上述した実施の形態１では、各タイルに属性情報を付するように構成したが、最適なプログレッシブ順序を表す情報を付加するように構成してもよい。この場合は、タイルと属性情報とを対応付けるテーブルは不要になるので、画像符号化装置の構成が簡単になる。
【００６４】
また、プログレッシブの方式として、写真及び文字に最適な方式をそれぞれ解像度プログレッシブ及びＳＮＲプログレッシブに限定せずに、ＪＰＥＧ２０００ｐａｒｔ１等で規定されている５つのプログレッシブ順序の中から任意のものを用いてもよいし、他の最適なプログレッシブ順序を用いてもよい。
【００６５】
（実施の形態２）
本発明の実施の形態２は、コントラストの強弱によってプログレッシブ順序を切り替えるように構成されている。
【００６６】
この実施の形態２に係る画像符号化装置の構成は、図１に示した実施の形態１に係る画像符号化装置の構成と同じである。
【００６７】
次に、本発明の実施の形態２に係る画像符号化装置の動作を図６に示したフローチャートを参照しながら説明する。なお、図２に示した実施の形態１に係る画像符号化装置の動作を示すフローチャートと同一又は相当する処理を行うステップには図２と同一の符号を付して説明する。
【００６８】
先ず、電子化したい紙媒体の文書がスキャンされ（ステップＳ１０）、ビットマップデータが生成される（ステップＳ１１）。次いで、レイアウト解析が行われる（ステップＳ１２）。即ち、ワークメモリに格納されたビットマップデータに基づいて、コントラストが強い領域とコントラストが弱い領域とに分類される。このレイアウト解析により、文字領域はコントラストが強い領域に、写真領域はコントラストが弱い領域に分類される。
【００６９】
次いで、タイル分割が行われる（ステップＳ１３）。次いで、各タイルに含まれるビットマップデータに解析情報が付加される（ステップＳ１４）。ここで、タイル番号に、例えば、「０」をコントラストが強い領域、「１」をコントラストが弱い領域とする解析情報を対応付けたテーブルを作成し、これを図示しないワークメモリに格納する。以上のタイル番号と解析情報の対応付けは、全てのタイルに対して実行される。
【００７０】
次いで、ワークメモリから１つのタイルが取り出され、その属性がコントラストが強い領域を表しているかどうかが調べられる（ステップＳ３０）。この属性の判断は、上記テーブルを参照することにより行われる。このステップＳ３０で、コントラストが強い領域を表していることが判断されると、タイル内のデータが離散ウエーブレット変換により係数に変換され、この変換により得られた係数に対して文字用の量子化係数を用いてスカラー量子化が行われる（ステップＳ１６）。文字用の量子化係数は、実施の形態１のそれと同じ性質を有する。
【００７１】
次いで、量子化された係数が、ＳＮＲプログレッシブ方式で符号化される（ステップＳ１７）。次いで、符号化により得られた符号化データに対して文字用の量子化パラメータを用いてポスト量子化が行われ（ステップＳ１８）、ポスト量子化された符号化データが記憶装置１２に格納される（ステップＳ２２）。文字用の量子化パラメータは、実施の形態１のそれと同じ性質を有する。
【００７２】
上記ステップＳ３０で、タイルの属性が、コントラストが弱い領域を表していることが判断されると、タイル内のデータが離散ウエーブレット変換により係数に変換され、この変換により得られた係数に対して写真用の量子化係数を用いてスカラー量子化が行われる（ステップＳ１９）。写真用の量子化係数は、実施の形態１のそれと同じ性質を有する。次いで、量子化された係数が、解像度プログレッシブ方式で符号化される（ステップＳ２０）。次いで、符号化により得られた符号化データに対して写真用の量子化パラメータを用いてポスト量子化が行われる（ステップＳ２１）。写真用の量子化パラメータは、実施の形態１のそれと同じ性質を有する。その後、シーケンスはステップＳ２２へ分岐し、ポスト量子化が行われた符号化データが記憶装置１２に格納される。以上のステップＳ１５〜Ｓ２１の処理は全てのタイルについて実行される。
【００７３】
以上説明したように、この実施の形態２に係る画像符号化装置によれば、入力された画像のコントラストが強い領域であればＳＮＲプログレッシブによる符号化が行われ、コントラストが弱い領域であれば解像度プログレッシブによる符号化が行われる。従って、このようにして符号化されたデータを復号して利用者の閲覧に供する情報処理装置は、各タイルに付された属性情報に基づいて、画像のコントラストが強い領域であれば文字であると判断してＳＮＲプログレッシブを、コントラストが弱い領域であれば文字以外であると判断して解像度プログレッシブをそれぞれ選択して復号化するように構成できる。これにより、最適な復号方式が選択されることになり、利用者は、データが完全に復号化される前に、その画像の内容を認識できる。
【００７４】
（実施の形態３）
本発明の実施の形態３は、表題であるか本文であるかによってプログレッシブ順序を切り替えるように構成されている。
【００７５】
この実施の形態３に係る画像符号化装置の構成は、図１に示した実施の形態１に係る画像符号化装置の構成と同じである。
【００７６】
次に、本発明の実施の形態３に係る画像符号化装置の動作を図７に示したフローチャートを参照しながら説明する。なお、図２に示した実施の形態１に係る画像符号化装置の動作を示すフローチャートと同一又は相当する処理を行うステップには図２と同一の符号を付して説明する。
【００７７】
先ず、電子化したい紙媒体の文書がスキャンされ（ステップＳ１０）、ビットマップデータが生成される（ステップＳ１１）。次いで、レイアウト解析が行われる（ステップＳ１２）。即ち、ワークメモリに格納されたビットマップデータに基づいて、表題と本文とに分類される。
【００７８】
次いで、タイル分割が行われる（ステップＳ１３）。次いで、各タイルに含まれるビットマップデータに解析情報が付加される（ステップＳ１４）。ここで、タイル番号に、例えば、「０」を表題、「１」を本文とする解析情報を対応付けたテーブルを作成し、これを図示しないワークメモリに格納する。以上のタイル番号と解析情報の対応付けは、全てのタイルに対して実行される。
【００７９】
次いで、ワークメモリから１つのタイルが取り出され、その属性は表題であるかどうかが調べられる（ステップＳ４０）。この属性の判断は、上記テーブルを参照することにより行われる。このステップＳ４０で、表題でないことが判断されると、タイル内のデータが離散ウエーブレット変換により係数に変換され、この変換により得られた係数に対して文字用の量子化係数を用いてスカラー量子化が行われる（ステップＳ１６）。文字用の量子化係数は、実施の形態１のそれと同じ性質を有する。
【００８０】
次いで、量子化された係数が、ＳＮＲプログレッシブ方式で符号化される（ステップＳ１７）。次いで、符号化により得られた符号化データに対して文字用の量子化パラメータを用いてポスト量子化が行われ（ステップＳ１８）、ポスト量子化された符号化データが記憶装置１２に格納される（ステップＳ２２）。文字用の量子化パラメータは、実施の形態１のそれと同じ性質を有する。
【００８１】
上記ステップＳ４０で、タイルの属性が表題であることが判断されると、タイル内のデータが離散ウエーブレット変換により係数に変換され、この変換により得られた係数に対して表題用の量子化係数を用いてスカラー量子化が行われる（ステップＳ４１）。表題用の量子化係数としては、実施の形態１の写真用の量子化係数と同じ性質を有する。次いで、量子化された係数が、解像度プログレッシブ方式で符号化される（ステップＳ２０）。次いで、符号化により得られた符号化データに対して表題用の量子化パラメータを用いてポスト量子化が行われる（ステップＳ４２）。表題用の量子化パラメータは、実施の形態１の写真用の量子化パラメータと同じ性質を有する。その後、シーケンスはステップＳ２２へ分岐し、ポスト量子化が行われた符号化データが記憶装置１２に格納される。以上のステップＳ１５〜Ｓ２２の処理は全てのタイルについて実行される。
【００８２】
以上説明したように、この実施の形態３に係る画像符号化装置によれば、入力された画像が表題であればＳＮＲプログレッシブによる符号化が行われ、本文であれば解像度プログレッシブによる符号化が行われる。一般に、表題は大きい文字や彩色された絵で描かれることが多いので解像度プログレッシブが好適であり、本文は細かい実施の形態で書かれていることが多いのでＳＮＲプログレッシブが好適である。
【００８３】
従って、この画像符号化装置で符号化されたデータを復号して利用者の閲覧に供する情報処理装置は、各タイルに付された属性情報に基づいて、表題であれば解像度プログレッシブを、本文であればＳＮＲプログレッシブをそれぞれ選択して復号化するように構成できる。これにより、最適な復号方式が選択されることになり、利用者は、データが完全に復号化される前に、その画像の内容を認識できる。
【００８４】
なお、上述した構成とは逆に、表題にＳＮＲプログレッシブを、本文に解像度プログレッシブを用いるように構成することもできる。この構成により、表題だけを早く認識できるので、目的とする文書を高速に検索できる。また、表題及び本文の各々に、解像度プログレッシブを用いるかＳＮＲプログレッシブを用いるかを選択するように構成することもできる。この構成によれば、利用者の目的に応じた電子文書の検索が可能になる。
【００８５】
（実施の形態４）
本発明の実施の形態４は、枠の内外によってプログレッシブ順序を切り替えるように構成されている。
【００８６】
この実施の形態４に係る画像符号化装置の構成は、図１に示した実施の形態１に係る画像符号化装置の構成と同じである。
【００８７】
次に、本発明の実施の形態４に係る画像符号化装置の動作を図８に示したフローチャートを参照しながら説明する。なお、図２に示した実施の形態１に係る画像符号化装置の動作を示すフローチャートと同一又は相当する処理を行うステップには図２と同一の符号を付して説明する。
【００８８】
先ず、電子化したい紙媒体の文書がスキャンされ（ステップＳ１０）、ビットマップデータが生成される（ステップＳ１１）。次いで、レイアウト解析が行われる（ステップＳ１２）。即ち、ワークメモリに格納されたビットマップデータに基づいて、枠内と枠外とに分類される。
【００８９】
次いで、タイル分割が行われる（ステップＳ１３）。次いで、各タイルに含まれるビットマップデータに解析情報が付加される（ステップＳ１４）。ここで、タイル番号に、例えば、「０」を枠内、「１」を枠外とする解析情報を対応付けたテーブルを作成し、これを図示しないワークメモリに格納する。以上のタイル番号と解析情報の対応付けは、全てのタイルに対して実行される。
【００９０】
次いで、ワークメモリから１つのタイルが取り出され、その属性は枠内を表しているかどうかが調べられる（ステップＳ５０）。この属性の判断は、上記テーブルを参照することにより行われる。このステップＳ５０で、枠内であることが判断されると、タイル内のデータが離散ウエーブレット変換により係数に変換され、この変換により得られた係数に対して文字用の量子化係数を用いてスカラー量子化が行われる（ステップＳ１６）。文字用の量子化係数は、実施の形態１のそれと同じ性質を有する。
【００９１】
次いで、量子化されたデータが、ＳＮＲプログレッシブ方式で符号化される（ステップＳ１７）。次いで、符号化により得られた符号化データに対して文字用の量子化パラメータを用いてポスト量子化が行われ（ステップＳ１８）、ポスト量子化された符号化データが記憶装置１２に格納される（ステップＳ２２）。文字用の量子化パラメータは、実施の形態１のそれと同じ性質を有する。
【００９２】
上記ステップＳ５０で、タイルの属性が枠外を表していることが判断されると、タイル内のデータが離散ウエーブレット変換により係数に変換され、この変換により得られた係数に対して枠外用の量子化係数を用いてスカラー量子化が行われる（ステップＳ５１）。枠外用の量子化係数は、実施の形態１の写真用の量子化係数と同じ性質を有する。次いで、量子化された係数が、解像度プログレッシブ方式で符号化される（ステップＳ２０）。次いで、符号化により得られた符号化データに対して枠外用の量子化パラメータを用いてポスト量子化が行われる（ステップＳ５２）。枠外用の量子化パラメータは、実施の形態１の写真用の量子化パラメータと同じ性質を有する。その後、シーケンスはステップＳ２２へ分岐し、ポスト量子化が行われた符号化データが記憶装置１２に格納される。以上のステップＳ１５〜Ｓ２２の処理は全てのタイルについて実行される。
【００９３】
以上説明したように、この実施の形態４に係る画像符号化装置によれば、入力された画像が枠内であればＳＮＲプログレッシブによる符号化が行われ、枠外であれば解像度プログレッシブによる符号化が行われる。例えば帳票のように、枠内に細かい文字が書かれている場合はＳＮＲプログレッシブが好適である。
【００９４】
従って、この画像符号化装置で符号化されたデータを復号して利用者の閲覧に供する情報処理装置は、各タイルに付された属性情報に基づいて、枠外であれば解像度プログレッシブを、枠内であればＳＮＲプログレッシブをそれぞれ選択して復号化するように構成できる。これにより、最適な復号方式が選択されることになり、利用者は、データが完全に復号化される前に、その画像の内容を認識できる。その結果、高速に必要な情報を得ることができる。
【００９５】
【発明の効果】
以上詳述したように、本発明によれば、人間の認識特性に合わせて電子文書の内容を表示や伝送することにより、大量の電子文書の内容を高速に認識できる画像符号化方法及び画像符号化装置を提供できる。
【図面の簡単な説明】
【図１】本発明の実施の形態１〜４に係る画像符号化装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に係る画像符号化装置の動作を示すフローチャートである。
【図３】本発明の実施の形態１に係る画像符号化装置の動作を説明するための図である。
【図４】本発明の実施の形態１に係る画像符号化装置の動作を説明するための図である。
【図５】本発明の実施の形態１に係る画像符号化装置の動作を説明するための図である。
【図６】本発明の実施の形態２に係る画像符号化装置の動作を示すフローチャートである。
【図７】本発明の実施の形態３に係る画像符号化装置の動作を示すフローチャートである。
【図８】本発明の実施の形態４に係る画像符号化装置の動作を示すフローチャートである。
【符号の説明】
１０処理装置
１１スキャナ
１２記憶装置
１３表示装置

Claims

入力された画像データの属性に従って該画像データを複数の領域に区分するレイアウト解析を行うステップと、
該レイアウト解析により区分された領域の各々をタイルに分割するステップと、
該分割により得られたタイルに含まれる前記属性を該タイルの属性として対応付けするステップと、
前記画像データの属性が示すものが文字であるか否かに応じて定まるプログレッシブ方式を使用し、該対応付けされたタイルの属性に従って該タイルのプログレッシブ順序を切り替えて前記画像データを符号化するステップ、
とを備えた画像符号化方法。
前記符号化は、ＪＰＥＧ２０００に規定される仕様に従って行われる、請求項１に記載の画像符号化方法。
前記プログレッシブ順序として、前記タイルの属性が文字であることを表している場合はＳＮＲプログレッシブが用いられ、文字でないことを表している場合は解像度プログレッシブが用いられる、請求項１又は２に記載の画像符号化方法。
前記プログレッシブ順序として、前記タイルの属性がコントラストが強いことを表している場合はＳＮＲプログレッシブが用いられ、コントラストが弱いことを表している場合は解像度プログレッシブ方式が用いられる、請求項１又は２に記載の画像符号化方法。
前記プログレッシブ順序として、前記タイルの属性が表題でないことを表している場合はＳＮＲプログレッシブが用いられ、表題であることを表している場合は解像度プログレッシブが用いられる、請求項１又は２に記載の画像符号化方法。
前記プログレッシブ順序として、前記タイルの属性が罫線で囲まれた枠の中又は細かい情報であることを表している場合はＳＮＲプログレッシブが用いられ、罫線で囲まれた枠の外又は大まかな情報であることを表している場合は解像度プログレッシブが用いられる、請求項１又は２に記載の画像符号化方法。
前記量子化の対象が文字であるか否かに応じて定まる圧縮率で圧縮し、前記対応付けされたタイルの属性に従って前記タイルの量子化の方法を切り替えるステップ、を更に備えた請求項１又は２に記載の画像符号化方法。
前記量子化は、前記タイルに含まれる画像データの符号化前に係数を変化させることによって行われるスカラー量子化及び前記タイルに含まれる画像データの符号化後にパラメータを変化させることによって行われるポスト量子化を含む、請求項７に記載の画像符号化方法。
前記タイルの属性が文字であることを表している場合は、前記プログレッシブ順序としてＳＮＲプログレッシブが用いられ、且つ前記スカラー量子化では所定の係数で量子化し、且つ前記ポスト量子化では所定のパラメータで量子化し、
文字でないことを表している場合は、前記プログレッシブ順序として解像度プログレッシブが用いられ、且つ前記スカラー量子化では前記所定の係数より大きい係数で量子化し、且つ前記ポスト量子化では前記所定のパラメータより小さいパラメータで量子化する、請求項８に記載の画像符号化方法。
前記タイルの属性がコントラストが強いことを表している場合は、前記プログレッシブ順序としてＳＮＲプログレッシブが用いられ、且つ前記スカラー量子化では所定の係数で量子化し、且つ前記ポスト量子化では所定のパラメータで量子化し、
前記タイルの属性がコントラストが弱いことを表している場合は、前記プログレッシブ順序として解像度プログレッシブが用いられ、且つ前記スカラー量子化では前記所定の係数より大きい係数で量子化し、前記ポスト量子化では前記所定のパラメータより小さいパラメータで量子化する、請求項８に記載の画像符号化方法。
前記タイルの属性が表題でないことを表している場合は、前記プログレッシブ順序としてＳＮＲプログレッシブが用いられ、且つ前記スカラー量子化では所定の係数で量子化し、且つ前記ポスト量子化では所定のパラメータで量子化し、
表題であることを表している場合は、前記プログレッシブ順序として解像度プログレッシブが用いられ、且つ前記スカラー量子化では前記所定の係数より大きい係数で量子化し、前記ポスト量子化では前記所定のパラメータより小さいパラメータで量子化する、請求項８に記載の画像符号化方法。
前記タイルの属性が罫線で囲まれた枠の中又は細かい情報であることを表している場合は、前記プログレッシブ順序としてＳＮＲプログレッシブが用いられ、且つ前記スカラー量子化では所定の係数で量子化し、且つ前記ポスト量子化では所定のパラメータで量子化し、
罫線で囲まれた枠の外又は大まかな情報であることを表している場合は、前記プログレッシブ順序として解像度プログレッシブが用いられ、且つ前記スカラー量子化では前記所定の係数より大きい係数で量子化し、前記ポスト量子化では前記所定のパラメータより小さいパラメータで量子化する、請求項８に記載の画像符号化方法。
入力された画像データの属性に従って該画像データを複数の領域に区分するレイアウト解析を行うステップと、
該レイアウト解析により区分された領域の各々をタイルに分割するステップと、
該分割により得られたタイルに含まれる前記属性を該タイルの属性として対応付けするステップと、
前記タイルの属性に従って前記タイル内データを係数に変換し、前記係数に対して前記タイルの属性に応じた量子化係数を用いてスカラー量子化を行うステップと、
前記スカラー量子化により量子化された前記係数を、前記タイルの属性に応じたプログレッシブ方式で符号化するステップと、
前記符号化により得られた符号化データに対して前記タイルの属性に応じたパラメータを用いてポスト量子化を行うステップ、
とを備えた画像符号化方法。
前記スカラー量子化では、前記タイルの属性が文字であることを表している場合は、所定の係数で量子化し、文字でないことを表している場合は、前記所定の係数より大きい係数で量子化する、請求項１３に記載の画像符号化方法。
前記スカラー量子化では、前記タイルの属性がコントラストが強いことを表している場合は、所定の係数で量子化し、コントラストが弱いことを表している場合は、前記所定の係数より大きい係数で量子化する、請求項１３に記載の画像符号化方法。
前記スカラー量子化では、前記タイルの属性が表題でないことを表している場合は、所定の係数で量子化し、表題であることを表している場合は、前記所定の係数より大きい係数で量子化する、請求項１３に記載の画像符号化方法。
前記スカラー量子化では、前記タイルの属性が罫線で囲まれた枠の中又は細かい情報であることを表している場合は、所定の係数で量子化し、罫線で囲まれた枠の外又は大まかな情報であることを表している場合は、前記所定の係数より大きい係数で量子化する、請求項１３に記載の画像符号化方法。
前記ポスト量子化では、前記量子化の対象が文字であるか否かに応じたパラメータを使用し、前記タイルの属性が文字であることを表している場合は、所定のパラメータで量子化し、文字でないことを表している場合は、前記所定のパラメータより小さいパラメータで量子化する、請求項１３又は１４に記載の画像符号化方法。
前記ポスト量子化では、前記量子化の対象のコントラストが強いと文字に、コントラストが弱いと文字以外に分類し、前記量子化の対象が文字であるか否かに応じたパラメータを使用し、前記タイルの属性がコントラストが強いことを表している場合は、所定のパラメータで量子化し、コントラストが弱いことを表している場合は前記所定のパラメータより小さいパラメータで量子化する、請求項１３又は１５に記載の画像符号化方法。
前記ポスト量子化では、前記量子化の対象が表題でないと文字に、表題であると文字以外に分類し、前記量子化の対象が文字であるか否かに応じたパラメータを使用し、前記タイルの属性が表題でないことを表している場合は所定のパラメータで量子化し、表題であることを表している場合は前記所定のパラメータより小さいパラメータで量子化する、請求項１３又は１６に記載の画像符号化方法。
前記ポスト量子化では、前記量子化の対象が枠内であると文字に、前記量子化の対象が枠外であると文字以外に分類し、前記量子化の対象が文字であるか否かに応じたパラメータを使用し、前記タイルの属性が罫線で囲まれた枠の中又は細かい情報であることを表している場合は所定のパラメータで量子化し、罫線で囲まれた枠の外又は大まかな情報であることを表している場合は前記所定のパラメータより小さいパラメータで量子化する、請求項１３又は１７に記載の画像符号化方法。
入力された画像データの属性に従って該画像データを区分するレイアウト解析を行うレイアウト解析部と、
前記レイアウト解析部におけるレイアウト解析により区分された領域の各々をタイルに分割するタイル分割部と、
前記タイル分割部における分割により得られたタイルに含まれる前記画像データの属性を該タイルの属性として対応付けする対応付け部と、
前記画像データの属性が示すものが文字であるか否かに応じて定まるプログレッシブ方式を使用し、前記対応付け部により対応付けされたタイルの属性に従って該タイルのプログレッシブ順序を切り替える切り替え部と、
前記切り替え部によって切り替えられたプログレッシブ順序に従って前記画像データを符号化する符号化部、
とを備えた画像符号化装置。