JPWO2006068073A1 - 画像データ生成方法及びその装置と、画像配信システム及びその画像配信装置と、それらのプログラム - Google Patents

画像データ生成方法及びその装置と、画像配信システム及びその画像配信装置と、それらのプログラム Download PDF

Info

Publication number
JPWO2006068073A1
JPWO2006068073A1 JP2006548961A JP2006548961A JPWO2006068073A1 JP WO2006068073 A1 JPWO2006068073 A1 JP WO2006068073A1 JP 2006548961 A JP2006548961 A JP 2006548961A JP 2006548961 A JP2006548961 A JP 2006548961A JP WO2006068073 A1 JPWO2006068073 A1 JP WO2006068073A1
Authority
JP
Japan
Prior art keywords
image
tile
component
data
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006548961A
Other languages
English (en)
Inventor
和生 石田
和生 石田
巡 高田
巡 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2006068073A1 publication Critical patent/JPWO2006068073A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

JPEG形式の画像データを蓄積するイメージデータ記憶手段と蓄積されたJPEG画像を分割する画像分割手段と分割された画像データをクライアントに配信する配信手段とを備え、画像分割手段はクライアントで表示に必要な画像領域を包含するタイル領域を決定し、イメージデータ記憶手段に蓄積された画像データからタイル領域に対応する係数データを取り出し、係数データのうち、AC成分についてはそのままの値を、DC成分については隣接するひとつ前のタイル領域のDC成分の値を加えた結果をクライアントに配信する係数データとして算出し、配信手段は算出された係数データを画像データとしてクライアントに配信する。

Description

本発明は画像データの生成方法及びその装置と、画像データの配信システム及びその画像配信装置と、それらのプログラムに関し、特に画像を効率的に分割し、表示に必要な領域のイメージデータの復号化に必要なリソースの削減を実現する技術に関する。
サーバに蓄えられた文書のページ画像をクライアントに配信して表示、閲覧するシステムが考えられている。しかし、クライアント側が携帯電話などのように表示画面のサイズが小さい場合、サーバから配信されたページ画像の一部の領域しか一度には表示されることはなく、クライアントの利用者にとっては、表示されない部分のページ画像の取得のための時間が余分に必要となるという問題があった。
このような問題点を解決する為に、ページ画像の配信要求を行ったクライアントの表示画面サイズに合わせた部分領域画像を、ページ画像から切り出して配信するという手法が提案されている(例えば、特許文献1)。
特許文献1に記載された発明は、ページ画像から選択された部分領域画像を生成するものであり、画像にはイメージデータの複数のマクロブロックを含み、部分領域画像を生成する際、DC成分の値の一部は再計算され、部分領域画像におけるピクセル群の再並び替えに反映させている。具体的には、部分領域に含まれる各マクロブロックのDC成分は、前のマクロブロックのDC成分との差分値となるように再計算され、選択部分全体がひとつのJPEGイメージとして生成している。
また、上述の問題点を解決する為に、FlashpixやJPEG 2000といった標準画像フォーマットでは、予め1枚の画像データを複数のタイルと呼ばれる領域に分割し、タイル毎に符合化することが出来るようになっているため、画像データ全体ではなく、クライアントからの配信要求に対応した部分領域画像データのみを配信することが可能である。
特開2000−32460号公報
しかしながら、上記特許文献1に記載された発明は、DC成分の再計算の際に、前のマクロブロックのDC成分との差分値を新たなDC成分とし、選択部分全体がひとつのJPEGイメージとして生成しており、リスタートヘッダの挿入が必要となる。すなわち、生成するイメージのサイズが大きくなり、かつ、リスタートヘッダの挿入が必要かどうかの判断を行うための処理時間が多くなるといった課題があった。
また、FlashpixやJPEG 2000といった標準画像フォーマットはタイル毎の符号化が可能であるため、サーバ側で画像の切り出しや再符号化を行わなくてもクライアントに部分領域画像の配信が可能であるが、これらの画像フォーマットは、未だ普及しておらず、特に、デジタルカメラの出力形式として選択できる機種、および、携帯電話で表示できる機種はほとんどないため、例えば、デジタルカメラで撮った写真をサーバに置いて携帯電話で閲覧するという利用形態を手軽に実現することは出来ないという課題があった。
そこで、本発明は上記課題に鑑みて発明されたものであって、現在流通しているデジタルカメラや携帯電話で利用できる画像フォーマットを用い、かつ、クライアントの表示画面サイズに合わせた部分領域画像のデータの生成処理を軽減することができる技術を提供することにある。
上記課題解決する第1の発明は、原画像の所定画像領域の画像データを生成する画像データ生成方法であって、原画像の画像データから所定の画像領域に対応するタイルを選択し、選択された各タイルの係数データとして、DC成分が原画像におけるそのタイルのDC成分の値と前記タイルと隣接するひとつ前のタイルのDC成分の値との和であり、AC成分が原画像におけるAC成分の値である係数データを生成することを特徴とする。
上記課題解決する第2の発明は、上記第1の発明において、画像がJPEG形式の画像データであることを特徴とする。
上記課題解決する第3の発明は、上記第1又は第2の発明において、前記生成された各タイルの係数データにJPEGヘッダ情報を付加することを特徴とする。
上記課題解決する第4の発明は、原画像のうちの所定の画像領域の画像データの配信要求に応答し、前記所定の画像領域の画像データを配信する画像配信方法であって、原画像の画像データから、配信要求される画像領域に対応するタイルを選択し、選択された各タイルの係数データとして、DC成分が原画像におけるそのタイルのDC成分の値と前記タイルと隣接するひとつ前のタイルのDC成分の値との和であり、AC成分が原画像におけるAC成分の値である係数データを生成し、前記生成された各係数データにJPEGヘッダ情報を付加して、配信要求元に送信することを特徴とする。
上記課題解決する第5の発明は、原画像のうちの所定の画像領域の画像データの配信要求に応答し、前記所定の画像領域の画像データを配信する画像配信方法であって、原画像の画像データから、配信要求される画像領域に対応するタイルを選択し、選択された各タイルの係数データとして、DC成分が原画像におけるそのタイルのDC成分の値と前記タイルと隣接するひとつ前のタイルのDC成分の値との和であり、AC成分が原画像におけるAC成分の値である係数データを生成し、前記生成された各係数データと、JPEGヘッダ情報とを別々に配信し、配信先において、前記JPEGヘッダ情報と前記各タイルの係数データとを連結させ、JPEG形式の画像データとすることを特徴とする。
上記課題解決する第6の発明は、原画像の所定画像領域の画像データを生成する画像データ生成装置であって、原画像の画像データから所定の画像領域に対応するタイルを選択する手段と、選択された各タイルの係数データとして、DC成分が原画像におけるそのタイルのDC成分の値と前記タイルと隣接するひとつ前のタイルのDC成分の値との和であり、AC成分が原画像におけるAC成分の値である係数データを生成する手段とを有することを特徴とする。
上記課題解決する第7の発明は、上記第6の発明において、画像がJPEG形式の画像データであることを特徴とする。
上記課題解決する第8の発明は、原画像のうちの所定の画像領域の画像データの配信要求に応答し、前記所定の画像領域の画像データを配信する画像配信装置であって、原画像の画像データから、配信要求される画像領域に対応するタイルを選択する手段と、選択された各タイルの係数データとして、DC成分が原画像におけるそのタイルのDC成分の値と前記タイルと隣接するひとつ前のタイルのDC成分の値との和であり、AC成分が原画像におけるAC成分の値である係数データを生成する手段と、前記生成された各係数データにJPEGヘッダ情報を付加して、配信要求元に送信する手段とを有することを特徴とする。
上記課題解決する第9の発明は、原画像のうちの所定の画像領域の画像データの配信要求に応答し、前記所定の画像領域の画像データを配信する画像配信装置であって、原画像の画像データから、配信要求される画像領域に対応するタイルを選択する手段と、選択された各タイルの係数データとして、DC成分が原画像におけるそのタイルのDC成分の値と前記タイルと隣接するひとつ前のタイルのDC成分の値との和であり、AC成分が原画像におけるAC成分の値である係数データを生成する手段と、前記生成された各係数データと、JPEGヘッダ情報とを別々に、配信要求元に送信する手段とを有することを特徴とする。
上記課題解決する第10の発明は、原画像の所定画像領域の画像データを生成する画像データ生成装置のプログラムであって、前記プログラムは前記画像データ生成装置を、原画像の画像データから所定の画像領域に対応するタイルを選択する手段と、選択された各タイルの係数データとして、DC成分が原画像におけるそのタイルのDC成分の値と前記タイルと隣接するひとつ前のタイルのDC成分の値との和であり、AC成分が原画像におけるAC成分の値である係数データを生成する手段として機能させることを特徴とする。
上記課題解決する第11の発明は、上記第10の発明において、画像がJPEG形式の画像データであることを特徴とする。
上記課題解決する第12の発明は、原画像のうちの所定の画像領域の画像データの配信要求に応答し、前記所定の画像領域の画像データを配信する画像配信装置のプログラムであって、前記プログラムは前記画像データ生成装置を、原画像の画像データから、配信要求される画像領域に対応するタイルを選択する手段と、選択された各タイルの係数データとして、DC成分が原画像におけるそのタイルのDC成分の値と前記タイルと隣接するひとつ前のタイルのDC成分の値との和であり、AC成分が原画像におけるAC成分の値である係数データを生成する手段と、前記生成された各係数データにJPEGヘッダ情報を付加して、配信要求元に送信する手段として機能させることを特徴とする。
上記課題解決する第13の発明は、原画像のうちの所定の画像領域の画像データの配信要求に応答し、前記所定の画像領域の画像データを配信する画像配信装置のプログラムであって、前記プログラムは前記画像データ生成装置を、原画像の画像データから、配信要求される画像領域に対応するタイルを選択する手段と、選択された各タイルの係数データとして、DC成分が原画像におけるそのタイルのDC成分の値と前記タイルと隣接するひとつ前のタイルのDC成分の値との和であり、AC成分が原画像におけるAC成分の値である係数データを生成する手段と、前記生成された各係数データと、JPEGヘッダ情報とを別々に、配信要求元に送信する手段として機能させることを特徴とする。
本発明は、所定の原画像400より切り出す部分を包含するタイル領域を決定する。ここでタイルとは、画像データを所定のピクセル単位で区切った分割領域のことである。図2に図1の画像データのタイルと、画像領域401を包含するタイル領域501とを示す。
次に、原画像400の画像データから、既知の手法を用い、タイル領域501に対応する係数データを取り出す。具体的には、原画像400の画像データのJPEGヘッダ情報を解析し、ハフマンテーブルを抽出する。そして、原画像400の画像データのハフマン符号化された符号データを取り出し、前記ハフマンテーブルを使ってハフマン符号化される前の符号データを抽出する。
最後に、符号データから、タイル領域501内に存在する各タイルに対応した係数データを抽出する。各タイルの係数データは複数のマトリクスで構成されており、例えば、YCbCrそれぞれのマトリクスが4個、1個、1個含まれている場合の例を図3に示す。
ここで、各タイルの係数データの各マトリクスに対してDC成分の再計算を行う。まず、画像データの最初のタイルの係数のDC成分を取り出し、次に、前記タイルに隣接する、次のタイルの係数のDC成分を取り出し、最初のタイルの係数のDC成分の値と、次のタイルの係数のDC成分の値とを加算する。そして、この和を、最初のタイルに隣接する次のタイル、すなわち、新たにDC成分を再計算しているタイルの新たな係数のDC成分とする。
以下、同様に、目的とする最後のタイルに到達するまで上述の計算をくりかえし行う。尚、上記の計算処理は、係数データに含まれるマトリクス毎に行われる。
さらに、計算されたDC成分の値と、対応する係数データのAC成分を合わせたものに対し、抽出されたハフマンテーブルを使って既知の手法によりハフマン符号化を行う。
以上の処理をタイル領域501に含まれる全てのタイルの係数データに対し行い、ハフマン符号化データを得る。
これにより、画像領域401の画像データが得られたことになる。
本発明は、クライアント側の表示画像サイズに合わせた部分領域画像を、配信側で画像の再符号化を行うことなく生成することができるという優れた効果を有する。その理由は、タイル領域の切り出しを係数データの算術演算のみで実現しているためである。
また、本発明は、現在流通しているデジタルカメラや携帯電話に対し手軽に適用することができるという優れた効果を有する。その理由は、現在流通しているデジタルカメラや携帯電話で利用可能なJPEG形式の画像データを使って動作するように構成されているからである。
更に、本発明は、係数データを再計算した後は、タイル毎にヘッダを付してJPEGデータとして配信しているので、従来技術のようにリスタートヘッダの挿入等の処理が不要となる。
また、本発明は、ブロック毎にヘッダを付す代わりに、共通のヘッダ情報を配信側に送り、そのヘッダ情報を用いて各タイルの係数データから画像データを生成するようにすれば、配信するデータ量を削減できるため、通信時間を短縮できるという効果もある。
図1は本発明を説明するための画像データの一例を示す図である。 図2は画像データのタイルとタイル領域の一例を示す図である。 図3は抽出された係数データの一例を示す図である。 図4は係数データのDC成分の再計算手順の一例を示す図である。 図5は係数データの再計算結果の一例を示す図である。 図6はJPEGヘッダ情報の一例を示す図である。 図7は本発明の実施例1の構成を示すブロック図である。 図8はクライアント104が行う配信要求の形式の一例である。 図9は係数データを抽出するための動作を示すフローチャートである。 図10はクライアントに配信される部分領域画像の一例を示す図である。 図11は本発明の実施例2の配信動作のフローチャートである。 図12は本発明の実施例2の配信動作のフローチャートである。 図13はクライアント104が行う配信要求の形式の一例である。 図14は画像をスクロールさせて表示させる際の差分の一例を示す図である。
符号の説明
100 データ処理装置
101 イメージデータ記憶手段
101a 画像データ
102 配信手段
103 画像分割手段
104 クライアント
本発明の実施の形態を説明する。
本発明では、図1に示されるような原画像400から所定の画像領域401の画像データを生成する為の発明である。尚、以下の説明では、画像領域401が70×50ピクセルの領域であるとして説明する。
まず、本発明では、所定の画像領域401を包含するタイル領域を決定する。ここでタイルとは、原画像400の画像データを8m×8nピクセル単位(m、nはJPEGの規格で定められた正数の組で、JPEG形式の画像データを符号化する際に決定されるパラメータである)で区切った分割領域のことである。図2に図1の画像データのタイル(例えば、図1の画像がm=2、n=2で符号化されている場合の例)と、画像領域401を包含するタイル領域501とを示す。
次に、原画像400の画像データから、既知の手法を用い、タイル領域501に対応する係数データを取り出す。具体的には、原画像400の画像データのJPEGヘッダ情報を解析し、ハフマンテーブルを抽出する。
続いて、原画像400の画像データのハフマン符号化された符号データ(より具体的には、SOSマーカで始まるバイト列)を取り出し、抽出したハフマンテーブルを使ってハフマン符号化される前の符号データを抽出する。
最後に、前記符号データから、タイル領域501内に存在する各タイル(図2の場合は、5×5の合計25のタイル)に対応した係数データを抽出する。各タイルの係数データは複数の8×8のマトリクスで構成されており、例えば、YCbCrそれぞれのマトリクスが4個、1個、1個含まれている場合の例を図3に示す。
ここで、各タイルの係数データの各マトリクスに対してDC成分の再計算を行う。ここでDC成分とは、マトリクス上で左上隅の係数のことを指しており、DC成分以外の係数はAC成分と呼ばれる。DC成分の再計算手順を、図4を用いて説明する。
まず、原画像400の画像データの最初のタイルの係数(図4の801)のDC成分(801の場合は55)を取り出し、次に、前記タイルに隣接する、次のタイルの係数802のDC成分(802の場合は12)を取り出し、係数801のDC成分の値と係数802のDC成分の値とを加算する。そして、この和を新たな係数802のDC成分とする。従って、係数802のDC成分の値は67となる。すなわち、原画像400の画像データがJPEG形式のようなDC成分が差分値である場合、元の値に戻してやるのである。
以下、同様に、タイル領域501の最後の目的とするタイルの係数805のDC成分の値まで上述の計算をくりかえし行う。尚、図4の場合、係数805のDC成分の値は13となる。また、上記の計算処理は、係数データに含まれるマトリクス毎に行われる。
さらに、計算されたDC成分の値と、対応する係数データのAC成分とを合わせたもの(図3の701に対する結果を図5の901に示す)に対し、抽出されたハフマンテーブルを使って既知の手法によりハフマン符号化を行う。
以上の処理をタイル領域501に含まれる全てのタイルの係数データに対し行い、ハフマン符号化データを得る。
これにより、画像領域401の画像データが得られたことになる。
次に、この画像データの配信方法であるが、以下の方法がある。
第1の方法としては、新たに計算されたDC成分の値を持つハフマン符号化データに、既知の手法により生成したJPEGヘッダ情報を付加してJPEG形式の画像データとして配信する。ここで、JPEGヘッダ情報とは、画像のサイズ(図4の場合は、タイルのサイズである16×16)、ハフマンテーブル、量子化テーブル(図4の場合は、原画像400の画像データのJPEGヘッダ情報を既知の手法で解析し抽出したもの)などの情報を含んだものであり、図6にその一例を示す。より詳細な内容については前記JPEG規格の勧告書ISO/IEC 10918-1:1994に記載されている。以上の処理を、タイル領域501に含まれるタイルのハフマン符号化データに対して行う。
第2の方法としては、新たに計算されたDC成分の値を持つハフマン符号化データを、配信要求元に送信し、これとは別に一つのJPEGヘッダ情報を配信要求元に送信する。そして、配信要求元において、配信された各ハフマン符号化データにJPEGヘッダ情報を付加した上で復号化処理を行う。
以下に、上述した発明について具体的な実施例の説明を行う。
本発明の実施例1を説明する。
図7を参照すると、実施例1は、プログラム制御により動作するデータ処理装置100と、インターネットなどのネットワークを通じて接続されたクライアント104とから構成されている。
データ処理装置100は、画像データ101aを蓄積するイメージデータ記憶手段101と、クライアント104に画像データの配信を行う配信手段102と、クライアント104からの要求に応じて前記画像データ101aから部分領域画像の係数データを算出する画像分割手段103とを備えている。
イメージデータ記憶手段101は、クライアント104に配信するJPEG形式の画像データ101aが蓄積されたもので、例えば、一般に流通しているデジタルカメラで撮影した画像データなどが蓄積されている。
クライアント104は、表示したい領域の画像の画像データと、表示したい領域の領域データとを配信要求として配信手段102に受け渡す。例えば、図8に示すように、要求する画像データを蓄積しているサーバ名と、画像データのファイル名と、表示を希望する領域の左上のX座標とY座標と幅と高さをURI
(Uniform Resource Identifiers)で指定したものを配信手段102にリクエストとして受け渡す。尚、図8で示されるURIで配信要求されている画像データと画像領域401との例として、上述した図1を用い、以後の説明では、図1の画像データ、領域データを使って説明を行う。
次に、配信手段102は、クライアント104から画像データと領域データとの配信要求を受け取り、この配信要求から、表示する画像データのファイル名と表示領域の左上の座標と幅と高さとを抽出したものを画像領域情報として画像分割手段103に受け渡す。例えば、図8に示すような配信要求を受け取った場合には、画像データのファイル名としてsample.jpg、画像領域のX座標として20、Y座標として30、幅として70、高さとして50、を画像分割手段103に受け渡す。
次に、画像分割手段103は、配信手段102から画像データのファイル名と画像領域情報とを受け取り、要求された画像領域を包含するタイル領域を決定する。ここでタイルとは、画像データを8m×8nピクセル単位(m、nはJPEGの規格で定められた正数の組で、JPEG形式の画像データを符号化する際に決定されるパラメータである)で区切った分割領域のことである。以下に、図1の画像データのタイル(例えば、図1の画像がm=2、n=2で符号化されている場合の例)と要求された画像領域401を包含するタイル領域501とを示す例として、上述した図2の例を用いて説明する。
次に、画像分割手段103の動作を図9のフローチャートを用いて説明する。
画像分割手段103は、イメージデータ記憶手段101に蓄積されている画像データのうち、配信手段102から受け取った画像データのファイル名で特定される画像データ101aから、既知の手法を用い、タイル領域501に対応する各タイルの係数データを取り出す。具体的にはまず、画像データ101aのJPEGヘッダ情報を解析し、ハフマンテーブルを抽出する(図9のステップ601)。
次に、画像データ101aのハフマン符号化された符号データ(より具体的には、SOSマーカで始まるバイト列)を取り出し、前記ハフマンテーブルを使ってハフマン符号化される前の符号データを抽出する(ステップ602)。最後に、前記符号データから、タイル領域501内に存在する各タイル(図2の場合は、5×5の合計25のタイル)に対応した係数データを抽出する(ステップ603)。各タイルの係数データは複数の8×8のマトリクスで構成されており、例えば、Y、Cb、Crそれぞれのマトリクスが4個、1個、1個含まれている場合、図3に示すようになる。
画像分割手段103は、上述の如く抽出した係数データの各マトリクスに対してDC成分の再計算を行う。ここでDC成分とは、マトリクス上で左上隅の係数のことを指しており、DC成分以外の係数はAC成分と呼ばれる。DC成分の再計算手順を図4を用いて説明する。まず、原画像の画像データの最初のタイルの係数データ(図4の801)のDC成分(=55)を取り出し、次に、前記タイルに隣接する、次のタイルの係数データ802のDC成分(=12)を取り出し、係数データ801のDC成分の値と係数データ802のDC成分の値とを加算する。そして、この加算結果を、係数データ802のDC成分とする。従って、係数802のDC成分の値は67(=55+12)である。
以下、同様に、タイル領域501の最後のタイルに到達するまで上記再計算をくりかえし行うことで、最後のタイルの係数805のDC成分の再計算が達成される。図4の場合、最後のタイルの係数データ805のDC成分は13となる。なお、上記再計算処理は、係数データに含まれるマトリクス毎に行われる。
さらに、画像分割手段103は、再計算されたDC成分の値と、対応する係数データのAC成分とを合わせたもの(図5の701に対する結果を図5の901に示す)に対し、図9のステップ601で抽出されたハフマンテーブルを使って既知の手法によりハフマン符号化を行う。以上の処理をタイル領域501に含まれる全てのタイルの係数データに対し行い、得られたハフマン符号化データを配信手段102に受け渡す。
次に、配信手段102は、再計算されたDC成分の値を持つ前記ハフマン符号化データを前記画像分割手段103から受け取り、ハフマン符号化データに、既知の手法により生成したJPEGヘッダ情報を付加してクライアント104にJPEG形式の画像データとして配信する。ここで、JPEGヘッダ情報とは画像のサイズ(タイルのサイズである16×16)、ハフマンテーブル(図9のステップ601で抽出したもの)、量子化テーブル(画像データ101aのJPEGヘッダ情報を既知の手法で解析し抽出したもの)などの情報を含んだものであり、上述した図6のようになる。
以上の処理を、タイル領域501に含まれる全てのタイルの前記ハフマン符号化データに対して行う。
クライアント104は、配信手段102からタイル領域501に含まれる全てのタイルに対する前記JPEG形式の画像データを受け取り、画像データを復号化し、タイルの順番に並べてクライアントの画面に表示を行う。クライアントが配信を要求した画像領域401に対する表示結果1101の例を、図10に示す。
本実施例では、タイル領域の切り出しを係数データの算術演算(具体的にはDC成分の加算)のみで実現するように構成されているため、データ処理装置100は画像データの再符号化を行うことなくクライアント104に要求された画像領域を包含した部分領域画像の配信が可能になるという効果がある。
また、本実施例では、さらに、現在流通しているデジタルカメラや携帯電話で利用されているJPEG形式の画像データを使って動作するように構成されているため、デジタルカメラで撮影した画像をそのまま画像データ101aとして利用したり、携帯電話をクライアント104として手軽に利用することが可能になるという効果もある。
また、上記実施例の説明では、配信手段102が配信したタイルのJPEG形式の画像データをそのまま並べて表示するとしているが、全てを表示するのではなく、クライアントで配信要求を行った画像領域401に相当する領域のみを表示するようにしても良い。このようにすれば、配信要求を行った画像領域とほぼ同じ部分領域画像の表示が可能になるという効果がある。
本発明の実施例2を説明する。尚、実施例2において、各タイルの新たな係数データの計算等については、実施例1と同様であるので、以下の説明において実施例1と同様な部分については詳細な説明を省略する。
図11及び図12は実施例2における配信動作のフローチャートである。以下に、実施例2の動作を図11及び図12を用いて説明する。
まず、クライアント104は、表示したい画像データと領域データとJPEGヘッダ情報配信の有無を配信要求として配信手段102に受け渡す(図11のステップ300)。例えば、図13に示すように、要求する画像データを蓄積しているサーバ名と、画像データのファイル名と、表示する領域の左上のX座標とY座標と幅と高さと、ヘッダ情報を配信するかどうか(headerの値が1であれば配信有りで、それ以外の場合にはなしなど)、をURI (Uniform Resource Identifiers)で指定したものを配信手段102にリクエストとして受け渡す。尚、図13で示されるURIで配信要求している画像データと画像領域401の例として、図1の例を用い、以後の説明では、図1の画像データ、領域データを使って説明を行う。
次に、配信手段102は、クライアント104から画像データと領域データとヘッダ情報の配信要求を受け取り、配信要求から表示する画像データのファイル名と表示領域の左上の座標と幅と高さとヘッダ情報の配信要求を抽出したものを画像領域情報として画像分割手段103に受け渡す(ステップ201)。例えば、図13に示すような配信要求を受け取った場合には、画像データのファイル名としてsample.jpg、画像領域のX座標として20、Y座標として30、幅として70、高さとして50、ヘッダ情報の配信有り、を画像分割手段103に受け渡す。
次に、画像分割手段103は、前記配信手段102から画像データのファイル名と画像領域情報とヘッダ情報の配信要求を受け取り、まず、ヘッダ情報の配信を行うかどうかをチェックする(ステップ205)。
ヘッダ情報の配信要求がない場合にはステップ202のタイル領域の決定へ進む。
ヘッダ情報の配信要求がある場合には、イメージデータ記憶手段101に蓄積されている画像データの、前記配信手段102から受け取った画像データのファイル名で示される画像データ101aから、既知の手法を用いてタイルのサイズ、ハフマンテーブル、量子化テーブルなどの情報を抽出する(ステップ206)。ここでタイルというのは、画像データを8m×8nピクセル単位(m、nはJPEGの規格で定められた正数の組で、JPEG形式の画像データを符号化する際に決定されるパラメータである)で区切った分割領域のことである。
次に、既知の手法によりJPEGヘッダ情報を生成する(ステップ207)。ここで、JPEGヘッダ情報とは画像のサイズ、ハフマンテーブル、量子化テーブルなどの情報を含んだものであり、画像サイズとしては前記画像データ101aから抽出されたタイルサイズ、ハフマンテーブルと量子化テーブルとしては前記画像データ101aから抽出されたハフマンテーブルと量子化テーブルを用いてJPEGヘッダ情報を生成する。例えば、図6に生成されたJPEGヘッダ情報の一例を示す。
次に、画像分割手段103は生成された前記JPEGヘッダ情報を配信手段102に受渡し、前記配信手段102は前記クライアント104に前記JPEGヘッダ情報を配信する(ステップ208、ステップ301)。
画像分割手段103は、要求された画像領域を包含するタイル領域を決定する(ステップ202)。図2に図1の画像データのタイル(例えば、図4の画像がm=2、n=2で符号化されている場合の例)と、要求された画像領域401を包含するタイル領域501とを示す。
次に、配信手段102は、再計算されたDC成分の値を持つ前記ハフマン符号化データを前記画像分割手段から受け取り、クライアント104に画像データとして配信する。以上の処理を、タイル領域501に含まれる全てのタイルの前記ハフマン符号化データに対して行う。
最後に前記クライアント104は、前記配信手段102からタイル領域501に含まれる全てのタイルに対する前記ハフマン符号化データを受け取り(ステップ302)、各ハフマン符号化データに、ステップ208、ステップ301で配信済みのJPEGヘッダ情報を結合してJPEG形式の画像データとし、画像データを復号化し、タイルの順番に並べてクライアントの画面に表示を行う。クライアントが配信を要求した画像領域401に対する表示結果1101の例を図10に示す。
また、上記実施例の説明でクライアント104は配信要求を行う際に、ヘッダ情報の配信をするかどうかを指定できるようになっているが、同じ画像に対するJPEGヘッダ情報は同じであるので、配信されたJPEGヘッダ情報を保存するようにし、一度配信要求を行った画像の再配信要求を行う際にはヘッダ情報の配信を行わないように指定しても良い。このようにすれば、配信要求の度にJPEGヘッダ情報を受け取る必要がなくなり、配信手段102からクライアント104に配信するデータ量を削減できるため、通信時間を短縮できるという効果がある。
また、上記実施例の説明では、各ハフマン符号化データに、ステップ208で配信済みのJPEGヘッダ情報を結合してJPEG形式の画像データとしているが、全てのタイルのハフマン符号化データを連結してひとつの符号化データとした上でJPEGヘッダ情報を付加してJPEG画像データとして配信するようにしても良い。この場合、クライアント104ではあたかも各タイルの符号化データ間にリスタートマーカ(RSTm: DC成分値の予測値を初期化するもので、詳細についてはJPEG規格の勧告書ISO/IEC 10918-1:1994を参照のこと)が挿入されているかのように扱う以外は通常と同じJPEG画像のデコード処理を行うことで、配信されたJPEG画像データの復号と表示を行うようにしても良い。
尚、上述の実施例1及び実施例2では、クライアント104は表示する画像の領域データを配信要求するとあるが、画像をスクロールさせて表示する場合などのように、すでに一部の画像領域についての画像データが前記クライアント104に配信されている場合には、差分領域のみの配信を要求するようにしても良い。例えば、図14に示されるように、画像領域401の配信要求を行った後に、画像をスクロールさせ、画像領域1201の配信要求を行う場合に、差分1202を前記配信手段102に要求するようにしても良い。このようにすれば、配信されるデータのデータ量、および、画像分割手段103で行うDC成分の再計算処理を少なくすることが出来るという効果がある。
本発明によれば、JPEG形式の画像データをクライアントに配信する画像データ配信装置や、画像配信装置をコンピュータに実現するためのプログラムといった用途に適用できる。また、ローカルデータとして蓄積されたJPEG形式の画像データを表示するための画像データ表示装置や、画像データ表示装置をコンピュータに実現するためのプログラムといった用途にも適用できる。

Claims (13)

  1. 原画像の所定画像領域の画像データを生成する画像データ生成方法であって、
    原画像の画像データから所定の画像領域に対応するタイルを選択し、
    選択された各タイルの係数データとして、DC成分が原画像におけるそのタイルのDC成分の値と前記タイルと隣接するひとつ前のタイルのDC成分の値との和であり、AC成分が原画像におけるAC成分の値である係数データを生成することを特徴とする画像データ生成方法。
  2. 画像がJPEG形式の画像データであることを特徴とする請求項1に記載の画像データ生成方法。
  3. 前記生成された各タイルの係数データにJPEGヘッダ情報を付加することを特徴とする請求項1又は請求項2に記載の画像データ生成方法。
  4. 原画像のうちの所定の画像領域の画像データの配信要求に応答し、前記所定の画像領域の画像データを配信する画像配信方法であって、
    原画像の画像データから、配信要求される画像領域に対応するタイルを選択し、
    選択された各タイルの係数データとして、DC成分が原画像におけるそのタイルのDC成分の値と前記タイルと隣接するひとつ前のタイルのDC成分の値との和であり、AC成分が原画像におけるAC成分の値である係数データを生成し、
    前記生成された各タイルの係数データにJPEGヘッダ情報を付加して、配信要求元に送信する
    ことを特徴とする画像配信方法。
  5. 原画像のうちの所定の画像領域の画像データの配信要求に応答し、前記所定の画像領域の画像データを配信する画像配信方法であって、
    原画像の画像データから、配信要求される画像領域に対応するタイルを選択し、
    選択された各タイルの係数データとして、DC成分が原画像におけるそのタイルのDC成分の値と前記タイルと隣接するひとつ前のタイルのDC成分の値との和であり、AC成分が原画像におけるAC成分の値である係数データを生成し、
    前記生成された各タイルの係数データと、JPEGヘッダ情報とを別々に配信し、
    配信先において、前記JPEGヘッダ情報と前記各タイルの係数データとを連結させ、JPEG形式の画像データを生成する
    ことを特徴とする画像配信方法。
  6. 原画像の所定画像領域の画像データを生成する画像データ生成装置であって、
    原画像の画像データから所定の画像領域に対応するタイルを選択する手段と、
    選択された各タイルの係数データとして、DC成分が原画像におけるそのタイルのDC成分の値と前記タイルと隣接するひとつ前のタイルのDC成分の値との和であり、AC成分が原画像におけるAC成分の値である係数データを生成する手段と
    を有することを特徴とする画像データ生成装置。
  7. 画像がJPEG形式の画像データであることを特徴とする請求項6に記載の画像データ生成装置。
  8. 原画像のうちの所定の画像領域の画像データの配信要求に応答し、前記所定の画像領域の画像データを配信する画像配信装置であって、
    原画像の画像データから、配信要求される画像領域に対応するタイルを選択する手段と、
    選択された各タイルの係数データとして、DC成分が原画像におけるそのタイルのDC成分の値と前記タイルと隣接するひとつ前のタイルのDC成分の値との和であり、AC成分が原画像におけるAC成分の値である係数データを生成する手段と、
    前記生成された各タイルの係数データにJPEGヘッダ情報を付加して、配信要求元に送信する手段と
    を有することを特徴とする画像配信装置。
  9. 原画像のうちの所定の画像領域の画像データの配信要求に応答し、前記所定の画像領域の画像データを配信する画像配信装置であって、
    原画像の画像データから、配信要求される画像領域に対応するタイルを選択する手段と、
    選択された各タイルの係数データとして、DC成分が原画像におけるそのタイルのDC成分の値と前記タイルと隣接するひとつ前のタイルのDC成分の値との和であり、AC成分が原画像におけるAC成分の値である係数データを生成する手段と、
    前記生成された各タイルの係数データとJPEGヘッダ情報とを、別々に配信要求元に送信する手段と
    を有することを特徴とする画像配信装置。
  10. 原画像の所定画像領域の画像データを生成する画像データ生成装置のプログラムであって、
    前記プログラムは前記画像データ生成装置を、
    原画像の画像データから所定の画像領域に対応するタイルを選択する手段と、
    選択された各タイルの係数データとして、DC成分が原画像におけるそのタイルのDC成分の値と前記タイルと隣接するひとつ前のタイルのDC成分の値との和であり、AC成分が原画像におけるAC成分の値である係数データを生成する手段と
    して機能させることを特徴とする画像データ生成装置のプログラム。
  11. 画像がJPEG形式の画像データであることを特徴とする請求項10に記載の画像データ生成装置のプログラム。
  12. 原画像のうちの所定の画像領域の画像データの配信要求に応答し、前記所定の画像領域の画像データを配信する画像配信装置のプログラムであって、
    前記プログラムは前記画像データ生成装置を、
    原画像の画像データから、配信要求される画像領域に対応するタイルを選択する手段と、
    選択された各タイルの係数データとして、DC成分が原画像におけるそのタイルのDC成分の値と前記タイルと隣接するひとつ前のタイルのDC成分の値との和であり、AC成分が原画像におけるAC成分の値である係数データを生成する手段と、
    前記生成された各係数データにJPEGヘッダ情報を付加して、配信要求元に送信する手段と
    して機能させることを特徴とする画像配信装置のプログラム。
  13. 原画像のうちの所定の画像領域の画像データの配信要求に応答し、前記所定の画像領域の画像データを配信する画像配信装置のプログラムであって、
    前記プログラムは前記画像データ生成装置を、
    原画像の画像データから、配信要求される画像領域に対応するタイルを選択する手段と、
    選択された各タイルの係数データとして、DC成分が原画像におけるそのタイルのDC成分の値と前記タイルと隣接するひとつ前のタイルのDC成分の値との和であり、AC成分が原画像におけるAC成分の値である係数データを生成する手段と、
    前記生成された各係数データと、JPEGヘッダ情報とを別々に、配信要求元に送信する手段と
    して機能させることを特徴とする画像配信装置のプログラム。

JP2006548961A 2004-12-20 2005-12-19 画像データ生成方法及びその装置と、画像配信システム及びその画像配信装置と、それらのプログラム Pending JPWO2006068073A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004367137 2004-12-20
JP2004367137 2004-12-20
PCT/JP2005/023234 WO2006068073A1 (ja) 2004-12-20 2005-12-19 画像データ生成方法及びその装置と、画像配信システム及びその画像配信装置と、それらのプログラム

Publications (1)

Publication Number Publication Date
JPWO2006068073A1 true JPWO2006068073A1 (ja) 2008-06-12

Family

ID=36601673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006548961A Pending JPWO2006068073A1 (ja) 2004-12-20 2005-12-19 画像データ生成方法及びその装置と、画像配信システム及びその画像配信装置と、それらのプログラム

Country Status (3)

Country Link
US (1) US20080199092A1 (ja)
JP (1) JPWO2006068073A1 (ja)
WO (1) WO2006068073A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5200803B2 (ja) * 2008-09-17 2013-06-05 株式会社リコー 画像配信装置、画像表示装置、画像配信方法、画像表示方法、コンピュータプログラム、及び、情報記録媒体
JP5187120B2 (ja) * 2008-10-10 2013-04-24 株式会社リコー 画像配信装置、端末装置、画像配信方法、プログラム、および記録媒体
SE0802657A1 (sv) * 2008-12-23 2010-06-24 Scalado Ab Extrahering av digital information

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07336676A (ja) * 1994-06-08 1995-12-22 Oki Electric Ind Co Ltd 画像送信装置、画像受信装置、分散型画像通信システム及び集中型画像通信システム
JP2004228717A (ja) * 2003-01-20 2004-08-12 Ricoh Co Ltd 画像処理方法、画像処理装置、電子カメラ装置、プログラム及び記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823536A (ja) * 1994-07-07 1996-01-23 Canon Inc 画像処理装置
US6314452B1 (en) * 1999-08-31 2001-11-06 Rtimage, Ltd. System and method for transmitting a digital image over a communication network
US6968088B2 (en) * 2000-03-28 2005-11-22 Canon Kabushiki Kaisha Modification of detected quantization step size from the encoded bitstream based on a region of interest (ROI) bitmask
JP2002262099A (ja) * 2001-02-27 2002-09-13 Canon Inc 画像処理装置及び画像処理装置用dmaコントローラ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07336676A (ja) * 1994-06-08 1995-12-22 Oki Electric Ind Co Ltd 画像送信装置、画像受信装置、分散型画像通信システム及び集中型画像通信システム
JP2004228717A (ja) * 2003-01-20 2004-08-12 Ricoh Co Ltd 画像処理方法、画像処理装置、電子カメラ装置、プログラム及び記録媒体

Also Published As

Publication number Publication date
WO2006068073A1 (ja) 2006-06-29
US20080199092A1 (en) 2008-08-21

Similar Documents

Publication Publication Date Title
US6904176B1 (en) System and method for tiled multiresolution encoding/decoding and communication with lossless selective regions of interest via data reuse
WO2018223842A1 (zh) 视频文件转码***、分割方法、转码方法及装置
US20220312035A1 (en) Information processing apparatus, information processing method, reproduction processing apparatus, and reproduction processing method
US8326061B2 (en) Fast visual degrading of images
JP2003023630A (ja) サーバクライアント環境におけるjpeg2000のための画像処理
KR101805550B1 (ko) 프리젠테이션 가상화를 위한 화면 부호화 방법 및 서버
JP2004274759A (ja) 制限されたアクセスとサーバ/クライアント受け渡しを有する圧縮されたディジタル画像の通信方法及び装置
US20030068089A1 (en) Image processing system processing code data
US20080219348A1 (en) Data embedding apparatus, data extracting apparatus, data embedding method, and data extracting method
JP2011066499A (ja) 画像処理装置及び画像処理方法
JP2022512109A (ja) ビデオ復号及び符号化の方法、装置並びにプログラム
JPWO2006068073A1 (ja) 画像データ生成方法及びその装置と、画像配信システム及びその画像配信装置と、それらのプログラム
JP2006060540A (ja) 画像復号縮小装置および方法
JP5236332B2 (ja) 符号化装置、符号化方法および符号化プログラム
JP5378939B2 (ja) 画像符号化方法、画像復号化方法、画像符号化装置、及び画像復号化装置、並びにプログラム
CN113615201B (zh) 点云压缩和解压缩的方法和装置
CN112363791A (zh) 一种录屏方法、装置、存储介质及终端设备
JP2004173125A (ja) 符号化復号化装置、符号化復号化用プログラム及び記憶媒体
KR101685932B1 (ko) 고기능 이미지 파일 및 이의 편집장치
CN116668741A (zh) 云桌面的显示方法、图像显示方法、设备和存储介质
US7016543B2 (en) Method for providing a terminal with coded still image signals, communications system, network element and module
CN115867906A (zh) 使用基于会话的dash操作的基于会话的描述url定制
CN116171574A (zh) 针对32点和64点lgt的复杂度降低
CN114600083A (zh) 信令通知云工作流中的输入数据的超时和完整
JP2003346183A (ja) 3dコンテンツサービスシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100630