JP4162348B2 - メモリ混載画像処理用ｌｓｉおよび画像処理装置 - Google Patents
メモリ混載画像処理用ｌｓｉおよび画像処理装置 Download PDFInfo
- Publication number
- JP4162348B2 JP4162348B2 JP2000027911A JP2000027911A JP4162348B2 JP 4162348 B2 JP4162348 B2 JP 4162348B2 JP 2000027911 A JP2000027911 A JP 2000027911A JP 2000027911 A JP2000027911 A JP 2000027911A JP 4162348 B2 JP4162348 B2 JP 4162348B2
- Authority
- JP
- Japan
- Prior art keywords
- memory
- page
- image processing
- image
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/02—Details of power systems and of start or stop of display operation
- G09G2330/021—Power management, e.g. power saving
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/12—Frame memory handling
- G09G2360/122—Tiling
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Dram (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、メモリ混載画像処理用ＬＳＩ（Large Scale Integrated-circuit―大規模集積回路―）に係り、特に低消費電力で駆動することができるメモリ混載画像処理用ＬＳＩに関するものである。画像処理部と共に混載されるメモリ部を構成するメモリ素子としては、ダイナミックランダムアクセスメモリ（以下ＤＲＡＭ―Dynamic Random Access Memory―と略記する）、強誘電体ランダムアクセスメモリ（以下ＦＲＡＭ―FerroelectricRandom Access Memory―と略記する）、磁気抵抗メモリ（以下ＭＲＡＭ―Magnetoresistance Random Access Memory―）等が含まれる。
【０００２】
【従来の技術】
従来のメモリ混載画像処理用ＬＳＩは描画等の処理速度の向上を図るものであり、ＬＳＩの駆動電力の省電力化を図ることについてはその対策がほとんど講じられていなかった。
【０００３】
メモリ混載ＬＳＩチップのメモリ部にアクセスする際には、複数のワード領域を含む複数のページ領域よりなるメモリの記憶領域に対して、まず第１の電力Ａを消費してページ領域にアクセスし、次いで第２の電力Ｂを消費してワードにアクセスしていた。例えば、画像情報を記憶するための従来のメモリ混載画像処理用ＬＳＩの記憶原理について、図１８を参照しながら説明する。図１８では、この混載メモリの一例としてＤＲＡＭについて説明する。
【０００４】
図１８（ａ）は、例えば動画像データを表示するＣＲＴ（Cathode Ray Tube）や液晶ディスプレイ等の表示装置の表示画面Ｓを示しており、表示画面Ｓは仮想的に複数のページ領域Ｐに分割されている。それぞれのページ領域Ｐは例えば１水平走査期間（１Ｈ）に走査される１行分のデータである複数のワードＬにより構成されている。このように表示画面上で仮想的に分割されたデータを図１８（ｂ）に示すようなＤＲＡＭの記憶領域Ｍに格納する。記憶領域Ｍは表示画面Ｓに対応してページ分のデータを格納する複数の格納領域Ｐと、１Ｈ分のデータに対応して格納領域Ｐに含まれるように構成された複数のワード格納領域Ｌと、を備えている。
【０００５】
このように、従来のメモリ混載画像処理用ＬＳＩは、表示画面Ｓ上の１フレーム分の画像データとＤＲＡＭに記憶されるデータとを対応させて記憶させているため、ＤＲＡＭにアクセスするためには、図１８（ｂ）に示すページ単位の記憶領域Ｐにアクセスした後、走査ラインに対応する各ワードＬにアクセスして、データの書き込みや読み出しを行なうようにしていた。
【０００６】
このため、例えば動画像データに動き補償等の処理を施すために、数ページに跨るデータを読み出さなくてはならない場合に、ページにアクセスするための電力Ａがページの数を乗算した分だけ必要であり（Ｐ×ｎ回×電力Ａ）、さらにワードにアクセスするための電力Ｂも必要な数のワードの数を乗算した分だけ必要となっている（Ｌ×ｍ回×電力Ｂ）。したがって、全体の消費電力はアクセスするページやワードの数に比例して増加することになり、例えば処理を必要としている画像の領域が多数のページにわたる場合にはそのページ数分だけ消費電力を費やすことになる。
【０００７】
このような従来のメモリ混載画像処理用ＬＳＩに限らず外付けメモリを利用する画像処理用ＬＳＩにおいて、ＤＲＡＭへのアクセス回数を低減してアクセス時間を短縮するためにタイリングと呼ばれる手法が用いられている。このタイリングは表示画面Ｓにおけるデータの探索範囲は変更しないが探索の順番を変更するものであり、例えば、間に他のページに記憶されたワードデータがある同一ページの２つのワードデータを探索する場合に同一ページの２つを纏めて読み出すことにより少しでも探索時間を短縮することを考慮したものである。ただし、ページやワード領域が大きなサイズであるほどアクセス速度が向上するため、より大きいページサイズやワードサイズを用いるようにしていた。しかし、外付けメモリを利用する場合には、ページやワードのサイズを選択することができる自由度は小さかった。
【０００８】
【発明が解決しようとする課題】
上述したように従来のメモリ混載画像処理用ＬＳＩによれば、必要な画像データを切り出すためにメモリにアクセスする場合に、過剰な大きさのページ領域にまずアクセスし、次にその中に格納されているワードの中から必要なワードにアクセスするようにしていたため、取り出したいデータが数頁に跨るような場合に膨大な消費電力を費やさねばならないという問題を有していた。
【０００９】
また、携帯用の電子機器に搭載されたメモリ混載画像処理用ＬＳＩの場合、多くは充電式のバッテリにより駆動することが多い。このため、長時間の使用に耐えるためには充電容量が大きいバッテリを搭載すればよいが、重量が増大するため機器全体の小型化を阻害することになる。したがって、ある程度の重量・サイズとの兼ね合いにより搭載されるバッテリの容量が決定されるが、搭載されたバッテリの電力消費については極力節約したいという要請があった。
【００１０】
上記問題点を解決するため、本発明は、ＤＲＡＭにアクセスする際に複数集合してスクリーンを構成するページの分割の仕方について画像処理を最も効率的に行なうことができる大きさと形状を有するように工夫を凝らすことにより、ページにアクセスする第１の消費電力を低減させて効率的な電力消費を図ることができるメモリ混載画像処理用ＬＳＩを提供することを目的としている。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の基本構成に係るメモリ混載画像処理用ＬＳＩは、表示画面に対応する画像平面を格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲をさらに複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部と、を備えると共に、前記メモリ部における前記ページ領域および前記ワード領域の少なくとも一方のサイズは、画像処理の際のメモリの消費電力モデルにおける前記プリチャージ１回当たりの消費電力と平均プリチャージ回数との乗算値が統計的に最少となるサイズであることを特徴としている。
【００１２】
また、本発明の第２の基本構成に係るメモリ混載画像処理用ＬＳＩは、表示画面に対応する画像平面を格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲をさらに複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部とを備えるものにおいて、前記メモリ部の前記ページ領域にその画像データが格納される前記画像平面上の前記ページ範囲は、画像処理の際のメモリの消費電力モデルにおける前記プリチャージ１回当たりの消費電力と平均プリチャージ回数との乗算値が統計的に最少となるサイズであることを特徴としている。
【００１３】
また、本発明の第３の基本構成に係るメモリ混載画像処理用ＬＳＩは、表示画面に対応する画像平面を格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲をさらに複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部とを備えるものにおいて、前記メモリ部の前記ワード領域にその画像データが格納される前記画像平面上の前記ワード範囲は、画像処理の際のメモリの消費電力モデルにおける前記ワードアクセス１回当たりの消費電力と平均ワードアクセス回数との乗算値が統計的に最少となるサイズであることを特徴としている。
【００１４】
また、本発明の第４の基本構成に係るメモリ混載画像処理用ＬＳＩは、表示画面に対応する画像平面を格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲をさらに複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部とを備えるものにおいて、前記メモリ部の前記ページ領域にその画像データが格納される前記画像平面上の前記ページ範囲は、画像処理の際のメモリの消費電力モデルにおける前記プリチャージ１回当たりの消費電力と平均プリチャージ回数との乗算値が統計的に最少となるサイズであると共に、前記メモリ部の前記ワード領域にその画像データが格納される前記画像平面上の前記ワード範囲は、画像処理の際のメモリの消費電力モデルにおける前記ワードアクセス１回当たりの消費電力と平均ワードアクセス回数との乗算値が統計的に最少となるサイズであることを特徴としている。
【００１５】
また、上記第１ないし第４の基本構成に係るメモリ混載画像処理用ＬＳＩにおいて、前記画像平面は複数の画素により構成され、前記ページ領域は各辺が２画素以上の長方形領域に前記画像平面を分割したものであり、前記画像平面に対して１辺が８ないし１６画素の正方形またはこの正方形に近い大きさで縦横比が１対２までの長方形の領域をアクセスするようにしても良い。
【００１６】
このように構成したメモリ混載画像処理用ＬＳＩにおいて、前記メモリ領域に格納されている２次元平面が、前記ページ領域と同じ容量の正方形または辺の割合が１対２の長方形の区域に分割されてそれぞれ別個のページに纏められて格納されるようにしても良い。
【００１７】
また、上記第１ないし第４の基本構成に係るメモリ混載画像処理用ＬＳＩにおいて、前記画像平面は複数の画素により構成され、前記ワード領域は各辺が２画素以上の長方形領域に前記画像平面を分割したものであり、前記画像平面に対して１辺が８ないし１６画素の正方形またはこの正方形に近い大きさで縦横比が１対２までの長方形の領域をアクセスするようにしても良い。
【００１８】
このように構成したメモリ混載画像処理用ＬＳＩにおいて、前記メモリ領域に格納されている２次元平面が、前記ページ領域と同じ容量の正方形または辺の割合が１対２の長方形の区域に分割されてそれぞれ別個のページに纏められて格納されるようにしても良い。
【００１９】
また、上記のような構成を有するメモリ混載画像処理用ＬＳＩにおいて、前記メモリ部は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）により構成されていても良い。また、上記のような構成を有するメモリ混載画像処理用ＬＳＩにおいて、前記メモリ部は、強誘電体ランダムアクセスメモリ（ＦＲＡＭ）により構成されていても良い。また、上記のような構成を有するメモリ混載画像処理用ＬＳＩにおいて、前記メモリ部は、磁気抵抗ランダムアクセスメモリ（ＭＲＡＭ）により構成されていても良い。
【００２０】
なお、上記第１ないし第４の基本構成に係るメモリ混載画像処理用ＬＳＩにおいて、前記画像アクセス部は、ＭＰＥＧ４、ＭＰＥＧ２、ＭＰＥＧ１、Ｈ．２６３などの動画像圧縮基準に準拠するビットストリームを処理する回路であり、前記メモリ部は読み出し準備を行なう単位、すなわちＤＲＡＭにおけるページ領域に相当する領域を有するメモリであり、好ましくは平面画像におけるページ範囲のサイズは６４〜５１２ピクセルとしても良い。
【００２１】
また、上記第１ないし第４の基本構成に係るメモリ混載画像処理用ＬＳＩにおいて、前記画像アクセス部は、ＭＰＥＧ４、ＭＰＥＧ２、ＭＰＥＧ１、Ｈ．２６３などの動画像圧縮基準に準拠するビットストリームを処理する回路であり、前記メモリ部はデータバスに相当する単位、すなわちＤＲＡＭにおけるワード領域に相当する部分を有するメモリであり、好ましくは平面画像におけるワード範囲のサイズが８〜６４ピクセルとしても良い。
【００２２】
また、上記何れかの構成に係るメモリ混載画像処理用ＬＳＩは、画像情報を圧縮または伸長する画像圧縮または伸長処理回路を備えていても良い。
【００２３】
さらに、本発明の第５の基本構成に係る画像処理装置は、上述した各構成の何れかを備えるメモリ混載画像処理用ＬＳＩを備えていることを特徴とする。
【００２４】
【発明の実施の形態】
以下、本発明に係るメモリ混載画像処理用ＬＳＩの好適な実施形態について添付図面を参照しながら詳細に説明する。図１ないし図９は本発明の第１実施形態に係るメモリ混載画像処理用ＬＳＩの構成および動作並びに作用効果を示すブロック図、模式図および特性図である。本発明の実施形態の説明においては、メモリの一例としてＤＲＡＭを用いて説明するが、例えばＦＲＡＭやＭＲＡＭのような他のメモリであっても、ページアクセスとワードアクセスの２段階アクセスを行なうメモリであれば如何なるものであっても本発明は適用可能である。
【００２５】
図１に示すように、第１実施形態に係るメモリ混載画像処理用ＬＳＩ１は、ＭＰＥＧ４のコーデック（ｃｏｄｅｃ）ＬＳＩであり、ＭＰＥＧ４コーデック２と混載ＤＲＡＭ３とを備えている。混載ＤＲＡＭ３が所定の動画像データを格納すると共に、コーデック２が動画像データの圧縮や伸長を行なっている。混載ＤＲＡＭ３のページサイズは１ページが２５６バイト（ｂｙｔｅ）であるが、６２〜５１２バイトの範囲内であれば２５６バイトに限定されず、例えば「８×１６」画素の１２８バイトの画像であっても良い。
【００２６】
ＭＰＥＧ４コーデック２は、ＭＰＥＧ１，ＭＰＥＧ２，Ｈ．２６３等のようにマクロブロックやブロック単位で動き補償を行なう他の動画像圧縮または伸長コーデックであっても良い。このコーデック２は、図２に示すような１６画素×１６画素の正方形に近い画像をランダムな座標からアクセスすることができる画像処理回路であれば他のものであっても良い。コーデック２が画像平面の中から切り出してきてＤＲＡＭ３にページ領域の画像として格納する画像は、図２に示すように画像平面５に対してページ範囲６の画像として捉えることができ、このページ範囲６のサイズは「１６×１６」画素であり、１画素の輝度・色差成分を１バイトに対応させているから、輝度・色差平面では１バイトが１画素に相当することになり、したがって２５６画素で２５６バイトになる。
【００２７】
したがって、この第１実施形態に係るメモリ混載画像処理用ＬＳＩにあっては１ページで処理する画素の範囲は２５６画素であり、この２５６画素分のページ範囲６にアクセスした後、ページ範囲６を構成するワード範囲（図示せず）における必要なワードを読み出すことにより画像の処理が行なわれる。この第１実施形態においては、ページ範囲６は図２に示されるように、「１６×１６」画素の正方形か、または「１６×８」画素もしくは「８×１６」画素の２対１または１対２の長方形のページ範囲となっている。
【００２８】
なお、このような正方形または長方形の格子状の範囲で処理される画像データは、画像情報のサイズとしては格子状に分割されてから出力されるわけではないので、例えばデジタルカメラ等の情報提供源から入力される画像データは一旦は従来の方式によりメモリに格納されていても良い。その後、画像データを処理するためには、このような格子状のページ範囲やワード範囲に対応するページ領域やワード領域を有するメモリに書き換えて格納した方が、画像処理上は有利であり、本発明はこの点に着目して、画像処理に適したメモリのページ領域とワード領域とを設定するものである。
【００２９】
以上のように構成された第１実施形態に係るメモリ混載画像処理用ＬＳＩの作用効果について図３ないし図９を参照しながら詳細に説明する。このような第１実施形態に係るメモリ混載画像処理用ＬＳＩにおいては、図２に示す画像平面５に対応するページ範囲６の画像をランダムな座標からアクセスし、１辺「１６×１６」画素または「８×１６」画素の正方形に近い画像若しくは１対２の長方形に近い画像をメモリ領域のページ領域に格納する。この場合、ページのサイズはＤＲＡＭ３のロー方向のプリチャージに消費される電力が統計的に最少となる蓋然性が高くなるようにして設定されている。以下に具体的説明する。
【００３０】
ＤＲＡＭにはページというアクセス単位がある。１つのページをアクセスするためにはＤＲＡＭに最適なコマンドを出す必要があり、このコマンド１回に対する電力的なコストは、
単位消費電力 ＝ Ａ（Ｂ・ページサイズ＋Ｃ）
（ただしＡ，Ｂ，Ｃはある容量のＤＲＡＭに対して定まる定数である。）
という式により近似できる。
【００３１】
説明を簡略化するためにページの区分単位を正方形とする。図３に示すように画像平面を１辺がＸ画素の正方形のページ範囲６に区切り、この正方形の１つ１つをＤＲＡＭのページに対応して格納する。この平面から１辺の長さがＹ画素の正方形の画像７を任意の座標（ｒａｎｄｏｍ）を基点とする位置から読み出すことになる。図３の例では、画像７は９個の格子（分割領域）を跨いでいることになる。したがって、コマンドを発するだけで、単位消費電力の９倍の電力が消費されることになる。この基点の座標がランダムな場合の跨ぐ格子数の期待値は次のようにして求められる。
【００３２】
期待値計算用のパラメータである補助変数Ｚが図４のような関係「Ｙ＝Ｍ・Ｘ＋Ｚ（ただし、Ｍは０若しくは正の整数、Ｚは１以上Ｘ以下の整数で定義される。）」または、補助変数Ｎが図５のような関係「（Ｎ−１）・Ｘ＜Ｙ≦Ｎ・Ｘ（ただし、Ｎは自然数で定義される。）」で格子数の期待値が決定される。このように、パラメータを定義したとき、跨ぐ格子数の期待値ＶＥは、下式により算出される。
【００３３】
VE={(Z-1)2(N+1)2 + 2(Z-1)(X-Z+1)N(N+1) + (X-Z+1)2N2} ／ X２
Ｙを１回読み出すときの電力ペナルティは、「跨ぐ格子数の期待値×単位消費電力」である。
【００３４】
画像処理用ＬＳＩにおいてはこのような処理を非常に多く行なう場合があり、特に動き補償を行なう動画像圧縮または伸長用ＬＳＩにおいては、このようなアクセスのかなりの部分を占めることがある。この動き補償を行なう場合の基本画像は、８×８画素のブロックまたは１６×１６画素のマクロブロックであるので、Ｙは８または１６ということになる。他に消費電力を求める式におけるＡは係数であるから無視することができ、ＢとＣは式の中のページサイズをバイトで表現する場合「Ｂ：Ｃ＝１：１００〜１０００」程度の比率を取ることが多い。この条件で最も消費電力を低減できるＸを求める（ＮやＺはＸから算出できる）。
【００３５】
この結果、図６に示すような特性図が得られるが、画素数１６を中心としてＸが８ないし３２の間の範囲にあるとき消費電力の低減に有効である。これはページのサイズに直すと、１ページが６４バイトから５１２バイトの範囲である。この範囲のページサイズが、「１６画素×１６画素」の正方形の領域の画像の読み出しに対して電力消費の上から有効であるものと考えられる。
【００３６】
図７は、「８画素×８画素」の正方形画像の読み出しに対する消費電力を図６と同様にプロットしたものである。この場合にもやはり１ページを６４バイトから５１２バイトの範囲に設定したときに消費電力を低減させることに有効である。この場合も、ＤＲＡＭの消費電力モデルのパラメータのＢとＣの比率は図６と同様に「Ｂ：Ｃ＝１：１００〜１０００」程度である。
【００３７】
つまり、ＤＲＡＭ上に配置された画像から位置的にランダムな「８画素×８画素」または「１６画素×１６画素」の画像を頻繁にアクセスする場合、１ページが６４バイトから５１２バイトであるＤＲＡＭを用いることが有利となる蓋然性が高いことになる。これに類する形状により画像を格納してアクセスする場合もこのようなページの構成範囲により同様な効果が得られる。
【００３８】
次に、図８ないし図１３を参照しながら本発明の第２実施形態に係るメモリ混載画像処理用ＬＳＩについて説明する。第２実施形態に係るメモリ混載画像処理用ＬＳＩは、第１実施形態のものがページサイズを定義していたのに対してワードサイズを定義する点で異なっている。
【００３９】
図８において、メモリ混載画像処理用ＬＳＩ１はＭＰＥＧ４コーデック２と、ワードサイズが１６バイトのＤＲＡＭ３と、を備えている。第１実施形態との相違点はＤＲＡＭ３が記憶するデータが第１実施形態の１ページ２５６バイトのサイズに対して１ワード１６バイトに設定されている点である。この第２実施形態では一例として１ワードの大きさを１６バイトとしているが８バイトから６４バイトの範囲内で好ましくは「８」のべき乗となるバイト数の大きさに設定することも可能である。図８におけるＭＰＥＧ４コーデック２の部分は、ＭＰＥＧ１，ＭＰＥＧ２およびＨ．２６３等のその他の規格に適合するものであっても、またマクロブロック，ブロック単位で動き補償を行なう他の種類の動画像圧縮または伸長用のコーデックであっても良いことは第１実施形態と同様である。１辺が８画素ないし１６画素の正方形に近い画像をランダムな座標からアクセスするような画像処理回路であれば他の構成を備えているものであっても良い。
【００４０】
図８に示された第２実施形態に係るメモリ混載画像処理用ＬＳＩの混載ＤＲＡＭ３は、ワードと同じ容量の正方形または辺の長さが「１：２」の長方形の区域に分割されて、それぞれ異なるワードに纏めてデータを格納するものである。図９に示す具体例により説明すると、画像平面５に対してｘ方向ｙ方向にそれぞれ「４画素×４画素」の領域８のサイズを格納するようにアドレスされている。したがって、図９においては「４画素×４画素」の正方形の領域に分割された区分画像をワード範囲８としているので、ワードサイズは１６バイトである。
【００４１】
この第２実施形態に係るメモリ混載画像処理用ＬＳＩは、図９のように「４画素×４画素」のワード範囲８により１６バイト分のデータをワードとして記憶するものとしていたが、本発明はこれに限定されず、例えば図１０に示すように、混載ＤＲＡＭ３上に格納される画像平面５の２次元プレーンにおいて、「８画素×２画素」の領域に相当する長方形のワード範囲８に分割されていても良い。この場合であっても、混載ＤＲＡＭ３が記憶するデータは、ワードサイズで１６バイトであり、「８画素×２画素」の長方形の領域に画像を分割してワード毎にデータを格納するようにしている。
【００４２】
以上の第２実施形態に係るメモリ混載画像処理用ＬＳＩの作用・効果について図１１および図１２を用いて説明する。第２実施形態に係るメモリ混載画像処理用ＬＳＩにおいて、動き補償などのような画像処理に多用されている１辺が８画素から１６画素程度の正方形に近い画像をランダムな座標軸からアクセスする場合におけるＤＲＡＭからワードによりアクセスするときの消費電力が統計的に最小になる蓋然性が高くなる範囲にページサイズを構成すればよい。この場合のワードというのは、ＤＲＡＭにアクセスするときのアクセス単位である。１つのワードをアクセスするためにはＤＲＡＭに適切なコマンドを出力する必要があり、このコマンド１回に対する電気的なコストは、
単位消費電力 ＝ Ｄ（Ｅ・ワードサイズ＋Ｆ）
（ただし、Ｄ，Ｅ，Ｆはある容量に対して定まる定数である。）
のように近似することができる。
【００４３】
上記の態様の説明を簡略化するため、画像を正方形により区分する。図３に示すように画像平面を１辺がＸ画素の正方形の領域に区切ることができる。この正方形の１つ１つが、ＤＲＡＭのワードに対応して格納されるものとする。この平面から１辺の長さがＹ画素の正方形の画像を任意の座標を基点とする位置から読み出すものとする。ページアクセスを行なうページの領域の設定と同様に、ＺおよびＮを定義することができ、これにより跨ぐ格子数期待値ＶＥは、下式
VE={(Z-1)2(N+1)2 + 2(Z-1)(X-Z+1)N(N+1) + (X-Z+1)2N2 }／ X２
により求められる。
【００４４】
上記の単位消費電力の式に現れているＤは定数なので無視して式中のワードサイズをバイトにより表現した場合、「Ｅ：Ｆ」の比率は「１：５」ないし「１：２５」程度の範囲に収まることが多い。
【００４５】
切り出す画像の１辺の長さすなわちＹについて、Ｙ＝１６の場合の特性を示すものが図１１であり、また、Ｙ＝８の場合の特性が図１２に示されている。これらの特性図は、ページに対応する画像の１辺の長さＸに対する規格化された消費電力をプロットしたものであり、長さＸが画素数２ないし４の間から画素数８の範囲で各々極小値を取ることが分かる。これはワードのサイズに直すと８バイトから６４バイトであるＤＲＡＭを用いる構成が、電力消費の節約に有利となる蓋然性が高いことになり、それに類する形状や面積の画像を格納したりアクセスしたりする場合もこのページ構成の範囲で同様な効果が得られる。因みに、図１１の場合には「１６画素×１６画素」の部分画像をランダムにアクセスする場合であり、図１２は「８画素×８画素」の部分画像をランダムにアクセスする場合を示している。
【００４６】
また、ページのサイズが「４」のべき乗である第１の場合、ページ領域に格納する部分画像としては正方形の形状が最適であり、ページのサイズが「４」のべき乗の２倍の大きさである第２の場合には「１：２」もしくは「１：４」の長方形がデータをまとめて格納し易い形状として前記第１の場合に次いで好ましい態様である。
【００４７】
さらに、上記の説明に加えて、横方向の幅が８画素の長方形であり記憶のための容量がワードのサイズに等しい領域に画像が分割されている場合、ブロックサイズ（８画素×８画素）の画像をアクセスする際に、アドレス的には連続する領域に格納されるため、アドレスを発生させるコストが小さくなりアクセスがし易くなる。横方向の幅が１６画素の長方形であり、記憶のための容量がワードのサイズに等しい領域に画像が分割されている場合に、マクロブロックサイズ（１６画素×１６画素）の画像をアクセスする際にも、アドレス的に連続する領域に格納されているためにアドレスを発生させるコストが小さくなりアクセスし易くなる。
【００４８】
次に、本発明の第３実施形態に係るメモリ混載画像処理用ＬＳＩについて、図１３および図１４を参照しながら説明する。この第３実施形態に係るメモリ混載画像処理用ＬＳＩは、図１３に示すように、第１および第２実施形態に係るＬＳＩ１と同一の構成を有しており、ＭＰＥＧ４コーデック２と、混載ＤＲＡＭ３とを備えている。第１および第２実施形態と異なる点は、混載ＤＲＡＭ３の構成が第１および第２実施形態の混載ＤＲＡＭのデータ保存形式を複合させたような構成になっている点である。すなわち、図１３において、混載ＤＲＡＭ３は１ワード１６バイトのサイズで、１ページが２５６バイトの容量を有するように設定されている。
【００４９】
このページサイズが２５６バイトでワードサイズが１６バイトをＤＲＡＭ３上に記憶させる具体例として示されているのが図１４である。図１４において、画像平面５に対応するＤＲＡＭ３上の記憶領域は、１６バイトのワード範囲８が１６個集合して１ページのページ範囲６を構成するようになっており、ページ範囲６の大きさは「１６画素×１６画素」で２５６バイトとなっている。
【００５０】
したがって、動き補償処理等により１フレームの画像データにアクセスする場合には、ｘ方向に１６画素でｙ方向にも１６画素分の１ページの画像データにまずアクセスし、ついでｘ方向に８画素でｙ方向に２画素分の１ワードの画像データにアクセスすることにより、ページデータおよびワードデータ共に最適なサイズのＤＲＡＭ格納画像データに対して効率良く低消費電力で記憶動作や読み出し動作を行なうことが可能となる。
【００５１】
以上のように、ワード系に対する画像範囲の形状とサイズの設定についての工夫とページ系に対する画像範囲の形状とサイズの設定についての工夫とを組み合わせることにより、それぞれ別個に得ることができる効果に加えて、複合した効果も得られることになる。
【００５２】
なお、上述した第１ないし第３実施形態に係るメモリ混載画像処理用ＬＳＩにおいて、前記メモリ部は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）により構成されているものとして説明したが、本発明はこれに限定されず、メモリ領域としてページ領域とワード領域を備え、ページアクセスした後にワードアクセスする２段階アクセスを行なうような上述した構成を有するメモリ混載画像処理用ＬＳＩであれば、メモリ部は強誘電体ランダムアクセスメモリ（ＦＲＡＭ―Ferroelectric Random Access Memory―）により構成されていても良いし、磁気抵抗ランダムアクセスメモリ（ＭＲＡＭ―Magnetoresistance Random Access Memory―）により構成されていても良い。
【００５３】
以上説明した第１ないし第３実施形態は、ＬＳＩ１を構成する混載ＤＲＡＭ３の内部構成について説明したが、本発明に係るメモリ混載画像処理用ＬＳＩの適用分野について、図１５ないし図は１７に示す第４ないし第６実施形態を用いて説明する。
【００５４】
図１５は本発明に係るメモリ混載画像処理用ＬＳＩを画像処理装置、特にバッテリによる駆動が可能な携帯用電子機器、に搭載した場合の一例として、ＭＰＥＧカメラに適用した第４実施形態を示すブロック図である。図１５において、ＭＰＥＧカメラ１０は、カメラ１１と、メモリ混載画像処理用ＬＳＩ１２を備えており、ＬＳＩ１２は、カメラインターフェース１３と、ＭＰＥＧ圧縮回路１４と、第１ないし第３実施形態で説明した構成を備える混載ＤＲＡＭ１５とが大規模集積回路として構成されている。この第４実施形態に係るメモリ混載画像処理用ＬＳＩは第１ないし第３実施形態のメモリ混載画像処理用ＬＳＩに比較してカメラインターフェース１３のみが付加された基本的な構成となっている。なお、一般にカメラから出力される画像データは、画像サイズを格子状に分割した状態では出力されないので、そのような場合は一旦メモリに画像データを格納した後で格子状に分割された画像データがメモリのページ領域に対応するように格納されている画像の配置換えを行なえば良い。
【００５５】
この第４実施形態に係るＭＰＥＧカメラによれば、メモリ混載画像処理用ＬＳＩ１２がＭＰＥＧ圧縮回路１４と混載ＲＤＡＭ１５に加えてさらにカメラインターフェース１３をも搭載しているので、従来と略々同一構成のカメラ１１の例えば画像制御部に適用することにより、ＭＰＥＧカメラ１０を容易に提供することができるという特有の効果を有する。
【００５６】
また、第４実施形態と同様の適用例として、第５実施形態に係るＭＰＥＧカメラ１０のように、通信インターフェースをも同一チップ上に搭載するようにしても良い。図１６は、この第５実施形態に係るＭＰＥＧカメラの構成を示すブロック図であり、同図において、ＭＰＥＧカメラ１０は、カメラ１１とメモリ混載画像処理用ＬＳＩ１２とを備えている。ＬＳＩ１２は、カメラインターフェーズ１３と、ＭＰＥＧ圧縮回路１４と、混載ＤＲＡＭ１５と、ＭＰＥＧカメラ１０により撮影した画像を外部に送信するための通信インターフェース１６をも同一チップ上に実装しているものである。
【００５７】
したがって、この第５実施形態に係るＭＰＥＧカメラ１０によれば、通信インターフェース１６を介してカメラが撮影した画像を外部に送信することができるという特有の効果を有する。なお、この通信インターフェース１６はメモリ混載画像処理用ＬＳＩ１２と同一チップ上に実装するものとして説明したが、本発明はこれに限定されず、通信インターフェース１６は別チップとして構成して、データの送受信用の配線によりＭＰＥＧ圧縮回路１４と接続するように構成しても良い。また、この通信インターフェースを介して受信したＭＰＥＧ圧縮信号に対してＭＰＥＧ伸長回路（図示せず）により伸長を行ない、図示しないモニターに対し画像表示を行なう構成としても良い。このような画像伸長処理の場合にも本発明に係るメモリアクセス構成を適用することができる。
【００５８】
また、第４および第５実施形態と同様の適用例として、第６実施形態に係るＭＰＥＧカメラのように、記録装置を備える構成としても良い。図１７は第６実施形態に係るＭＰＥＧカメラの構成を示すブロック図であり、同図において、ＭＰＥＧカメラ１０は、カメラ１１と、メモリ混載画像処理用ＬＳＩ１２と、記録装置１８とを備えている。ＬＳＩ１２は、カメラインタフェース３と、ＭＰＥＧ圧縮回路１４と、混載ＤＲＡＭ１５と、前記記録装置１８との間で画像データの送受信を行なうためのデータインターフェース１７と、を備えている。
【００５９】
このような構成を有する第６実施形態に係るＭＰＥＧカメラ１０によれば、同一チップ上に実装されたデータインターフェース１７によりＭＰＥＧカメラ１０に設けられた記録装置１８に撮影した画像を記録しておくことができ、本発明の特徴であるＭＰＥＧ圧縮回路や混載ＤＲＡＭの機能を記録された画像に対しても発揮することができるという特有の効果がある。なお、第５実施形態と同様にこの第６実施形態においてもデータインターフェース１７のみディスクリートな回路により構成するようにしても良い。
【００６０】
以上のように、本発明に係るメモリ混載画像処理用ＬＳＩは、第４ないし第６の実施形態に係るＭＰＥＧカメラ等に対して適用することができ、本発明は混載ＤＲＡＭについてのページデータとワードデータとのアクセスの際の低消費電力化を図るものであるので、これにより携帯性に優れたＭＰＥＧカメラを提供することが容易となるという優れた効果を有する。
【００６１】
また、ＭＰＥＧカメラに限らず、本発明に係るメモリ混載画像処理用ＬＳＩは形態ＴＶ電話なども含め、あらゆる画像処理装置に対して適用可能である。また上述したように２段階アクセスを行なうメモリであればＤＲＡＭに限定されずＦＲＡＭやＭＲＡＭであっても本願発明を適用できることは勿論である。
【００６２】
【発明の効果】
以上、詳細に説明したように本発明に係るメモリ混載画像処理用ＬＳＩによれば、画像平面を記憶する２段階アクセスを行なうメモリのページメモリ領域とワードメモリ領域とを画像処理のし易い画面上の最適な範囲の画像をページ範囲画像および／またはワード範囲画像に分けて画像を記憶させるようにしたので、消費電力の大きいページ記憶画像にアクセスする際の読み出しを効率良く行なうことができ、混載ＤＲＡＭからの画像データの読み出しに要する消費電力を低減することができるという効果を有している。
【００６３】
また、充電式のバッテリにより駆動することが多い携帯用の電子機器に搭載されたメモリ混載画像処理用ＬＳＩの場合であっても、長時間の使用に耐えるために重量があるがメモリ容量の大きなバッテリを搭載しなくとも、通常のバッテリでも充分に機能する程度の低消費で力で画像処理を行なうことができ、実施化に適したメモリ混載画像処理用ＬＳＩを提供することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係るメモリ混載画像処理用ＬＳＩを示すブロック図である。
【図２】本発明の第１実施形態に係るメモリ混載画像処理用ＬＳＩの動作を示す模式図である。
【図３】第１実施形態の作用効果を説明する模式図である。
【図４】第１実施形態における期待値算出のパラメータを説明する模式図である。
【図５】第１実施形態における期待値算出のパラメータを説明する模式図である。
【図６】 消費電力期待値を求めるための特性図である。
【図７】第１実施形態におけるページアクセスのための消費電力の期待値を示す特性図である。
【図８】本発明の第２実施形態に係るメモリ混載画像処理用ＬＳＩを示すブロック図である。
【図９】本発明の第２実施形態に係るメモリ混載画像処理用ＬＳＩの動作を示す模式図である。
【図１０】第２実施形態に係るメモリ混載画像処理用ＬＳＩの動作を示す模式図である。
【図１１】第２実施形態におけるページアクセスのための消費電力の期待値を示す特性図である。
【図１２】第２実施形態におけるページアクセスのための消費電力の期待値を示す特性図である。
【図１３】本発明の第３実施形態に係るメモリ混載画像処理用ＬＳＩを示すブロック図である。
【図１４】第３実施形態に係るメモリ混載画像処理用ＬＳＩの動作を示す模式図である。
【図１５】本発明をＭＰＥＧカメラに適用した第４実施形態に係るメモリ混載画像処理用ＬＳＩを示すブロック図である。
【図１６】本発明をＭＰＥＧカメラに適用した第５実施形態に係るメモリ混載画像処理用ＬＳＩを示すブロック図である。
【図１７】本発明をＭＰＥＧカメラに適用した第６実施形態に係るメモリ混載画像処理用ＬＳＩを示すブロック図である。
【図１８】従来のメモリ混載画像処理用ＬＳＩの記憶する（ａ）画像平面のページ領域とワード領域と、（ｂ）メモリにおける格納状態と、をそれぞれ模式的に示す説明図である。
【符号の説明】
１ メモリ混載画像処理用ＬＳＩ
２ ＭＰＥＧ４コーデック
３ 混載ＤＲＡＭ
５ 画像平面
６ ページ範囲
８ ワード範囲
【発明の属する技術分野】
本発明は、メモリ混載画像処理用ＬＳＩ（Large Scale Integrated-circuit―大規模集積回路―）に係り、特に低消費電力で駆動することができるメモリ混載画像処理用ＬＳＩに関するものである。画像処理部と共に混載されるメモリ部を構成するメモリ素子としては、ダイナミックランダムアクセスメモリ（以下ＤＲＡＭ―Dynamic Random Access Memory―と略記する）、強誘電体ランダムアクセスメモリ（以下ＦＲＡＭ―FerroelectricRandom Access Memory―と略記する）、磁気抵抗メモリ（以下ＭＲＡＭ―Magnetoresistance Random Access Memory―）等が含まれる。
【０００２】
【従来の技術】
従来のメモリ混載画像処理用ＬＳＩは描画等の処理速度の向上を図るものであり、ＬＳＩの駆動電力の省電力化を図ることについてはその対策がほとんど講じられていなかった。
【０００３】
メモリ混載ＬＳＩチップのメモリ部にアクセスする際には、複数のワード領域を含む複数のページ領域よりなるメモリの記憶領域に対して、まず第１の電力Ａを消費してページ領域にアクセスし、次いで第２の電力Ｂを消費してワードにアクセスしていた。例えば、画像情報を記憶するための従来のメモリ混載画像処理用ＬＳＩの記憶原理について、図１８を参照しながら説明する。図１８では、この混載メモリの一例としてＤＲＡＭについて説明する。
【０００４】
図１８（ａ）は、例えば動画像データを表示するＣＲＴ（Cathode Ray Tube）や液晶ディスプレイ等の表示装置の表示画面Ｓを示しており、表示画面Ｓは仮想的に複数のページ領域Ｐに分割されている。それぞれのページ領域Ｐは例えば１水平走査期間（１Ｈ）に走査される１行分のデータである複数のワードＬにより構成されている。このように表示画面上で仮想的に分割されたデータを図１８（ｂ）に示すようなＤＲＡＭの記憶領域Ｍに格納する。記憶領域Ｍは表示画面Ｓに対応してページ分のデータを格納する複数の格納領域Ｐと、１Ｈ分のデータに対応して格納領域Ｐに含まれるように構成された複数のワード格納領域Ｌと、を備えている。
【０００５】
このように、従来のメモリ混載画像処理用ＬＳＩは、表示画面Ｓ上の１フレーム分の画像データとＤＲＡＭに記憶されるデータとを対応させて記憶させているため、ＤＲＡＭにアクセスするためには、図１８（ｂ）に示すページ単位の記憶領域Ｐにアクセスした後、走査ラインに対応する各ワードＬにアクセスして、データの書き込みや読み出しを行なうようにしていた。
【０００６】
このため、例えば動画像データに動き補償等の処理を施すために、数ページに跨るデータを読み出さなくてはならない場合に、ページにアクセスするための電力Ａがページの数を乗算した分だけ必要であり（Ｐ×ｎ回×電力Ａ）、さらにワードにアクセスするための電力Ｂも必要な数のワードの数を乗算した分だけ必要となっている（Ｌ×ｍ回×電力Ｂ）。したがって、全体の消費電力はアクセスするページやワードの数に比例して増加することになり、例えば処理を必要としている画像の領域が多数のページにわたる場合にはそのページ数分だけ消費電力を費やすことになる。
【０００７】
このような従来のメモリ混載画像処理用ＬＳＩに限らず外付けメモリを利用する画像処理用ＬＳＩにおいて、ＤＲＡＭへのアクセス回数を低減してアクセス時間を短縮するためにタイリングと呼ばれる手法が用いられている。このタイリングは表示画面Ｓにおけるデータの探索範囲は変更しないが探索の順番を変更するものであり、例えば、間に他のページに記憶されたワードデータがある同一ページの２つのワードデータを探索する場合に同一ページの２つを纏めて読み出すことにより少しでも探索時間を短縮することを考慮したものである。ただし、ページやワード領域が大きなサイズであるほどアクセス速度が向上するため、より大きいページサイズやワードサイズを用いるようにしていた。しかし、外付けメモリを利用する場合には、ページやワードのサイズを選択することができる自由度は小さかった。
【０００８】
【発明が解決しようとする課題】
上述したように従来のメモリ混載画像処理用ＬＳＩによれば、必要な画像データを切り出すためにメモリにアクセスする場合に、過剰な大きさのページ領域にまずアクセスし、次にその中に格納されているワードの中から必要なワードにアクセスするようにしていたため、取り出したいデータが数頁に跨るような場合に膨大な消費電力を費やさねばならないという問題を有していた。
【０００９】
また、携帯用の電子機器に搭載されたメモリ混載画像処理用ＬＳＩの場合、多くは充電式のバッテリにより駆動することが多い。このため、長時間の使用に耐えるためには充電容量が大きいバッテリを搭載すればよいが、重量が増大するため機器全体の小型化を阻害することになる。したがって、ある程度の重量・サイズとの兼ね合いにより搭載されるバッテリの容量が決定されるが、搭載されたバッテリの電力消費については極力節約したいという要請があった。
【００１０】
上記問題点を解決するため、本発明は、ＤＲＡＭにアクセスする際に複数集合してスクリーンを構成するページの分割の仕方について画像処理を最も効率的に行なうことができる大きさと形状を有するように工夫を凝らすことにより、ページにアクセスする第１の消費電力を低減させて効率的な電力消費を図ることができるメモリ混載画像処理用ＬＳＩを提供することを目的としている。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の基本構成に係るメモリ混載画像処理用ＬＳＩは、表示画面に対応する画像平面を格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲をさらに複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部と、を備えると共に、前記メモリ部における前記ページ領域および前記ワード領域の少なくとも一方のサイズは、画像処理の際のメモリの消費電力モデルにおける前記プリチャージ１回当たりの消費電力と平均プリチャージ回数との乗算値が統計的に最少となるサイズであることを特徴としている。
【００１２】
また、本発明の第２の基本構成に係るメモリ混載画像処理用ＬＳＩは、表示画面に対応する画像平面を格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲をさらに複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部とを備えるものにおいて、前記メモリ部の前記ページ領域にその画像データが格納される前記画像平面上の前記ページ範囲は、画像処理の際のメモリの消費電力モデルにおける前記プリチャージ１回当たりの消費電力と平均プリチャージ回数との乗算値が統計的に最少となるサイズであることを特徴としている。
【００１３】
また、本発明の第３の基本構成に係るメモリ混載画像処理用ＬＳＩは、表示画面に対応する画像平面を格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲をさらに複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部とを備えるものにおいて、前記メモリ部の前記ワード領域にその画像データが格納される前記画像平面上の前記ワード範囲は、画像処理の際のメモリの消費電力モデルにおける前記ワードアクセス１回当たりの消費電力と平均ワードアクセス回数との乗算値が統計的に最少となるサイズであることを特徴としている。
【００１４】
また、本発明の第４の基本構成に係るメモリ混載画像処理用ＬＳＩは、表示画面に対応する画像平面を格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲をさらに複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部とを備えるものにおいて、前記メモリ部の前記ページ領域にその画像データが格納される前記画像平面上の前記ページ範囲は、画像処理の際のメモリの消費電力モデルにおける前記プリチャージ１回当たりの消費電力と平均プリチャージ回数との乗算値が統計的に最少となるサイズであると共に、前記メモリ部の前記ワード領域にその画像データが格納される前記画像平面上の前記ワード範囲は、画像処理の際のメモリの消費電力モデルにおける前記ワードアクセス１回当たりの消費電力と平均ワードアクセス回数との乗算値が統計的に最少となるサイズであることを特徴としている。
【００１５】
また、上記第１ないし第４の基本構成に係るメモリ混載画像処理用ＬＳＩにおいて、前記画像平面は複数の画素により構成され、前記ページ領域は各辺が２画素以上の長方形領域に前記画像平面を分割したものであり、前記画像平面に対して１辺が８ないし１６画素の正方形またはこの正方形に近い大きさで縦横比が１対２までの長方形の領域をアクセスするようにしても良い。
【００１６】
このように構成したメモリ混載画像処理用ＬＳＩにおいて、前記メモリ領域に格納されている２次元平面が、前記ページ領域と同じ容量の正方形または辺の割合が１対２の長方形の区域に分割されてそれぞれ別個のページに纏められて格納されるようにしても良い。
【００１７】
また、上記第１ないし第４の基本構成に係るメモリ混載画像処理用ＬＳＩにおいて、前記画像平面は複数の画素により構成され、前記ワード領域は各辺が２画素以上の長方形領域に前記画像平面を分割したものであり、前記画像平面に対して１辺が８ないし１６画素の正方形またはこの正方形に近い大きさで縦横比が１対２までの長方形の領域をアクセスするようにしても良い。
【００１８】
このように構成したメモリ混載画像処理用ＬＳＩにおいて、前記メモリ領域に格納されている２次元平面が、前記ページ領域と同じ容量の正方形または辺の割合が１対２の長方形の区域に分割されてそれぞれ別個のページに纏められて格納されるようにしても良い。
【００１９】
また、上記のような構成を有するメモリ混載画像処理用ＬＳＩにおいて、前記メモリ部は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）により構成されていても良い。また、上記のような構成を有するメモリ混載画像処理用ＬＳＩにおいて、前記メモリ部は、強誘電体ランダムアクセスメモリ（ＦＲＡＭ）により構成されていても良い。また、上記のような構成を有するメモリ混載画像処理用ＬＳＩにおいて、前記メモリ部は、磁気抵抗ランダムアクセスメモリ（ＭＲＡＭ）により構成されていても良い。
【００２０】
なお、上記第１ないし第４の基本構成に係るメモリ混載画像処理用ＬＳＩにおいて、前記画像アクセス部は、ＭＰＥＧ４、ＭＰＥＧ２、ＭＰＥＧ１、Ｈ．２６３などの動画像圧縮基準に準拠するビットストリームを処理する回路であり、前記メモリ部は読み出し準備を行なう単位、すなわちＤＲＡＭにおけるページ領域に相当する領域を有するメモリであり、好ましくは平面画像におけるページ範囲のサイズは６４〜５１２ピクセルとしても良い。
【００２１】
また、上記第１ないし第４の基本構成に係るメモリ混載画像処理用ＬＳＩにおいて、前記画像アクセス部は、ＭＰＥＧ４、ＭＰＥＧ２、ＭＰＥＧ１、Ｈ．２６３などの動画像圧縮基準に準拠するビットストリームを処理する回路であり、前記メモリ部はデータバスに相当する単位、すなわちＤＲＡＭにおけるワード領域に相当する部分を有するメモリであり、好ましくは平面画像におけるワード範囲のサイズが８〜６４ピクセルとしても良い。
【００２２】
また、上記何れかの構成に係るメモリ混載画像処理用ＬＳＩは、画像情報を圧縮または伸長する画像圧縮または伸長処理回路を備えていても良い。
【００２３】
さらに、本発明の第５の基本構成に係る画像処理装置は、上述した各構成の何れかを備えるメモリ混載画像処理用ＬＳＩを備えていることを特徴とする。
【００２４】
【発明の実施の形態】
以下、本発明に係るメモリ混載画像処理用ＬＳＩの好適な実施形態について添付図面を参照しながら詳細に説明する。図１ないし図９は本発明の第１実施形態に係るメモリ混載画像処理用ＬＳＩの構成および動作並びに作用効果を示すブロック図、模式図および特性図である。本発明の実施形態の説明においては、メモリの一例としてＤＲＡＭを用いて説明するが、例えばＦＲＡＭやＭＲＡＭのような他のメモリであっても、ページアクセスとワードアクセスの２段階アクセスを行なうメモリであれば如何なるものであっても本発明は適用可能である。
【００２５】
図１に示すように、第１実施形態に係るメモリ混載画像処理用ＬＳＩ１は、ＭＰＥＧ４のコーデック（ｃｏｄｅｃ）ＬＳＩであり、ＭＰＥＧ４コーデック２と混載ＤＲＡＭ３とを備えている。混載ＤＲＡＭ３が所定の動画像データを格納すると共に、コーデック２が動画像データの圧縮や伸長を行なっている。混載ＤＲＡＭ３のページサイズは１ページが２５６バイト（ｂｙｔｅ）であるが、６２〜５１２バイトの範囲内であれば２５６バイトに限定されず、例えば「８×１６」画素の１２８バイトの画像であっても良い。
【００２６】
ＭＰＥＧ４コーデック２は、ＭＰＥＧ１，ＭＰＥＧ２，Ｈ．２６３等のようにマクロブロックやブロック単位で動き補償を行なう他の動画像圧縮または伸長コーデックであっても良い。このコーデック２は、図２に示すような１６画素×１６画素の正方形に近い画像をランダムな座標からアクセスすることができる画像処理回路であれば他のものであっても良い。コーデック２が画像平面の中から切り出してきてＤＲＡＭ３にページ領域の画像として格納する画像は、図２に示すように画像平面５に対してページ範囲６の画像として捉えることができ、このページ範囲６のサイズは「１６×１６」画素であり、１画素の輝度・色差成分を１バイトに対応させているから、輝度・色差平面では１バイトが１画素に相当することになり、したがって２５６画素で２５６バイトになる。
【００２７】
したがって、この第１実施形態に係るメモリ混載画像処理用ＬＳＩにあっては１ページで処理する画素の範囲は２５６画素であり、この２５６画素分のページ範囲６にアクセスした後、ページ範囲６を構成するワード範囲（図示せず）における必要なワードを読み出すことにより画像の処理が行なわれる。この第１実施形態においては、ページ範囲６は図２に示されるように、「１６×１６」画素の正方形か、または「１６×８」画素もしくは「８×１６」画素の２対１または１対２の長方形のページ範囲となっている。
【００２８】
なお、このような正方形または長方形の格子状の範囲で処理される画像データは、画像情報のサイズとしては格子状に分割されてから出力されるわけではないので、例えばデジタルカメラ等の情報提供源から入力される画像データは一旦は従来の方式によりメモリに格納されていても良い。その後、画像データを処理するためには、このような格子状のページ範囲やワード範囲に対応するページ領域やワード領域を有するメモリに書き換えて格納した方が、画像処理上は有利であり、本発明はこの点に着目して、画像処理に適したメモリのページ領域とワード領域とを設定するものである。
【００２９】
以上のように構成された第１実施形態に係るメモリ混載画像処理用ＬＳＩの作用効果について図３ないし図９を参照しながら詳細に説明する。このような第１実施形態に係るメモリ混載画像処理用ＬＳＩにおいては、図２に示す画像平面５に対応するページ範囲６の画像をランダムな座標からアクセスし、１辺「１６×１６」画素または「８×１６」画素の正方形に近い画像若しくは１対２の長方形に近い画像をメモリ領域のページ領域に格納する。この場合、ページのサイズはＤＲＡＭ３のロー方向のプリチャージに消費される電力が統計的に最少となる蓋然性が高くなるようにして設定されている。以下に具体的説明する。
【００３０】
ＤＲＡＭにはページというアクセス単位がある。１つのページをアクセスするためにはＤＲＡＭに最適なコマンドを出す必要があり、このコマンド１回に対する電力的なコストは、
単位消費電力 ＝ Ａ（Ｂ・ページサイズ＋Ｃ）
（ただしＡ，Ｂ，Ｃはある容量のＤＲＡＭに対して定まる定数である。）
という式により近似できる。
【００３１】
説明を簡略化するためにページの区分単位を正方形とする。図３に示すように画像平面を１辺がＸ画素の正方形のページ範囲６に区切り、この正方形の１つ１つをＤＲＡＭのページに対応して格納する。この平面から１辺の長さがＹ画素の正方形の画像７を任意の座標（ｒａｎｄｏｍ）を基点とする位置から読み出すことになる。図３の例では、画像７は９個の格子（分割領域）を跨いでいることになる。したがって、コマンドを発するだけで、単位消費電力の９倍の電力が消費されることになる。この基点の座標がランダムな場合の跨ぐ格子数の期待値は次のようにして求められる。
【００３２】
期待値計算用のパラメータである補助変数Ｚが図４のような関係「Ｙ＝Ｍ・Ｘ＋Ｚ（ただし、Ｍは０若しくは正の整数、Ｚは１以上Ｘ以下の整数で定義される。）」または、補助変数Ｎが図５のような関係「（Ｎ−１）・Ｘ＜Ｙ≦Ｎ・Ｘ（ただし、Ｎは自然数で定義される。）」で格子数の期待値が決定される。このように、パラメータを定義したとき、跨ぐ格子数の期待値ＶＥは、下式により算出される。
【００３３】
VE={(Z-1)2(N+1)2 + 2(Z-1)(X-Z+1)N(N+1) + (X-Z+1)2N2} ／ X２
Ｙを１回読み出すときの電力ペナルティは、「跨ぐ格子数の期待値×単位消費電力」である。
【００３４】
画像処理用ＬＳＩにおいてはこのような処理を非常に多く行なう場合があり、特に動き補償を行なう動画像圧縮または伸長用ＬＳＩにおいては、このようなアクセスのかなりの部分を占めることがある。この動き補償を行なう場合の基本画像は、８×８画素のブロックまたは１６×１６画素のマクロブロックであるので、Ｙは８または１６ということになる。他に消費電力を求める式におけるＡは係数であるから無視することができ、ＢとＣは式の中のページサイズをバイトで表現する場合「Ｂ：Ｃ＝１：１００〜１０００」程度の比率を取ることが多い。この条件で最も消費電力を低減できるＸを求める（ＮやＺはＸから算出できる）。
【００３５】
この結果、図６に示すような特性図が得られるが、画素数１６を中心としてＸが８ないし３２の間の範囲にあるとき消費電力の低減に有効である。これはページのサイズに直すと、１ページが６４バイトから５１２バイトの範囲である。この範囲のページサイズが、「１６画素×１６画素」の正方形の領域の画像の読み出しに対して電力消費の上から有効であるものと考えられる。
【００３６】
図７は、「８画素×８画素」の正方形画像の読み出しに対する消費電力を図６と同様にプロットしたものである。この場合にもやはり１ページを６４バイトから５１２バイトの範囲に設定したときに消費電力を低減させることに有効である。この場合も、ＤＲＡＭの消費電力モデルのパラメータのＢとＣの比率は図６と同様に「Ｂ：Ｃ＝１：１００〜１０００」程度である。
【００３７】
つまり、ＤＲＡＭ上に配置された画像から位置的にランダムな「８画素×８画素」または「１６画素×１６画素」の画像を頻繁にアクセスする場合、１ページが６４バイトから５１２バイトであるＤＲＡＭを用いることが有利となる蓋然性が高いことになる。これに類する形状により画像を格納してアクセスする場合もこのようなページの構成範囲により同様な効果が得られる。
【００３８】
次に、図８ないし図１３を参照しながら本発明の第２実施形態に係るメモリ混載画像処理用ＬＳＩについて説明する。第２実施形態に係るメモリ混載画像処理用ＬＳＩは、第１実施形態のものがページサイズを定義していたのに対してワードサイズを定義する点で異なっている。
【００３９】
図８において、メモリ混載画像処理用ＬＳＩ１はＭＰＥＧ４コーデック２と、ワードサイズが１６バイトのＤＲＡＭ３と、を備えている。第１実施形態との相違点はＤＲＡＭ３が記憶するデータが第１実施形態の１ページ２５６バイトのサイズに対して１ワード１６バイトに設定されている点である。この第２実施形態では一例として１ワードの大きさを１６バイトとしているが８バイトから６４バイトの範囲内で好ましくは「８」のべき乗となるバイト数の大きさに設定することも可能である。図８におけるＭＰＥＧ４コーデック２の部分は、ＭＰＥＧ１，ＭＰＥＧ２およびＨ．２６３等のその他の規格に適合するものであっても、またマクロブロック，ブロック単位で動き補償を行なう他の種類の動画像圧縮または伸長用のコーデックであっても良いことは第１実施形態と同様である。１辺が８画素ないし１６画素の正方形に近い画像をランダムな座標からアクセスするような画像処理回路であれば他の構成を備えているものであっても良い。
【００４０】
図８に示された第２実施形態に係るメモリ混載画像処理用ＬＳＩの混載ＤＲＡＭ３は、ワードと同じ容量の正方形または辺の長さが「１：２」の長方形の区域に分割されて、それぞれ異なるワードに纏めてデータを格納するものである。図９に示す具体例により説明すると、画像平面５に対してｘ方向ｙ方向にそれぞれ「４画素×４画素」の領域８のサイズを格納するようにアドレスされている。したがって、図９においては「４画素×４画素」の正方形の領域に分割された区分画像をワード範囲８としているので、ワードサイズは１６バイトである。
【００４１】
この第２実施形態に係るメモリ混載画像処理用ＬＳＩは、図９のように「４画素×４画素」のワード範囲８により１６バイト分のデータをワードとして記憶するものとしていたが、本発明はこれに限定されず、例えば図１０に示すように、混載ＤＲＡＭ３上に格納される画像平面５の２次元プレーンにおいて、「８画素×２画素」の領域に相当する長方形のワード範囲８に分割されていても良い。この場合であっても、混載ＤＲＡＭ３が記憶するデータは、ワードサイズで１６バイトであり、「８画素×２画素」の長方形の領域に画像を分割してワード毎にデータを格納するようにしている。
【００４２】
以上の第２実施形態に係るメモリ混載画像処理用ＬＳＩの作用・効果について図１１および図１２を用いて説明する。第２実施形態に係るメモリ混載画像処理用ＬＳＩにおいて、動き補償などのような画像処理に多用されている１辺が８画素から１６画素程度の正方形に近い画像をランダムな座標軸からアクセスする場合におけるＤＲＡＭからワードによりアクセスするときの消費電力が統計的に最小になる蓋然性が高くなる範囲にページサイズを構成すればよい。この場合のワードというのは、ＤＲＡＭにアクセスするときのアクセス単位である。１つのワードをアクセスするためにはＤＲＡＭに適切なコマンドを出力する必要があり、このコマンド１回に対する電気的なコストは、
単位消費電力 ＝ Ｄ（Ｅ・ワードサイズ＋Ｆ）
（ただし、Ｄ，Ｅ，Ｆはある容量に対して定まる定数である。）
のように近似することができる。
【００４３】
上記の態様の説明を簡略化するため、画像を正方形により区分する。図３に示すように画像平面を１辺がＸ画素の正方形の領域に区切ることができる。この正方形の１つ１つが、ＤＲＡＭのワードに対応して格納されるものとする。この平面から１辺の長さがＹ画素の正方形の画像を任意の座標を基点とする位置から読み出すものとする。ページアクセスを行なうページの領域の設定と同様に、ＺおよびＮを定義することができ、これにより跨ぐ格子数期待値ＶＥは、下式
VE={(Z-1)2(N+1)2 + 2(Z-1)(X-Z+1)N(N+1) + (X-Z+1)2N2 }／ X２
により求められる。
【００４４】
上記の単位消費電力の式に現れているＤは定数なので無視して式中のワードサイズをバイトにより表現した場合、「Ｅ：Ｆ」の比率は「１：５」ないし「１：２５」程度の範囲に収まることが多い。
【００４５】
切り出す画像の１辺の長さすなわちＹについて、Ｙ＝１６の場合の特性を示すものが図１１であり、また、Ｙ＝８の場合の特性が図１２に示されている。これらの特性図は、ページに対応する画像の１辺の長さＸに対する規格化された消費電力をプロットしたものであり、長さＸが画素数２ないし４の間から画素数８の範囲で各々極小値を取ることが分かる。これはワードのサイズに直すと８バイトから６４バイトであるＤＲＡＭを用いる構成が、電力消費の節約に有利となる蓋然性が高いことになり、それに類する形状や面積の画像を格納したりアクセスしたりする場合もこのページ構成の範囲で同様な効果が得られる。因みに、図１１の場合には「１６画素×１６画素」の部分画像をランダムにアクセスする場合であり、図１２は「８画素×８画素」の部分画像をランダムにアクセスする場合を示している。
【００４６】
また、ページのサイズが「４」のべき乗である第１の場合、ページ領域に格納する部分画像としては正方形の形状が最適であり、ページのサイズが「４」のべき乗の２倍の大きさである第２の場合には「１：２」もしくは「１：４」の長方形がデータをまとめて格納し易い形状として前記第１の場合に次いで好ましい態様である。
【００４７】
さらに、上記の説明に加えて、横方向の幅が８画素の長方形であり記憶のための容量がワードのサイズに等しい領域に画像が分割されている場合、ブロックサイズ（８画素×８画素）の画像をアクセスする際に、アドレス的には連続する領域に格納されるため、アドレスを発生させるコストが小さくなりアクセスがし易くなる。横方向の幅が１６画素の長方形であり、記憶のための容量がワードのサイズに等しい領域に画像が分割されている場合に、マクロブロックサイズ（１６画素×１６画素）の画像をアクセスする際にも、アドレス的に連続する領域に格納されているためにアドレスを発生させるコストが小さくなりアクセスし易くなる。
【００４８】
次に、本発明の第３実施形態に係るメモリ混載画像処理用ＬＳＩについて、図１３および図１４を参照しながら説明する。この第３実施形態に係るメモリ混載画像処理用ＬＳＩは、図１３に示すように、第１および第２実施形態に係るＬＳＩ１と同一の構成を有しており、ＭＰＥＧ４コーデック２と、混載ＤＲＡＭ３とを備えている。第１および第２実施形態と異なる点は、混載ＤＲＡＭ３の構成が第１および第２実施形態の混載ＤＲＡＭのデータ保存形式を複合させたような構成になっている点である。すなわち、図１３において、混載ＤＲＡＭ３は１ワード１６バイトのサイズで、１ページが２５６バイトの容量を有するように設定されている。
【００４９】
このページサイズが２５６バイトでワードサイズが１６バイトをＤＲＡＭ３上に記憶させる具体例として示されているのが図１４である。図１４において、画像平面５に対応するＤＲＡＭ３上の記憶領域は、１６バイトのワード範囲８が１６個集合して１ページのページ範囲６を構成するようになっており、ページ範囲６の大きさは「１６画素×１６画素」で２５６バイトとなっている。
【００５０】
したがって、動き補償処理等により１フレームの画像データにアクセスする場合には、ｘ方向に１６画素でｙ方向にも１６画素分の１ページの画像データにまずアクセスし、ついでｘ方向に８画素でｙ方向に２画素分の１ワードの画像データにアクセスすることにより、ページデータおよびワードデータ共に最適なサイズのＤＲＡＭ格納画像データに対して効率良く低消費電力で記憶動作や読み出し動作を行なうことが可能となる。
【００５１】
以上のように、ワード系に対する画像範囲の形状とサイズの設定についての工夫とページ系に対する画像範囲の形状とサイズの設定についての工夫とを組み合わせることにより、それぞれ別個に得ることができる効果に加えて、複合した効果も得られることになる。
【００５２】
なお、上述した第１ないし第３実施形態に係るメモリ混載画像処理用ＬＳＩにおいて、前記メモリ部は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）により構成されているものとして説明したが、本発明はこれに限定されず、メモリ領域としてページ領域とワード領域を備え、ページアクセスした後にワードアクセスする２段階アクセスを行なうような上述した構成を有するメモリ混載画像処理用ＬＳＩであれば、メモリ部は強誘電体ランダムアクセスメモリ（ＦＲＡＭ―Ferroelectric Random Access Memory―）により構成されていても良いし、磁気抵抗ランダムアクセスメモリ（ＭＲＡＭ―Magnetoresistance Random Access Memory―）により構成されていても良い。
【００５３】
以上説明した第１ないし第３実施形態は、ＬＳＩ１を構成する混載ＤＲＡＭ３の内部構成について説明したが、本発明に係るメモリ混載画像処理用ＬＳＩの適用分野について、図１５ないし図は１７に示す第４ないし第６実施形態を用いて説明する。
【００５４】
図１５は本発明に係るメモリ混載画像処理用ＬＳＩを画像処理装置、特にバッテリによる駆動が可能な携帯用電子機器、に搭載した場合の一例として、ＭＰＥＧカメラに適用した第４実施形態を示すブロック図である。図１５において、ＭＰＥＧカメラ１０は、カメラ１１と、メモリ混載画像処理用ＬＳＩ１２を備えており、ＬＳＩ１２は、カメラインターフェース１３と、ＭＰＥＧ圧縮回路１４と、第１ないし第３実施形態で説明した構成を備える混載ＤＲＡＭ１５とが大規模集積回路として構成されている。この第４実施形態に係るメモリ混載画像処理用ＬＳＩは第１ないし第３実施形態のメモリ混載画像処理用ＬＳＩに比較してカメラインターフェース１３のみが付加された基本的な構成となっている。なお、一般にカメラから出力される画像データは、画像サイズを格子状に分割した状態では出力されないので、そのような場合は一旦メモリに画像データを格納した後で格子状に分割された画像データがメモリのページ領域に対応するように格納されている画像の配置換えを行なえば良い。
【００５５】
この第４実施形態に係るＭＰＥＧカメラによれば、メモリ混載画像処理用ＬＳＩ１２がＭＰＥＧ圧縮回路１４と混載ＲＤＡＭ１５に加えてさらにカメラインターフェース１３をも搭載しているので、従来と略々同一構成のカメラ１１の例えば画像制御部に適用することにより、ＭＰＥＧカメラ１０を容易に提供することができるという特有の効果を有する。
【００５６】
また、第４実施形態と同様の適用例として、第５実施形態に係るＭＰＥＧカメラ１０のように、通信インターフェースをも同一チップ上に搭載するようにしても良い。図１６は、この第５実施形態に係るＭＰＥＧカメラの構成を示すブロック図であり、同図において、ＭＰＥＧカメラ１０は、カメラ１１とメモリ混載画像処理用ＬＳＩ１２とを備えている。ＬＳＩ１２は、カメラインターフェーズ１３と、ＭＰＥＧ圧縮回路１４と、混載ＤＲＡＭ１５と、ＭＰＥＧカメラ１０により撮影した画像を外部に送信するための通信インターフェース１６をも同一チップ上に実装しているものである。
【００５７】
したがって、この第５実施形態に係るＭＰＥＧカメラ１０によれば、通信インターフェース１６を介してカメラが撮影した画像を外部に送信することができるという特有の効果を有する。なお、この通信インターフェース１６はメモリ混載画像処理用ＬＳＩ１２と同一チップ上に実装するものとして説明したが、本発明はこれに限定されず、通信インターフェース１６は別チップとして構成して、データの送受信用の配線によりＭＰＥＧ圧縮回路１４と接続するように構成しても良い。また、この通信インターフェースを介して受信したＭＰＥＧ圧縮信号に対してＭＰＥＧ伸長回路（図示せず）により伸長を行ない、図示しないモニターに対し画像表示を行なう構成としても良い。このような画像伸長処理の場合にも本発明に係るメモリアクセス構成を適用することができる。
【００５８】
また、第４および第５実施形態と同様の適用例として、第６実施形態に係るＭＰＥＧカメラのように、記録装置を備える構成としても良い。図１７は第６実施形態に係るＭＰＥＧカメラの構成を示すブロック図であり、同図において、ＭＰＥＧカメラ１０は、カメラ１１と、メモリ混載画像処理用ＬＳＩ１２と、記録装置１８とを備えている。ＬＳＩ１２は、カメラインタフェース３と、ＭＰＥＧ圧縮回路１４と、混載ＤＲＡＭ１５と、前記記録装置１８との間で画像データの送受信を行なうためのデータインターフェース１７と、を備えている。
【００５９】
このような構成を有する第６実施形態に係るＭＰＥＧカメラ１０によれば、同一チップ上に実装されたデータインターフェース１７によりＭＰＥＧカメラ１０に設けられた記録装置１８に撮影した画像を記録しておくことができ、本発明の特徴であるＭＰＥＧ圧縮回路や混載ＤＲＡＭの機能を記録された画像に対しても発揮することができるという特有の効果がある。なお、第５実施形態と同様にこの第６実施形態においてもデータインターフェース１７のみディスクリートな回路により構成するようにしても良い。
【００６０】
以上のように、本発明に係るメモリ混載画像処理用ＬＳＩは、第４ないし第６の実施形態に係るＭＰＥＧカメラ等に対して適用することができ、本発明は混載ＤＲＡＭについてのページデータとワードデータとのアクセスの際の低消費電力化を図るものであるので、これにより携帯性に優れたＭＰＥＧカメラを提供することが容易となるという優れた効果を有する。
【００６１】
また、ＭＰＥＧカメラに限らず、本発明に係るメモリ混載画像処理用ＬＳＩは形態ＴＶ電話なども含め、あらゆる画像処理装置に対して適用可能である。また上述したように２段階アクセスを行なうメモリであればＤＲＡＭに限定されずＦＲＡＭやＭＲＡＭであっても本願発明を適用できることは勿論である。
【００６２】
【発明の効果】
以上、詳細に説明したように本発明に係るメモリ混載画像処理用ＬＳＩによれば、画像平面を記憶する２段階アクセスを行なうメモリのページメモリ領域とワードメモリ領域とを画像処理のし易い画面上の最適な範囲の画像をページ範囲画像および／またはワード範囲画像に分けて画像を記憶させるようにしたので、消費電力の大きいページ記憶画像にアクセスする際の読み出しを効率良く行なうことができ、混載ＤＲＡＭからの画像データの読み出しに要する消費電力を低減することができるという効果を有している。
【００６３】
また、充電式のバッテリにより駆動することが多い携帯用の電子機器に搭載されたメモリ混載画像処理用ＬＳＩの場合であっても、長時間の使用に耐えるために重量があるがメモリ容量の大きなバッテリを搭載しなくとも、通常のバッテリでも充分に機能する程度の低消費で力で画像処理を行なうことができ、実施化に適したメモリ混載画像処理用ＬＳＩを提供することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係るメモリ混載画像処理用ＬＳＩを示すブロック図である。
【図２】本発明の第１実施形態に係るメモリ混載画像処理用ＬＳＩの動作を示す模式図である。
【図３】第１実施形態の作用効果を説明する模式図である。
【図４】第１実施形態における期待値算出のパラメータを説明する模式図である。
【図５】第１実施形態における期待値算出のパラメータを説明する模式図である。
【図６】 消費電力期待値を求めるための特性図である。
【図７】第１実施形態におけるページアクセスのための消費電力の期待値を示す特性図である。
【図８】本発明の第２実施形態に係るメモリ混載画像処理用ＬＳＩを示すブロック図である。
【図９】本発明の第２実施形態に係るメモリ混載画像処理用ＬＳＩの動作を示す模式図である。
【図１０】第２実施形態に係るメモリ混載画像処理用ＬＳＩの動作を示す模式図である。
【図１１】第２実施形態におけるページアクセスのための消費電力の期待値を示す特性図である。
【図１２】第２実施形態におけるページアクセスのための消費電力の期待値を示す特性図である。
【図１３】本発明の第３実施形態に係るメモリ混載画像処理用ＬＳＩを示すブロック図である。
【図１４】第３実施形態に係るメモリ混載画像処理用ＬＳＩの動作を示す模式図である。
【図１５】本発明をＭＰＥＧカメラに適用した第４実施形態に係るメモリ混載画像処理用ＬＳＩを示すブロック図である。
【図１６】本発明をＭＰＥＧカメラに適用した第５実施形態に係るメモリ混載画像処理用ＬＳＩを示すブロック図である。
【図１７】本発明をＭＰＥＧカメラに適用した第６実施形態に係るメモリ混載画像処理用ＬＳＩを示すブロック図である。
【図１８】従来のメモリ混載画像処理用ＬＳＩの記憶する（ａ）画像平面のページ領域とワード領域と、（ｂ）メモリにおける格納状態と、をそれぞれ模式的に示す説明図である。
【符号の説明】
１ メモリ混載画像処理用ＬＳＩ
２ ＭＰＥＧ４コーデック
３ 混載ＤＲＡＭ
５ 画像平面
６ ページ範囲
８ ワード範囲
Claims (11)
- 表示画面に対応する画像平面を格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲をさらに複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部と、を備えると共に、
前記メモリ部における前記ページ領域および前記ワード領域の少なくとも一方のサイズは、画像処理の際のメモリの消費電力モデルにおける前記プリチャージ１回当たりの消費電力と平均プリチャージ回数との乗算値が統計的に最少となるサイズであることを特徴とするメモリ混載画像処理用ＬＳＩ。 - 表示画面に対応する画像平面を格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲をさらに複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部とを備えるメモリ混載画像処理用ＬＳＩにおいて、
前記メモリ部の前記ページ領域にその画像データが格納される前記画像平面上の前記ページ範囲は、画像処理の際のメモリの消費電力モデルにおける前記プリチャージ１回当たりの消費電力と平均プリチャージ回数との乗算値が統計的に最少となるサイズであることを特徴とするメモリ混載画像処理用ＬＳＩ。 - 表示画面に対応する画像平面を格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲をさらに複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部とを備えるメモリ混載画像処理用ＬＳＩにおいて、
前記メモリ部の前記ワード領域にその画像データが格納される前記画像平面上の前記ワード範囲は、画像処理の際のメモリの消費電力モデルにおける前記ワードアクセス１回当たりの消費電力と平均ワードアクセス回数との乗算値が統計的に最少となるサイズであることを特徴とするメモリ混載画像処理用ＬＳＩ。 - 表示画面に対応する画像平面を格子状に複数に分割したページ範囲の画像データを格納するページ領域および前記ページ範囲をさらに複数に分割したワード範囲の画像データを格納すると共に複数集合して前記ページ領域を構成するワード領域を備えるメモリ部と、このメモリ部にアクセスするためにプリチャージにより前記ページ領域にアクセスしてから前記ワード領域にアクセスする画像アクセス部とを備えるメモリ混載画像処理用ＬＳＩにおいて、
前記メモリ部の前記ページ領域にその画像データが格納される前記画像平面上の前記ページ範囲は、画像処理の際のメモリの消費電力モデルにおける前記プリチャージ１回当たりの消費電力と平均プリチャージ回数との乗算値が統計的に最少となるサイズであると共に、
前記メモリ部の前記ワード領域にその画像データが格納される前記画像平面上の前記ワード範囲は、画像処理の際のメモリの消費電力モデルにおける前記ワードアクセス１回当たりの消費電力と平均ワードアクセス回数との乗算値が統計的に最少となるサイズであることを特徴とするメモリ混載画像処理用ＬＳＩ。 - 前記画像平面は複数の画素により構成され、前記ページ領域は各辺が２画素以上の長方形領域に前記画像平面を分割したものであり、前記画像平面に対して１辺が８ないし１６画素の正方形またはこの正方形に近い大きさで縦横比が１対２までの長方形の領域をアクセスするようにしたことを特徴とする請求項１ないし請求項４の何れかに記載のメモリ混載画像処理用ＬＳＩ。
- 前記メモリ領域に格納されている２次元平面が、前記ページ領域と同じ容量の正方形または辺の割合が１対２の長方形の区域に分割されてそれぞれ別個のページに纏められて格納されることを特徴とする請求項５に記載のメモリ混載画像処理用ＬＳＩ。
- 前記画像平面は複数の画素により構成され、前記ワード領域は各辺が２画素以上の長方形領域に前記画像平面を分割したものであり、前記画像平面に対して１辺が８ないし１６画素の正方形またはこの正方形に近い大きさで縦横比が１対２までの長方形の領域をアクセスするようにしたことを特徴とする請求項１ないし請求項４の何れかに記載のメモリ混載画像処理用ＬＳＩ。
- 前記メモリ領域に格納されている２次元平面が、前記ページ領域と同じ容量の正方形または辺の割合が１対２の長方形の区域に分割されてそれぞれ別個のページに纏められて格納されることを特徴とする請求項７に記載のメモリ混載画像処理用ＬＳＩ。
- 前記メモリ部は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ），強誘電体ランダムアクセスメモリ（ＦＲＡＭ）または磁気抵抗ランダムアクセスメモリ（ＭＲＡＭ）の何れかにより構成されていることを特徴とする請求項１ないし請求項８の何れかに記載のメモリ混載画像処理用ＬＳＩ。
- 画像情報に対して圧縮処理または伸長処理を行なう画像圧縮または伸長装置を備えることを特徴とする請求項１ないし請求項９の何れかに記載のメモリ混載画像処理用ＬＳＩ。
- 請求項１ないし請求項１０の何れかに記載のメモリ混載画像処理用ＬＳＩを備えることを特徴とする画像処理装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000027911A JP4162348B2 (ja) | 2000-02-04 | 2000-02-04 | メモリ混載画像処理用ｌｓｉおよび画像処理装置 |
| US09/773,625 US6750871B2 (en) | 2000-02-04 | 2001-02-02 | Memory consolidated image processing LSI, image processing system with same, and image accessing method using same |
| EP20010102174 EP1122713A3 (en) | 2000-02-04 | 2001-02-02 | Memory consolidated image processing LSI, image processing system with same, and image accessing method using same |
| KR10-2001-0005265A KR100419271B1 (ko) | 2000-02-04 | 2001-02-03 | 메모리 혼재 화상 처리용 ｌｓｉ, 이것을 포함하는 화상처리 장치 및 이것을 이용하는 화상 액세스 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000027911A JP4162348B2 (ja) | 2000-02-04 | 2000-02-04 | メモリ混載画像処理用ｌｓｉおよび画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001216503A JP2001216503A (ja) | 2001-08-10 |
| JP4162348B2 true JP4162348B2 (ja) | 2008-10-08 |
Family
ID=18553416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000027911A Expired - Fee Related JP4162348B2 (ja) | 2000-02-04 | 2000-02-04 | メモリ混載画像処理用ｌｓｉおよび画像処理装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6750871B2 (ja) |
| EP (1) | EP1122713A3 (ja) |
| JP (1) | JP4162348B2 (ja) |
| KR (1) | KR100419271B1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100397511B1 (ko) * | 2001-11-21 | 2003-09-13 | 한국전자통신연구원 | 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법 |
| US7889206B2 (en) * | 2003-06-16 | 2011-02-15 | Broadcom Corporation | Direct memory accessing for fetching macroblocks |
| US10579904B2 (en) | 2012-04-24 | 2020-03-03 | Stmicroelectronics S.R.L. | Keypoint unwarping for machine vision applications |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60195589A (ja) * | 1984-03-19 | 1985-10-04 | オリンパス光学工業株式会社 | 画像表示装置 |
| EP0798734B1 (en) * | 1988-11-29 | 2004-02-18 | Matsushita Electric Industrial Co., Ltd. | A synchronous semiconductor memory integrated circuit, a method for accessing said memory and a system comprising such a memory |
| JP3214132B2 (ja) * | 1993-03-01 | 2001-10-02 | 三菱電機株式会社 | メモリセルアレイ半導体集積回路装置 |
| JP3579461B2 (ja) * | 1993-10-15 | 2004-10-20 | 株式会社ルネサステクノロジ | データ処理システム及びデータ処理装置 |
| JPH08123953A (ja) * | 1994-10-21 | 1996-05-17 | Mitsubishi Electric Corp | 画像処理装置 |
| JP3664777B2 (ja) * | 1995-08-18 | 2005-06-29 | 株式会社ルネサステクノロジ | 半導体記憶装置 |
| KR0179166B1 (ko) * | 1995-10-04 | 1999-05-01 | 문정환 | 디지탈 영상신호처리용 메모리장치 |
| JPH10134566A (ja) * | 1996-10-31 | 1998-05-22 | Mitsubishi Electric Corp | 記憶機能を有する半導体装置及びそのデータ読み出し方法 |
-
2000
- 2000-02-04 JP JP2000027911A patent/JP4162348B2/ja not_active Expired - Fee Related
-
2001
- 2001-02-02 US US09/773,625 patent/US6750871B2/en not_active Expired - Fee Related
- 2001-02-02 EP EP20010102174 patent/EP1122713A3/en not_active Withdrawn
- 2001-02-03 KR KR10-2001-0005265A patent/KR100419271B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR20010078328A (ko) | 2001-08-20 |
| US6750871B2 (en) | 2004-06-15 |
| KR100419271B1 (ko) | 2004-02-18 |
| EP1122713A2 (en) | 2001-08-08 |
| US20010013081A1 (en) | 2001-08-09 |
| JP2001216503A (ja) | 2001-08-10 |
| EP1122713A3 (en) | 2007-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1659595B (zh) | 用于编码纹理信息的方法和设备 | |
| US6104416A (en) | Tiling in picture memory mapping to minimize memory bandwidth in compression and decompression of data sequences | |
| US5604540A (en) | Structure and method for a multistandard video encoder | |
| TW315570B (ja) | ||
| KR101127962B1 (ko) | 영상 처리 장치 및 영상 처리를 위한 프레임 메모리 관리 방법 | |
| US20050190976A1 (en) | Moving image encoding apparatus and moving image processing apparatus | |
| US7536487B1 (en) | Low power memory hierarchy for high performance video processor | |
| US7868898B2 (en) | Methods and apparatus for efficiently accessing reduced color-resolution image data | |
| KR100281499B1 (ko) | 쌍일차필터,비디오영상리사이징방법및컴퓨터시스템 | |
| EP1531399A2 (en) | Method and system for preventing data transfer bus bottlenecks through image compression | |
| JP3381077B2 (ja) | 動画像復号装置 | |
| US6552749B1 (en) | Method and apparatus for video motion compensation, reduction and color formatting | |
| JP4162348B2 (ja) | メモリ混載画像処理用ｌｓｉおよび画像処理装置 | |
| US20060033753A1 (en) | Apparatuses and methods for incorporating an overlay within an image | |
| US8427494B2 (en) | Variable-length coding data transfer interface | |
| US7400683B2 (en) | Device with virtual tilized image memory | |
| CN111052742A (zh) | 图像处理 | |
| US6249617B1 (en) | Video encounter having an integrated scaling mechanism | |
| KR20020052199A (ko) | 데이터 전송 방법 및 그 회로 장치 | |
| WO2004043056A1 (ja) | 画像変換装置及び画像変換方法並びに記録媒体 | |
| US8064709B2 (en) | Method and apparatus for buffering output pixel data of a joint photographic experts group image | |
| CN105138694A (zh) | 一种gif录制方法及装置 | |
| CN101754034B (zh) | 透明属性的离散余弦转换压缩图数据的解压缩***及方法 | |
| JP2006023750A (ja) | ディスプレイコントローラにおけるデータ処理方法、ディスプレイコントローラおよび画像処理装置 | |
| US6297831B1 (en) | Image generator using display memory |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051213 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060207 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060425 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060626 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060815 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060908 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080722 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130801 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |