JP2015136106A

JP2015136106A - Semiconductor integrated circuit

Info

Publication number: JP2015136106A
Application number: JP2015000688A
Authority: JP
Inventors: 宏大須賀; Hiroshi Osuga; 高明鈴木; Takaaki Suzuki; 淳木内; Atsushi Kiuchi; 和秀川出; Kazuhide Kawade; 浜崎　博幸; Hiroyuki Hamazaki; 博幸浜崎
Original assignee: Renesas Electronics Corp
Current assignee: Renesas Electronics Corp
Priority date: 2015-01-06
Filing date: 2015-01-06
Publication date: 2015-07-27
Anticipated expiration: 2030-10-27
Also published as: JP5890044B2

Abstract

PROBLEM TO BE SOLVED: To reduce a load on a bus load when image data obtained by photographing by a plurality of cameras is stored in a semiconductor memory.SOLUTION: A semiconductor integrated circuit (10) to which a plurality of cameras (31-34) and a semiconductor memory (35) are connectable includes: a plurality of first interfaces (11-14); a second interface (21); a bus (22); and a plurality of image processing modules (15-18). The image processing module includes processing of performing distortion correction on image data in a preliminarily specified region and write the image data in the region after distortion correction in the semiconductor memory via the bus and the second interface. By excluding image data in a region other then the preliminarily designate region from the distortion correction target in the image processing module, a volume of image data transferred to the semiconductor memory is reduced.

Description

本発明は、画像処理を行う半導体集積回路に係り、例えば全周囲映像システムに適用して有効な技術に関する。 The present invention relates to a semiconductor integrated circuit that performs image processing, and relates to a technique that is effective when applied to an all-around video system, for example.

駐車場等における車両の安全かつ円滑な運転操作を支援するシステムとして全周囲映像システムが知られている。この全周囲映像システムは、車両に搭載された複数台の車載カメラによる車両の周辺の撮影映像に基づいて、車両の周辺を車両の上方から見下ろしたような画像（俯瞰画像）を生成し、それを車内のディスプレイに表示するようにしている。この種の技術について記載された文献として、特許文献１，２を挙げることができる。 An all-around video system is known as a system that supports a safe and smooth driving operation of a vehicle in a parking lot or the like. This all-around video system generates an image (a bird's-eye view image) as if the periphery of the vehicle was looked down from above the vehicle, based on the images taken around the vehicle by a plurality of in-vehicle cameras mounted on the vehicle. Is displayed on the display inside the car. Patent documents 1 and 2 can be cited as documents describing this type of technology.

特許文献１によれば、車載カメラとして、魚眼レンズを備えたカメラが用いられ、撮像面に結像された撮影映像のうち、車両周辺画像の生成に使用される所定の使用映像領域内の映像のみを切り出し、切り出された映像を俯瞰画像へと視点変換し、得られた俯瞰画像を合成することで車両周辺画像を形成することが記載されている。 According to Patent Document 1, a camera equipped with a fisheye lens is used as an in-vehicle camera, and only a video in a predetermined use video region used for generating a vehicle peripheral image among captured images formed on an imaging surface. , The viewpoint of the clipped video is converted into a bird's-eye view image, and the vehicle overhead image is formed by synthesizing the obtained bird's-eye view image.

特許文献２には、複数のカメラと、それに対応する歪み補正部、及び投影変換部を備えた車両用画像処理装置が記載されている。 Patent Document 2 describes a vehicle image processing apparatus including a plurality of cameras, a distortion correction unit corresponding to the plurality of cameras, and a projection conversion unit.

特開２００９−２６７６０３号公報JP 2009-267603 A 特開２００９−１７１５３７号公報JP 2009-171537 A

システムの動作に必要な機能を一つの半導体チップに実装する方式として、ＳｏＣ（System-on-a-Chip）を挙げることができる。全周囲映像システムにＳｏＣを適用することについて本願発明者が検討したところ、以下の課題が見いだされた。 A system-on-a-chip (SoC) can be cited as a method for mounting functions necessary for system operation on one semiconductor chip. The inventors of the present invention have examined the application of SoC to the all-around video system, and found the following problems.

全周囲映像システムにおいて、上記複数台の車載カメラでの撮影によって得られた画像を半導体メモリでバッファリングする必要がある。つまり、上記半導体メモリは、プロセッサにおけるバスに結合され、上記複数台の車載カメラでの撮影によって得られた画像データが半導体メモリに順次格納される一方で、当該半導体メモリ内の画像データが読み出されて画像処理されてから表示装置に表示される。 In the all-around video system, it is necessary to buffer an image obtained by photographing with the plurality of in-vehicle cameras with a semiconductor memory. That is, the semiconductor memory is coupled to a bus in the processor, and image data obtained by photographing with the plurality of in-vehicle cameras is sequentially stored in the semiconductor memory, while image data in the semiconductor memory is read out. The image is processed and displayed on the display device.

しかしながら、上記複数台の車載カメラでの撮影による画像データをそのままの状態で上記半導体メモリに取り込むには、上記半導体メモリに膨大な記憶容量が必要とされるし、上記半導体メモリに対する書き込みアクセス及び読み出しアクセスによるバス負荷が重くならざるを得ない。特にＳｏＣの場合には、上記半導体メモリに対する書き込みアクセス及び読み出しアクセスによるバス負荷の増大によって、上記バスを利用する他のデータ処理が不所望に遅延することが考えられる。尚、特許文献１，２においては、このような課題について考慮されていない。 However, in order to capture the image data obtained by photographing with the plurality of in-vehicle cameras into the semiconductor memory as they are, the semiconductor memory requires a huge storage capacity, and write access to and reading from the semiconductor memory. The bus load due to access must be heavy. Particularly in the case of SoC, it is considered that other data processing using the bus is undesirably delayed due to an increase in bus load due to write access and read access to the semiconductor memory. In Patent Documents 1 and 2, such a problem is not considered.

本発明の目的は、複数台のカメラでの撮影による画像データを半導体メモリへ格納する場合のバス負荷を軽減するための技術を提供することにある。 An object of the present invention is to provide a technique for reducing a bus load when image data obtained by photographing with a plurality of cameras is stored in a semiconductor memory.

本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。 The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。 The following is a brief description of an outline of typical inventions disclosed in the present application.

すなわち、半導体集積回路は、複数のカメラと半導体メモリとが接続可能に構成される。そしてこの半導体集積回路は、上記カメラで撮影することで得られた画像データを取り込むための複数の第１インタフェースと、上記半導体メモリとの間でデータのやり取りを可能にする第２インタフェースと、上記第２インタフェースが結合されたバスとを含む。また上記半導体集積回路は、それぞれ上記第１インタフェースに対応して配置され、それぞれ対応する第１インタフェースを介して伝達された画像データに対して所定のデータ処理を施すための複数の画像処理モジュールを含む。そして上記画像処理モジュールは、予め指定された領域内の画像データについて歪み補正を行い、その歪み補正後の上記領域内の画像データを、上記バス及び上記第２インタフェースを介して上記半導体メモリに書き込む処理を含む。 That is, the semiconductor integrated circuit is configured such that a plurality of cameras and a semiconductor memory can be connected. The semiconductor integrated circuit includes a plurality of first interfaces for capturing image data obtained by photographing with the camera, a second interface enabling exchange of data with the semiconductor memory, And a bus to which the second interface is coupled. The semiconductor integrated circuit is arranged corresponding to the first interface, and has a plurality of image processing modules for performing predetermined data processing on the image data transmitted via the corresponding first interface. Including. The image processing module performs distortion correction on the image data in a predetermined area, and writes the image data in the area after the distortion correction to the semiconductor memory via the bus and the second interface. Includes processing.

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。 The effects obtained by the representative ones of the inventions disclosed in the present application will be briefly described as follows.

すなわち、複数台のカメラでの撮影による画像データを半導体メモリへ格納する場合のバス負荷を軽減することができる。 That is, it is possible to reduce the bus load when image data obtained by photographing with a plurality of cameras is stored in the semiconductor memory.

本発明に係る半導体集積回路の一例とされるプロセッサを含む全周囲映像システムの構成例ブロック図である。1 is a block diagram illustrating a configuration example of an omnidirectional video system including a processor as an example of a semiconductor integrated circuit according to the present invention. 図１に示されるプロセッサの主要部における画像の説明図である。It is explanatory drawing of the image in the principal part of the processor shown by FIG. 図１に示されるプロセッサで処理された画像の説明図である。It is explanatory drawing of the image processed with the processor shown by FIG. 図１に示されるプロセッサにおける画像処理モジュールの構成例ブロック図である。FIG. 2 is a block diagram illustrating a configuration example of an image processing module in the processor illustrated in FIG. 1. 図１に示されるプロセッサにおける画像処理モジュールで実行されるディスプレイリストのフォーマット説明図である。It is format explanatory drawing of the display list performed with the image processing module in the processor shown by FIG. 図１に示されるプロセッサにおける画像処理モジュール内のラインメモリと、先頭ライン指定レジスタ、メッシュサイズレジスタ、終了ライン指定レジスタ、ＳＹＮＣＷ命令の関係説明図である。FIG. 2 is an explanatory diagram showing a relationship among a line memory in the image processing module in the processor shown in FIG. 1, a start line designation register, a mesh size register, an end line designation register, and a SYNCW instruction. 図１に示されるプロセッサにおける画像処理モジュール内の処理ブロックで行われる歪み補正処理の説明図である。It is explanatory drawing of the distortion correction process performed in the processing block in the image processing module in the processor shown in FIG. 図１に示されるプロセッサに含まれる表示制御部の構成例ブロック図である。FIG. 2 is a block diagram illustrating a configuration example of a display control unit included in the processor illustrated in FIG. 1. 図１に示される全周囲映像システムに含まれる半導体メモリにおける格納領域の説明図である。It is explanatory drawing of the storage area in the semiconductor memory contained in the omnidirectional video system shown by FIG. 図１に示されるプロセッサにおける処理のフローチャートである。It is a flowchart of the process in the processor shown by FIG. 図１に示されるプロセッサにおける処理のフローチャートである。It is a flowchart of the process in the processor shown by FIG. 全周囲映像システムにおけるカメラの撮影タイミングと半導体メモリへの画像データ格納時間との関係説明図である。FIG. 4 is an explanatory diagram of a relationship between camera photographing timing and image data storage time in a semiconductor memory in the omnidirectional video system. 全周囲映像システムにおけるカメラの撮影タイミングと半導体メモリへの画像データ格納時間との関係説明図である。FIG. 4 is an explanatory diagram of a relationship between camera photographing timing and image data storage time in a semiconductor memory in the omnidirectional video system. 図１５に示される構成を採用した場合のカメラの撮影タイミングと半導体メモリへの画像データ格納時間との関係説明図である。FIG. 16 is an explanatory diagram of the relationship between the shooting timing of the camera and the storage time of image data in the semiconductor memory when the configuration shown in FIG. 15 is adopted. 本発明に係る半導体集積回路の一例とされるプロセッサを含む全周囲映像システムの別の構成例ブロック図である。It is another example block diagram of a configuration of an omnidirectional video system including a processor as an example of a semiconductor integrated circuit according to the present invention.

１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。 1. First, an outline of a typical embodiment of the invention disclosed in the present application will be described. Reference numerals in the drawings referred to in parentheses in the outline description of the representative embodiments merely exemplify what are included in the concept of the components to which the reference numerals are attached.

〔１〕本発明の代表的な実施の形態に係る半導体集積回路（１０）は、複数のカメラ（３１〜３４）と半導体メモリ（３５）とが接続可能に構成される。そしてこの半導体集積回路は、上記カメラで撮影することで得られた画像データを取り込むための複数の第１インタフェース（１１〜１４）と、上記半導体メモリとの間でデータのやり取りを可能にする第２インタフェース（２１）と、上記第２インタフェースが結合されたバス（２２）とを含む。また上記半導体集積回路は、それぞれ上記第１インタフェースに対応して配置され、それぞれ対応する第１インタフェースを介して伝達された画像データに対して所定のデータ処理を施すための複数の画像処理モジュール（１５〜１８）を含む。そして上記画像処理モジュール（１５〜１８）は、予め指定された領域内の画像データについて歪み補正を行い、その歪み補正後の上記領域内の画像データを、上記バス及び上記第２インタフェースを介して上記半導体メモリに書き込む処理を含む。 [1] A semiconductor integrated circuit (10) according to a typical embodiment of the present invention is configured such that a plurality of cameras (31 to 34) and a semiconductor memory (35) can be connected. The semiconductor integrated circuit enables data exchange between the plurality of first interfaces (11 to 14) for capturing image data obtained by photographing with the camera and the semiconductor memory. 2 interfaces (21) and a bus (22) to which the second interface is coupled. The semiconductor integrated circuit is arranged corresponding to the first interface, and a plurality of image processing modules for performing predetermined data processing on the image data transmitted via the corresponding first interface ( 15-18). Then, the image processing module (15-18) performs distortion correction on the image data in the area designated in advance, and the image data in the area after the distortion correction is transmitted via the bus and the second interface. Including writing to the semiconductor memory.

上記の構成によれば、複数の画像処理モジュールにより、予め指定された領域内の画像データについて歪み補正が行われ、その歪み補正後の上記領域内の画像データが、上記バス及び上記第２インタフェースを介して上記半導体メモリに書き込まれるようになっている。このため、予め指定された領域以外の画像データが、上記画像処理モジュールでの歪み補正対象から外されることにより、画像処理モジュールからバス及び第２インタフェースを介して半導体メモリに転送される画像データの量を大幅に削減することができるので、上記半導体メモリに対する書き込みアクセスによる上記バスの負荷を軽減することができ、上記バスを利用する他のデータ処理を不所望に遅延させずに済む。また、上記画像処理モジュールでは、予め指定された領域内の画像データについて歪み補正を行い、その歪み補正後の上記領域内の画像データを、上記バス及び上記第２インタフェースを介して上記半導体メモリに書き込む処理が行われることで、予め指定された領域内の画像データの切り出し処理と、切り出された領域における画像の歪み補正処理とを同時に行うことができる。このため、予め指定された領域内の画像データの切り出し処理と、切り出された領域における画像の歪み補正処理とを別々の処理ブロックで別個に行う場合に比べて、処理の高速化を図ることができる。 According to the above configuration, distortion correction is performed on image data in a predetermined area by a plurality of image processing modules, and the image data in the area after the distortion correction is stored in the bus and the second interface. The data is written to the semiconductor memory via the. For this reason, the image data transferred from the image processing module to the semiconductor memory via the bus and the second interface when the image data other than the area designated in advance is excluded from the distortion correction target in the image processing module. Therefore, the load on the bus due to the write access to the semiconductor memory can be reduced, and other data processing using the bus can be prevented from being undesirably delayed. Further, the image processing module performs distortion correction on image data in a predetermined area, and the image data in the area after the distortion correction is transferred to the semiconductor memory via the bus and the second interface. By performing the writing process, it is possible to simultaneously perform the clipping process of the image data in the area designated in advance and the distortion correction process of the image in the clipped area. For this reason, it is possible to increase the processing speed compared to the case where the image data cutout process in the predesignated area and the image distortion correction process in the cutout area are performed separately in separate processing blocks. it can.

〔２〕上記〔１〕において、上記半導体集積回路での処理済みの画像を表示装置に表示するために、上記半導体集積回路には、上記複数の画像処理モジュールで処理された画像データを上記半導体メモリから取り込んで合成して表示装置に表示制御するための表示制御部（１９）を設けることができる。 [2] In the above [1], in order to display an image processed by the semiconductor integrated circuit on a display device, the semiconductor integrated circuit receives image data processed by the plurality of image processing modules in the semiconductor It is possible to provide a display control unit (19) for taking in from the memory and combining and controlling the display on the display device.

〔３〕上記〔２〕において、上記画像処理モジュールには、上記第１インタフェースを介して入力された画像データを格納するためのラインメモリ（４１）と、予め形成されたディスプレイリストを格納するためのディスプレイリストバッファ（４３）と、上記ディスプレイリストに従って、上記ラインメモリ内の画像データについて上記歪み補正を行うための処理ブロック（４２）とを設けることができる。 [3] In the above [2], the image processing module stores a line memory (41) for storing image data input via the first interface and a display list formed in advance. Display list buffer (43) and a processing block (42) for performing the distortion correction on the image data in the line memory in accordance with the display list.

〔４〕上記〔３〕において、上記ディスプレイリストには、上記ラインメモリに格納されている画像データを座標変換してから上記半導体メモリに格納することを指示するための第１命令（描画命令）と、所定の条件成立までは次のディスプレイリストの実行を待たせるための第２命令（ＳＹＮＣＷ命令）とを記述することができる。また上記ディスプレイリストには、上記処理ブロックでの処理により１画面分の画像データが得られた時点で所定の割込み信号を形成するための第３命令（ＴＲＡＰ命令）を記述することができる。上記第１命令、上記第２命令、及び上記第３命令は上記処理部ブロックにおいて実行される。 [4] In the above [3], in the display list, a first command (rendering command) for instructing the image data stored in the line memory to be coordinate-converted and then stored in the semiconductor memory And a second instruction (SYNCW instruction) for waiting for execution of the next display list until a predetermined condition is satisfied. In the display list, a third instruction (TRAP instruction) for forming a predetermined interrupt signal when image data for one screen is obtained by the processing in the processing block can be described. The first instruction, the second instruction, and the third instruction are executed in the processing unit block.

〔５〕上記〔４〕において、上記半導体集積回路には、上記バスに結合された中央処理装置（２０）を設けることができる。上記中央処理装置は、上記ディスプレイリストにおける上記第３命令に起因する割込み信号に対応する割込み処理によって、上記半導体メモリ内の対応する画像データを、上記バスを介して上記表示制御部に書き込む処理を含む。 [5] In the above [4], the semiconductor integrated circuit may be provided with a central processing unit (20) coupled to the bus. The central processing unit performs a process of writing the corresponding image data in the semiconductor memory to the display control unit via the bus by an interrupt process corresponding to the interrupt signal caused by the third instruction in the display list. Including.

〔６〕上記〔５〕において、上記複数のカメラの撮影タイミングの適正化を図るため、上記複数のカメラの撮影タイミングを制御するための同期信号を外部出力可能なポート（１５１）を設けることができる。 [6] In the above [5], in order to optimize the shooting timing of the plurality of cameras, a port (151) capable of externally outputting a synchronization signal for controlling the shooting timing of the plurality of cameras is provided. it can.

〔７〕上記〔６〕に記載の半導体集積回路と、それに結合された上記複数のカメラ及び上記半導体メモリとを備えて全周囲映像システム（１００）を構成することができる。 [7] The omnidirectional video system (100) can be configured by including the semiconductor integrated circuit according to [6], the plurality of cameras, and the semiconductor memory coupled thereto.

２．実施の形態の詳細
実施の形態について更に詳述する。 2. Details of Embodiments Embodiments will be further described in detail.

《実施の形態１》
図１には、本発明に係る半導体集積回路の一例とされるプロセッサを含む全周囲映像システムが示される。図１に示される全周囲映像システム１００は、プロセッサ１０、複数のカメラ３１〜３４、半導体メモリ（ＤＤＲ）３５、及び表示装置（ＬＣＤ）３６を含む。 Embodiment 1
FIG. 1 shows an all-around video system including a processor as an example of a semiconductor integrated circuit according to the present invention. An omnidirectional video system 100 shown in FIG. 1 includes a processor 10, a plurality of cameras 31 to 34, a semiconductor memory (DDR) 35, and a display device (LCD) 36.

プロセッサ１０は、特に制限されないが、全周囲映像システムの動作に必要な機能が実装されたＳｏＣとされ、公知の半導体集積回路製造技術によって単結晶シリコン基板などの一つの半導体基板に形成される。図１に示されるプロセッサ１０には、カメラ接続用端子Ｔ１〜Ｔ４、半導体メモリ接続用端子Ｔ５、表示装置接続用端子Ｔ６が設けられている。カメラ接続用端子Ｔ１〜Ｔ４にはカメラ３１〜３４が接続される。カメラ３１〜３４は、車両の前後左右を撮影するために当該車両に取り付けられたものである。このカメラ３１〜３４には、魚眼レンズを備えたカメラを適用することができる。魚眼レンズは約１８０度の画角を有し、広範囲の画像を映し出すことができるが、その画像は歪曲し、特に画像の周辺部は歪みが著しいため、歪み補正が行われる。尚、魚眼レンズに起因する歪みを補正する技術自体は公知である（例えば特許文献１参照）。半導体メモリ（ＤＤＲ）３５は、特に制限されないが、ＤＤＲＳＤＲＡＭ（Double-Data-Rate Synchronous Dynamic Random Access Memory）とされ、クロック信号の立ち上がり／立ち下がりのそれぞれでデータをやり取りし、理論上は同一クロックで動作するＳＤＲＡＭの２倍のデータ転送速度を得ることができる。表示装置（ＬＣＤ）３６は、車内の液晶ディスプレイとされる。 Although not particularly limited, the processor 10 is a SoC in which a function necessary for the operation of the omnidirectional video system is mounted, and is formed on one semiconductor substrate such as a single crystal silicon substrate by a known semiconductor integrated circuit manufacturing technique. The processor 10 shown in FIG. 1 is provided with camera connection terminals T1 to T4, a semiconductor memory connection terminal T5, and a display device connection terminal T6. Cameras 31 to 34 are connected to camera connection terminals T1 to T4. The cameras 31 to 34 are attached to the vehicle in order to photograph the front, rear, left and right of the vehicle. A camera equipped with a fisheye lens can be applied to the cameras 31 to 34. The fisheye lens has an angle of view of about 180 degrees and can display a wide range of images. However, the images are distorted, and particularly the peripheral portions of the images are significantly distorted, so that distortion correction is performed. In addition, the technique itself which correct | amends the distortion resulting from a fisheye lens is well-known (for example, refer patent document 1). The semiconductor memory (DDR) 35 is not particularly limited, but is a DDR SDRAM (Double-Data-Rate Synchronous Dynamic Random Access Memory), which exchanges data at each rising / falling of the clock signal, and theoretically has the same clock. A data transfer rate twice as high as that of an SDRAM operating in the above can be obtained. The display device (LCD) 36 is a liquid crystal display in the vehicle.

図１に示されるプロセッサ１０は、特に制限されないが、インタフェース１１〜１４，２１、画像処理モジュール（ＩＭＲ）１５〜１８、表示制御部（ＤＵ）１９、及び中央処理装置（ＣＰＵ）２０を含む。画像処理モジュール１５〜１８、表示制御部１９、中央処理装置２０及びインタフェース２１は、バス２２によって互いに信号のやり取りが可能に結合される。インタフェース１１〜１４は、それぞれカメラ接続用端子Ｔ１〜Ｔ４に結合され、対応するカメラ３１〜３４からの画像データを取り込む。インタフェース２１は、半導体メモリ接続用端子Ｔ５に対応して配置され、半導体メモリ３５との間でデータのやり取りを可能にする。画像処理モジュール１５〜１８は、それぞれインタフェース１１〜１４に対応して配置され、予め指定された領域内の画像データについて歪み補正を行い、その歪み補正後の上記領域内の画像データを、上記インタフェース２１を介して上記半導体メモリ３５に書き込む機能を有する。尚、画像処理モジュール１５〜１８では、上記歪み補正処理の他に輝度や色相を補正することができる。表示制御部１９は、インタフェース２１を介して上記半導体メモリ３５内の歪み補正処理後の撮影データを取り込んで重ね合わせ処理を行い、その処理結果を表示装置３６に出力する。中央処理装置２０は、所定のプログラムを実行することによって各部の動作制御を行う。この動作制御には、画像処理モジュール１５〜１８や表示制御部１９における各レジスタへの初期設定、半導体メモリ３５へのディスプレイリスト（ＤＬ）の設定、画像処理モジュール１５〜１８で処理された画像データの格納先とされる半導体メモリ３５内データ格納領域の切り替え、表示制御部１９のデータ取込アドレスの再設定等が含まれる。 The processor 10 shown in FIG. 1 includes, but is not limited to, interfaces 11 to 14 and 21, image processing modules (IMR) 15 to 18, a display control unit (DU) 19, and a central processing unit (CPU) 20. The image processing modules 15 to 18, the display control unit 19, the central processing unit 20, and the interface 21 are coupled to each other via a bus 22 so that signals can be exchanged. The interfaces 11 to 14 are coupled to the camera connection terminals T1 to T4, respectively, and capture image data from the corresponding cameras 31 to 34. The interface 21 is arranged corresponding to the semiconductor memory connection terminal T5 and enables data exchange with the semiconductor memory 35. The image processing modules 15 to 18 are arranged corresponding to the interfaces 11 to 14, respectively, perform distortion correction on the image data in a predetermined area, and the image data in the area after the distortion correction is used as the interface. 21 has a function of writing to the semiconductor memory 35 via the device 21. Note that the image processing modules 15 to 18 can correct luminance and hue in addition to the distortion correction processing. The display control unit 19 takes in the photographic data after the distortion correction processing in the semiconductor memory 35 through the interface 21, performs the overlay processing, and outputs the processing result to the display device 36. The central processing unit 20 controls the operation of each unit by executing a predetermined program. In this operation control, initial setting to each register in the image processing modules 15 to 18 and the display control unit 19, setting of a display list (DL) to the semiconductor memory 35, image data processed by the image processing modules 15 to 18 are performed. Switching of the data storage area in the semiconductor memory 35, which is the storage destination, and resetting of the data fetch address of the display control unit 19 are included.

図２には、図１に示されるプロセッサ１０における主要部の画像が模式的に示される。 FIG. 2 schematically shows an image of a main part in the processor 10 shown in FIG.

魚眼レンズを備えたカメラ３１〜３４での撮影により、画像１，２，３，４が得られる。ここでは、カメラ３１により車両の前方の画像１が得られ、カメラ３２により車両の後方の画像２が得られ、カメラ３３により車両の右側の画像３が得られ、カメラ３４により車両の左側の画像４が得られるものとする。このような画像データが、それぞれ対応するインタフェース１１，１２，１３，１４を介して画像処理モジュール１５，１６，１７，１８に伝達される。図２におけるＡ，Ｂ，Ｃ，Ｄは、それぞれカメラ３１〜３４で撮影され、端子Ｔ１〜Ｔ４を介してプロセッサ１０へ入力され、インタフェース１１，１２，１３，１４から出力された画像を示している。画像処理モジュール１５では、入力された画像１（画像Ａ）の予め指定された領域（点線で囲まれた領域）内の画像について、魚眼レンズに起因する歪みが補正され、その歪み補正後の上記領域内の画像が半導体メモリ３５に書き込まれる。画像処理モジュール１６では、入力された画像２（画像Ｂ）の予め指定された領域（点線で囲まれた領域）内の画像について、魚眼レンズに起因する歪みが補正され、その歪み補正後の上記領域内の画像が１８０度回転されてから半導体メモリ３５に書き込まれる。画像処理モジュール１７では、入力された画像３（画像Ｃ）の予め指定された領域（点線で囲まれた領域）内の画像について、魚眼レンズに起因する歪みが補正され、その歪み補正後の上記領域内の画像が右方向に９０度回転されてから半導体メモリ３５に書き込まれる。画像処理モジュール１８では、入力された画像４（画像Ｄ）の予め指定された領域（点線で囲まれた領域）内の画像について、魚眼レンズに起因する歪みが補正され、その歪み補正後の上記領域内の画像が左方向に９０度回転されてから半導体メモリ３５に書き込まれる。このようにして半導体メモリ３５に書き込まれた画像は、表示制御部１９によって読み出される。表示制御部１９では、半導体メモリ３５から読み出した画像が、表示制御部１９内の各プレーンに格納され、上記各プレーンの画像が、例えば図３に示されるように、所定位置に配置されるように合成されて表示装置３６に伝達されて表示される。 Images 1, 2, 3, and 4 are obtained by photographing with cameras 31 to 34 including fisheye lenses. Here, an image 1 in front of the vehicle is obtained by the camera 31, an image 2 behind the vehicle is obtained by the camera 32, an image 3 on the right side of the vehicle is obtained by the camera 33, and an image on the left side of the vehicle is obtained by the camera 34. 4 shall be obtained. Such image data is transmitted to the image processing modules 15, 16, 17, and 18 via the corresponding interfaces 11, 12, 13, and 14, respectively. A, B, C, and D in FIG. 2 are images taken by the cameras 31 to 34 and input to the processor 10 via the terminals T1 to T4, respectively, and indicate images output from the interfaces 11, 12, 13, and 14. Yes. In the image processing module 15, distortion caused by the fisheye lens is corrected for an image in a predetermined area (area surrounded by a dotted line) of the input image 1 (image A), and the area after the distortion correction is performed. The image inside is written in the semiconductor memory 35. In the image processing module 16, distortion caused by the fisheye lens is corrected for an image in a predetermined area (area surrounded by a dotted line) of the input image 2 (image B), and the area after the distortion correction is performed. The image inside is rotated 180 degrees and then written into the semiconductor memory 35. In the image processing module 17, distortion caused by the fisheye lens is corrected for an image in a predetermined area (area surrounded by a dotted line) of the input image 3 (image C), and the area after the distortion correction is performed. The image inside is rotated 90 degrees rightward before being written into the semiconductor memory 35. In the image processing module 18, distortion caused by the fisheye lens is corrected for an image in a predetermined area (area surrounded by a dotted line) of the input image 4 (image D), and the area after the distortion correction is performed. The image inside is rotated 90 degrees counterclockwise and then written in the semiconductor memory 35. The image written in the semiconductor memory 35 in this way is read out by the display control unit 19. In the display control unit 19, the image read from the semiconductor memory 35 is stored in each plane in the display control unit 19, and the image of each plane is arranged at a predetermined position as shown in FIG. 3, for example. And transmitted to the display device 36 for display.

図４には、画像処理モジュール１５の構成例が示される。 FIG. 4 shows a configuration example of the image processing module 15.

画像処理モジュール１５は、特に制限されないが、ラインメモリ４１、処理ブロック４２、ディスプレイリストバッファ４３、メモリ制御レジスタ４４、ラインメモリ制御レジスタ４５、ＩＭＲ制御レジスタ（ＣＲ）４６を含む。 The image processing module 15 includes, but is not limited to, a line memory 41, a processing block 42, a display list buffer 43, a memory control register 44, a line memory control register 45, and an IMR control register (CR) 46.

ラインメモリ４１は、インタフェース１１を介して入力された画像データを表示系の走査線に対応して格納するためのメモリである。 The line memory 41 is a memory for storing image data input via the interface 11 corresponding to the scanning lines of the display system.

処理ブロック４２は、予め指定された領域内の画像データについて歪み補正を行う。また、この処理ブロック４２では上記領域内の画像データについて輝度や色相も補正することができる。処理ブロック４２での処理は、所定のディスプレイリスト（ＤＬ）に従って行われる。処理ブロック４２はＤＭＡ（Direct Memory Access）機能を有し、処理ブロック４２で処理された画像データは、このＤＭＡ機能によりバス２２及びインタフェース２１を介して画像メモリ３５に書き込まれる。 The processing block 42 performs distortion correction on the image data in the area designated in advance. The processing block 42 can also correct the luminance and hue of the image data in the area. Processing in the processing block 42 is performed according to a predetermined display list (DL). The processing block 42 has a DMA (Direct Memory Access) function, and the image data processed by the processing block 42 is written to the image memory 35 via the bus 22 and the interface 21 by this DMA function.

上記ディスプレイリストは、処理ブロック４２での処理を一まとめにしたリストである。このディスプレイリストは、予め設定されて半導体メモリ３５に格納されており、画像処理モジュール１５により、必要に応じてディスプレイリストバッファ４３にフェッチされる。 The display list is a list in which the processing in the processing block 42 is integrated. This display list is preset and stored in the semiconductor memory 35, and is fetched by the image processing module 15 to the display list buffer 43 as necessary.

メモリ制御レジスタ４４は、半導体メモリ３５の制御に用いられるレジスタであり、ＤＬスタートアドレスレジスタＤＬＳＡＲと、ディスティネーションスタートアドレスレジスタＤＳＡＲとを含む。ＤＬスタートアドレスレジスタＤＬＳＡＲは、半導体メモリ３５においてディスプレイリストが格納されている記憶領域の先頭アドレスが保持される。ディスティネーションスタートアドレスレジスタＤＳＡＲには、半導体メモリ３５において歪み補正後のデータが格納される記憶領域の先頭アドレスが保持される。 The memory control register 44 is a register used for controlling the semiconductor memory 35 and includes a DL start address register DLSAR and a destination start address register DSAR. The DL start address register DLSAR holds the start address of the storage area in the semiconductor memory 35 in which the display list is stored. The destination start address register DSAR holds the leading address of the storage area in the semiconductor memory 35 where the data after distortion correction is stored.

ラインメモリ制御レジスタ４５は、ラインメモリ４１の制御に用いられるレジスタであり、先頭ライン指定レジスタＬＳＰＲ、メッシュサイズレジスタＬＭＳＲ、終了ライン指定レジスタＬＥＰＲを含む。先頭ライン指定レジスタＬＳＰＲは、後述するＳＹＮＣＷ（ＳＹＮＣｈｒｏｎｉｚｅＷａｉｔ）命令による待ち受け解除のためのラインメモリ数を設定するためのレジスタである。メッシュサイズレジスタＬＭＳＲは、ＳＹＮＣＷ命令による待ち受け解除のためのラインメモリ数設定レジスタである。終了ライン指定レジスタＬＥＰＲは、ＳＹＮＣＷ命令による待ち受け解除を行わないためのラインメモリ数設定レジスタである。 The line memory control register 45 is a register used for controlling the line memory 41, and includes a head line designation register LSPR, a mesh size register LMSR, and an end line designation register LEPR. The head line designation register LSPR is a register for setting the number of line memories for canceling standby by a SYNCW (SYNCHronize Wait) instruction to be described later. The mesh size register LMSR is a line memory number setting register for canceling standby by a SYNCW instruction. The end line designation register LEPR is a line memory number setting register for not performing standby release by the SYNCW instruction.

ＩＭＲ制御レジスタ４６は、レンダリングスタートビット（ＲＳビット）を有し、このレンダリングスタートビットが論理値“１”に設定されると、ＤＬスタートアドレスレジスタＤＬＳＡＲに設定されたアドレスからディスプレイリストが読み出されてディスプレイリストバッファ４３に書き込まれる。 The IMR control register 46 has a rendering start bit (RS bit). When this rendering start bit is set to a logical value “1”, the display list is read from the address set in the DL start address register DLSAR. To the display list buffer 43.

尚、他の画像処理モジュール１６〜１８は、画像モジュール１５と同一構成とされるため、それについての詳細な説明は省略する。 Since the other image processing modules 16 to 18 have the same configuration as the image module 15, detailed description thereof will be omitted.

図５には、ディスプレイリストのフォーマットが示される。 FIG. 5 shows the format of the display list.

ディスプレイリストには、特に制限されないが、描画命令（ＴＲＩａｎｇｌ命令）、ＳＹＮＣＷ（ＳＹＮＣｈｒｏｎｉｚｅＷａｉｔ）命令、ＴＲＡＰ命令が記述される。 In the display list, although not particularly limited, a drawing command (TRIangl command), a SYNCW (SYNCHronize Wait) command, and a TRAP command are described.

描画命令は、画像処理モジュールにおけるラインメモリ４１に格納されている画像データの座標をｕ，ｖ座標系から、それとは異なるＸ，Ｙ座標系に変換してから半導体メモリ３５に格納することを指示するための命令とされる。この座標変換において、ラインメモリ４１に格納されている画像データのうち、必要とされる領域内の画像データのみが切り出されて、それについての歪み補正が行われる。つまり、ｕ，ｖ座標系からＸ，Ｙ座標系への変換の際に、必要とされる領域内の画像の切り出し（指定された領域の画像の切り出し）、及び当該領域内の画像についての歪み補正が行われる。尚、画像処理モジュール１６〜１８での座標変換においては、表示装置３６での画像表示との関係で１８０度回転処理や９０度回転処理が併せて実行される（図２及び図３参照）。描画命令は、図５の（Ａ）に示されるように３２ビット構成とされ、複数行から成る。１行目における０〜１５ビット目には、描画命令で使用される変換前座標（ｕ，ｖ）及び変換後座標（Ｘ，Ｙ）の個数を示す頂点数Ｎが割り当てられ、１６〜２３ビット目は予約済み（Ｒｅｓｅｒｖｅｄ）とされ、３４〜３１ビット目には描画命令であることを示すオペコード（ＯＰＣＯＤＥ）が割り当てられる。描画命令の２行目以降の行数は、頂点数Ｎの２倍（＝Ｎ×２）とされる。これは、変換前座標（ｕ，ｖ）と変換後座標（Ｘ，Ｙ）とが交互に記述されるからである。例えば図５の（Ａ）に示される場合には、座標（変換前座標）（ｕ０，ｖ０）を座標（変換後座標）（Ｘ０，Ｙ０）に変換し、座標（ｕ１，ｖ１）を座標（Ｘ１，Ｙ１）に変換し、座標（ｕ（Ｎ−１），ｖ（Ｎ−１））を座標（Ｘ（Ｎ−１），Ｙ（Ｎ−１））に変換することが指示される。 The drawing command indicates that the coordinates of the image data stored in the line memory 41 in the image processing module are converted from the u, v coordinate system to a different X, Y coordinate system and then stored in the semiconductor memory 35. It is an instruction to do. In this coordinate conversion, only the image data in the required area is extracted from the image data stored in the line memory 41, and distortion correction is performed on the image data. That is, when converting from the u, v coordinate system to the X, Y coordinate system, the image in the required area is cut out (the image in the specified area is cut out), and the distortion in the image in the area is Correction is performed. In the coordinate conversion in the image processing modules 16 to 18, a 180 degree rotation process and a 90 degree rotation process are executed together with the image display on the display device 36 (see FIGS. 2 and 3). The drawing command has a 32-bit configuration as shown in FIG. 5A and consists of a plurality of lines. The 0th to 15th bits in the first line are assigned the number N of vertices indicating the number of pre-conversion coordinates (u, v) and post-conversion coordinates (X, Y) used in the drawing command, and 16-23 bits. The eye is reserved (Reserved), and an operation code (OP CODE) indicating a drawing command is assigned to the 34th to 31st bits. The number of lines after the second line of the rendering command is twice the number of vertices N (= N × 2). This is because the coordinates before conversion (u, v) and coordinates after conversion (X, Y) are described alternately. For example, in the case shown in FIG. 5A, coordinates (pre-conversion coordinates) (u0, v0) are converted to coordinates (post-conversion coordinates) (X0, Y0), and coordinates (u1, v1) are converted to coordinates ( X1, Y1), and the coordinate (u (N-1), v (N-1)) is instructed to be converted to coordinates (X (N-1), Y (N-1)).

ＳＹＮＣＷ命令は、条件成立までは次のディスプレイリスト（ＤＬ）の実行を待たせるための命令とされる。ＳＹＮＣＷ命令は、図５の（Ｂ）に示されるように、３２ビット構成とされる。０〜１５ビット目までは予約済みとされ、１６ビット目にはディスプレイリストの実行待ちを示すＳＥＬビットが割り当てられ、１７〜２３ビット目は予約済みとされ、２４〜３１ビット目にはＳＹＮＣＷ命令であることを示すオペコードが割り当てられる。ここで、上記ＳＥＬビットが論理値“１”の場合、画像表示系の垂直同期信号ＶＳＹＮＣ信号が入力された後、ラインメモリ４１に、ＬＳＰＲの設定値とＬＭＳＲの設定値との合計値（ＬＳＰＲ＋ＬＭＳＲ）によって示されるラインメモリ数にまで画像データが格納されるまでディスプレイリストの実行が待たされる。また上記ＳＥＬビットが論理値“０”の場合、ＬＭＳＲに設定されたラインメモリ数の画像データが格納されるまでディスプレイリストの実行が待たされる。 The SYNCW command is a command for waiting for execution of the next display list (DL) until the condition is satisfied. The SYNCW instruction has a 32-bit configuration as shown in FIG. The 0th to 15th bits are reserved, the 16th bit is assigned a SEL bit indicating that the display list is waiting to be executed, the 17th to 23rd bits are reserved, and the 24th to 31st bits are a SYNCW instruction. An opcode indicating that is assigned. When the SEL bit is a logical value “1”, after the vertical synchronizing signal VSYNC signal of the image display system is input, the total value (LSPR + LMSR) of the LSPR set value and the LMSR set value is input to the line memory 41. The execution of the display list is awaited until the image data is stored up to the number of line memories indicated by (). When the SEL bit is a logical value “0”, execution of the display list is awaited until image data for the number of line memories set in the LMSR is stored.

ＴＲＡＰ命令は、ＣＰＵ２０への割り込みを発生させるための命令とされ、図５の（Ｃ）に示されるように３２ビット構成とされる。ＴＲＡＰ命令の０〜２３ビット目は予約済みとされ、２４〜３１ビットにはＴＲＡＰ命令であることを示すオペコードが割り当てられる。 The TRAP instruction is an instruction for generating an interrupt to the CPU 20, and has a 32-bit configuration as shown in FIG. Bits 0 to 23 of the TRAP instruction are reserved. An operation code indicating a TRAP instruction is assigned to bits 24 to 31.

図６には、ラインメモリ４１と、先頭ライン指定レジスタＬＳＰＲ、メッシュサイズレジスタＬＭＳＲ、終了ライン指定レジスタＬＥＰＲ、ＳＹＮＣＷ命令の関係が示される。ここでは一例として、先頭ライン指定レジスタＬＳＰＲに「３」が設定され、メッシュサイズレジスタＬＭＳＲによって「４」が設定され、終了ライン指定レジスタＬＥＰＲに「１５」が設定されているものとする。フェッチされたディスプレイリストにおけるＳＹＮＣＷ命令のＳＥＬビットが論理値“１”の場合、ＬＳＰＲ＋ＬＭＳＲ（＝３＋４）によるラインメモリ数まで画像データが格納されるまでディスプレイリストの実行が待たされる。このため、１ラインから３ラインまでのデータは処理ブロック４２に取り込まれず、この段階ではＳＹＮＣＷ命令の待ち受け解除も行われない（６１）。ＬＳＰＲ＋ＬＭＳＲ（＝３＋４）によるラインメモリ数まで画像データが格納され、条件成立によりＳＹＮＣＷ命令の待ち受け解除されると、次のディスプレイリストがフェッチされる。フェッチされたＳＹＮＣＷ命令のＳＥＬビットが論理値“０”の場合、ＬＭＳＲによるライン数、つまり４ラインから７ラインまでの画像データが処理ブロック４２に取り込まれ、ＳＹＮＣＷ命令の待ち受けが解除される（６２）。次にフェッチされたＳＹＮＣＷ命令のＳＥＬビットが論理値“０”の場合、ＬＭＳＲによるライン数、つまり８ラインから１１ラインまでの画像データが処理ブロック４２に取り込まれ、ＳＹＮＣＷ命令の待ち受けが解除される（６３）。同様に、次にフェッチされたＳＹＮＣＷ命令のＳＥＬビットが論理値“０”の場合、ＬＭＳＲによるライン数、つまり１２ラインから１５ラインまでの画像データが処理ブロック４２に取り込まれ、ＳＹＮＣＷ命令の待ち受けが解除される（６４）。本例では終了ライン指定レジスタＬＥＰＲに「１５」が設定されているため、１６ライン以降の画像データは処理ブロック４２に取り込まれない。 FIG. 6 shows the relationship between the line memory 41, the start line designation register LSPR, the mesh size register LMSR, the end line designation register LEPR, and the SYNCW instruction. Here, as an example, it is assumed that “3” is set in the leading line designation register LSPR, “4” is set in the mesh size register LMSR, and “15” is set in the end line designation register LEPR. When the SEL bit of the SYNCW instruction in the fetched display list is a logical value “1”, execution of the display list is awaited until image data is stored up to the number of line memories by LSPR + LMSR (= 3 + 4). For this reason, the data from the 1st line to the 3rd line are not taken into the processing block 42, and the waiting for the SYNCW instruction is not canceled at this stage (61). The image data is stored up to the number of line memories by LSPR + LMSR (= 3 + 4), and when the waiting of the SYNCW instruction is canceled due to the satisfaction of the condition, the next display list is fetched. When the SEL bit of the fetched SYNCW instruction has a logical value “0”, the number of lines by LMSR, that is, image data from 4 lines to 7 lines is taken into the processing block 42, and the standby for the SYNCW instruction is released (62). ). When the SEL bit of the next fetched SYNCW instruction has a logical value “0”, the number of lines by LMSR, that is, image data from 8 to 11 lines is taken into the processing block 42, and the standby for the SYNCW instruction is released. (63). Similarly, when the SEL bit of the SYNCW instruction fetched next is a logical value “0”, the number of lines by LMSR, that is, image data from 12 lines to 15 lines is taken into the processing block 42, and the SYNCW instruction is awaited. It is released (64). In this example, since “15” is set in the end line designation register LEPR, the image data after the 16th line is not taken into the processing block 42.

図７には、処理ブロック４２で行われる歪み補正処理が模式的に示される。 FIG. 7 schematically shows the distortion correction processing performed in the processing block 42.

図７の（Ａ）はラインメモリ４１に格納された画像を示し、図７の（Ｂ）は、歪み補正されて半導体メモリ３５に格納される画像を示す。ラインメモリ４１には、カメラで撮影されることで得られた画像が書き込まれるが、歪み補正の対象とされるのは、ラインメモリ４１に格納された画像の一部の領域内の画像とされる。図７の（Ａ）に示される例では、４ライン目から１９ライン目に格納された画像７０１が歪み補正の対象とされ、処理ブロック４２に取り込まれる。歪み補正は、ラインメモリに４１に格納されている画像データの座標をｕ，ｖ座標系から、それとは異なるＸ，Ｙ座標系に変換する際に行われる。つまり、ｕ，ｖ座標系からＸ，Ｙ座標系への座標変換において、魚眼レンズを備えたカメラの特性を考慮して座標が修正されることにより歪みが補正された画像７０２を得ることができる。画像７０１における頂点７１〜７５は、歪み補正後の画像７０２における頂点７１’〜７５’に対応している。歪み補正のための座標変換の内容は、ディスプレイリストにおける描画命令（図５（Ａ）参照）によって決定される。 7A shows an image stored in the line memory 41, and FIG. 7B shows an image stored in the semiconductor memory 35 after distortion correction. An image obtained by taking a picture with a camera is written in the line memory 41, but the distortion correction target is an image in a partial area of the image stored in the line memory 41. The In the example shown in FIG. 7A, the image 701 stored in the 4th to 19th lines is set as a distortion correction target, and is taken into the processing block 42. The distortion correction is performed when the coordinates of the image data stored in the line memory 41 are converted from the u, v coordinate system to a different X, Y coordinate system. That is, in the coordinate conversion from the u, v coordinate system to the X, Y coordinate system, an image 702 in which distortion is corrected can be obtained by correcting the coordinates in consideration of the characteristics of the camera equipped with the fisheye lens. Vertices 71 to 75 in the image 701 correspond to the vertices 71 ′ to 75 ′ in the image 702 after distortion correction. The content of coordinate transformation for distortion correction is determined by a drawing command in the display list (see FIG. 5A).

ここで、図１に示される構成に対して、画像処理モジュール１５〜１８において図７に示されるような一部の領域に対する歪み補正処理を行わない場合には、カメラ３１〜３４での撮影により得られた画像データがそのままのサイズで、バス２２及びインタフェース２１を介して半導体メモリ３５に書き込まれることになる。その場合、上記半導体メモリ３５に対する書き込みアクセス及び読み出しアクセスによるバス２２の負荷が重くならざるを得ない。特にＳｏＣの場合には、上記半導体メモリ３５に対する書き込みアクセスによるバス２２の負荷の増大によって、上記バス２２を利用する他のデータ処理が不所望に遅延することが考えられる。 Here, in the case where the image processing modules 15 to 18 do not perform distortion correction processing on a part of the region as shown in FIG. 7 in the configuration shown in FIG. The obtained image data is written in the semiconductor memory 35 through the bus 22 and the interface 21 with the same size. In this case, the load on the bus 22 due to write access and read access to the semiconductor memory 35 must be heavy. Particularly in the case of SoC, it is conceivable that other data processing using the bus 22 is undesirably delayed due to an increase in load on the bus 22 due to write access to the semiconductor memory 35.

これに対して図１に示される構成によれば、ラインメモリ４１に格納された画像データのうち、４ライン目から１９ライン目に格納された画像７０１が歪み補正の対象とされる。しかも、ラインメモリ４１に格納された画像のｕ，ｖ座標系のｕ座標方向（図面の左右方向）における処理対象は、描画命令（図５の（Ａ）参照）において指定される座標（ｕ，ｖ）によって制限される。このようにして歪み補正の処理対象とされる領域が特定される。歪み補正の処理対象とされる領域は、表示制御部１９で合成されて表示装置３６に表示される画像のサイズを勘案して決定される。つまり、図３に示されるような画像表示を行うために不必要な領域の画像データは、画像処理モジュール１５〜１８での歪み補正対象から外す。それにより、画像処理モジュール１５〜１８からバス２２及びインタフェース２１を介して半導体メモリ３５に転送される画像データの量を大幅に削減することができるので、上記半導体メモリ３５に対する書き込みアクセスによるバス２２の負荷を軽減することができ、上記バス２２を利用する他のデータ処理を不所望に遅延させずに済む。 On the other hand, according to the configuration shown in FIG. 1, among the image data stored in the line memory 41, the image 701 stored in the 4th to 19th lines is the target of distortion correction. Moreover, the processing object in the u coordinate direction (left and right direction in the drawing) of the image stored in the line memory 41 in the u and v coordinate systems is the coordinates (u, v). In this way, a region to be processed for distortion correction is specified. The region to be subjected to the distortion correction processing is determined in consideration of the size of the image synthesized by the display control unit 19 and displayed on the display device 36. That is, image data in an area unnecessary for performing image display as shown in FIG. 3 is excluded from distortion correction targets in the image processing modules 15 to 18. As a result, the amount of image data transferred from the image processing modules 15 to 18 to the semiconductor memory 35 via the bus 22 and the interface 21 can be greatly reduced. The load can be reduced, and other data processing using the bus 22 can be prevented from being undesirably delayed.

図８には、表示制御部１９の構成例が示される。 FIG. 8 shows a configuration example of the display control unit 19.

表示制御部１９は、プレーンＰ１〜Ｐ４、重ね合わせ処理部８１、プレーン制御レジスタ８２、重ね合わせ処理制御レジスタ８３、及び表示制御レジスタ８４を含む。 The display control unit 19 includes planes P1 to P4, an overlay processing unit 81, a plane control register 82, an overlay processing control register 83, and a display control register 84.

プレーンＰ１〜Ｐ４は表示面を意味しており、それぞれ二つのバッファＢ０，Ｂ１を含んで成る。バッファＢ０，Ｂ１には、処理ブロック４２で歪み補正された画像データが書き込まれる。二つのバッファＢ０，Ｂ１が設けられているのは、バッファＢ０，Ｂ１の一方に画像データの書き込みが行われている期間に、他方のバッファから保持データの読み出しを可能とすることで、プレーン毎の画像データの入出力の円滑化を図るためである。 The planes P1 to P4 mean display surfaces and each include two buffers B0 and B1. In the buffers B0 and B1, the image data whose distortion has been corrected by the processing block 42 is written. The two buffers B0 and B1 are provided because the holding data can be read from the other buffer during the period in which the image data is written to one of the buffers B0 and B1. This is for facilitating the input / output of the image data.

重ね合わせ処理部８１は、プレーンＰ１〜Ｐ４から出力された画像データを重ね合わせてから表示装置３６に出力する。 The overlay processing unit 81 superimposes the image data output from the planes P1 to P4 and then outputs the image data to the display device 36.

プレーン制御レジスタ８２は、プレーンＰ１〜Ｐ４の動作を制御するためのもので、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０Ｒ，ＰｎＤＳＡ１Ｒ、プレーンモードレジスタＰｎＭＲを含む。このプレーン表示領域開始アドレスレジスタＰｎＤＳＡ０Ｒ，ＰｎＤＳＡ１Ｒ、プレーンモードレジスタＰｎＭＲは、それぞれプレーンＰ１〜Ｐ４に対応して４個配置される。つまり、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０Ｒは、それぞれプレーンＰ１〜Ｐ４に対応するＰ１ＤＳＡ０Ｒ，Ｐ２ＤＳＡ０Ｒ，Ｐ３ＤＳＡ０Ｒ，Ｐ４ＤＳＡ０Ｒを含み、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ１Ｒは、それぞれプレーンＰ１〜Ｐ４に対応するＰ１ＤＳＡ１Ｒ，Ｐ２ＤＳＡ１Ｒ，Ｐ３ＤＳＡ１Ｒ，Ｐ４ＤＳＡ１Ｒを含む。同様にプレーンモードレジスタＰｎＭＲは、それぞれプレーンＰ１〜Ｐ４に対応するＰ１ＭＲ，Ｐ２ＭＲ，Ｐ３ＭＲ，Ｐ４ＭＲを含む。プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０Ｒには、プレーンＰ１〜Ｐ４におけるバッファＢ０の表示領域開始アドレスが設定される。プレーン表示領域開始アドレスレジスタＰｎＤＳＡ１Ｒには、プレーンＰ１〜Ｐ４におけるバッファＢ１の表示領域開始アドレスが設定される。プレーンモードレジスタＰｎＭＲには、プレーンＰ１〜Ｐ４において重ね合わせ処理部８１へ画像データを出力するためのバッファ（Ｂ０又はＢ１）が設定される。 The plane control register 82 is for controlling the operations of the planes P1 to P4, and includes plane display area start address registers PnDSA0R and PnDSA1R, and a plane mode register PnMR. Four plane display area start address registers PnDSA0R and PnDSA1R and four plane mode registers PnMR are arranged corresponding to the planes P1 to P4, respectively. That is, the plane display area start address register PnDSA0R includes P1DSA0R, P2DSA0R, P3DSA0R, and P4DSA0R corresponding to the planes P1 to P4, respectively. P3DSA1R and P4DSA1R are included. Similarly, the plane mode register PnMR includes P1MR, P2MR, P3MR, and P4MR corresponding to the planes P1 to P4, respectively. In the plane display area start address register PnDSA0R, the display area start address of the buffer B0 in the planes P1 to P4 is set. In the plane display area start address register PnDSA1R, the display area start address of the buffer B1 in the planes P1 to P4 is set. In the plane mode register PnMR, a buffer (B0 or B1) for outputting image data to the overlay processing unit 81 in the planes P1 to P4 is set.

重ね合わせ処理制御レジスタ８３は、重ね合わせ処理部８１の動作を制御するためのもので、表示プレーン優先順位レジスタＤＰＰＲを含む。この表示プレーン優先順位レジスタＤＰＰＲには、プレーンＰ１〜Ｐ４の表示のＯＮ／ＯＦＦと重ね合わせの優先順位が設定される。 The overlay processing control register 83 is for controlling the operation of the overlay processor 81, and includes a display plane priority register DPPR. In this display plane priority order register DPPR, display priority of planes P1 to P4 and ON / OFF priority are set.

表示制御レジスタ８４は、表示装置３６への画像表示を制御するためのもので、表示イネーブル（ＤＥＮ）ビットを設定可能な表示システム制御レジスタＤＳＹＳＲを含む。表示イネーブル（ＤＥＮ）ビットがイネーブル状態にされると、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０Ｒ又はＰｎＤＳＡ１Ｒに設定されたアドレスから画像データを対応するプレーンのバッファに取り込まれる。 The display control register 84 is for controlling image display on the display device 36, and includes a display system control register DSYSR that can set a display enable (DEN) bit. When the display enable (DEN) bit is enabled, image data is taken into the corresponding plane buffer from the address set in the plane display area start address register PnDSA0R or PnDSA1R.

図９には、半導体メモリ３５における記憶領域が示される。 FIG. 9 shows a storage area in the semiconductor memory 35.

半導体メモリ３５には、ディスプレイリスト（ＤＬ）を格納するためのディスプレイリスト格納領域９１、及び歪み補正後画像データを格納するための歪み補正後画像データ格納領域９２が形成される。 In the semiconductor memory 35, a display list storage area 91 for storing a display list (DL) and a post-distortion correction image data storage area 92 for storing post-distortion correction image data are formed.

ディスプレイリスト格納領域９１には、画像処理モジュール１５用のディスプレイリストを格納するためのＩＭＲ１５用格納領域、画像処理モジュール１６用のディスプレイリストを格納するためのＩＭＲ１６用格納領域、画像処理モジュール１７用のディスプレイリストを格納するためのＩＭＲ１７用格納領域、画像処理モジュール１８用のディスプレイリストを格納するためのＩＭＲ１８用格納領域が含まれる。このＩＭＲ１５用格納領域、ＩＭＲ１６用格納領域、ＩＭＲ１７用格納領域、ＩＭＲ１８用格納領域には、ＩＭＲ１５用格納領域について代表的に示されるように、ＳＹＮＣＷ命令、描画命令、ＴＲＡＰ命令を含むディスプレイリストが格納される。 The display list storage area 91 stores an IMR 15 storage area for storing a display list for the image processing module 15, an IMR 16 storage area for storing a display list for the image processing module 16, and an image processing module 17 storage area. A storage area for IMR 17 for storing the display list and a storage area for IMR 18 for storing the display list for the image processing module 18 are included. In the storage area for IMR15, the storage area for IMR16, the storage area for IMR17, and the storage area for IMR18, as representatively shown for the storage area for IMR15, a display list including a SYNCW instruction, a drawing instruction, and a TRAP instruction is stored. Is done.

歪み補正後画像データ格納領域９２には、ＩＭＲ１５歪み補正後画像データ格納領域、ＩＭＲ１６歪み補正後画像データ格納領域、ＩＭＲ１７歪み補正後画像データ格納領域、ＩＭＲ１８歪み補正後画像データ格納領域が含まれる。ＩＭＲ１５歪み補正後画像データ格納領域には、画像処理モジュール１５からの歪み補正後画像データが格納される。ＩＭＲ１６歪み補正後画像データ格納領域には、画像処理モジュール１６からの歪み補正後画像データが格納される。ＩＭＲ１７歪み補正後画像データ格納領域には、画像処理モジュール１７からの歪み補正後画像データが格納される。ＩＭＲ１８歪み補正後画像データ格納領域には、画像処理モジュール１８からの歪み補正後画像データが格納される。このＩＭＲ１５歪み補正後画像データ格納領域、ＩＭＲ１６歪み補正後画像データ格納領域、ＩＭＲ１７歪み補正後画像データ格納領域、ＩＭＲ１８歪み補正後画像データ格納領域には、ＩＭＲ１５歪み補正後画像データ格納領域について代表的に示されるように、二つの歪み補正処理後画像データ格納領域９３，９４が含まれる。歪み補正処理後画像データ格納領域９３の先頭アドレスは「１０」とされ、歪み補正処理後画像データ格納領域９４の先頭アドレスは「１１」とされる。 The image data storage area 92 after distortion correction includes an image data storage area after IMR15 distortion correction, an image data storage area after IMR16 distortion correction, an image data storage area after IMR17 distortion correction, and an image data storage area after IMR18 distortion correction. The image data storage area after distortion correction from the image processing module 15 is stored in the IMR15 distortion-corrected image data storage area. In the IMR16 distortion corrected image data storage area, the distortion corrected image data from the image processing module 16 is stored. The IMR 17 distortion corrected image data storage area stores the distortion corrected image data from the image processing module 17. In the IMR18 image data storage area after distortion correction, image data after distortion correction from the image processing module 18 is stored. This IMR15 distortion corrected image data storage area, IMR16 distortion corrected image data storage area, IMR17 distortion corrected image data storage area, and IMR18 distortion corrected image data storage area are representative of the IMR15 distortion corrected image data storage area. As shown in FIG. 5, two post-distortion correction image data storage areas 93 and 94 are included. The leading address of the image data storage area 93 after distortion correction processing is “10”, and the leading address of the image data storage area 94 after distortion correction processing is “11”.

図１０及び図１１にはプロセッサ１０における処理のフローチャートが示される。尚、図１０に示される処理と図１１に示される処理とは連続している。 10 and 11 show flowcharts of processing in the processor 10. The process shown in FIG. 10 and the process shown in FIG. 11 are continuous.

尚、画像処理モジュール（ＩＭＲ）１５に対してプレーンＰ１が対応され、画像処理モジュール（ＩＭＲ）１６に対してプレーンＰ２が対応され、画像処理モジュール（ＩＭＲ）１７に対してプレーンＰ３が対応され、画像処理モジュール（ＩＭＲ）１８に対してプレーンＰ４が対応されるものとする。 The plane P1 corresponds to the image processing module (IMR) 15, the plane P2 corresponds to the image processing module (IMR) 16, the plane P3 corresponds to the image processing module (IMR) 17, It is assumed that the plane P4 corresponds to the image processing module (IMR) 18.

先ず、図１０に基づいて、初回の１画面分の処理について説明する。 First, the process for one screen for the first time will be described with reference to FIG.

中央処理装置２０によって、画像処理モジュール（ＩＭＲ）１５〜１８のディスプレイリスト（ＤＬ）が半導体メモリ（ＤＤＲ）３５に格納される（Ｓ１）。 The central processing unit 20 stores the display lists (DL) of the image processing modules (IMR) 15 to 18 in the semiconductor memory (DDR) 35 (S1).

中央処理装置２０によって、画像処理モジュール１５〜１８の各レジスタ（図４参照）に所定の値が設定される（Ｓ２）。画像処理モジュール１５〜１８におけるディスティネーションスタートアドレスレジスタＤＳＡＲには、半導体メモリ３５における歪み補正処理後画像データ格納領域９３の先頭アドレスが設定される。ここで半導体メモリ３５における歪み補正処理後画像データ格納領域９３の先頭アドレスは、例えば図９に示される例では「アドレス１０」とされる。 The central processing unit 20 sets a predetermined value in each register (see FIG. 4) of the image processing modules 15 to 18 (S2). In the destination start address register DSAR in the image processing modules 15 to 18, the head address of the image data storage area 93 after distortion correction processing in the semiconductor memory 35 is set. Here, the head address of the post-distortion correction image data storage area 93 in the semiconductor memory 35 is, for example, “address 10” in the example shown in FIG.

画像処理モジュール１５〜１８がディスプレイリストのフェッチを開始するために、中央処理装置２０によって、画像処理モジュール１５〜１８におけるＩＭＲ制御レジスタ（ＣＲ）４６のレンダリングスタートビット（ＲＳ）ビットがセットされる（Ｓ３）。 In order for the image processing modules 15-18 to start fetching the display list, the central processing unit 20 sets the rendering start bit (RS) bit of the IMR control register (CR) 46 in the image processing modules 15-18 ( S3).

以上の設定が行われた後、画像処理モジュール１５〜１８は、半導体メモリ３５からディスプレイリストのフェッチを開始し、フェッチしたディスプレイリストを順次実行する（Ｓ４）。このとき、画像処理モジュール１５〜１８によってフェッチされたディスプレイリストにおけるＳＹＮＣＷ命令のＳＥＬビットは論理値“１”とされる。画像処理モジュール１５〜１８は、実行したＳＹＮＣＷ命令のＳＥＬビットが論理値“１”の場合、画像表示系の垂直同期信号ＶＳＹＮＣが入力された後、ラインメモリ４１に、ＬＳＰＲの設定値とＬＭＳＲの設定値との合計値（ＬＳＰＲ＋ＬＭＳＲ）によって示されるラインメモリ数にまで画像データが格納されるまで次のディスプレイリストのフェッチ待ち状態とされる（Ｓ５）。 After the above settings are made, the image processing modules 15 to 18 start fetching the display list from the semiconductor memory 35, and sequentially execute the fetched display list (S4). At this time, the SEL bit of the SYNCW instruction in the display list fetched by the image processing modules 15 to 18 is set to the logical value “1”. When the SEL bit of the executed SYNCW instruction is a logical value “1”, the image processing modules 15 to 18 input the vertical sync signal VSYNC of the image display system to the line memory 41 and set the LSPR set value and LMSR. The next display list fetch is awaited until image data is stored up to the number of line memories indicated by the total value (LSPR + LMSR) with the set value (S5).

ラインメモリ４１に、ＬＳＰＲの設定値とＬＭＳＲの設定値との合計値（ＬＳＰＲ＋ＬＭＳＲ）によって示されるラインメモリ数にまで画像データが格納されると、画像処理モジュール１５〜１８は、半導体メモリ３５からディスプレイリストをフェッチし、当該ディスプレイリストにおける描画命令（ＴＲＩａｎｇｌ命令）を実行する（Ｓ６）。この描画命令は、例えば図７に示されるように、画像処理モジュールにおけるラインメモリ４１に格納されている画像データの座標をｕ，ｖ座標系から、それとは異なるＸ，Ｙ座標系に変換してから半導体メモリ３５に格納される。ここでは、画像処理モジュール１５〜１８におけるディスティネーションスタートアドレスレジスタＤＳＡＲには、半導体メモリ３５における歪み補正処理後画像データ格納領域９３の先頭アドレスが「アドレス１０」とされるため、上記描画命令の実行による座標変換後の画像データは、画像データ格納領域９３の「アドレス１０」から順に格納される。尚、画像処理モジュール１６〜１８での座標変換においては１８０度回転処理や９０度回転処理が併せて実行される。ステップＳ６の処理後、次のディスプレイリストのフェッチを開始するが、フェッチしたＳＹＮＣＷ命令のＳＥＬビットは論理値“０”のため、ＬＭＳＲで示されるラインメモリ数に画像データが格納されるまでディスプレイリストの実行待ち状態となる（Ｓ７）。 When the image data is stored in the line memory 41 to the number of line memories indicated by the total value (LSPR + LMSR) of the set value of LSPR and the set value of LMSR, the image processing modules 15 to 18 are displayed from the semiconductor memory 35 to the display. The list is fetched, and a drawing instruction (TRIangl instruction) in the display list is executed (S6). For example, as shown in FIG. 7, the drawing command converts the coordinates of the image data stored in the line memory 41 in the image processing module from the u, v coordinate system to a different X, Y coordinate system. Stored in the semiconductor memory 35. Here, in the destination start address register DSAR in the image processing modules 15 to 18, the start address of the image data storage area 93 after distortion correction processing in the semiconductor memory 35 is set to “address 10”. The image data after the coordinate conversion is stored in order from “address 10” in the image data storage area 93. In the coordinate conversion in the image processing modules 16 to 18, a 180 degree rotation process and a 90 degree rotation process are executed together. After the process of step S6, fetch of the next display list is started. Since the SEL bit of the fetched SYNCW instruction has a logical value “0”, the display list is stored until the image data is stored in the number of line memories indicated by LMSR. (S7).

上記ステップＳ６，Ｓ７の処理は、終了ライン指定レジスタＬＥＰＲで指定したラインメモリ数に達するまで、換言すれば１画面分の画像データが得られるまで繰返される（Ｓ８）。 The processes in steps S6 and S7 are repeated until the number of line memories designated by the end line designation register LEPR is reached, in other words, image data for one screen is obtained (S8).

画像処理モジュール１６〜１８において、１画面分の画像データが得られたら、ディスプレイリストにおけるＴＲＡＰ命令が実行され、中央処理装置２０に対する割り込みが発生される（Ｓ９）。中央処理装置２０は、上記割り込みに対応する所定の割込み処理によって、半導体メモリ３５における歪み補正処理後画像データ格納領域を、それまでの領域から別の領域に変更する（Ｓ１０）。例えば画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０での割り込み処理において、画像処理モジュール１５におけるディスティネーションスタートアドレスレジスタＤＳＡＲには、半導体メモリ３５における歪み補正処理後画像データ格納領域９４の先頭アドレス（アドレス１１）が設定される。これにより、画像処理モジュール１５での歪み補正処理後の画像データの格納領域が、それまでの歪み補正処理後画像データ格納領域９３から歪み補正処理後画像データ格納領域９４に変更される。尚、他の画像処理モジュール１６〜１８においても同様にＴＲＡＰ命令が実行され、中央処理装置２０に対する割り込みが発生されることで歪み補正処理後画像データ格納領域の変更が行われる。 When image data for one screen is obtained in the image processing modules 16 to 18, a TRAP command in the display list is executed, and an interrupt to the central processing unit 20 is generated (S9). The central processing unit 20 changes the image data storage area after distortion correction processing in the semiconductor memory 35 from the previous area to another area by a predetermined interrupt process corresponding to the interrupt (S10). For example, when a TRAP instruction is executed in the image processing module 15 and an interrupt to the central processing unit 20 is generated, in the interrupt processing in the central processing unit 20, the destination start address register DSAR in the image processing module 15 is stored. The leading address (address 11) of the post-distortion correction image data storage area 94 in the semiconductor memory 35 is set. Thereby, the storage area of the image data after the distortion correction processing in the image processing module 15 is changed from the image data storage area 93 after the distortion correction processing so far to the image data storage area 94 after the distortion correction processing. In the other image processing modules 16 to 18 as well, the TRAP instruction is executed in the same manner, and an interrupt to the central processing unit 20 is generated, whereby the image data storage area after distortion correction processing is changed.

そして画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０によって、画像処理モジュール１５におけるＩＭＲ制御レジスタ（ＣＲ）４６のレンダリングスタートビット（ＲＳ）ビットがセットされ、再び上記ステップＳ４〜Ｓ８の処理が繰返される（Ｓ１１）。他の画像処理モジュール１６〜１８でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合も、画像処理モジュール１５の場合と同様に上記ステップＳ４〜Ｓ８の処理が繰返される。 When the TRAP instruction is executed in the image processing module 15 and an interrupt to the central processing unit 20 is generated, the central processing unit 20 causes the rendering start bit (in the IMR control register (CR) 46 in the image processing module 15 ( The RS) bit is set, and the processes in steps S4 to S8 are repeated again (S11). Even when the TRAP command is executed in the other image processing modules 16 to 18 and an interrupt to the central processing unit 20 is generated, the processing of steps S4 to S8 is repeated as in the case of the image processing module 15.

また、画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合、中央処理装置２０は、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０ＲにおけるＰ１ＤＳＡ０Ｒに半導体メモリ３５における歪み補正処理後画像データ格納領域９３における先頭アドレス（アドレス１０）を設定する（Ｓ１２）。これにより、表示制御部１９におけるプレーンＰ１のバッファＢ０に、歪み補正処理後画像データ格納領域９３の画像データを書き込むことができる。尚、画像処理モジュール１６〜１８でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合にも、画像処理モジュール１５でＴＲＡＰ命令が実行された場合と同様に半導体メモリ３５における歪み補正処理後画像データ格納領域９３における先頭アドレスが設定される。 When the TRAP instruction is executed in the image processing module 15 and an interrupt to the central processing unit 20 is generated, the central processing unit 20 adds the P1DSA0R in the plane display area start address register PnDSA0R to the post-distortion correction process in the semiconductor memory 35. A head address (address 10) in the image data storage area 93 is set (S12). As a result, the image data in the post-distortion correction image data storage area 93 can be written into the buffer B0 of the plane P1 in the display control unit 19. Even when the TRAP instruction is executed in the image processing modules 16 to 18 and an interrupt to the central processing unit 20 is generated, the distortion in the semiconductor memory 35 is the same as in the case where the TRAP instruction is executed in the image processing module 15. The head address in the post-correction image data storage area 93 is set.

中央処理装置２０が画像処理モジュール１５〜１８の全てに対して、上記ステップＳ１０〜Ｓ１２の処理を終了した場合には、表示制御部１９における表示制御レジスタ８４における表示システム制御レジスタＤＳＹＳＲの表示イネーブル（ＤＥＮ）ビットがイネーブル状態にされ、プレーン表示領域開始アドレスレジスタに設定されたアドレスから画像データが対応するプレーンＰ１〜Ｐ４のバッファＢ０に取り込まれる（Ｓ１３）。さらに中央処理装置２０によって表示プレーン優先順位レジスタＤＰＰＲが設定され、この表示プレーン優先順位レジスタＤＰＰＲに設定された優先順で、プレーンＰ１〜Ｐ４のバッファＢ０からの出力データが重ね合わせ処理部８１で重ね合わされてから表示装置３６へ出力されて表示される（Ｓ１３）。 When the central processing unit 20 completes the processing of steps S10 to S12 for all of the image processing modules 15 to 18, the display enable of the display system control register DSYSR in the display control register 84 in the display control unit 19 ( The DEN) bit is enabled, and image data is taken into the buffer B0 of the corresponding planes P1 to P4 from the address set in the plane display area start address register (S13). Further, the display plane priority order register DPPR is set by the central processing unit 20, and the output data from the buffer B0 of the planes P1 to P4 is overlapped by the overlap processing unit 81 in the priority order set in the display plane priority order register DPPR. Then, it is output to the display device 36 and displayed (S13).

上記ステップＳ１〜Ｓ１３によって初回の１画面分の処理が行われる。 By the above steps S1 to S13, the process for the first one screen is performed.

次に、図１１に基づいて、２回目の１画面分の処理について説明する。 Next, the second process for one screen will be described with reference to FIG.

２回目の１画面分の処理では、上記ステップＳ１〜Ｓ７に相当する処理は不要とされ、上記ステップＳ４〜Ｓ８の処理が行われる。そして１画面分の画像データに対して描画処理実行後、ＴＲＡＰ命令が実行されて中央処理装置２０に対する割り込みが発生される（Ｓ１４）。この割り込みにより中央処理装置２０は、半導体メモリ３５における歪み補正処理後画像データ格納領域を、それまでの領域から別の領域に変更する（Ｓ１５）。例えば画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０での割り込み処理において、画像処理モジュール１５におけるディスティネーションスタートアドレスレジスタＤＳＡＲには、半導体メモリ３５における歪み補正処理後画像データ格納領域９３の先頭アドレス（アドレス１０）が設定される。これにより、画像処理モジュール１５での歪み補正処理後の画像データの格納領域が、それまでの歪み補正処理後画像データ格納領域９４から歪み補正処理後画像データ格納領域９３に変更される。尚、他の画像処理モジュール１６〜１８においても同様にＴＲＡＰ命令が実行され、中央処理装置２０に対する割り込みが発生されることで歪み補正処理後画像データ格納領域の変更が行われる。 In the second process for one screen, the process corresponding to steps S1 to S7 is not necessary, and the processes of steps S4 to S8 are performed. Then, after executing the drawing process on the image data for one screen, the TRAP command is executed to generate an interrupt to the central processing unit 20 (S14). By this interruption, the central processing unit 20 changes the post-distortion correction image data storage area in the semiconductor memory 35 from the previous area to another area (S15). For example, when a TRAP instruction is executed in the image processing module 15 and an interrupt to the central processing unit 20 is generated, in the interrupt processing in the central processing unit 20, the destination start address register DSAR in the image processing module 15 is stored. The leading address (address 10) of the post-distortion correction image data storage area 93 in the semiconductor memory 35 is set. As a result, the image data storage area after the distortion correction processing in the image processing module 15 is changed from the image data storage area 94 after the distortion correction processing to the image data storage area 93 after the distortion correction processing. In the other image processing modules 16 to 18 as well, the TRAP instruction is executed in the same manner, and an interrupt to the central processing unit 20 is generated, whereby the image data storage area after distortion correction processing is changed.

そして画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０によって、画像処理モジュール１５におけるＩＭＲ制御レジスタ（ＣＲ）４６のレンダリングスタートビット（ＲＳ）がセットされ、再び上記ステップＳ４〜Ｓ８の処理が繰返される（Ｓ１６）。 When the TRAP instruction is executed in the image processing module 15 and an interrupt to the central processing unit 20 is generated, the central processing unit 20 causes the rendering start bit (in the IMR control register (CR) 46 in the image processing module 15 ( RS) is set, and the processing of steps S4 to S8 is repeated again (S16).

画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０は、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０ＲにおけるＰ１ＤＳＡ１Ｒ（プレーンＰ１に対応するもの）に、半導体メモリ３５における歪み補正処理後画像データ格納領域９３における先頭アドレス（アドレス１１）を設定する（Ｓ１７）。これは、表示制御部１９におけるプレーンＰ１のバッファＢ１に歪み補正処理後画像データ格納領域９３の画像データを格納するためである。尚、画像処理モジュール１６〜１８でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合にも、画像処理モジュール１５でＴＲＡＰ命令が実行された場合と同様に半導体メモリ３５における歪み補正処理後画像データ格納領域９３における先頭アドレスが設定される。 When the TRAP instruction is executed in the image processing module 15 and an interrupt to the central processing unit 20 is generated, the central processing unit 20 sets the P1DSA1R (corresponding to the plane P1) in the plane display area start address register PnDSA0R. Then, the head address (address 11) in the image data storage area 93 after distortion correction processing in the semiconductor memory 35 is set (S17). This is because the image data in the post-distortion correction image data storage area 93 is stored in the buffer B1 of the plane P1 in the display control unit 19. Even when the TRAP instruction is executed in the image processing modules 16 to 18 and an interrupt to the central processing unit 20 is generated, the distortion in the semiconductor memory 35 is the same as in the case where the TRAP instruction is executed in the image processing module 15. The head address in the post-correction image data storage area 93 is set.

画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合、中央処理装置２０は、次のフレーム出力時にバッファＢ１からの画像データが重ね合わせ処理部８１に出力されるように表示制御部１９におけるプレーンモードレジスタＰｎＭＲに値を設定する（Ｓ１８）。尚、画像処理モジュール１６〜１８でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合にも、画像処理モジュール１５でＴＲＡＰ命令が実行された場合と同様にプレーンモードレジスタＰｎＭＲに値が設定される。 When the TRAP instruction is executed in the image processing module 15 and an interrupt to the central processing unit 20 is generated, the central processing unit 20 outputs the image data from the buffer B1 to the superposition processing unit 81 when the next frame is output. In this manner, a value is set in the plane mode register PnMR in the display control unit 19 (S18). Even when the TRAP instruction is executed in the image processing modules 16 to 18 and an interrupt to the central processing unit 20 is generated, the plane mode register PnMR is stored in the same manner as when the TRAP instruction is executed in the image processing module 15. Value is set.

次に、図１１に基づいて、３回目の１画面分の処理について説明する。 Next, a third process for one screen will be described with reference to FIG.

３回目の１画面分の処理では、上記ステップＳ１〜Ｓ７に相当する処理は不要とされ、上記ステップＳ４〜Ｓ８の処理が行われる。そして１画面分の画像データに対して描画処理実行後、ＴＲＡＰ命令が実行されて中央処理装置２０に対する割り込みが発生される（Ｓ１９）。この割り込みにより中央処理装置２０は、半導体メモリ３５における歪み補正処理後画像データ格納領域を、それまでの領域から別の領域に変更する（Ｓ２０）。例えば画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０での割り込み処理において、画像処理モジュール１５におけるディスティネーションスタートアドレスレジスタＤＳＡＲには、半導体メモリ３５における歪み補正処理後画像データ格納領域９４の先頭アドレス（アドレス１１）が設定される。これにより、画像処理モジュール１５での歪み補正処理後の画像データの格納領域が、それまでの歪み補正処理後画像データ格納領域９３から歪み補正処理後画像データ格納領域９４に変更される。尚、他の画像処理モジュール１６〜１８においても同様にＴＲＡＰ命令が実行され、中央処理装置２０に対する割り込みが発生されることで歪み補正処理後画像データ格納領域の変更が行われる。 In the third process for one screen, the process corresponding to steps S1 to S7 is not necessary, and the processes of steps S4 to S8 are performed. Then, after executing the drawing process on the image data for one screen, the TRAP command is executed to generate an interrupt to the central processing unit 20 (S19). By this interruption, the central processing unit 20 changes the image data storage area after distortion correction processing in the semiconductor memory 35 from the previous area to another area (S20). For example, when a TRAP instruction is executed in the image processing module 15 and an interrupt to the central processing unit 20 is generated, in the interrupt processing in the central processing unit 20, the destination start address register DSAR in the image processing module 15 is stored. The leading address (address 11) of the post-distortion correction image data storage area 94 in the semiconductor memory 35 is set. Thereby, the storage area of the image data after the distortion correction processing in the image processing module 15 is changed from the image data storage area 93 after the distortion correction processing so far to the image data storage area 94 after the distortion correction processing. In the other image processing modules 16 to 18 as well, the TRAP instruction is executed in the same manner, and an interrupt to the central processing unit 20 is generated, whereby the image data storage area after distortion correction processing is changed.

そして画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０によって、画像処理モジュール１５におけるＩＭＲ制御レジスタ（ＣＲ）４６のレンダリングスタートビット（ＲＳ）ビットがセットされ、再び上記ステップＳ４〜Ｓ８の処理が繰返される（Ｓ２１）。 When the TRAP instruction is executed in the image processing module 15 and an interrupt to the central processing unit 20 is generated, the central processing unit 20 causes the rendering start bit (in the IMR control register (CR) 46 in the image processing module 15 ( The RS) bit is set, and the processes in steps S4 to S8 are repeated again (S21).

画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０は、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０ＲにおけるＰ１ＤＳＡ０Ｒ（プレーンＰ１に対応するもの）に半導体メモリ３５における歪み補正処理後画像データ格納領域９３における先頭アドレス（アドレス１０）を設定する（Ｓ２２）。これは、表示制御部１９におけるプレーンＰ１のバッファＢ０に歪み補正処理後画像データ格納領域９３の画像データを格納するためである。尚、画像処理モジュール１６〜１８でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合にも、画像処理モジュール１５でＴＲＡＰ命令が実行された場合と同様に半導体メモリ３５における歪み補正処理後画像データ格納領域９３における先頭アドレスが設定される。 When the TRAP instruction is executed in the image processing module 15 and an interrupt to the central processing unit 20 is generated, the central processing unit 20 sets the P1DSA0R (corresponding to the plane P1) in the plane display area start address register PnDSA0R. The head address (address 10) in the post-distortion correction image data storage area 93 in the semiconductor memory 35 is set (S22). This is because the image data in the post-distortion correction image data storage area 93 is stored in the buffer B0 of the plane P1 in the display control unit 19. Even when the TRAP instruction is executed in the image processing modules 16 to 18 and an interrupt to the central processing unit 20 is generated, the distortion in the semiconductor memory 35 is the same as in the case where the TRAP instruction is executed in the image processing module 15. The head address in the post-correction image data storage area 93 is set.

画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合、中央処理装置２０は、次のフレーム出力時にバッファＢ０からの画像データが重ね合わせ処理部８１に出力されるように表示制御部１９におけるプレーンモードレジスタＰｎＭＲに値を設定する（Ｓ２３）。尚、画像処理モジュール１６〜１８でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合にも、画像処理モジュール１５でＴＲＡＰ命令が実行された場合と同様にプレーンモードレジスタＰｎＭＲに値が設定される。 When the TRAP instruction is executed in the image processing module 15 and an interrupt to the central processing unit 20 is generated, the central processing unit 20 outputs the image data from the buffer B0 to the overlay processing unit 81 at the next frame output time. In this manner, a value is set in the plane mode register PnMR in the display control unit 19 (S23). Even when the TRAP instruction is executed in the image processing modules 16 to 18 and an interrupt to the central processing unit 20 is generated, the plane mode register PnMR is stored in the same manner as when the TRAP instruction is executed in the image processing module 15. Value is set.

以上、初回の１画面分の処理（Ｓ１〜Ｓ１３）、２回目の１画面分の処理（Ｓ１４〜Ｓ１８）、３回目の１画面分の処理（Ｓ１９〜Ｓ２３）について説明したが、４回目以降の１画面分の処理については、上記２回目の１画面分の処理（Ｓ１４〜Ｓ１８）と、上記３回目の１画面分の処理（Ｓ１９〜Ｓ２３）とが交互に繰返される。 The first processing for one screen (S1 to S13), the second processing for one screen (S14 to S18), and the third processing for one screen (S19 to S23) have been described. As for the processing for one screen, the second processing for one screen (S14 to S18) and the third processing for one screen (S19 to S23) are alternately repeated.

《実施の形態２》
実施の形態２について説明する。 << Embodiment 2 >>
A second embodiment will be described.

例えば図１２に示されるように、カメラの撮影タイミングＳＨ１から次の撮影タイミングＳＨ２までの間に、撮影タイミングＳＨ１で得られた画像データについての歪み補正処理や、その処理画像データの半導体メモリ３５への書き込みが終了していれば特に支障は無い。しかし図１３に示されるように、カメラの撮影タイミングＳＨ１から次の撮影タイミングＳＨ２までの間に、撮影タイミングＳＨ１で得られた画像データについての歪み補正処理や、その処理画像データの半導体メモリ３５への書き込みが終了しない場合には、表示装置３６での画像表示を円滑に行うことができない。そこで図１５に示されるように、プロセッサ１０に、バス２２に結合された汎用ポート１５１と、この汎用ポート１５１からの出力信号をカメラ３１〜３４に伝達するための端子Ｔ７を設ける。汎用ポート１５１から端子Ｔ７を介してカメラ３１〜３４にカメラ同期信号が伝達されるようになっている。このカメラ同期信号は、画像処理モジュール（ＩＭＲ）１５〜１８が１画面分のデータ処理を完了した後、中央処理装置２０が汎用ポートに所定の値を設定することで、パルス状に出力されるものとする。カメラ３１〜３４では、端子Ｔ７を介して伝達されたカメラ同期信号に同期して撮影が行われる。かかる構成によれば、例えば図１４に示されるように、画像処理モジュール（ＩＭＲ）１５〜１８が１画面分のデータ処理を完了した後に、カメラ同期信号に同期して撮影タイミングＳＨ２でカメラ３１〜３４での撮影を行うことができるため、表示装置３６での画像表示を円滑に行うことができる。 For example, as shown in FIG. 12, during the period from the camera shooting timing SH1 to the next shooting timing SH2, distortion correction processing is performed on the image data obtained at the shooting timing SH1, and the processed image data is transferred to the semiconductor memory 35. If the writing of is completed, there is no problem. However, as shown in FIG. 13, during the period from the camera shooting timing SH1 to the next shooting timing SH2, the distortion correction processing for the image data obtained at the shooting timing SH1 and the processed image data to the semiconductor memory 35 are performed. When the writing of is not completed, the image display on the display device 36 cannot be performed smoothly. Therefore, as shown in FIG. 15, the processor 10 is provided with a general-purpose port 151 coupled to the bus 22 and a terminal T <b> 7 for transmitting an output signal from the general-purpose port 151 to the cameras 31 to 34. A camera synchronization signal is transmitted from the general-purpose port 151 to the cameras 31 to 34 via the terminal T7. The camera synchronization signal is output in a pulse form when the image processing modules (IMR) 15 to 18 complete data processing for one screen and the central processing unit 20 sets a predetermined value in the general-purpose port. Shall. In the cameras 31 to 34, shooting is performed in synchronization with the camera synchronization signal transmitted via the terminal T7. According to such a configuration, as shown in FIG. 14, for example, after the image processing modules (IMR) 15 to 18 complete the data processing for one screen, the cameras 31 to 31 are captured at the photographing timing SH2 in synchronization with the camera synchronization signal. Therefore, the image can be displayed on the display device 36 smoothly.

以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。 Although the invention made by the present inventor has been specifically described based on the embodiments, it is needless to say that the present invention is not limited thereto and can be variously modified without departing from the gist thereof.

例えば、画像処理モジュール１５〜１８における処理ブロック４３において、歪み補正後の画像データに対して、特許文献１に記載されているような視点変換処理を行うことで俯瞰画像を作成するようにしても良い。 For example, in the processing block 43 in the image processing modules 15 to 18, an overhead image may be created by performing viewpoint conversion processing as described in Patent Document 1 on the image data after distortion correction. good.

１０プロセッサ
１１〜１４，２１インタフェース
１５〜１８画像処理モジュール
１９表示制御部
２０中央処理装置
３１〜３４カメラ
３５半導体メモリ
３６表示装置
４１ラインメモリ
４２処理ブロック
４３ディスプレイリストバッファ
４４メモリ制御レジスタ
４５ラインメモリ制御レジスタ
４６ＩＭＲ制御レジスタ
１００全周囲映像システム DESCRIPTION OF SYMBOLS 10 Processor 11-14, 21 Interface 15-18 Image processing module 19 Display control part 20 Central processing unit 31-34 Camera 35 Semiconductor memory 36 Display apparatus 41 Line memory 42 Processing block 43 Display list buffer 44 Memory control register 45 Line memory control Register 46 IMR control register 100 All-around video system

Claims

カメラと半導体メモリとが接続可能な半導体集積回路であって、
上記カメラで撮影することで得られた画像データを取り込むための第１インタフェースと、
上記半導体メモリとの間でデータのやり取りを可能にする第２インタフェースと、
上記第２インタフェースが結合されたバスと、
上記第１インタフェースに対応して配置され、対応する第１インタフェースを介して伝達された画像データに対して所定のデータ処理を施すための画像処理モジュールと、を含み、
上記画像処理モジュールは、
上記伝達された画像データの一部分を切り出し、
上記切り出された画像データに対して歪み補正を行い、
上記歪み補正後の画像データを上記バス及び上記第２インタフェースを介して上記半導体メモリに書き込む処理を含むことを特徴とする半導体集積回路。 A semiconductor integrated circuit capable of connecting a camera and a semiconductor memory,
A first interface for capturing image data obtained by photographing with the camera;
A second interface enabling data exchange with the semiconductor memory;
A bus to which the second interface is coupled;
An image processing module disposed corresponding to the first interface and performing predetermined data processing on the image data transmitted via the corresponding first interface,
The image processing module
Cut out a part of the transmitted image data,
Distortion correction is performed on the cut out image data,
A semiconductor integrated circuit comprising a process of writing the image data after the distortion correction into the semiconductor memory via the bus and the second interface.

上記半導体集積回路は、上記バスに結合され上記歪み補正後の画像データを上記半導体メモリから取り込んで表示装置に供給するための表示制御部を含み、
上記表示制御部は、
上記画像処理モジュールで処理された歪み補正後の画像データを上記半導体メモリから取り込んで保持するプレーンと、を含み、
上記プレーンに保持された歪み補正後の画像データを表示装置に表示制御する、請求項１記載の半導体集積回路。 The semiconductor integrated circuit includes a display control unit that is coupled to the bus and that takes in the image data after distortion correction from the semiconductor memory and supplies the image data to the display device.
The display control unit
A plane that captures and holds the image data after distortion correction processed by the image processing module from the semiconductor memory,
The semiconductor integrated circuit according to claim 1, wherein display control of the image data after distortion correction held in the plane is performed on a display device.

上記画像処理モジュールは、
上記第１インタフェースを介して入力された画像データを格納するためのラインメモリと、
予め形成されたディスプレイリストを格納するためのディスプレイリストバッファと、
上記ディスプレイリストに従って、上記ラインメモリ内の画像データについて上記歪み補正を行うための処理ブロックと、
を含む請求項１記載の半導体集積回路。 The image processing module
A line memory for storing image data input via the first interface;
A display list buffer for storing a pre-formed display list;
A processing block for performing the distortion correction on the image data in the line memory according to the display list;
The semiconductor integrated circuit according to claim 1, comprising:

上記半導体集積回路は、上記バスに結合された中央処理装置を含む請求項３記載の半導体集積回路。 4. The semiconductor integrated circuit according to claim 3, wherein said semiconductor integrated circuit includes a central processing unit coupled to said bus.

上記ディスプレイリストは、
上記ラインメモリに格納されている画像データの一部分を切り出して座標変換してから上記半導体メモリに格納することを指示するための第１命令と、
所定の条件成立までは次のディスプレイリストの実行を待たせるための第２命令と、
上記処理ブロックでの処理により１画面分の画像データが得られた時点で上記中央処理装置に対する割込み信号を形成するための第３命令と、を含み、
上記処理ブロックは、上記第１命令、上記第２命令、及び上記第３命令を実行する請求項４記載の半導体集積回路。 The above display list is
A first command for instructing to cut out a part of the image data stored in the line memory, convert the coordinates, and store the image data in the semiconductor memory;
A second instruction for waiting for execution of the next display list until a predetermined condition is satisfied;
A third instruction for forming an interrupt signal for the central processing unit when image data for one screen is obtained by processing in the processing block;
5. The semiconductor integrated circuit according to claim 4, wherein the processing block executes the first instruction, the second instruction, and the third instruction.

上記中央処理装置は、上記割込み信号に対応する割込み処理によって、上記半導体メモリ内の上記歪み補正後の画像データを、上記第２インタフェース及び上記バスを介して上記表示制御部に書き込む処理を起動する請求項５記載の半導体集積回路。 The central processing unit starts a process of writing the distortion-corrected image data in the semiconductor memory into the display control unit via the second interface and the bus by an interrupt process corresponding to the interrupt signal. The semiconductor integrated circuit according to claim 5.

上記カメラの撮影タイミングを制御するための同期信号を外部出力可能なポートを含む請求項６記載の半導体集積回路。 7. The semiconductor integrated circuit according to claim 6, further comprising a port capable of externally outputting a synchronization signal for controlling photographing timing of the camera.