JP5444598B2

JP5444598B2 - Image control device

Info

Publication number: JP5444598B2
Application number: JP2007252921A
Authority: JP
Inventors: 長武小泉
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2007-09-28
Filing date: 2007-09-28
Publication date: 2014-03-19
Anticipated expiration: 2027-09-28
Also published as: JP2009086072A

Description

本発明は、複数の画像を用いて出力する出力画像の制御を行うための技術に関する。 The present invention relates to a technique for controlling an output image output using a plurality of images.

画像を扱うのを想定している電子機器では普通、その画像をユーザーが確認できるように、表示装置に表示させる表示機能が搭載されている。その表示機能は、デジタルカメラ等の小型の携帯可能な電子機器である携帯機器にも広く搭載されており、そのような携帯機器のなかには、外部に画像を出力できる出力機能を搭載したものもある。画像制御装置は、その表示機能、更には出力機能を実現させるために携帯機器（電子機器）に搭載される。 An electronic device that is supposed to handle an image usually has a display function for displaying the image on a display device so that the user can check the image. The display function is also widely installed in small portable electronic devices such as digital cameras, and some of such portable devices are equipped with an output function that can output an image to the outside. . The image control apparatus is mounted on a portable device (electronic device) in order to realize the display function and further the output function.

図７は、携帯機器に搭載される表示システムの構成を示す図である。
その携帯機器７０は、画像を出力する対象として、テレビジョンＥ１、液晶表示器（ＬＣＤ）Ｅ２、及びＨＤＭＩ（High-Definition Multimedia Interface）端子Ｅ３の３つを想定したものである。その携帯機器７０に搭載される表示システムは、表示コントローラ７１、及びＤＡコンバータ７２を備えた構成となっている。 FIG. 7 is a diagram illustrating a configuration of a display system mounted on a portable device.
The portable device 70 is assumed to have three objects, that is, a television E1, a liquid crystal display (LCD) E2, and an HDMI (High-Definition Multimedia Interface) terminal E3 as objects to output images. The display system mounted on the portable device 70 includes a display controller 71 and a DA converter 72.

表示コントローラ７１は、携帯機器７０の制御部（例えばＣＰＵ）からの指示により出力すべき画像を制御、つまり生成し出力するものであり、ダイレクト・メモリ・アクセス・コントローラ（ＤＭＡＣ：Direct Memory Access Controller）７１ａ、スクリーン・コントローラ７１ｂ、ビデオ・エンコーダ７１ｃ、ＬＣＤコントローラ７１ｄ、及びＨＤＭＩコントローラ７１ｅを備えている。上記画像制御装置は通常、この表示コントローラ７１内のスクリーン・コントローラ７１ｂが相当する。 The display controller 71 controls, that is, generates and outputs an image to be output according to an instruction from a control unit (for example, CPU) of the portable device 70, and is a direct memory access controller (DMAC). 71a, a screen controller 71b, a video encoder 71c, an LCD controller 71d, and an HDMI controller 71e. The image control apparatus usually corresponds to the screen controller 71b in the display controller 71.

ダイレクト・メモリ・アクセス・コントローラ（以降「ＤＭＡＣ」）７１ａは、制御部による指示に従ってメモリにアクセスし、出力対象となる画像（画像データ）を読み出してスクリーン・コントローラ７１ｂに出力する。スクリーン・コントローラ７１ｂは、ＤＭＡＣ７１ａから入力した画像に対して行うべき加工を行い、出力する。ビデオ・エンコーダ７１ｃ、ＬＣＤコントローラ７１ｄ及びＨＤＭＩコントローラ７１ｅはそれぞれ、スクリーン・コントローラ７１ｂから入力した画像に対し、それを出力するために必要な処理を行い、出力する。それにより、テレビジョンＥ１、若しくは液晶表示器Ｅ２での画像表示、或いはＨＤＭＩ端子を介した外部機器への画像出力に対応している。 The direct memory access controller (hereinafter referred to as “DMAC”) 71a accesses the memory in accordance with an instruction from the control unit, reads an image (image data) to be output, and outputs it to the screen controller 71b. The screen controller 71b performs processing to be performed on the image input from the DMAC 71a and outputs the processed image. Each of the video encoder 71c, the LCD controller 71d, and the HDMI controller 71e performs processing necessary for outputting the image input from the screen controller 71b and outputs the image. Thereby, it corresponds to image display on the television E1 or the liquid crystal display E2, or image output to an external device via the HDMI terminal.

図８は、従来のスクリーン・コントローラ７１ｂの回路構成を示す図である。
そのコントローラ７１ｂは、画像を加工する２つの画像出力制御部（これらは画像制御装置の主要部であることから図中「ＣＯＲＥ１」「ＣＯＲＥ２」と表記）８０及び８１を備えている。それら２つの画像出力制御部８０及び８１は基本的に同じ構成である。それにより、構成や動作は画像出力制御部８０に着目して説明を行い、画像出力制御部８１では画像出力制御部８０と異なる部分に着目して説明を行うこととする。 FIG. 8 is a diagram showing a circuit configuration of a conventional screen controller 71b.
The controller 71b includes two image output control units 80 and 81 for processing an image (these are indicated as “CORE1” and “CORE2” in the figure because they are main parts of the image control apparatus). The two image output control units 80 and 81 have basically the same configuration. Accordingly, the configuration and operation will be described by paying attention to the image output control unit 80, and the image output control unit 81 will be described by paying attention to portions different from the image output control unit 80.

画像出力制御部８０は、図８に示すように、第１及び第２のバッファ８０ａ及び８０ｂ、カラーパレット変換回路８０ｃ、及びミックス回路８０ｄを備えた構成である。
第１及び第２のバッファ８０ａ及び８０ｂは、画像を格納するメモリであり、図７のＤＭＡＣ７１ａにより転送された画像が格納される。図８中に表記の「ＰｉｃＭａｐ１」は撮影により、或いは着脱自在な記録媒体を介して携帯機器７０が取得した画像を表している。また、「ＯｓｄＭａｐ１」は携帯機器７０側で予め用意された、或いはその携帯機器７０が生成した画像を表している。その画像としては、各種設定等を行うためのＯＳＤ（On-Screen Display）画面が代表的なものであることから以降、便宜的に「ＯＳＤ画像」と呼ぶことにする。他方については撮影により得られたものが代表的なものであることから以降、便宜的に「自然画像」或いは「Ｐｉｃ画像」と呼ぶことにする。 As shown in FIG. 8, the image output control unit 80 includes first and second buffers 80a and 80b, a color palette conversion circuit 80c, and a mix circuit 80d.
The first and second buffers 80a and 80b are memories for storing images, and store images transferred by the DMAC 71a of FIG. “PicMap1” shown in FIG. 8 represents an image acquired by the portable device 70 by photographing or via a removable recording medium. “OsdMap1” represents an image prepared in advance on the mobile device 70 side or generated by the mobile device 70. As the image, an OSD (On-Screen Display) screen for performing various settings and the like is representative, and will be referred to as an “OSD image” for convenience. Since the other one is a representative one obtained by photographing, it will be referred to as “natural image” or “Pic image” for convenience.

ＯＳＤ画像は、例えば画素毎に表示色を示すカラーコードを有する画像データである。カラーパレット変換回路８０ｃは、画素毎に、そのカラーコードを、そのコードに相当する表示色を示す数値である表示色データに変換する。そのような変換を画素データに対して行うことにより、ビットマップイメージのカラー画像データをミックス回路８０ｄに出力する。第１のバッファ８０ａに格納される自然画像は、ビットマップイメージの画像データである。 The OSD image is image data having a color code indicating a display color for each pixel, for example. The color palette conversion circuit 80c converts the color code for each pixel into display color data that is a numerical value indicating the display color corresponding to the code. By performing such conversion on the pixel data, the color image data of the bitmap image is output to the mix circuit 80d. The natural image stored in the first buffer 80a is image data of a bitmap image.

ミックス回路８０ｄは、第１のバッファ８０ａ及びカラーパレット変換回路８０ｃからそれぞれ画像を入力し、予め定められた優先順位に従ってそれらを合成する。その合成は、例えばカラーパレット変換回路８０ｃから入力したＯＳＤ画像を構成する画素のなかで透明でない画素ではＯＳＤ画像の方の画素データを選択し、透明な画素（ＲＧＢの各データの値が０の画素）では自然画像の方の画素データを選択することで行う。そのようにして、ＯＳＤ画像の方を優先する形で２つの画像を合成し、その合成結果である合成画像を出力する。その合成画像が、ＬＣＤコントローラ７１ｄに入力され、液晶表示器Ｅ２上に表示される。上述したような合成方法であることから、ＯＳＤ画像全体が透明であれば合成画像は自然画像と等しくなる。 The mix circuit 80d receives images from the first buffer 80a and the color palette conversion circuit 80c, and synthesizes them according to a predetermined priority order. For the synthesis, for example, in the pixels constituting the OSD image input from the color palette conversion circuit 80c, the pixel data of the OSD image is selected for pixels that are not transparent, and transparent pixels (values of RGB data are 0) are selected. Pixel) is performed by selecting pixel data of the natural image. In this way, the two images are synthesized in such a way that the OSD image is given priority, and a synthesized image that is the result of the synthesis is output. The composite image is input to the LCD controller 71d and displayed on the liquid crystal display E2. Since the synthesis method is as described above, if the entire OSD image is transparent, the synthesized image is equal to the natural image.

一方、画像出力制御部８１も画像出力制御部８０と同じく、図８に示すように、第１及び第２のバッファ８１ａ及び８１ｂ、カラーパレット変換回路８１ｃ、及びミックス回路８１ｄを備えた構成である。しかし、第１及び第２のバッファ８１ａ及び８１ｂには、「ＰｉｃＭａｐ２」及び「ＯｓｄＭａｐ２」と表記したように、画像出力制御部８０とは異なる自然画像、及びＯＳＤ画像を格納可能である。それにより、異なる合成画像をビデオ・エンコーダ７１ｃ及びＨＤＭＩコントローラ７１ｅに入力可能となっている。 On the other hand, the image output control unit 81, like the image output control unit 80, includes first and second buffers 81a and 81b, a color palette conversion circuit 81c, and a mix circuit 81d, as shown in FIG. . However, the first and second buffers 81a and 81b can store natural images and OSD images that are different from the image output control unit 80, as represented by “PicMap2” and “OsdMap2”. Accordingly, different composite images can be input to the video encoder 71c and the HDMI controller 71e.

図９は、従来のスクリーン・コントローラ７１ｂに搭載される他の画像出力制御部の回路構成を示す図である。
図９（ａ）に示す他の第１の画像出力制御部９１は、第１及び第２のバッファ９１ａ及び９１ｂの後段にブレンド回路９１ｃを配置することにより、ミックス回路９１ｆを用いて、ブレンド回路９１ｃが出力する２つの自然画像をブレンドして得られる合成画像と、カラーパレット変換回路９１ｅが第３のバッファ９１ｄに格納されたＯＳＤ画像をビットマップイメージに変換したものとを合成し出力するようになっている。 FIG. 9 is a diagram showing a circuit configuration of another image output control unit mounted on the conventional screen controller 71b.
The other first image output control unit 91 shown in FIG. 9A uses the mix circuit 91f by disposing the blend circuit 91c after the first and second buffers 91a and 91b. A composite image obtained by blending two natural images output by 91c and a color palette conversion circuit 91e that converts the OSD image stored in the third buffer 91d into a bitmap image are combined and output. It has become.

図９（ｂ）に示す他の第２の画像出力制御部９２は、第１のバッファ９２ａに格納された自然画像を、カラーパレット変換回路９２ｄが第２のバッファ９２ｂに格納されたＯＳＤ画像をビットマップイメージに変換したものとミックス回路９２ｆにより合成し、その合成画像を、カラーパレット変換回路９２ｅが第３のバッファ９２ｃに格納された別のＯＳＤ画像をビットマップイメージに変換したものとミックス回路９２ｇにより合成し出力するようになっている。
特開平８−２７２９４３号公報特開平８−２７２９９９号公報特開平１１−１４６２７５号公報 The other second image output control unit 92 shown in FIG. 9B displays the natural image stored in the first buffer 92a, and the OSD image stored in the second buffer 92b by the color palette conversion circuit 92d. The image converted into the bitmap image is combined with the mix circuit 92f, and the combined image is combined with the image obtained by converting the other OSD image stored in the third buffer 92c into the bitmap image by the color palette conversion circuit 92e. It is synthesized and output by 92g.
Japanese Patent Laid-Open No. 8-272943 JP-A-8-272999 Japanese Patent Laid-Open No. 11-146275

従来のスクリーン・コントローラ（画像制御装置）７１ｂは、図８及び図９に示すように、最終的に出力される画像は入力させた画像にのみ依存する回路構成となっていた。つまり、出力可能とすべき画像の種類の仕様に合わせて決定された回路構成となっていた。このため、仕様が異なれば別のスクリーン・コントローラ７１ｂを用意しなければならず、仕様の変更に柔軟に対応できないという問題点があった。 As shown in FIGS. 8 and 9, the conventional screen controller (image control apparatus) 71b has a circuit configuration in which the finally output image depends only on the input image. That is, the circuit configuration is determined according to the specification of the type of image that should be output. For this reason, if the specifications are different, another screen controller 71b must be prepared, and there is a problem that it is not possible to flexibly cope with a change in the specifications.

上記仕様に対応できない場合、新たに画像制御装置を設計しなければならず、製品開発を遅らせる原因となりうる。現在では、製品開発サイクルが短くなってきていることもあり、仕様の変更に柔軟に対応できるようにすることは極めて重要であると考えられる。 If the above specifications cannot be met, a new image control device must be designed, which may cause product development to be delayed. At present, the product development cycle is becoming shorter, and it is considered extremely important to be able to respond flexibly to changes in specifications.

ソフトウェアによる出力画像の制御を採用した場合には、仕様の変更にも或る程度、柔軟に対応することが可能である。しかし、携帯機器では、搭載する制御部（ＣＰＵ）の負荷が重くなるため、ソフトウェアによる制御は採用が困難なのが実情である。それにより従来は、図８及び図９に示すように、その制御方法は採用されていない。 When the control of the output image by software is adopted, it is possible to flexibly cope with a change in specifications to some extent. However, since the load on the control unit (CPU) to be mounted is heavy in portable devices, it is actually difficult to adopt software control. Therefore, conventionally, as shown in FIGS. 8 and 9, the control method is not adopted.

本発明の課題は、出力可能とすべき画像の種類の仕様の変更に柔軟に対応可能な画像制御装置を提供することにある。 An object of the present invention is to provide a flexibly adaptable image control equipment changes the type specifications of the output enable an image to be.

本発明の第１の態様の画像制御装置は、複数の画像を別々に入力し、該複数の画像を用いて出力する出力画像の制御を行う画像制御装置において、それぞれ入力された異なる第１〜第３の画像を記憶する第１〜第３の画像記憶手段と、前記第１〜第３の画像とは別に入力される第４の画像を記憶する第４の画像記憶手段と、前記第１、及び第２の画像記憶手段に記憶された第１、及び第２の画像を合成して第１の合成画像を出力する第１の画像合成手段と、前記第１の画像、及び前記第１の合成画像を入力し、そのうちの一つを第１の選択画像として選択し出力する第１の選択手段と、前記第１の選択画像と前記第３の画像を合成して第２の合成画像を出力する第２の画像合成手段と、前記第２の画像、前記第１の合成画像、及び前記第２の合成画像を入力し、そのうちの一つを第２の選択画像として選択し出力する第２の選択手段と、前記第４の画像、及び前記第２の選択画像を入力し合成して第３の合成画像を出力する第３の画像合成手段と、前記第２の合成画像及び前記第３の合成画像の一方を選択して前記出力画像として出力する画像出力手段と、を具備する。 The image control apparatus according to the first aspect of the present invention is configured to input a plurality of images separately, and to control output images output using the plurality of images. First to third image storage means for storing a third image, fourth image storage means for storing a fourth image input separately from the first to third images, and the first And first image synthesizing means for synthesizing the first and second images stored in the second image storage means and outputting a first synthesized image, the first image, and the first image A first selection unit that inputs and outputs one of them as a first selection image , and combines the first selection image and the third image to generate a second combination image. a second image synthesizing means for outputting said second image, the first synthesized image, and the second Enter the formed image, and second selecting means for selecting one of them as the second selected image output, the fourth image, and inputs the second selected image combined third and the A third image synthesizing unit that outputs a synthesized image; and an image output unit that selects one of the second synthesized image and the third synthesized image and outputs the selected image as the output image.

本発明では、それぞれ異なる第１〜第３の画像を入力し、第１、及び第２の画像を合成して第１の合成画像を生成し、第１の画像、及び第１の合成画像を入力し、そのうちの一つを第１の選択画像として選択して出力し、第１の選択画像と第３の画像を合成して第２の合成画像を生成し、その第２の合成画像を出力可能とする。 In the present invention, different first to third images are input, the first and second images are combined to generate a first combined image, and the first image and the first combined image are generated. One of them is selected and output as a first selected image, and a second synthesized image is generated by synthesizing the first selected image and the third image, and the second synthesized image is Enable output.

第２の合成画像の生成のために第３の画像と共に用いる画像は、第１の画像、及び第１の合成画像のなかから選択可能となっている。このため、その選択を通してより多くの種類の画像を生成することができる。それにより、出力可能とすべき画像の種類における携帯機器での仕様の変更にも柔軟に対応可能となって、より迅速な製品開発にも寄与できるようになる。 The image used together with the third image for generating the second composite image can be selected from the first image and the first composite image. For this reason, more types of images can be generated through the selection. As a result, it is possible to flexibly cope with changes in the specifications of portable devices for the types of images that should be output, and it is possible to contribute to faster product development.

第２の画像、第１の合成画像、及び第２の合成画像を入力し、そのうちの一つを第２の選択画像として選択して出力し、第１〜第３の画像とは別に入力される第４の画像、及び第２の選択画像を入力し合成して第３の合成画像を生成し、その第３の合成画像を出力可能とした場合には、更に多くの種類の画像を生成することができるようになる。このため、仕様の変更にもより柔軟に幅広く対応可能となる。 The second image, the first composite image, and the second composite image are input, one of them is selected and output as the second selection image, and is input separately from the first to third images. If a fourth synthesized image and a second selected image are input and synthesized to generate a third synthesized image, and the third synthesized image can be output, more types of images are generated. Will be able to. For this reason, it becomes possible to deal with changes in specifications more flexibly and widely.

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図１は、本実施形態による画像制御装置の回路構成を示す図である。その画像制御装置１０は、例えば図７に示すスクリーン・コントローラ７１ｂとして用いることが可能なものである。それにより、本実施形態による携帯機器は、図１に示す画像制御装置１０をそのコントローラ７１ｂの代わりに搭載することで実現される。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram illustrating a circuit configuration of the image control apparatus according to the present embodiment. The image control apparatus 10 can be used as, for example, the screen controller 71b shown in FIG. Thereby, the portable device according to the present embodiment is realized by mounting the image control apparatus 10 shown in FIG. 1 instead of the controller 71b.

図１に示すように、画像制御装置１０は、２つの画像出力制御部１１及び１２、セレクタ１３、ブレンド回路１４、及びスクリーン制御部１５を備えた構成となっている。
画像出力制御部１１は、ＯＳＤ画像格納用の第１のバッファ１１ａ、自然画像格納用の第２のバッファ１１ｄ、第１のバッファ１１ａに格納されたＯＳＤ画像をビットマップイメージのものに変換するカラーパレット変換回路１１ｂ、及びそのビットマップイメージのＯＳＤ画像とブレンド回路１４からの画像とを入力し合成するミックス回路１１ｃを備えている。他方の画像出力制御部１２も同様に、ＯＳＤ画像格納用の第１のバッファ１２ａ、自然画像格納用の第２のバッファ１２ｄ、第１のバッファ１２ａに格納されたＯＳＤ画像をビットマップイメージのものに変換するカラーパレット変換回路１２ｂ、及びそのビットマップイメージのＯＳＤ画像とブレンド回路１４からの画像とを入力し合成するミックス回路１２ｃを備えている。各バッファ１１ａ、１１ｄ、１２ａ及び１２ｄにはそれぞれ、ＤＭＣＡ７１ａにより転送された画像が格納される。 As shown in FIG. 1, the image control apparatus 10 includes two image output control units 11 and 12, a selector 13, a blend circuit 14, and a screen control unit 15.
The image output control unit 11 converts the OSD image stored in the first buffer 11a for storing the OSD image, the second buffer 11d for storing the natural image, and the first buffer 11a into a bitmap image. A palette conversion circuit 11b and a mix circuit 11c for inputting and synthesizing the OSD image of the bitmap image and the image from the blend circuit 14 are provided. Similarly, the other image output control unit 12 uses the first buffer 12a for storing the OSD image, the second buffer 12d for storing the natural image, and the OSD image stored in the first buffer 12a as a bitmap image. And a color palette conversion circuit 12b for converting the image into the image, and a mix circuit 12c for inputting and synthesizing the OSD image of the bitmap image and the image from the blend circuit 14. Each of the buffers 11a, 11d, 12a, and 12d stores an image transferred by the DMCA 71a.

ブレンド回路１４は、自然画像を画像出力制御部１１及び１２からそれぞれ入力し、合成画像を画像出力制御部１１から入力する。セレクタ１３は、画像出力制御部１１及び１２からそれぞれ合成画像を入力し、そのうちの一つを選択して出力する。そのようにして出力される合成画像は、例えば図７のＬＣＤコントローラ７１ｄに入力され、液晶表示器Ｅ２上に表示される。画像出力制御部１２から出力される合成画像は、例えばビデオ・エンコーダ７１ｃ或いはＨＤＭＩコントローラ７１ｅに入力され、外部に出力される。 The blend circuit 14 inputs a natural image from the image output control units 11 and 12 and inputs a composite image from the image output control unit 11. The selector 13 receives composite images from the image output control units 11 and 12, respectively, selects one of them, and outputs it. The composite image output in this way is input, for example, to the LCD controller 71d shown in FIG. 7 and displayed on the liquid crystal display E2. The composite image output from the image output control unit 12 is input to, for example, the video encoder 71c or the HDMI controller 71e and output to the outside.

図２は、上記ブレンド回路１４の回路構成を示す図である。図中に表記の「ａ」〜「ｅ」はそれぞれ端子を表している。端子ａ及びｂからは画像出力制御部１１及び１２から自然画像がそれぞれ入力され、端子ｃからは画像出力制御部１１から合成画像が入力され、端子ｄ及びｅからは画像出力制御部１１及び１２にそれぞれ画像が出力される。以降は便宜的に、画像出力制御部１１から入力される自然画像には「Ｐｉｃ１」、画像出力制御部１２から入力される自然画像には「Ｐｉｃ２」をそれぞれ付すことにする。ブレンド回路１４から出力される画像については、その端子のシンボルを付すことにする。それにより、画像出力制御部１１から入力する合成画像には「ｃ」を付すことにする。また、画像出力制御部１１の第１のバッファ１１ａに格納されるＯＳＤ画像には「ＯＳＤ２」、画像出力制御部１２の第１のバッファ１２ａに格納されるＯＳＤ画像には「ＯＳＤ１」をそれぞれ付すことにする。 FIG. 2 is a diagram showing a circuit configuration of the blend circuit 14. In the figure, “a” to “e” shown represent terminals. A natural image is input from the image output control units 11 and 12 from the terminals a and b, a composite image is input from the image output control unit 11 from the terminal c, and the image output control units 11 and 12 are input from the terminals d and e. The images are output respectively. Hereinafter, for the sake of convenience, “Pic1” is attached to the natural image input from the image output control unit 11, and “Pic2” is attached to the natural image input from the image output control unit 12. The image outputted from the blend circuit 14 is given a symbol of its terminal. Thus, “c” is added to the composite image input from the image output control unit 11. Also, “OSD2” is attached to the OSD image stored in the first buffer 11a of the image output control unit 11, and “OSD1” is attached to the OSD image stored in the first buffer 12a of the image output control unit 12. I will decide.

図３は、各種画像の例を示す図である。図３（ａ）はＯＳＤ画像ＯＳＤ１、図３（ｂ）はＯＳＤ画像ＯＳＤ２、図３（ｃ）は自然画像Ｐｉｃ１、及び図３（ｅ）は自然画像Ｐｉｃ２の例をそれぞれ示している。図３（ａ）に示すＯＳＤ画像ＯＳＤ１は、各種情報表示や各種設定を可能とするためのものであり、図３（ｂ）に示すＯＳＤ画像ＯＳＤ２は、人物の顔認識されたエリアの位置を枠で通知するためのものである。自然画像Ｐｉｃ１及びＰｉｃ２と同じく、ＯＳＤ画像ＯＳＤ１及びＯＳＤ２は別の種類の画像であっても良い。 FIG. 3 is a diagram illustrating examples of various images. 3A shows an example of an OSD image OSD1, FIG. 3B shows an example of an OSD image OSD2, FIG. 3C shows an example of a natural image Pic1, and FIG. 3E shows an example of a natural image Pic2. The OSD image OSD1 shown in FIG. 3A is for enabling various information display and various settings, and the OSD image OSD2 shown in FIG. 3B shows the position of the area where the face of the person is recognized. This is for notification in a frame. Like the natural images Pic1 and Pic2, the OSD images OSD1 and OSD2 may be different types of images.

図４は、各画像間の合成上の優先関係を説明する図である。手前側に位置する程、優先順位が高く設定されている。それにより、優先関係は、ＯＳＤ画像ＯＳＤ１＞ＯＳＤ画像ＯＳＤ２＞（自然画像Ｐｉｃ１、自然画像Ｐｉｃ２）の順となっている。 FIG. 4 is a diagram for explaining the priority relationship in composition between the images. The priority is set higher as the position is closer to the front. Thereby, the priority relationship is in the order of OSD image OSD1> OSD image OSD2> (natural image Pic1, natural image Pic2).

図４では、自然画像Ｐｉｃ１は自然画像Ｐｉｃ２よりも優先順位が高いように示している。しかし、それらの間の優先関係は、ブレンディングの仕方、つまり後述する乗算器２１及び２２にそれぞれ設定される係数に応じて変更させることができる。それにより、優先順位を同じにすることや、自然画像Ｐｉｃ２の優先順位の方を高くすることも可能である。 In FIG. 4, the natural image Pic1 is shown to have a higher priority than the natural image Pic2. However, the priority relationship between them can be changed according to a blending method, that is, a coefficient set in each of multipliers 21 and 22 to be described later. Thereby, it is possible to make the priority order the same, and to make the priority order of the natural image Pic2 higher.

端子ａから入力した自然画像Ｐｉｃ１は、乗算器２１及びセレクタ２４にそれぞれ入力される。乗算器２１は、スクリーン制御部１５により設定された係数を自然画像Ｐｉｃ１の各画素データに乗算する。もう一つの乗算器２２は、端子ｂから入力した自然画像Ｐｉｃ２の各画素データに、スクリーン制御部１５により設定された係数を乗算する。そのような乗算が行われた２つの自然画像Ｐｉｃ１及びＰｉｃ２が、加算器２３により画素毎に加算される。それにより、各乗算器２１及び２２にそれぞれ設定された係数に応じて２つの自然画像Ｐｉｃ１及びＰｉｃ２が重ね合わされるブレンディング（特許文献３）が行われる。そのブレンディングにより、自然画像Ｐｉｃ２は自然画像Ｐｉｃ１に透けて見えるように合成され、図４に示す自然画像Ｐｉｃ１及びＰｉｃ２間の優先関係が満たされるようにしている。そのようなブレンディングにより得られた合成画像、或いは自然画像Ｐｉｃ１がセレクタ２４により選択され、端子ｄから画像ｄとして画像出力制御部１１（のミックス回路１１ｃ）に出力される。 The natural image Pic1 input from the terminal a is input to the multiplier 21 and the selector 24, respectively. The multiplier 21 multiplies each pixel data of the natural image Pic1 by the coefficient set by the screen control unit 15. Another multiplier 22 multiplies each pixel data of the natural image Pic2 input from the terminal b by a coefficient set by the screen control unit 15. The two natural images Pic1 and Pic2 subjected to such multiplication are added by the adder 23 for each pixel. As a result, blending (Patent Document 3) is performed in which two natural images Pic1 and Pic2 are overlaid according to the coefficients set in the multipliers 21 and 22, respectively. By the blending, the natural image Pic2 is synthesized so as to show through the natural image Pic1, and the priority relationship between the natural images Pic1 and Pic2 shown in FIG. 4 is satisfied. The synthesized image or natural image Pic1 obtained by such blending is selected by the selector 24, and is output from the terminal d to the image output control unit 11 (the mix circuit 11c) as the image d.

自然画像Ｐｉｃ２は、その合成画像、及び端子ｃから入力した合成画像ｃと共にセレクタ２５に入力される。それにより、それらのうちの一つがセレクタ２５により選択されて端子ｅから画像ｅとして画像出力制御部（のミックス回路１２ｃ）に出力される。セレクタ２４及び２５における選択は、スクリーン制御部１５の制御により行われる。これは、セレクタ１３でも同様である。 The natural image Pic2 is input to the selector 25 together with the composite image and the composite image c input from the terminal c. Thereby, one of them is selected by the selector 25 and is output from the terminal e to the image output control unit (the mix circuit 12c) as an image e. Selection in the selectors 24 and 25 is performed under the control of the screen control unit 15. The same applies to the selector 13.

図５及び図６は、本実施形態による画像制御装置により実現される出力画像の制御、つまり生成可能な合成画像を説明する図である。次に図５及び図６を参照して、ブレンド回路１４を使用することで生成が可能となる合成画像について具体的に説明する。 5 and 6 are diagrams for describing output image control realized by the image control apparatus according to the present embodiment, that is, a composite image that can be generated. Next, with reference to FIG. 5 and FIG. 6, a composite image that can be generated by using the blend circuit 14 will be described in detail.

図５は、出力画像の制御として、自然画像Ｐｉｃ１をそのまま画像ｄとして出力させる場合のブレンド回路１４の動作、及びその場合に出力可能な画像を示している。図５（ａ）は、ブレンド回路１４の動作を示しており、太線で描画した矢印は画像の流れを表している。これは図６においても同様である。 FIG. 5 shows the operation of the blend circuit 14 when the natural image Pic1 is directly output as the image d as an output image control, and the image that can be output in that case. FIG. 5A shows the operation of the blend circuit 14, and arrows drawn with bold lines represent the flow of images. The same applies to FIG.

自然画像Ｐｉｃ１は、例えば乗算器２１及び２２の係数をそれぞれ１及び０とすることにより、加算器２３からそのまま出力される（自然画像Ｐｉｃ２を第２のバッファ１２ｄに格納せず、乗算器２１の係数を１としてもそのまま出力される）。加算器２３から出力された自然画像Ｐｉｃ１は、第１のバッファ１１ａにＯＳＤ画像ＯＳＤ２が格納されていなければ、セレクタ２４、画像出力制御部１１のミックス回路１１ｃ及びセレクタ１３を介してそのまま出力される。それにより、図５（ｂ−１）に示すように、自然画像Ｐｉｃ１をそのまま液晶表示器Ｅ２上に表示させることができる。また、画像出力制御部１２の第１のバッファ１２ａにＯＳＤ画像ＯＳＤ１が格納されていなければ、セレクタ２５及びミックス回路１２ｃを介してそのまま出力される。それにより、図５（ｂ−２）に示すように、自然画像Ｐｉｃ１をテレビジョンＥ１等に表示させることができる。第１のバッファ１２ａにＯＳＤ画像ＯＳＤ１が格納されていれば、ミックス回路１２ｃによりＯＳＤ画像ＯＳＤ１と合成されるため、その合成画像を表示させることができる。 The natural image Pic1 is output as it is from the adder 23, for example, by setting the coefficients of the multipliers 21 and 22 to 1 and 0, respectively (the natural image Pic2 is not stored in the second buffer 12d, and the multiplier 21 Even if the coefficient is 1, it is output as it is). If the OSD image OSD2 is not stored in the first buffer 11a, the natural image Pic1 output from the adder 23 is output as it is through the selector 24, the mix circuit 11c of the image output control unit 11, and the selector 13. . Thereby, as shown in FIG. 5 (b-1), the natural image Pic1 can be displayed as it is on the liquid crystal display E2. If the OSD image OSD1 is not stored in the first buffer 12a of the image output control unit 12, it is output as it is through the selector 25 and the mix circuit 12c. Thereby, as shown in FIG. 5B-2, the natural image Pic1 can be displayed on the television E1 or the like. If the OSD image OSD1 is stored in the first buffer 12a, it is combined with the OSD image OSD1 by the mix circuit 12c, so that the combined image can be displayed.

一方、第１のバッファ１１ａにＯＳＤ画像ＯＳＤ２が格納されていれば、自然画像Ｐｉｃ１はミックス回路１１ｃによりＯＳＤ画像ＯＳＤ２と合成される。このため、図３（ｃ−１）に示すその合成画像は液晶表示器Ｅ２上に表示させることができる。画像ｃとして入力されるその合成画像をセレクタ２５により選択すれば、ミックス回路１２ｃによりＯＳＤ画像ＯＳＤ１と合成することができる。それにより、図５（ｃ−２）に示すような合成画像をテレビジョンＥ１等に表示させられるようになる。 On the other hand, if the OSD image OSD2 is stored in the first buffer 11a, the natural image Pic1 is combined with the OSD image OSD2 by the mix circuit 11c. For this reason, the composite image shown in FIG. 3C-1 can be displayed on the liquid crystal display E2. If the combined image input as the image c is selected by the selector 25, it can be combined with the OSD image OSD1 by the mix circuit 12c. Accordingly, a composite image as shown in FIG. 5C-2 can be displayed on the television E1 or the like.

図６は、図５に示す動作以外の可能なブレンド回路１４の動作を示している。ここでは、図６（ａ）〜（ｄ）の４つの動作を示している。個別に、ブレンド回路１４の動作、及びその動作によって出力可能な画像について具体的に説明する。 FIG. 6 shows possible operations of the blend circuit 14 other than those shown in FIG. Here, four operations shown in FIGS. 6A to 6D are shown. The operation of the blend circuit 14 and the images that can be output by the operation will be specifically described individually.

図６（ａ）は、加算器２３を用いて自然画像Ｐｉｃ１及びＰｉｃ２のブレンディングを行う場合のブレンド回路１４の動作を示している。そのブレンディングを行うことにより、液晶表示器Ｅ２上には自然画像Ｐｉｃ１＋自然画像Ｐｉｃ２の合成画像、或いはその合成画像に更にＯＳＤ画像ＯＳＤ２を加えたものを表示させることができる。テレビジョンＥ１等には、それら２つの合成画像に加えて、４つの画像を全て合成したものも表示させることができる。 FIG. 6A shows the operation of the blend circuit 14 when blending the natural images Pic 1 and Pic 2 using the adder 23. By performing the blending, it is possible to display on the liquid crystal display E2 a composite image of the natural image Pic1 + natural image Pic2, or a composite image obtained by further adding the OSD image OSD2. In addition to these two composite images, the television E1 or the like can also display a composite of all four images.

図６（ｂ）は、自然画像Ｐｉｃ１及びＰｉｃ２をそれぞれそのまま出力させるブレンド回路１４の動作を示している。その動作の場合、液晶表示器Ｅ２上では、自然画像Ｐｉｃ１、或いは自然画像Ｐｉｃ１＋ＯＳＤ画像ＯＳＤ２の合成画像を表示させることができる。テレビジョンＥ１等では、自然画像Ｐｉｃ２、或いは自然画像Ｐｉｃ２＋ＯＳＤ画像ＯＳＤ１の合成画像を表示させることができる。 FIG. 6B shows the operation of the blend circuit 14 that outputs the natural images Pic1 and Pic2 as they are. In the case of the operation, a natural image Pic1 or a composite image of the natural image Pic1 + OSD image OSD2 can be displayed on the liquid crystal display E2. In the television E1 or the like, a natural image Pic2 or a composite image of the natural image Pic2 + OSD image OSD1 can be displayed.

図６（ｃ）は、自然画像Ｐｉｃ１及びＰｉｃ２のブレンディングを行いつつ、自然画像Ｐｉｃ２をそのまま出力する場合のブレンド回路１４の動作を示している。その動作の場合、液晶表示器Ｅ２上では、自然画像Ｐｉｃ１＋自然画像Ｐｉｃ２の合成画像、或いはその合成画像にＯＳＤ画像ＯＳＤ２を加えた合成画像を表示させることができる。テレビジョンＥ１等では、自然画像Ｐｉｃ２、或いは自然画像Ｐｉｃ２＋ＯＳＤ画像ＯＳＤ１の合成画像を表示させることができる。 FIG. 6C shows the operation of the blend circuit 14 when the natural image Pic2 is output as it is while blending the natural images Pic1 and Pic2. In the case of the operation, on the liquid crystal display E2, a composite image of the natural image Pic1 + natural image Pic2 or a composite image obtained by adding the OSD image OSD2 to the composite image can be displayed. In the television E1 or the like, a natural image Pic2 or a composite image of the natural image Pic2 + OSD image OSD1 can be displayed.

図６（ｄ）は、自然画像Ｐｉｃ１及びＰｉｃ２のブレンディングを行いつつ、自然画像Ｐｉｃ１をそのまま出力する場合のブレンド回路１４の動作を示している。その動作の場合、液晶表示器Ｅ２上では、自然画像Ｐｉｃ１、或いは自然画像Ｐｉｃ１＋ＯＳＤ画像ＯＳＤ２の合成画像を表示させることができる。テレビジョンＥ１等では、自然画像Ｐｉｃ１＋自然画像Ｐｉｃ２の合成画像、或いはその合成画像にＯＳＤ画像ＯＳＤ１を加えた合成画像を表示させることができる。 FIG. 6D shows the operation of the blend circuit 14 when the natural image Pic1 is output as it is while blending the natural images Pic1 and Pic2. In the case of the operation, a natural image Pic1 or a composite image of the natural image Pic1 + OSD image OSD2 can be displayed on the liquid crystal display E2. In the television E1 or the like, a composite image of the natural image Pic1 + natural image Pic2 or a composite image obtained by adding the OSD image OSD1 to the composite image can be displayed.

このようにして本実施形態では、乗算器２１及び２２にそれぞれ設定する係数や、各セレクタ１３、２４及び２５の制御により、４つの画像を用いた全ての組み合わせで２つ以上の画像を合成して得られる合成画像を生成できるようになっている。４つの画像をそのまま出力させることも可能である。そのように数多くの種類の画像を出力可能であることから、仕様の変更により変更後の仕様に合った画像制御装置を用意しなければならない確率は低く抑えられる。それにより、仕様の変更に柔軟に対応可能となって、より迅速な携帯機器７０の製品開発にも寄与することができる。つまり、本実施形態による画像制御装置を採用（搭載）することにより、携帯機器７０の製品開発はより容易となる。 In this way, in the present embodiment, two or more images are synthesized in all combinations using four images by the coefficients set in the multipliers 21 and 22 and the control of the selectors 13, 24 and 25, respectively. It is possible to generate a composite image obtained in this way. It is also possible to output four images as they are. Since many types of images can be output in this way, the probability that an image control device that meets the changed specifications due to a change in specifications can be kept low. As a result, it is possible to flexibly cope with changes in specifications, and it is possible to contribute to faster product development of the portable device 70. That is, by adopting (installing) the image control apparatus according to the present embodiment, product development of the portable device 70 becomes easier.

なお、本実施形態では、ブレンディング用に２つの乗算器２１及び２２、並びに加算器２３を備えているが、それらの代わりにミックス回路を採用しても良い。また、画像出力制御部１１及び１２はそれぞれ２つの画像を入力するようになっているが、それよりも多くの画像を入力できるようにしても良い。そのようにより多くの画像を入力できるようにした場合には、例えば第１或いは第２のバッファの前段に別のバッファ、及びそのバッファに格納された画像を用いた合成を行うための回路を配置し、その回路から出力される画像を第１或いは第２のバッファに格納するようにしても良い。そのような構成を採用しても、より多くの種類の画像を出力できるようになる。 In the present embodiment, the two multipliers 21 and 22 and the adder 23 are provided for blending, but a mix circuit may be employed instead. In addition, the image output control units 11 and 12 each input two images, but more images may be input. When more images can be input in this way, for example, another buffer and a circuit for performing synthesis using the image stored in the buffer are arranged in front of the first or second buffer. The image output from the circuit may be stored in the first or second buffer. Even if such a configuration is adopted, more types of images can be output.

本実施形態による画像制御装置の回路構成を示す図である。It is a figure which shows the circuit structure of the image control apparatus by this embodiment. 本実施形態による画像制御装置に搭載されたブレンド回路１４の回路構成を示す図である。It is a figure which shows the circuit structure of the blend circuit 14 mounted in the image control apparatus by this embodiment. 各種画像の例を示す図である。It is a figure which shows the example of various images. 各画像間の合成上の優先関係を説明する図である。It is a figure explaining the priority relationship on the synthesis | combination between each image. 本実施形態による画像制御装置により実現される出力画像の制御を説明する図である（その１）。It is a figure explaining the control of the output image implement | achieved by the image control apparatus by this embodiment (the 1). 本実施形態による画像制御装置により実現される出力画像の制御を説明する図である（その２）。It is a figure explaining the control of the output image implement | achieved by the image control apparatus by this embodiment (the 2). 携帯機器に搭載される表示システムの構成を示す図である。It is a figure which shows the structure of the display system mounted in a portable apparatus. 従来のスクリーン・コントローラ（画像制御装置）７１ｂの回路構成を示す図である。It is a figure which shows the circuit structure of the conventional screen controller (image control apparatus) 71b. 従来のスクリーン・コントローラ７１ｂに搭載される他の画像出力制御部の回路構成を示す図である。It is a figure which shows the circuit structure of the other image output control part mounted in the conventional screen controller 71b.

符号の説明Explanation of symbols

１０画像制御装置
１１、１２画像出力制御部
１１ａ、１２ａ第１のバッファ
１１ｂ、１２ｂ第２のバッファ
１１ｃ、１２ｃミックス回路
１１ｄ、１２ｄ第２のバッファ
１３、２４、２５セレクタ
１４ブレンド回路
１５スクリーン制御部
２１、２２乗算器
２３加算器 DESCRIPTION OF SYMBOLS 10 Image control apparatus 11, 12 Image output control part 11a, 12a 1st buffer 11b, 12b 2nd buffer 11c, 12c Mix circuit 11d, 12d 2nd buffer 13, 24, 25 Selector 14 Blend circuit 15 Screen control part 21, 22 Multiplier 23 Adder

Claims

複数の画像を別々に入力し、該複数の画像を用いて出力する出力画像の制御を行う画像制御装置において、
それぞれ入力された異なる第１〜第３の画像を記憶する第１〜第３の画像記憶手段と、
前記第１〜第３の画像とは別に入力される第４の画像を記憶する第４の画像記憶手段と、
前記第１、及び第２の画像記憶手段に記憶された第１、及び第２の画像を合成して第１の合成画像を出力する第１の画像合成手段と、
前記第１の画像、及び前記第１の合成画像を入力し、そのうちの一つを第１の選択画像として選択し出力する第１の選択手段と、
前記第１の選択画像と前記第３の画像を合成して第２の合成画像を出力する第２の画像合成手段と、
前記第２の画像、前記第１の合成画像、及び前記第２の合成画像を入力し、そのうちの一つを第２の選択画像として選択し出力する第２の選択手段と、
前記第４の画像、及び前記第２の選択画像を入力し合成して第３の合成画像を出力する第３の画像合成手段と、
前記第２の合成画像及び前記第３の合成画像の一方を選択して前記出力画像として出力する画像出力手段と、
を具備することを特徴とする画像制御装置。
In an image control apparatus that inputs a plurality of images separately and controls an output image that is output using the plurality of images,
First to third image storage means for storing different first to third images respectively inputted;
A fourth image storage means for storing a fourth image input separately from the first to third images;
First image synthesizing means for synthesizing the first and second images stored in the first and second image storage means and outputting a first synthesized image;
First selection means for inputting the first image and the first composite image, and selecting and outputting one of them as a first selection image ;
Second image synthesizing means for synthesizing the first selected image and the third image and outputting a second synthesized image;
Second selection means for inputting the second image, the first composite image, and the second composite image, and selecting and outputting one of them as a second selection image;
Third image synthesizing means for inputting and synthesizing the fourth image and the second selected image and outputting a third synthesized image;
Image output means for selecting one of the second composite image and the third composite image and outputting it as the output image;
An image control apparatus comprising: