WO2021192096A1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2021192096A1
WO2021192096A1 PCT/JP2020/013351 JP2020013351W WO2021192096A1 WO 2021192096 A1 WO2021192096 A1 WO 2021192096A1 JP 2020013351 W JP2020013351 W JP 2020013351W WO 2021192096 A1 WO2021192096 A1 WO 2021192096A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
value
pixel
image processing
images
Prior art date
Application number
PCT/JP2020/013351
Other languages
English (en)
French (fr)
Inventor
司 深澤
浩平 岡原
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2020/013351 priority Critical patent/WO2021192096A1/ja
Priority to JP2021575900A priority patent/JP7038935B2/ja
Publication of WO2021192096A1 publication Critical patent/WO2021192096A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, and an image processing program.
  • the superposed area uses an alpha ( ⁇ ) value which is a transparency set for each pixel.
  • ⁇ alpha
  • Image is created.
  • Patent Document 1 when a tall subject exists in the overlapping region of the two camera images and the correlation between the feature amounts of the subjects in the two camera images is high, the blending ratio of the subjects is changed.
  • the present disclosure has been made to solve the above problems, and an object of the present disclosure is to generate a highly visible composite image.
  • the image processing device is a device that generates a composite image based on a plurality of captured images taken by a plurality of imaging devices, and is based on the camera parameters of the plurality of imaging devices and the plurality of imaging devices.
  • a permissible threshold indicating the permissible value of the elongation rate of the subject in a plurality of projected images obtained by projecting the photographed subject onto a predetermined projection surface, and adjacent projected images among the plurality of projected images.
  • the camera parameter input unit that acquires the difference threshold indicating the allowable value of the difference in the elongation rate, the camera parameter, the allowable threshold, and the difference threshold, the projection range of the plurality of projected images and the plurality of projections are used.
  • a plurality of imaging devices corresponding to each pixel of the composite image in the blend region and each pixel of the composite image in the blend region by determining a blend region in which adjacent projected images in the image overlap.
  • the composite image is created by performing a composite process of connecting the adjacent projected images using the reference table and the reference table creation unit that creates a reference table showing the relationship between the corresponding pixels, which are the respective pixels of the above. It has a synthesis processing unit and.
  • the image processing method is a method executed by an image processing device that generates a composite image based on a plurality of captured images taken by a plurality of imaging devices, and is a method executed by a camera parameter of the plurality of imaging devices.
  • a permissible threshold indicating a permissible value of the elongation rate of the subject in a plurality of projected images obtained by projecting a subject photographed by the plurality of imaging devices onto a predetermined projection surface, and the plurality of projected images.
  • the projection range of the plurality of projected images A blend region, which is a portion where adjacent projected images overlap in the plurality of projected images, is determined, and each pixel of the composite image in the blend region and each pixel of the composite image in the blend region correspond to the said.
  • the composite image is created by performing a step of creating a reference table showing the relationship between the corresponding pixels, which are pixels of each of the plurality of imaging devices, and a composite process of connecting the adjacent projected images using the reference table. It has a step to do.
  • the image processing device the image processing method, and the image processing program according to the present disclosure, it is possible to generate a composite image with high visibility.
  • FIG. 1 is a diagram showing a hardware configuration of the image processing device 10 according to the embodiment.
  • the image processing device 10 generates a composite image based on a plurality of captured images (also referred to as “camera images”) taken by a plurality of imaging devices (generally, a plurality of cameras).
  • FIG. 1 shows an example in which a plurality of cameras include two cameras Cam1 and Cam2. However, the number of cameras may be three or more.
  • the image composition system may have a display device 20 such as a liquid crystal display for displaying a composite image.
  • the image processing device 10 includes a processor 11 as an information processing unit that performs various arithmetic processes and various hardware control processes, a memory 12 that is a main storage device, and an HDD (hard disk drive). ) Or a storage device 13 which is an auxiliary storage device such as an SSD (Solid State Drive). Further, the image processing device 10 receives a plurality of camera images I1, I2, ... Transmitted from each of the plurality of cameras Cam1, Cam2, ..., Converts them into image data, and captures them inside the image processing device 10. It has an input interface 14 and an output interface 15 that outputs a composite image (that is, composite image data) generated by the image processing device 10 to the display device 20.
  • a processor 11 as an information processing unit that performs various arithmetic processes and various hardware control processes
  • a memory 12 that is a main storage device
  • an HDD hard disk drive
  • storage device 13 which is an auxiliary storage device such as an SSD (Solid State Drive).
  • the image processing device 10 receives a pluralit
  • the image processing device 10 is composed of, for example, a processing circuit.
  • the image processing device 10 may be configured by a computer including a processor 11 that executes an image processing program that is a software program. Further, the image processing program is installed in the image processing apparatus 10 from a computer-readable information recording medium for recording information or by downloading via a network.
  • the plurality of cameras Cam1, Cam2, ... Are image pickup devices having a function of capturing an image.
  • the plurality of cameras Cam1, Cam2, ... Are an image pickup device having an image pickup device such as a CCD (Charged-Coupled Devices) or CMOS (Complementary Metal-Oxide-Semiconductor) and a lens.
  • the plurality of cameras Cam1, Cam2, ... Are, for example, surveillance cameras.
  • the image composition system shown in FIG. 1 is a monitoring system.
  • the plurality of cameras Cam1, Cam2, ... are the same type of equipment.
  • the plurality of cameras Cam1, Cam2, ... are connected to the input interface 14 of the image processing device 10 by wire, but may be connected wirelessly.
  • the connection method between the plurality of cameras Cam1 and Cam2 and the input interface 14 is not limited to a specific method.
  • the connection method is, for example, a connection method using an IP (Internet Protocol) network or a connection method using a coaxial cable.
  • the input interface 14 has a function of simultaneously receiving a plurality of camera images I1, I2, ... That is, a plurality of image signals transmitted from the plurality of cameras Cam1, Cam2, ....
  • the storage device 13 or the memory 12 stores an image processing program which is a software program for causing the image processing device 10 to execute the image processing method according to the present embodiment. By executing this image processing program, the processor 11 can execute the image processing method according to the embodiment.
  • the image data taken into the image processing device 10 is stored in the memory 12.
  • the image data captured in the image processing device 10 is combined after being subjected to viewpoint conversion (that is, coordinate conversion), which is a process of converting an image having a viewpoint above the imaging target region into a bird's-eye view image.
  • viewpoint conversion that is, coordinate conversion
  • the composite image, which is an image synthesized by the image processing device 10 is transmitted to the display device 20 via the output interface 15. Further, the composite image obtained by synthesizing the bird's-eye view image is also called a "bird's-eye view composite image".
  • the imaging target area is also referred to as a “monitoring target area”.
  • FIG. 2 is a functional block diagram showing the configuration of the image processing device 10 according to the present embodiment.
  • FIG. 3 is a diagram showing a composite image created and a plurality of camera images taken by a plurality of cameras (for example, Cam1 to Cam4).
  • the image processing device 10 includes an image acquisition unit 101, a camera parameter input unit 102, a reference table creation unit 103, a synthesis processing unit 104, and a display control unit 105. ..
  • the image acquisition unit 101 receives a plurality of camera images I1, I2, ... Which are captured images taken by the plurality of cameras Cam1, Cam2, ....
  • the camera parameter input unit 102 projects a plurality of projected images obtained by projecting the camera parameters of the plurality of cameras Cam1, Cam2, ..., The subject photographed by the plurality of cameras Cam1, Cam2, ... On a predetermined projection surface. (e.g., P1, P2, ... as shown in FIG. 3) acceptable threshold k th, and adjacent projection image of the plurality of projection images represent the value of the growth rate k of the object in (e.g., shown in FIG. 3 P1, P2) to obtain the difference threshold Sub th indicating the permissible value of the value k 1, k 2 of the difference Sub elongation k in.
  • P1, P2, ... acceptable threshold k th
  • adjacent projection image of the plurality of projection images represent the value of the growth rate k of the object in (e.g., shown in FIG. 3 P1, P2) to obtain the difference threshold Sub th indicating the permissible value of the value k 1, k 2 of the difference Sub elongation k in.
  • the camera parameters include, for example, internal parameters and external parameters of each camera Cam1, Cam2, ..., Lens distortion correction data of each camera Cam1, Cam2, ..., And the like.
  • the elongation rate k of the subject of each camera Cam1 and Cam2 at each point in the image imaging target region (that is, in the projected image) is also referred to as "k value".
  • Camera parameter input unit 102, the allowable threshold k th camera parameter and elongation k, and the difference threshold Sub th may be obtained from the storage device 13 or from an external image processing apparatus 10 shown in FIG.
  • the elongation rate k will be described in detail with reference to FIG. 5 described later.
  • the reference table creation unit 103 creates a reference table for each camera Cam1 and Cam2 based on the camera parameters acquired by the camera parameter input unit 102 and the projection surface such as the ground. That is, the reference table creation unit 103 creates a number of reference tables equal to the number of cameras.
  • the created reference table is stored in the memory 12, for example.
  • Each reference table is composed of ⁇ values of each of the pixels having W syn in the horizontal direction and H syn in the vertical direction.
  • the horizontal W sync pixels and the vertical H sync pixels correspond to the pixels of the composite image.
  • the compositing processing unit 104 creates a composite image of an arbitrary viewpoint, that is, an arbitrary viewpoint image, using the reference tables for each of the cameras Cam1 and Cam2.
  • the arbitrary viewpoint is above the subject, the projected image is a bird's-eye view image, and the arbitrary viewpoint image is a bird's-eye view composite image.
  • the display control unit 105 transmits an image signal based on the arbitrary viewpoint image created by the synthesis processing unit 104 to the display device 20.
  • the display device 20 displays an image based on the received image signal.
  • FIG. 4 is a diagram showing corresponding pixels of the camera image corresponding to the pixels of the created composite image. See table created by the reference table creation unit 103, horizontal W syn pieces in vertical H syn pixels of the synthesized image created (x syn, y syn) corresponds to the corresponding pixel of each camera Cam1, Cam2 ( It has x cam1 , y cam1 ), (x cam2 , y cam2 ) and the ⁇ value of the corresponding pixel (that is, the weighted coefficient used for the blending process).
  • the lookup table, the pixel (x syn, y syn) for each corresponding pixel of the camera Cam1 (x cam1, y cam1) and its ⁇ value, and the corresponding pixel of the camera Cam2 (x cam2, y cam2) and its It has an ⁇ value.
  • the reference table may be created in advance and stored in the storage device. Further, when the cameras Cam1 and Cam2 are surveillance cameras installed on a moving body such as an unmanned aerial vehicle, the reference table may be created for each frame of the image captured by the cameras Cam1 and Cam2.
  • the reference table creation unit 103 determines the correspondence between the pixels of each camera Cam1 and Cam2 and each pixel of the composite image from the coordinates on the defined projection plane (that is, the predetermined projection plane), the coordinates before the projection conversion process, and the viewpoint. It is calculated by back-calculating the coordinates before the conversion process and the coordinates before the lens distortion correction process.
  • the compositing processing unit 104 simply receives the pixel values of the corresponding pixels of the cameras Cam1 and Cam2 corresponding to each pixel of the compositing image, and the camera images I1 and I2 of the plurality of cameras Cam1 and Cam2. It is possible to create a composite image based on.
  • FIG. 5 is a diagram showing the elongation rate k of the subject of each of the cameras Cam1 and Cam2 at the position of the subject (x, y, z).
  • the camera parameter input unit 102 acquires the elongation rate k of the subject of each camera Cam1 and Cam2 at each point of the imaging target area on the projection surface.
  • the subject is a person.
  • the elongation rate k of the camera Cam1 at the point (x, y, z) is k (x, y, z) Cam1
  • the elongation rate k of the camera Cam2 at the point (x, y, z) is k (x, y).
  • Z) Cam2 is represented by the following equations (1) and (2).
  • Length (AC) indicates the distance between the points A and C, that is, the length of the subject in the projected image on the projection surface.
  • Length (BD) indicates the distance between the points B and D, that is, the length of the subject in the projected image on the projection surface.
  • H indicates the height of the actual subject.
  • k (x, y, z ) Cam1 is denoted both k 1
  • k (x, y , z) Cam2 are denoted both k 2.
  • the elongation rate k is calculated for each pixel in the projected image for each camera. Further, the elongation rate k becomes larger as the distance from the center of the image, which is the center of the image captured by the camera, increases, and the distortion of the image also increases.
  • the elongation of the subject on the composite image can be reduced, and as a result, deterioration of the image quality can be suppressed.
  • the reference table creating unit 103 automatically uses the elongation rate k calculated for each pixel of each camera Cam1 and Cam2 in the equations (1) and (2) to automatically set the projection range of the cameras Cam1 and Cam2 and the camera Cam1.
  • the ⁇ value in the superimposed region of Cam2 is determined.
  • the processing performed by the image processing apparatus 10 includes acquisition of camera parameters and elongation rate k, creation of a reference table, and composition of camera images.
  • the camera parameter input unit 102 includes internal parameters (that is, camera-specific parameters) including information such as the focal distance and image center of each camera Cam1 and Cam2, and external parameters (that is, cameras) including position / orientation information of each camera Cam1 and Cam2. Position / orientation parameter), a distortion correction table that corrects lens distortion in camera images taken by each camera Cam1 and Cam2, a subject of each camera Cam1 and Cam2 at each position (x, y, z) of a subject (for example, a person).
  • internal parameters that is, camera-specific parameters
  • external parameters that is, cameras
  • Position / orientation parameter a distortion correction table that corrects lens distortion in camera images taken by each camera Cam1 and Cam2, a subject of each camera Cam1 and Cam2 at each position (x, y, z) of a subject (for example, a person).
  • the camera parameter input unit 102 reads various parameters from a setting file or the like on the memory 12 (FIG. 1), but various parameter inputs are not limited to reading from the setting file. It may be provided by an external device capable of communicating.
  • FIG. 6 is a flowchart showing a reference table creation process executed by the reference table creation unit 103 of the image processing device 10.
  • the reference table creation unit 103 is a reference table showing ⁇ values of the corresponding pixels (x cam , y cam ) of the cameras Cam1 and Cam2 corresponding to each pixel (x syn , y syn) of the created composite image. Is created (step S10).
  • a pixel of the composite image (x syn, y syn) for each corresponding pixel of the camera Cam1 (x cam1, y cam1) The ⁇ value of, and the ⁇ value of the corresponding pixel (x cam2 , y cam2 ) of the camera Cam2 are determined.
  • the reference table creation unit 103 repeats the following processes (steps S11 to S14) for each pixel (x sync , y sync) of the composite image.
  • the reference table creation unit 103 photographs the corresponding pixels used as the pixels of the composite image by using the reference table showing the ⁇ values of the corresponding pixels of the cameras Cam1 and Cam2 corresponding to the pixels of the composite image1. Select (ie, extract) more than one camera (step S11).
  • the reference table creation unit 103 describes the subject in each pixel of the projected image of the extracted one camera. determines whether elongation k is greater than the allowable threshold value k th, (if it is k> k th) when the elongation ratio k of the object is greater than the allowable threshold k th is set to 0 the ⁇ value, the corresponding camera If elongation k of the object in pixels is equal to or less than the allowable threshold value k th (if a k ⁇ k th) is set to 1 the ⁇ value.
  • step S12 when the camera extracted in step S11 is two or more cameras, and camera with the lowest value k 1 of elongation k of the object, the object A camera having the second lowest elongation rate k 2 is extracted (step S13).
  • the camera having the lowest value k 1 of the subject elongation rate k is referred to as "camera A1”
  • the camera having the second lowest value k 2 of the subject elongation rate k is referred to as "camera A2”.
  • the reference table creation unit 103 is in the case where the difference Sub of the values k 1 and k 2 of the elongation rate k for each pixel of the subjects of the two cameras extracted in step S13 is larger than the predetermined difference threshold Sub th (Sub>. If a Sub th) is set to 0 the ⁇ value, if the difference Sub elongation k 1, k 2 is a case where less difference threshold Sub th (Sub ⁇ Sub th) is set to 1 the ⁇ value. Through these processes, the reference table creation unit 103 determines the blend region, which is the superimposed region in the composite image.
  • the reference table creation unit 103 applies the alpha blend process to the determined blend region to create a reference table for the ⁇ value (step S14).
  • the alpha blend process when synthesizing two images, the pixel value of the composite image is calculated by the weighted average of the pixel values of the two original images.
  • FIG. 7 is a flowchart showing a composite image creation process executed by the image acquisition unit 101 of the image processing device 10.
  • the image acquisition unit 101 decodes the camera image and acquires the RAW image data.
  • the RAW image data is image data in which the image is not compressed. For example, cameras Cam1, Cam2 to H.M.
  • the image acquisition unit 101 may perform the H.A.
  • RGBA is image data having ⁇ value information in addition to the three colors of Red, Green, and Blue.
  • RGBA is taken as an example here, the format of the image data is not limited to RGBA.
  • the composition processing unit 104 performs distortion correction and bird's-eye view conversion on the camera image (step S20), performs projection projection using the ⁇ value of the reference table created by the reference table creation unit 103, and synthesizes the bird's-eye view as a composite image. Create an image (step S21).
  • the display control unit 105 transmits the composite image created by the composite processing unit 104 to the display device 20 (step S22).
  • the projection area and the superimposition area that is, the blend area
  • the visibility of the observer is ensured and it is necessary when installing the image composition system. Work can be reduced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置（１０）は、複数の撮像装置（Ｃａｍ１、Ｃａｍ２）のカメラパラメータ、複数の撮像装置によって撮影された被写体を予め決められた投影面に投影して得られた複数の投影画像における被写体の伸び率（ｋ）の許容値を示す許容閾値（ｋｔｈ）、及び複数の投影画像の内の隣り合う投影画像における伸び率の差分（Ｓｕｂ）の許容値を示す差分閾値（Ｓｕｂｔｈ）を取得するカメラパラメータ入力部（１０２）と、カメラパラメータ、許容閾値（ｋｔｈ）、及び差分閾値（Ｓｕｂｔｈ）を用いて、複数の投影画像の投影範囲と隣り合う投影画像が重なり合う部分であるブレンド領域とを決定し、ブレンド領域における前記合成画像の各画素と、ブレンド領域における合成画像の各画素に対応する複数の撮像装置の各々の画素である対応画素との関係を示す参照テーブルを作成する参照テーブル作成部（１０３）と、合成画像を作成する合成処理部（１０４）とを有する。

Description

画像処理装置、画像処理方法、及び画像処理プログラム
　本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
　複数のカメラによって撮影された複数の撮像画像（すなわち、カメラ画像）を、視点変換して複数の俯瞰画像を生成し、これらを合成して１枚の俯瞰合成画像を生成する技術がある。通常、視点変換では、地面より高い位置にある物体は、地面に倒れこむような伸びた状態（すなわち、投影面としての地面に投影された状態）の俯瞰画像に変換される。このため、俯瞰画像における物体は歪んでいる。また、俯瞰合成画像を生成する際には、隣り合うカメラ画像が一部重なるように撮影が行われる。一般に、隣り合うカメラ画像が重なる領域（以下「重畳領域」とも言う。）の画像をシームレスに接続するためには、画素ごとに設定された透過度であるアルファ（α）値を用いて重畳領域の画像が作成される。しかし、俯瞰合成画像を作成するシステムを構築する際には、各カメラ画像の投影範囲及び各カメラ画像の重畳領域であるブレンド領域を手動で設定する必要があり、これらの作業は、煩わしく、また、システムの導入コストを上げる原因になっていた。
　そこで、特許文献１は、２つのカメラ画像の重畳領域に高さのある被写体が存在し、２つのカメラ画像における被写体の特徴量の相関が高い場合には、被写体のブレンド率を変えることにより、重畳領域の画像が二重像に見えにくい俯瞰合成画像を生成する技術を提案している。
特開２０１５－１９２１９８号公報
　しかしながら、特許文献１に記載の技術では、カメラから被写体までの距離に応じて投影面に投影された被写体が歪んで見える場合に、俯瞰合成画像の視認性が低下する。
　本開示は、上記課題を解決するためになされたものであり、視認性の高い合成画像を生成することを目的とする。
　本開示に係る画像処理装置は、複数の撮像装置によってそれぞれ撮影された複数の撮像画像に基づいて合成画像を生成する装置であって、前記複数の撮像装置のカメラパラメータ、前記複数の撮像装置によって撮影された被写体を予め決められた投影面に投影して得られた複数の投影画像における前記被写体の伸び率の許容値を示す許容閾値、及び前記複数の投影画像の内の隣り合う投影画像における前記伸び率の差分の許容値を示す差分閾値を取得するカメラパラメータ入力部と、前記カメラパラメータ、前記許容閾値、及び前記差分閾値を用いて、前記複数の投影画像の投影範囲と前記複数の投影画像の内の隣り合う投影画像が重なり合う部分であるブレンド領域とを決定し、前記ブレンド領域における前記合成画像の各画素と、前記ブレンド領域における前記合成画像の各画素に対応する前記複数の撮像装置の各々の画素である対応画素との関係を示す参照テーブルを作成する参照テーブル作成部と、前記参照テーブルを用いて前記隣り合う投影画像を接続する合成処理を行うことで前記合成画像を作成する合成処理部と、を有する。
　本開示に係る画像処理方法は、複数の撮像装置によってそれぞれ撮影された複数の撮像画像に基づいて合成画像を生成する画像処理装置によって実行される方法であって、前記複数の撮像装置のカメラパラメータ、前記複数の撮像装置によって撮影された被写体を予め決められた投影面に投影して得られた複数の投影画像における前記被写体の伸び率の許容値を示す許容閾値、及び前記複数の投影画像の内の隣り合う投影画像における前記伸び率の差分の許容値を示す差分閾値を取得するステップと、前記カメラパラメータ、前記許容閾値、及び前記差分閾値を用いて、前記複数の投影画像の投影範囲と前記複数の投影画像の内の隣り合う投影画像が重なり合う部分であるブレンド領域とを決定し、前記ブレンド領域における前記合成画像の各画素と、前記ブレンド領域における前記合成画像の各画素に対応する前記複数の撮像装置の各々の画素である対応画素との関係を示す参照テーブルを作成するステップと、前記参照テーブルを用いて前記隣り合う投影画像を接続する合成処理を行うことで前記合成画像を作成するステップと、を有する。
　本開示に係る画像処理装置、画像処理方法、及び画像処理プログラムによれば、視認性の高い合成画像を生成することができる。
実施の形態に係る画像処理装置のハードウェア構成を示す図である。 実施の形態に係る画像処理装置の構成を示す機能ブロック図である。 作成される合成画像及び複数の投影画像を示す図である。 作成される合成画像の画素に対応する投影画像の対応画素を示す図である。 被写体が存在する位置における被写体の伸び率を示す図である。 実施の形態に係る画像処理装置の参照テーブル作成部によって実行される参照テーブルの作成処理を示すフローチャートである。 実施の形態に係る画像処理装置の画像取得部によって実行される合成画像の作成処理を示すフローチャートである。
　以下に、実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。
〈画像処理装置１０の構成〉
　図１は、実施の形態に係る画像処理装置１０のハードウェア構成を示す図である。画像処理装置１０は、複数の撮像装置（一般には、複数のカメラ）でそれぞれ撮影された複数の撮像画像（「カメラ画像」とも言う。）に基づいて合成画像を生成する。図１には、複数のカメラが、２台のカメラＣａｍ１、Ｃａｍ２を含む例が示されている。ただし、カメラの台数は３台以上であってもよい。また、画像処理装置１０と、複数のカメラＣａｍ１、Ｃａｍ２、…とは、画像合成システムを構成している。また、画像合成システムは、合成画像を表示する液晶ディスプレイなどのような表示装置２０を有してもよい。
　図１に示されるように、画像処理装置１０は、各種の演算処理及び各種のハードウェアの制御処理を行う情報処理部としてのプロセッサ１１と、主記憶装置であるメモリ１２と、ＨＤＤ（ハードディスクドライブ）又はＳＳＤ（ソリッドステートドライブ）などの補助記憶装置である記憶装置１３とを有している。また、画像処理装置１０は、複数のカメラＣａｍ１、Ｃａｍ２、…からそれぞれ送信された複数のカメラ画像Ｉ１、Ｉ２、…を受信し、これらを画像データに変換して画像処理装置１０の内部に取り込む入力インタフェース１４と、画像処理装置１０によって生成された合成画像（すなわち、合成画像データ）を表示装置２０に出力する出力インタフェース１５とを有している。
　画像処理装置１０は、例えば、処理回路によって構成される。画像処理装置１０は、ソフトウェアプログラムである画像処理プログラムを実行するプロセッサ１１を備えたコンピュータによって構成されてもよい。また、画像処理プログラムは、情報を記録するコンピュータ読み取り可能な情報記録媒体から又はネットワークを介するダウンロードによって画像処理装置１０にインストールされる。
　複数のカメラＣａｍ１、Ｃａｍ２、…は、画像を撮影する機能を有する撮像装置である。複数のカメラＣａｍ１、Ｃａｍ２、…は、ＣＣＤ（Ｃｈａｒｇｅｄ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅｓ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子と、レンズとを有する撮像装置である。複数のカメラＣａｍ１、Ｃａｍ２、…は、例えば、監視カメラである。このとき、図１に示される画像合成システムは、監視システムである。
　複数のカメラＣａｍ１、Ｃａｍ２、…は、同一種類の機器であることが望ましい。複数のカメラＣａｍ１、Ｃａｍ２、…は、画像処理装置１０の入力インタフェース１４と有線で接続されているが、無線で接続されもよい。また、複数のカメラＣａｍ１、Ｃａｍ２と入力インタフェース１４との接続方式は、特定の方式に限定されない。接続方式は、例えば、ＩＰ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）ネットワークによる接続方式又は同軸ケーブルによる接続方式などである。入力インタフェース１４は、複数のカメラＣａｍ１、Ｃａｍ２、…から送信される複数のカメラ画像Ｉ１、Ｉ２、…すなわち複数の画像信号を同時に受信する機能を持つことが望ましい。
　記憶装置１３又はメモリ１２は、本実施の形態に係る画像処理方法を画像処理装置１０に実行させるためのソフトウェアプログラムである画像処理プロクラムを記憶する。プロセッサ１１は、この画像処理プログラムを実行することによって、実施の形態に係る画像処理方法を実行することができる。
　画像処理装置１０に取り込まれた画像データは、メモリ１２に記憶される。画像処理装置１０に取り込まれた画像データは、撮像対象領域の上方に視点を設けた画像である俯瞰画像に変換する処理である視点変換（すなわち、座標変換）された後に、合成される。画像処理装置１０で合成された画像である合成画像は、出力インタフェース１５を介して表示装置２０に送信される。また、俯瞰画像を合成することによって得られた合成画像は、「俯瞰合成画像」とも呼ばれる。また、画像処理装置１０が監視システムに使用される場合には、撮像対象領域は「監視対象領域」とも呼ばれる。
　図２は、本実施の形態に係る画像処理装置１０の構成を示す機能ブロック図である。
　図３は、作成される合成画像及び複数のカメラ（例えば、Ｃａｍ１～Ｃａｍ４）で撮影された複数のカメラ画像を示す図である。
　図２に示されるように、画像処理装置１０は、画像取得部１０１と、カメラパラメータ入力部１０２と、参照テーブル作成部１０３と、合成処理部１０４と、表示制御部１０５とを有している。
　画像取得部１０１は、複数のカメラＣａｍ１、Ｃａｍ２、…でそれぞれ撮影された撮像画像である複数のカメラ画像Ｉ１、Ｉ２、…を受信する。
　カメラパラメータ入力部１０２は、複数のカメラＣａｍ１、Ｃａｍ２、…のカメラパラメータ、複数のカメラＣａｍ１、Ｃａｍ２、…によって撮影された被写体を予め決められた投影面に投影して得られた複数の投影画像（例えば、図３に示されるＰ１、Ｐ２、…）における被写体の伸び率ｋの許容値を示す許容閾値ｋｔｈ、及び複数の投影画像の内の隣り合う投影画像（例えば、図３に示されるＰ１、Ｐ２）における伸び率ｋの値ｋ１、ｋ２の差分Ｓｕｂの許容値を示す差分閾値Ｓｕｂｔｈを取得する。カメラパラメータは、例えば、各カメラＣａｍ１、Ｃａｍ２、…の内部パラメータ及び外部パラメータ、各カメラＣａｍ１、Ｃａｍ２、…のレンズ歪補正データ、などを含む。像撮像対象領域内（すなわち、投影画像内）の各点における各カメラＣａｍ１、Ｃａｍ２の被写体の伸び率ｋは、「ｋ値」とも呼ばれる。カメラパラメータ入力部１０２は、カメラパラメータ及び伸び率ｋの許容閾値ｋｔｈ、及び差分閾値Ｓｕｂｔｈを、図１に示される記憶装置１３から又は画像処理装置１０の外部から取得してもよい。なお、伸び率ｋについては、後述の図５で詳細に説明される。
　参照テーブル作成部１０３は、カメラパラメータ入力部１０２で取得されたカメラパラメータ、許容閾値ｋｔｈ、及び差分閾値Ｓｕｂｔｈを用いて、複数の投影画像（図３における、Ｐ１、Ｐ２、…）の投影範囲と、複数の投影画像の内の隣り合う投影画像（図３における、Ｐ１、Ｐ２）が重なり合う重畳領域（「ブレンド領域」とも言う。）とを決定し、重畳領域における合成画像の各画素と、重畳領域における合成画像の各画素に対応する複数の撮像装置Ｃａｍ１、Ｃａｍ２、…の各々の画素である対応画素との関係を示す参照テーブルを作成する。言い換えれば、参照テーブル作成部１０３は、カメラパラメータ入力部１０２で取得されたカメラパラメータと、地面などの投影面とに基づいて、各カメラＣａｍ１、Ｃａｍ２用の参照テーブルを作成する。つまり、参照テーブル作成部１０３は、カメラの台数に等しい個数の参照テーブルを作成する。作成された参照テーブルは、例えば、メモリ１２に格納される。各参照テーブルは、横Ｗｓｙｎ個で縦Ｈｓｙｎ個の画素の各々のα値で構成される。横Ｗｓｙｎ個で縦Ｈｓｙｎ個の画素は、合成画像の画素に対応する。
　合成処理部１０４は、各カメラＣａｍ１、Ｃａｍ２用の参照テーブルを用いて、ある任意の視点の合成画像、すなわち、任意視点画像を作成する。任意の視点が被写体の上方にある場合には、投影画像は俯瞰画像であり、任意視点画像は俯瞰合成画像である。
　表示制御部１０５は、合成処理部１０４で作成された任意視点画像に基づく画像信号を表示装置２０に送信する。表示装置２０は、受信した画像信号に基づく画像を表示する。
　図４は、作成される合成画像の画素に対応するカメラ画像の対応画素を示す図である。参照テーブル作成部１０３で作成される参照テーブルは、作成される合成画像の横Ｗｓｙｎ個で縦Ｈｓｙｎ個の画素（ｘｓｙｎ，ｙｓｙｎ）に対応する、各カメラＣａｍ１、Ｃａｍ２の対応画素（ｘｃａｍ１，ｙｃａｍ１）、（ｘｃａｍ２，ｙｃａｍ２）並びに対応画素のα値（すなわち、ブレンド処理に利用する重み付き係数）を有している。言い換えれば、参照テーブルは、画素（ｘｓｙｎ，ｙｓｙｎ）ごとに、カメラＣａｍ１の対応画素（ｘｃａｍ１，ｙｃａｍ１）とそのα値、及びカメラＣａｍ２の対応画素（ｘｃａｍ２，ｙｃａｍ２）とそのα値を有している。
　参照テーブルは、カメラＣａｍ１、Ｃａｍ２が建物の外壁などに設置される固定の監視カメラである場合は、事前に作成され記憶装置に記憶されているものであってもよい。また、参照テーブルは、カメラＣａｍ１、Ｃａｍ２が無人航空機のような動体に設置された監視カメラである場合は、各カメラＣａｍ１、Ｃａｍ２が撮影する映像のフレームごとに作成されてもよい。
　参照テーブル作成部１０３は、合成画像上の画素に対応するカメラＣａｍ１、Ｃａｍ２の対応画素（ｘｃａｍ１，ｙｃａｍ１）、（ｘｃａｍ２，ｙｃａｍ２）（すなわち、対応する２つの画素）が存在しない場合は、参照テーブルに対応画素が存在しないことを示す値を設定する。参照テーブル作成部１０３は、各カメラＣａｍ１、Ｃａｍ２の画素と合成画像の各画素の対応を、定義した投影面（すなわち、予め決められた投影面）上の座標から投影変換処理前の座標、視点変換処理前の座標、レンズ歪補正処理前の座標と逆算することにより算出する。参照テーブルを利用することによって、合成処理部１０４は、合成画像の各画素に対応する各カメラＣａｍ１、Ｃａｍ２の対応画素の画素値を受け取るだけで、複数のカメラＣａｍ１、Ｃａｍ２のカメラ画像Ｉ１、Ｉ２に基づく合成画像を作成することができる。
　図５は、被写体の位置（ｘ，ｙ，ｚ）における各カメラＣａｍ１、Ｃａｍ２の被写体の伸び率ｋを示す図である。カメラパラメータ入力部１０２は、投影面上の撮影対象領域の各点における各カメラＣａｍ１、Ｃａｍ２の被写体の伸び率ｋを取得する。
（すなわち、各画素）
　図５において、被写体は人物である。点（ｘ，ｙ，ｚ）におけるカメラＣａｍ１の伸び率ｋであるｋ（ｘ，ｙ，ｚ）Ｃａｍ１、及び点（ｘ，ｙ，ｚ）におけるカメラＣａｍ２の伸び率ｋであるｋ（ｘ，ｙ，ｚ）Ｃａｍ２は、以下の式（１）及び（２）で表される。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｌｅｎｇｔｈ（ＡＣ）は、点Ａと点Ｃとの間の距離すなわち投影面上の投影画像における被写体の長さを示す。また、Ｌｅｎｇｔｈ（ＢＤ）は、点Ｂと点Ｄとの間の距離すなわち投影面上の投影画像における被写体の長さを示す。また、Ｈは、現実の被写体の高さを示す。なお、ｋ（ｘ，ｙ，ｚ）Ｃａｍ１、はｋ１とも表記され、ｋ（ｘ，ｙ，ｚ）Ｃａｍ２はｋ２とも表記される。なお、伸び率ｋは、各カメラについての投影画像における各画素について算出される。また、伸び率ｋは、カメラが撮影する画像の中心である画像中心から離れるほど大きな値になり、画像の歪みも大きくなる。
　複数のカメラのうちの伸び率ｋが小さいカメラを選択することによって、合成画像上における被写体の伸びを小さくすることができ、その結果、画質の低下を抑制することができる。
　参照テーブル作成部１０３は、式（１）及び（２）で、各カメラＣａｍ１、Ｃａｍ２の画素ごとに算出された伸び率ｋを用いて、自動的にカメラＣａｍ１、Ｃａｍ２の投影範囲とカメラＣａｍ１、Ｃａｍ２の重畳領域におけるα値を決定する。
〈画像処理装置１０の動作〉
　次に、本実施の形態に係る画像処理装置１０の動作について説明する。ここでは、カメラが２台のカメラＣａｍ１、Ｃａｍ２である場合の動作について説明する。画像処理装置１０が行う処理は、カメラパラメータ及び伸び率ｋの取得、参照テーブルの作成、及びカメラ画像の合成を含む。
　カメラパラメータ入力部１０２は、各カメラＣａｍ１、Ｃａｍ２の焦点距離及び画像中心などの情報を含む内部パラメータ（すなわち、カメラ固有パラメータ）、各カメラＣａｍ１、Ｃａｍ２の位置姿勢情報を含む外部パラメータ（すなわち、カメラ位置姿勢パラメータ）、各カメラＣａｍ１、Ｃａｍ２によって撮影されたカメラ画像におけるレンズ歪みを補正する歪み補正テーブル、被写体（例えば、人物）の各位置（ｘ，ｙ，ｚ）における各カメラＣａｍ１、Ｃａｍ２の被写体の伸び率ｋの値ｋ１、ｋ２の許容閾値ｋｔｈと、カメラＣａｍ１の画素における被写体の伸び率ｋの値ｋ１とカメラＣａｍ２の画素における被写体の伸び率ｋの値ｋ２の差分Ｓｕｂ（＝｜ｋ１－ｋ２｜）の許容値を示す差分閾値Ｓｕｂｔｈなどの各種のパラメータを取得する。ここでは、カメラパラメータ入力部１０２がメモリ１２（図１）上にある設定ファイルなどから各種のパラメータを読み込む例を挙げているが、各種のパラメータ入力は、設定ファイルからの読み込みに限定されず、通信可能な外部の装置から提供されてもよい。
　図６は、画像処理装置１０の参照テーブル作成部１０３によって実行される参照テーブルの作成処理を示すフローチャートである。まず、参照テーブル作成部１０３は、作成される合成画像の各画素（ｘｓｙｎ，ｙｓｙｎ）に対応する、各カメラＣａｍ１、Ｃａｍ２の対応画素（ｘｃａｍ，ｙｃａｍ）のα値を示す参照テーブルを作成する（ステップＳ１０）。例えば、複数のカメラが２台のカメラＣａｍ１、Ｃａｍ２である場合、参照テーブル作成部１０３は、合成画像の画素（ｘｓｙｎ，ｙｓｙｎ）ごとに、カメラＣａｍ１の対応画素（ｘｃａｍ１，ｙｃａｍ１）のα値、カメラＣａｍ２の対応画素（ｘｃａｍ２，ｙｃａｍ２）のα値を決定する。
　参照テーブル作成部１０３は、合成画像の各画素（ｘｓｙｎ，ｙｓｙｎ）に対して以下の処理（ステップＳ１１～Ｓ１４）を繰り返す。まず、参照テーブル作成部１０３は、合成画像の各画素に対応する各カメラＣａｍ１、Ｃａｍ２の対応画素のα値を示す参照テーブルを用いて、合成画像の画素として使用される対応画素を撮影した１台以上のカメラを選択（すなわち、抽出）する（ステップＳ１１）。
　次に、参照テーブル作成部１０３は、ステップＳ１１で抽出されたカメラが１台のカメラである場合（ステップＳ１２においてＹＥＳの場合）、抽出された１台のカメラの投影画像の各画素における被写体の伸び率ｋが許容閾値ｋｔｈよりも大きいか否かを判定し、被写体の伸び率ｋが許容閾値ｋｔｈよりも大きい場合（ｋ＞ｋｔｈである場合）はα値を０とし、該当カメラの画素における被写体の伸び率ｋが許容閾値ｋｔｈ以下である場合（ｋ≦ｋｔｈである場合）はα値を１とする。
　参照テーブル作成部１０３は、ステップＳ１１で抽出されたカメラが２台以上のカメラである場合（ステップＳ１２においてＮＯの場合）、被写体の伸び率ｋの最も低い値ｋ１を持つカメラと、被写体の伸び率ｋが２番目に低い値ｋ２を持つカメラを抽出する（ステップＳ１３）。被写体の伸び率ｋの最も低い値ｋ１を持つカメラを、「カメラＡ１」と表記し、被写体の伸び率ｋが２番目に低い値ｋ２を持つカメラを、「カメラＡ２」と表記する。
　参照テーブル作成部１０３は、ステップＳ１３で抽出した２台のカメラの被写体の画素ごとの伸び率ｋの値ｋ１、ｋ２の差分Ｓｕｂが予め決められた差分閾値Ｓｕｂｔｈより大きい場合（Ｓｕｂ＞Ｓｕｂｔｈである場合）はα値を０とし、伸び率ｋ１、ｋ２の差分Ｓｕｂが差分閾値Ｓｕｂｔｈ以下である場合（Ｓｕｂ≦Ｓｕｂｔｈである場合）はα値を１とする。これらの処理によって、参照テーブル作成部１０３は、合成画像における重畳領域であるブレンド領域を決定する。
　次に、参照テーブル作成部１０３は、決定したブレンド領域においてアルファブレンド処理を適用し、α値の参照テーブルを作成する（ステップＳ１４）。アルファブレンド処理では、２枚の画像の合成を行う際に、合成画像の画素値を２枚の元画像の画素値の重みつき平均によって算出する。
　図７は、画像処理装置１０の画像取得部１０１によって実行される合成画像の作成処理を示すフローチャートである。
　画像取得部１０１は、カメラ画像をデコードし、ＲＡＷ画像データを取得する。ＲＡＷ画像データは、画像が圧縮していない画像データである。例えば、カメラＣａｍ１、Ｃａｍ２からＨ．２６４形式で圧縮符号化された画像がストリーミング配信されている場合、画像取得部１０１は、Ｈ．２６４に対応するデコードを行うことで、ＲＧＢＡ３２ビットのＲＡＷ画像データを取得する。ＲＧＢＡは、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの３色に加えてα値の情報を持つ画像データである。なお、ここでは、ＲＧＢＡを例として挙げているが、画像データの形式は、ＲＧＢＡに限定されない。
　合成処理部１０４は、カメラ画像に対して歪み補正と俯瞰変換を行い（ステップＳ２０）、参照テーブル作成部１０３で作成した参照テーブルのα値を用いて射影投影を行い、合成画像としての俯瞰合成画像を作成する（ステップＳ２１）。表示制御部１０５は、合成処理部１０４で作成した合成画像を表示装置２０送信する（ステップＳ２２）。
〈画像処理装置１０の効果〉
　以上に説明したように、本実施の形態の画像処理装置及び画像処理方法で設定するパラメータは、カメラの台数によらず、許容閾値ｋｔｈと伸び率の差分閾値Ｓｕｂｔｈを設定することで、シームレスな合成画像を自動的に作成することが可能である。
　また、合成画像上における被写体の伸び率ｋに応じた、投影領域及び重畳領域（つまり、ブレンド領域）を決定することで、監視者の視認性を確保すると共に画像合成システムの設置時に必要となる作業を軽減することができる。
　１０　画像処理装置、　２０　表示装置、　１０１　画像取得部、　１０２　カメラパラメータ入力部、　１０３　参照テーブル作成部、　１０４　合成処理部、　１０５　表示制御部、　Ｃａｍ１、Ｃａｍ２　カメラ、　Ｉ１、Ｉ２　カメラ画像。

Claims (7)

  1. 　複数の撮像装置によってそれぞれ撮影された複数の撮像画像に基づいて合成画像を生成する画像処理装置であって、
    　前記複数の撮像装置のカメラパラメータ、前記複数の撮像装置によって撮影された被写体を予め決められた投影面に投影して得られた複数の投影画像における前記被写体の伸び率の許容値を示す許容閾値、及び前記複数の投影画像の内の隣り合う投影画像における前記伸び率の差分の許容値を示す差分閾値を取得するカメラパラメータ入力部と、
    　前記カメラパラメータ、前記許容閾値、及び前記差分閾値を用いて、前記複数の投影画像の投影範囲と前記複数の投影画像の内の隣り合う投影画像が重なり合う部分であるブレンド領域とを決定し、前記ブレンド領域における前記合成画像の各画素と、前記ブレンド領域における前記合成画像の各画素に対応する前記複数の撮像装置の各々の画素である対応画素との関係を示す参照テーブルを作成する参照テーブル作成部と、
    　前記参照テーブルを用いて前記隣り合う投影画像を接続する合成処理を行うことで前記合成画像を作成する合成処理部と、
    　を有する画像処理装置。
  2. 　前記カメラパラメータは、前記複数の撮像装置の各々の内部パラメータ及び外部パラメータを含む請求項１に記載の画像処理装置。
  3. 　前記伸び率は、前記複数の投影画像の各々における前記被写体の長さを現実の被写体の高さで除することで得られた値である請求項１又は２に記載の画像処理装置。
  4. 　前記参照テーブル作成部は、
    　前記複数の撮像装置から、前記合成画像の画素として投影される前記撮像画像を撮影した撮像装置を選択し、
    　前記選択された撮像画像が１台の前記撮像装置によって撮影された撮像画像である場合には、前記投影画像の各画素における前記被写体の前記伸び率が許容閾値よりも大きいか否かを判定し、
    　前記伸び率が前記許容閾値よりも大きい場合はα値を０とし、前記伸び率が前記許容閾値以下である場合はα値を１とする
    　請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記参照テーブル作成部は、
    　前記複数の撮像装置から、前記合成画像の画素として投影される前記撮像画像を撮影した撮像装置を選択し、
    　前記選択された撮像画像が２台以上の撮像画像である場合には、前記投影画像の各画素における前記被写体の前記伸び率のうちの最も低い値を持つ撮像装置と、前記被写体の前記伸び率が２番目に低い値を持つ撮像装置を抽出し、
    　前記最も低い値と前記２番目に低い値の差分が前記差分閾値よりも大きいか否かを判定し、
    　前記差分が前記差分閾値よりも大きい場合はα値を０とし、前記差分が前記差分閾値以下である場合はα値を１とする
    　請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　複数の撮像装置によってそれぞれ撮影された複数の撮像画像に基づいて合成画像を生成する画像処理装置によって実行される画像処理方法であって、
    　前記複数の撮像装置のカメラパラメータ、前記複数の撮像装置によって撮影された被写体を予め決められた投影面に投影して得られた複数の投影画像における前記被写体の伸び率の許容値を示す許容閾値、及び前記複数の投影画像の内の隣り合う投影画像における前記伸び率の差分の許容値を示す差分閾値を取得するステップと、
    　前記カメラパラメータ、前記許容閾値、及び前記差分閾値を用いて、前記複数の投影画像の投影範囲と前記複数の投影画像の内の隣り合う投影画像が重なり合う部分であるブレンド領域とを決定し、前記ブレンド領域における前記合成画像の各画素と、前記ブレンド領域における前記合成画像の各画素に対応する前記複数の撮像装置の各々の画素である対応画素との関係を示す参照テーブルを作成するステップと、
    　前記参照テーブルを用いて前記隣り合う投影画像を接続する合成処理を行うことで前記合成画像を作成するステップと、
    　を有する画像処理方法。
  7. 　複数の撮像装置によってそれぞれ撮影された複数の撮像画像に基づいて合成画像を生成するコンピュータによって実行される画像処理プログラムであって、
    　前記複数の撮像装置のカメラパラメータ、前記複数の撮像装置によって撮影された被写体を予め決められた投影面に投影して得られた複数の投影画像における前記被写体の伸び率の許容値を示す許容閾値、及び前記複数の投影画像の内の隣り合う投影画像における前記伸び率の差分の許容値を示す差分閾値を取得するステップと、
    　前記カメラパラメータ、前記許容閾値、及び前記差分閾値を用いて、前記複数の投影画像の投影範囲と前記複数の投影画像の内の隣り合う投影画像が重なり合う部分であるブレンド領域とを決定し、前記ブレンド領域における前記合成画像の各画素と、前記ブレンド領域における前記合成画像の各画素に対応する前記複数の撮像装置の各々の画素である対応画素との関係を示す参照テーブルを作成するステップと、
    　前記参照テーブルを用いて前記隣り合う投影画像を接続する合成処理を行うことで前記合成画像を作成するステップと、
    　をコンピュータに実行させる画像処理プログラム。
PCT/JP2020/013351 2020-03-25 2020-03-25 画像処理装置、画像処理方法、及び画像処理プログラム WO2021192096A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/013351 WO2021192096A1 (ja) 2020-03-25 2020-03-25 画像処理装置、画像処理方法、及び画像処理プログラム
JP2021575900A JP7038935B2 (ja) 2020-03-25 2020-03-25 画像処理装置、画像処理方法、及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/013351 WO2021192096A1 (ja) 2020-03-25 2020-03-25 画像処理装置、画像処理方法、及び画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2021192096A1 true WO2021192096A1 (ja) 2021-09-30

Family

ID=77890021

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/013351 WO2021192096A1 (ja) 2020-03-25 2020-03-25 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (2)

Country Link
JP (1) JP7038935B2 (ja)
WO (1) WO2021192096A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014090349A (ja) * 2012-10-31 2014-05-15 Clarion Co Ltd 画像処理システム及び画像処理方法
JP2015192198A (ja) * 2014-03-27 2015-11-02 クラリオン株式会社 映像表示装置および映像表示システム
WO2018087856A1 (ja) * 2016-11-10 2018-05-17 三菱電機株式会社 映像合成装置及び映像合成方法
JP2019168967A (ja) * 2018-03-23 2019-10-03 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014090349A (ja) * 2012-10-31 2014-05-15 Clarion Co Ltd 画像処理システム及び画像処理方法
JP2015192198A (ja) * 2014-03-27 2015-11-02 クラリオン株式会社 映像表示装置および映像表示システム
WO2018087856A1 (ja) * 2016-11-10 2018-05-17 三菱電機株式会社 映像合成装置及び映像合成方法
JP2019168967A (ja) * 2018-03-23 2019-10-03 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP7038935B2 (ja) 2022-03-18
JPWO2021192096A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
JP5413002B2 (ja) 撮像装置および方法、並びにプログラム
JP4631558B2 (ja) 撮像装置および画像処理プログラム
JP6317577B2 (ja) 映像信号処理装置及びその制御方法
JP2009124685A (ja) 複数のビデオを結合してリアルタイムで表示する方法及びシステム
US10521891B2 (en) Image processing apparatus, system, image processing method, and non-transitory recording medium
JP6361931B2 (ja) 画像処理装置及びこれを備えた撮像システムならびに画像処理方法
WO2011083555A1 (ja) 画像処理装置、画像生成システム、方法、およびプログラム
TWI740048B (zh) 一種多感測器視訊攝影機，及其方法和處理管道
JP5411786B2 (ja) 撮影装置および画像統合プログラム
JP5195841B2 (ja) 車載カメラ装置および車両
JP4862321B2 (ja) 車載カメラ装置
JP2018186514A (ja) 画像処理装置及びこれを備えた撮像システムならびに画像処理方法
JP2013029995A (ja) 撮像システム
JP4793449B2 (ja) ネットワーク映像合成表示システム
JP2015211302A (ja) 撮像装置、撮像システム
WO2018105097A1 (ja) 画像合成装置、画像合成方法、及び画像合成プログラム
WO2021192096A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN112738425A (zh) 一种多摄像头采集的视频实时拼接***
JP5733588B2 (ja) 画像処理装置および方法、並びにプログラム
CN109218602B (zh) 影像撷取装置、影像处理方法及电子装置
US20100315530A1 (en) Method for performing digital processing on an image signal output from ccd image sensors
JPH08305841A (ja) 歪曲収差画像補正表示装置
JP5004680B2 (ja) 画像処理装置、画像処理方法、テレビ会議システム、テレビ会議方法、プログラムおよび記録媒体
JP2006197098A (ja) ネットワークカメラの画像伝送方式
JPH07222052A (ja) 撮像画像からの資料領域分離方法及び遠隔プレゼンテーション方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20927559

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021575900

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20927559

Country of ref document: EP

Kind code of ref document: A1