JP7129270B2 - IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD AND IMAGE PROCESSING SYSTEM - Google Patents

IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD AND IMAGE PROCESSING SYSTEM Download PDF

Info

Publication number
JP7129270B2
JP7129270B2 JP2018152315A JP2018152315A JP7129270B2 JP 7129270 B2 JP7129270 B2 JP 7129270B2 JP 2018152315 A JP2018152315 A JP 2018152315A JP 2018152315 A JP2018152315 A JP 2018152315A JP 7129270 B2 JP7129270 B2 JP 7129270B2
Authority
JP
Japan
Prior art keywords
image
image processing
unit
field
detection target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018152315A
Other languages
Japanese (ja)
Other versions
JP2020027468A (en
Inventor
敦俊 長谷部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KYB Corp
Original Assignee
KYB Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KYB Corp filed Critical KYB Corp
Priority to JP2018152315A priority Critical patent/JP7129270B2/en
Publication of JP2020027468A publication Critical patent/JP2020027468A/en
Application granted granted Critical
Publication of JP7129270B2 publication Critical patent/JP7129270B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、視野画像から検出対象を検出する画像処理装置、画像処理方法及び画像処理システムに関する。 The present invention relates to an image processing device, an image processing method, and an image processing system for detecting a detection target from a field-of-view image.

従来、路面上に存在する車線区分線や停止線等の対象物を検出する画像処理の前処理として、車両に取り付けられた撮像装置により取得した路面画像をグレースケール画像に変換することが度々行われる（例えば特許文献１段落［００２７］）。 Conventionally, as a pre-processing for image processing to detect objects such as lane markings and stop lines on the road surface, road surface images acquired by an imaging device attached to the vehicle are often converted into grayscale images. (for example, paragraph [0027] of Patent Document 1).

再表２０１７－００９９２３号公報Retable 2017-009923

しかしながら、特許文献１に記載のように、路面画像をグレースケール画像に変換する前処理では、黄色や白等の輝度が大きい色の対象物は十分に検出することができるが、他の色の対象物に対する検出精度が低いという課題がある。 However, as described in Patent Document 1, in the preprocessing for converting a road surface image into a grayscale image, it is possible to sufficiently detect an object with a high luminance such as yellow or white, but it is possible to sufficiently detect an object with a high luminance such as yellow or white. There is a problem that the detection accuracy for the object is low.

以上のような事情に鑑み、本発明の目的は、種々の色の対象物を検出可能な画像処理装置、画像処理方法及び画像処理システムを提供することにある。 In view of the circumstances as described above, an object of the present invention is to provide an image processing apparatus, an image processing method, and an image processing system capable of detecting objects of various colors.

上記目的を達成するため、本発明の一形態に係る画像処理装置は、取得部と、前処理部と、後処理部と、判定部とを有する。
上記取得部は、移動体に設置された撮像部により撮像された視野画像を取得する。
上記前処理部は、上記取得部により取得された視野画像をＲＧＢ空間のグレースケール画像である第１の画像に変換する第１の画像処理と、上記視野画像をＲＧＢ空間とは異なる色空間の画像である第２の画像に変換する第２の画像処理とを実行する。
上記後処理部は、上記第１の画像と上記第２の画像の両方に基づいて検出すべき対象の特徴を抽出する。
上記判定部は、上記抽出処理の結果に基づいて、検出対象の有無を判定する。
To achieve the above object, an image processing apparatus according to one aspect of the present invention includes an acquisition section, a preprocessing section, a postprocessing section, and a determination section.
The acquisition unit acquires a field-of-view image captured by an imaging unit installed on a moving object.
The preprocessing unit performs first image processing for converting the field-of-view image acquired by the acquisition unit into a first image that is a grayscale image in an RGB space, and converts the field-of-view image to a color space different from the RGB space. and second image processing for converting to a second image that is an image.
The post-processing unit extracts features of an object to be detected based on both the first image and the second image.
The determination unit determines whether or not there is a detection target based on the result of the extraction process.

上記構成によれば、視野画像がグレースケール画像だけはなく、ＲＧＢ空間とは異なる色空間の画像（例えばＨＳＶ画像）に変換される。これにより、輝度が大きい黄色や白色の検出対象だけではなく、輝度が小さい青、緑又は赤等の種々の色の検出対象を検出することができる。従って、従来よりも検出対象に対する検出精度が向上する。 According to the above configuration, the field-of-view image is converted not only into a grayscale image, but also into an image in a color space different from the RGB space (for example, an HSV image). As a result, it is possible to detect not only yellow and white detection targets with high brightness, but also detection targets of various colors such as blue, green, and red with low brightness. Therefore, the detection accuracy for the detection target is improved as compared with the conventional art.

上記前処理部は、上記第１の画像と上記第２の画像とが合成された合成画像を生成し、
上記後処理部は、上記合成画像に基づいて検出すべき対象の特徴を抽出し、
上記判定部は、当該抽出処理の結果に基づき検出対象の有無を判定してもよい。
グレースケール画像である第１の画像とＲＧＢ空間とは異なる色空間の画像である第２の画像（例えばＨＳＶ画像）とを合成することによって両者の欠点が互いに補填されるため、検出対象周辺の光量の変化に対するロバスト性が向上する。 The preprocessing unit generates a composite image in which the first image and the second image are composited,
The post-processing unit extracts features of a target to be detected based on the synthesized image,
The determination unit may determine the presence or absence of the detection target based on the result of the extraction process.
By synthesizing the first image, which is a grayscale image, and the second image (for example, an HSV image), which is an image in a color space different from the RGB space, the shortcomings of both are compensated for. Robustness against changes in the amount of light is improved.

上記判定部は、上記検出対象の色をさらに判定し、
上記画像処理装置は、上記検出対象の色に基づいた画像情報と上記視野画像とを重畳して表示させるための制御信号を生成する信号生成部をさらに有してもよい。
これにより、ユーザに検出対象の色に応じた注意喚起を促すことができる。 The determination unit further determines the color of the detection target,
The image processing apparatus may further include a signal generation unit that generates a control signal for superimposing and displaying the image information based on the color of the detection target and the field-of-view image.
Accordingly, it is possible to prompt the user to call attention according to the color to be detected.

上記信号生成部は、上記検出対象の色に応じた制御信号を生成してもよい。 The signal generator may generate a control signal corresponding to the color of the detection target.

上記目的を達成するため、本発明の一形態に係る画像処理方法は、
移動体に設置された撮像部により撮像された視野画像が取得される。
上記視野画像をＲＧＢ空間のグレースケール画像である第１の画像に変換する第１の画像処理と、上記視野画像をＲＧＢ空間とは異なる色空間の画像である第２の画像に変換する第２の画像処理とが実行される。
上記第１の画像と上記第２の画像の両方に基づいて検出すべき対象の特徴が抽出される。
上記抽出処理の結果に基づいて、検出対象の有無が判定される。
In order to achieve the above object, an image processing method according to one aspect of the present invention comprises:
A field-of-view image captured by an imaging unit installed on a moving object is acquired.
A first image process for converting the field-of-view image into a first image that is a grayscale image in an RGB space, and a second process that converts the field-of-view image into a second image that is an image in a color space different from the RGB space. image processing is performed.
Features of an object to be detected are extracted based on both the first image and the second image.
Based on the result of the extraction process, the presence or absence of the detection target is determined.

上記目的を達成するため、本発明の一形態に係る画像処理システムは、撮像部と、画像処理装置とを有する。
上記撮像部は、移動体に設置される。
上記画像処理装置は、取得部と、前処理部と、後処理部と、判定部とを有する。
上記取得部は、上記撮像部により撮像された視野画像を取得する。
上記前処理部は、上記取得部により取得された視野画像をＲＧＢ空間のグレースケール画像である第１の画像に変換する第１の画像処理と、上記視野画像をＲＧＢ空間とは異なる色空間の画像である第２の画像に変換する第２の画像処理とを実行する。
上記後処理部は、上記第１の画像と上記第２の画像の両方に基づいて検出すべき対象の特徴を抽出する。
上記判定部は、上記抽出処理の結果に基づいて、検出対象の有無を判定する。


To achieve the above object, an image processing system according to one aspect of the present invention includes an imaging unit and an image processing device.
The imaging unit is installed on a moving body.
The image processing apparatus has an acquisition section, a preprocessing section, a postprocessing section, and a determination section.
The acquisition unit acquires the field-of-view image captured by the imaging unit.
The preprocessing unit performs first image processing for converting the field-of-view image acquired by the acquisition unit into a first image that is a grayscale image in an RGB space, and converts the field-of-view image to a color space different from the RGB space. and second image processing for converting to a second image that is an image.
The post-processing unit extracts features of an object to be detected based on both the first image and the second image.
The determination unit determines whether or not there is a detection target based on the result of the extraction process.

以上のように、本発明によれば、種々の色の対象物を検出可能な画像処理装置、画像処理方法及び画像処理システムを提供することができる。 As described above, according to the present invention, it is possible to provide an image processing apparatus, an image processing method, and an image processing system capable of detecting objects of various colors.

本発明の一実施形態に係る画像処理システムの構成例を示すブロック図である。1 is a block diagram showing a configuration example of an image processing system according to an embodiment of the present invention; FIG. 上記画像処理システムを備えた移動体の概略側面図である。FIG. 2 is a schematic side view of a moving body equipped with the image processing system; 上記画像処理システムの作用を説明する図である。It is a figure explaining the effect|action of the said image processing system. 本発明の一実施形態に係る画像処理装置の動作手順を示すフローチャートである。4 is a flow chart showing the operation procedure of the image processing apparatus according to one embodiment of the present invention;

以下、図面を参照しながら、本発明の実施形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜画像処理システムの全体構成＞
図１は、本発明の一実施形態に係る画像処理システム１００の構成例を示すブロック図である。図２は、画像処理システム１００を備えた移動体１の概略側面図である。 <Overall Configuration of Image Processing System>
FIG. 1 is a block diagram showing a configuration example of an image processing system 100 according to one embodiment of the present invention. FIG. 2 is a schematic side view of the mobile body 1 provided with the image processing system 100. FIG.

本実施形態の画像処理システム１００は、図１及び図２に示すように、画像処理装置１０と、撮像部２０と、表示部３０とを有する。 An image processing system 100 of the present embodiment includes an image processing device 10, an imaging section 20, and a display section 30, as shown in FIGS.

画像処理システム１００は、例えば、工場内で運行される移動体（例えばフォークリフト）に搭載され、移動体の走行路上における所定の検出対象（例えば停止線）の有無を判定し、検出対象を検出した場合にはその旨を運転手へ報知する安全支援システムとして構成される。 The image processing system 100 is mounted, for example, on a moving body (for example, a forklift) operated in a factory, determines whether or not there is a predetermined detection target (eg, a stop line) on the traveling road of the moving body, and detects the detection target. In some cases, it is configured as a safety support system that notifies the driver to that effect.

［画像処理装置］
画像処理装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等のコンピュータに用いられるハードウェア要素及び必要なソフトウェアにより実現される。画像処理装置１０は、ＣＰＵに代えて、またはこれに加えて、ＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、あるいは、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、その他ＡＳＩＣ（Application Specific Integrated Circuit）等を有してもよい。 [Image processing device]
The image processing apparatus 10 is implemented by hardware elements used in a computer such as a CPU (Central Processing Unit), RAM (Random Access Memory) and ROM (Read Only Memory), and necessary software. The image processing apparatus 10 includes a PLD (Programmable Logic Device) such as an FPGA (Field Programmable Gate Array), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), or the like instead of or in addition to the CPU. It may have an ASIC (Application Specific Integrated Circuit) or the like.

画像処理装置１０は、機能的に、取得部１１と、前処理部１２と、後処理部１３と、判定部１４と、表示制御部１５と、通信部１６と、メモリ１７とを有する。 The image processing apparatus 10 functionally includes an acquisition unit 11 , a preprocessing unit 12 , a postprocessing unit 13 , a determination unit 14 , a display control unit 15 , a communication unit 16 and a memory 17 .

（取得部）
取得部１１は、移動体１に設置された撮像部２０（２１，２２）により撮像された視野画像Ｖ１（図３（Ａ）参照）を時系列に取得可能に構成される。取得部１１は、撮像部２０に対する撮影の指示及び撮影の停止を制御することが可能に構成されてもよい。 (acquisition part)
The acquisition unit 11 is configured to be able to acquire the field-of-view images V1 (see FIG. 3A) captured by the imaging units 20 (21, 22) installed in the moving body 1 in time series. The acquisition unit 11 may be configured to be able to control the imaging unit 20 to instruct the imaging unit 20 to stop imaging.

（前処理部）
図３は、画像処理システム１００の作用の説明図である。前処理部１２は、図３（Ｂ），（Ｃ）に示すように、取得部１１で取得された視野画像Ｖ１をグレースケール画像Ｖ２（第１の画像）とＨＳＶ（Hue, Saturation, Value）画像Ｖ３（第２の画像）に変換可能に構成される。グレースケール画像Ｖ２及びＨＳＶ画像Ｖ３への変換方法は特に限定されず、例えば特定色を抽出する適宜のアルゴリズムを用いることができる。 (Pretreatment part)
FIG. 3 is an explanatory diagram of the operation of the image processing system 100. As shown in FIG. As shown in FIGS. 3B and 3C, the preprocessing unit 12 converts the visual field image V1 acquired by the acquisition unit 11 into a grayscale image V2 (first image) and an HSV (Hue, Saturation, Value) image. It is configured to be convertible to image V3 (second image). The conversion method to the grayscale image V2 and the HSV image V3 is not particularly limited, and an appropriate algorithm for extracting a specific color, for example, can be used.

（後処理部）
後処理部１３は、視野画像Ｖ１から変換されたグレースケール画像Ｖ２及びＨＳＶ画像Ｖ３の少なくとも一方に基づいて、停止線等の検出すべき対象である被写体の特徴を抽出可能に構成される。このような特徴としては、例えば、画像を構成する各画素のうち所定の輝度閾値以上の対象画素である。 (Post-processing section)
The post-processing unit 13 is configured to be able to extract features of a subject to be detected, such as a stop line, based on at least one of the grayscale image V2 and the HSV image V3 converted from the field-of-view image V1. Such a feature is, for example, a target pixel having a brightness threshold value or higher among pixels forming an image.

検出対象は特に限定されず、本実施形態では、移動体１が走行する路面（床面）上に存在する直線成分をもった路上物、例えば、走行領域を規定する車線、荷物の載置区画を表示する枠線、一時停止ラインや進行方向の標識（あるいは標示）といった路上標示物が対象とされる。これらの路上標示物は、路面を構成する床材（コンクリートやアスファルト、あるいはこれらの上に塗装された塗膜）の上に、床材とは異なる色でペイントされ、あるいは貼り付けられている。 Objects to be detected are not particularly limited, and in the present embodiment, objects on the road having linear components existing on the road surface (floor surface) on which the mobile body 1 travels, such as lanes that define the travel area and sections where luggage is placed. Road markings such as frame lines that display , stop lines, and signs (or markings) in the direction of travel are targeted. These road markings are painted or pasted on the floor material (concrete, asphalt, or a coating film painted on these) that constitutes the road surface in a color different from that of the floor material.

本実施形態では、水平方向に延びる所定以上の長さの横線を検出対象としている。このような横線としては、典型的には、一時停止ライン（停止線）や横断歩道等が挙げられる。 In this embodiment, horizontal lines extending in the horizontal direction and having a length equal to or longer than a predetermined length are to be detected. Such horizontal lines typically include temporary stop lines (stop lines), pedestrian crossings, and the like.

（判定部）
判定部１４は、後処理部１３の抽出処理の結果に基づいて、撮像部２０により撮像された視野画像Ｖ１に検出対象があるか否かを判定する。判定部１４は、所定のフレーム単位で視野画像Ｖ１における検出対象の存在の有無を判定するように構成される。判定部１４は、典型的には、取得部１１より時系列的に取得される視野画像Ｖ１をフレーム単位で更新するが、数フレームあるいは数十フレーム単位で更新するようにしてもよい。 (Judgment part)
The determination unit 14 determines whether there is a detection target in the field-of-view image V1 captured by the imaging unit 20 based on the result of the extraction processing of the post-processing unit 13 . The determination unit 14 is configured to determine the presence/absence of the detection target in the field-of-view image V1 for each predetermined frame. The determination unit 14 typically updates the visual field image V1 acquired in time series by the acquisition unit 11 in units of frames, but may be updated in units of several frames or several tens of frames.

（表示制御部）
表示制御部１５は、視野画像Ｖ１を表示する表示部３０へ検出対象の存在を知らせる画像情報を表示させるための制御信号を生成するように構成される。これにより、表示部３０を介してユーザに路上への注意喚起を促すことができる。表示制御部１５は、特許請求の範囲の「信号生成部」に相当する。 (Display control unit)
The display control unit 15 is configured to generate a control signal for displaying image information indicating the presence of the detection target on the display unit 30 that displays the visual field image V1. As a result, the user can be alerted to the road via the display unit 30 . The display control unit 15 corresponds to a "signal generation unit" in claims.

上記制御信号は、上記画像情報に代えて又はこれに加えて、図示しないスピーカやランプ等から音や光等の報知情報を出力させる信号であってもよい。 The control signal may be a signal for outputting notification information such as sound or light from a speaker, lamp, or the like (not shown) instead of or in addition to the image information.

（通信部）
通信部１６は、画像処理装置１０と管理装置４０との間で情報を送受信することが可能なアンテナ等を含む通信モジュールを備える。通信部１６は、取得部１１で取得された、撮像部２０により撮像された画像や、後処理部１３により上記所定のフレーム単位で抽出された検出対象の存在の有無に関する情報等を管理装置４０へ出力するように構成される。なお、通信部１６及び管理装置４０の設置は任意であり、必要に応じて省略されてもよい。 (communication department)
The communication unit 16 includes a communication module including an antenna or the like that enables information to be transmitted and received between the image processing device 10 and the management device 40 . The communication unit 16 transmits the image captured by the image capturing unit 20 and the information regarding the presence/absence of the detection target extracted in units of the predetermined frames by the post-processing unit 13, which is acquired by the acquisition unit 11, to the management device 40. configured to output to Installation of the communication unit 16 and the management device 40 is optional, and may be omitted as necessary.

（メモリ）
メモリ１７は、画像処理装置１０の各部の動作を実行するプログラムソフトウェアや演算パラメータが格納される。メモリ１７は、取得部１１により取得された視野画像Ｖ１、前処理部１２において生成されたグレースケール画像Ｖ２やＨＳＶ画像Ｖ３、判定部１４による検出対象の存在の有無の判定結果等が格納されてもよい。なお、メモリ１７は、画像処理装置１０とは別の記憶装置で構成されてもよい。 (memory)
The memory 17 stores program software for executing the operation of each part of the image processing apparatus 10 and calculation parameters. The memory 17 stores the visual field image V1 acquired by the acquisition unit 11, the grayscale image V2 and HSV image V3 generated by the preprocessing unit 12, the determination result of the presence or absence of the detection target by the determination unit 14, and the like. good too. Note that the memory 17 may be configured by a storage device different from the image processing device 10 .

［撮像部］
撮像部２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を有し、移動体１の進行方向の視野を撮影するビデオカメラで構成される。撮像部２０は、図２に示すように前進用および後退用の２つの撮像部２１，２２を備えていてもよい。撮像部２０は、移動体１の走行方向の路面（あるいは床面）Ｓを撮影することが可能に移動体１の適宜の場所に設置される。 [Imaging unit]
The imaging unit 20 has a solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and is composed of a video camera that captures the field of view of the moving body 1 in the traveling direction. The imaging section 20 may include two forward and backward imaging sections 21 and 22 as shown in FIG. The imaging unit 20 is installed at an appropriate location of the mobile body 1 so as to be able to take an image of the road surface (or floor surface) S in the running direction of the mobile body 1 .

視野画像Ｖ１は、典型的には、移動体１の走行方向の視野を撮影した動画であり、主として、移動体１の走行方向における路面Ｓおよびその周囲の画像を含む。取得した視野画像Ｖ１のデータは、メモリ１７に蓄積され、あるいは、通信部１６を介して管理装置４０へ無線送信される。 The field-of-view image V1 is typically a moving image of the field of view in the running direction of the mobile body 1, and mainly includes an image of the road surface S and its surroundings in the running direction of the mobile body 1. FIG. The data of the acquired visual field image V1 is stored in the memory 17 or wirelessly transmitted to the management device 40 via the communication unit 16 .

［表示部］
表示部３０は、撮像部２０で撮影された視野画像Ｖ１を表示することが可能な液晶表示装置や有機ＥＬ表示装置等で構成され、典型的には、図２に示すように移動体１の運転席等に設置される。 [Display part]
The display unit 30 is composed of a liquid crystal display device, an organic EL display device, or the like capable of displaying the visual field image V1 captured by the imaging unit 20. Installed in the driver's seat.

本実施形態の表示部３０には視野画像Ｖ１として移動体１の進行方向の前方視野が表示される。ここで前方視野とは、移動体１が前進している場合は撮像部２１により撮影される画像であり、移動体１が後退している場合は撮像部２２により撮影される画像である。 The display unit 30 of the present embodiment displays the forward field of view in the traveling direction of the moving body 1 as the field of view image V1. Here, the forward field of view is an image captured by the imaging unit 21 when the moving body 1 is moving forward, and is an image captured by the imaging unit 22 when the moving body 1 is moving backward.

＜画像処理システムの動作＞
次に、本実施形態の画像処理システム１００の典型的な動作について説明する。 <Operation of image processing system>
Next, a typical operation of the image processing system 100 of this embodiment will be described.

図４は、画像処理装置１０の動作手順を示すフローチャートである。以下、図４を適宜参照しながら画像処理装置の画像処理方法について説明する。 FIG. 4 is a flow chart showing the operation procedure of the image processing apparatus 10. As shown in FIG. The image processing method of the image processing apparatus will be described below with appropriate reference to FIG.

［ステップＳ１０１：視野画像取得］
移動体１が走行を開始すると、取得部１１は、撮像部２０から路面Ｓの視野画像Ｖ１を時系列的に取得する。視野画像Ｖ１は、表示部３０に表示される。表示部３０に表示される視野画像Ｖ１は典型的にはＲＧＢ画像である。 [Step S101: Acquisition of visual field image]
When the moving body 1 starts traveling, the acquiring unit 11 acquires the field-of-view image V1 of the road surface S from the imaging unit 20 in time series. The field-of-view image V1 is displayed on the display section 30 . The field-of-view image V1 displayed on the display unit 30 is typically an RGB image.

［ステップＳ１０２：第１の画像処理］
次に、前処理部１２は、取得部１１から出力された視野画像Ｖ１をグレースケール画像Ｖ２に変換する第１の画像処理を実行する。この第１の画像処理は、時系列に所定のフレーム単位で実行される。第１の画像処理の結果生成されたグレースケール画像Ｖ２はメモリ１７に記憶される。 [Step S102: First Image Processing]
Next, the preprocessing unit 12 executes first image processing for converting the field-of-view image V1 output from the acquisition unit 11 into a grayscale image V2. This first image processing is executed in units of predetermined frames in chronological order. A grayscale image V2 generated as a result of the first image processing is stored in the memory 17. FIG.

［ステップＳ１０３：第２の画像処理］
次いで、前処理部１２は、取得部１１から出力された視野画像Ｖ１をＲＧＢ空間とは異なる色空間の画像に変換する第２の画像処理を実行する。本実施形態の第２の画像処理では、典型的には視野画像Ｖ１がＨＳＶ画像Ｖ３に変換され、この処理が時系列にフレーム単位で実行される。 [Step S103: Second Image Processing]
Next, the preprocessing unit 12 executes second image processing for converting the field-of-view image V1 output from the acquisition unit 11 into an image in a color space different from the RGB space. In the second image processing of the present embodiment, typically the field-of-view image V1 is converted into the HSV image V3, and this processing is executed frame by frame in time series.

具体的には、前処理部１２は、視野画像Ｖ１をＲＧＢ空間からＨＳＶ空間に変換し、ＨＳＶ空間上において、特定の色成分に対応する領域を閾値処理により特定する。これにより、ＲＧＢ画像（視野画像Ｖ１）から特定の色成分のみが抽出されたＨＳＶ画像Ｖ３が生成される。第２の画像処理の結果生成されたＨＳＶ画像Ｖ３はメモリ１７に記憶される。 Specifically, the preprocessing unit 12 converts the visual field image V1 from the RGB space to the HSV space, and specifies a region corresponding to a specific color component in the HSV space by threshold processing. As a result, an HSV image V3 is generated by extracting only specific color components from the RGB image (field-of-view image V1). The HSV image V3 generated as a result of the second image processing is stored in the memory 17. FIG.

［ステップＳ１０４：合成画像生成］
次いで、前処理部１２は、視野画像Ｖ１から変換されたグレースケール画像Ｖ２とＨＳＶ画像Ｖ３とを合成する。これにより、グレースケール画像である合成画像Ｖ４が生成される（図３（Ｄ）参照）。画像の合成は、例えば、グレースケール画像Ｖ２とＨＳＶ画像Ｖ３を構成する各画素について、それぞれに対応する画素値（輝度値）を比較し、大きい輝度値を採用するという方法で行う。 [Step S104: Synthetic image generation]
Next, the preprocessing unit 12 synthesizes the grayscale image V2 converted from the field-of-view image V1 and the HSV image V3. As a result, a synthesized image V4, which is a grayscale image, is generated (see FIG. 3D). The image synthesis is performed by, for example, comparing pixel values (luminance values) corresponding to each pixel constituting the grayscale image V2 and the HSV image V3 and adopting the larger luminance value.

具体的には、グレースケール画像Ｖ２を構成する各画素の濃淡を表す階調値と、ＨＳＶ画像Ｖ３を構成する各画素の色相（Hue）、彩度（Saturation）、明度（Value）の度合いを表す階調値とを比較し、値が大きい方の階調値を補正することによって得られた画素値（輝度値）に基づいてグレースケール画像（合成画像Ｖ４）を生成する。 Specifically, the gradation value representing the gradation of each pixel constituting the grayscale image V2 and the degree of hue (Hue), saturation (Saturation), and brightness (Value) of each pixel constituting the HSV image V3 are A grayscale image (composite image V4) is generated based on the pixel values (luminance values) obtained by comparing the gradation values to be represented and correcting the larger gradation value.

あるいは、グレースケール画像Ｖ２の画素の画素値（輝度値）と、当該画素に対応するＨＳＶ画像Ｖ３の画素の画素値（輝度値）との平均値を算出し、この平均値を合成画像Ｖ４の画素の画素値（輝度値）とする方法が採用されてもよい。 Alternatively, the average value of the pixel value (luminance value) of the pixel of the grayscale image V2 and the pixel value (luminance value) of the pixel of the HSV image V3 corresponding to the pixel is calculated, and this average value is used as the composite image V4. A method of using pixel values (luminance values) of pixels may be employed.

［ステップＳ１０５：検出対象の有無の判定］
次に、後処理部１３は、先のステップＳ１０４において生成された合成画像Ｖ４に基づいて、停止線等の検出すべき対象である被写体の特徴を抽出する。具体的には、後処理部１３は、合成画像Ｖ４の濃淡を白と黒の２階調に変換することで二値化画像（図示略）を生成する。これにより、合成画像Ｖ４の各画素は、その輝度値に基づいて、当該輝度値が閾値以上の場合は白に、閾値未満の場合は黒に置き換えられる。 [Step S105: Determining presence/absence of detection target]
Next, the post-processing unit 13 extracts the features of the subject to be detected, such as the stop line, based on the synthesized image V4 generated in step S104. Specifically, the post-processing unit 13 converts the gradation of the synthesized image V4 into two gradations of white and black to generate a binarized image (not shown). As a result, each pixel of the synthesized image V4 is replaced with white when the brightness value is equal to or greater than the threshold value, and is replaced with black when the brightness value is less than the threshold value, based on the brightness value.

後処理部１３は、生成された二値化画像をエッジ処理（エッジ検出）するように構成されてもよい。これにより、合成画像Ｖ４内の停止線等の被写体の輪郭あるいは路面との境界部が強調表示されたエッジ画像（図示略）が得られる。 The post-processing unit 13 may be configured to perform edge processing (edge detection) on the generated binarized image. As a result, an edge image (not shown) is obtained in which the outline of the object such as the stop line in the composite image V4 or the boundary with the road surface is emphasized.

次いで、判定部１４は、後処理部１３の抽出処理の結果に基づいて、視野画像Ｖ１に検出対象が有るか否かを判定する。具体的には、判定部１４は、生成された二値化画像あるいはエッジ画像に基づいて一軸方向に連続する所定の輝度閾値以上の対象画素をカウントする。そして、対象画素のカウント数が所定値以上であるか否かに基づいて、視野画像Ｖ１内における検出対象の有無を判定し、対象画素のカウント数が所定値以上の場合に、その画素領域を検出対象として抽出する。 Next, the determination unit 14 determines whether or not there is a detection target in the visual field image V1 based on the result of the extraction processing of the post-processing unit 13 . Specifically, the determining unit 14 counts target pixels having a predetermined luminance threshold or more that are consecutive in the uniaxial direction based on the generated binary image or edge image. Then, based on whether or not the count number of target pixels is equal to or greater than a predetermined value, the presence or absence of a detection target in the field-of-view image V1 is determined. Extract as a detection target.

ここで、判定部１４により視野画像Ｖ１に検出対象があると判定された場合（ステップＳ１０５のＹＥＳ）、後述のステップＳ１０６が実行される。一方、検出対象が無いと判定された場合は（ステップＳ１０５のＮＯ）、引き続き路面Ｓの視野画像Ｖ１が時系列的に取得される。なお、ステップＳ１０５において述べた検出対象の有無を判定する方法はあくまで一例であり、他の方法が採用されてもよい。 If the determination unit 14 determines that there is a detection target in the field image V1 (YES in step S105), step S106, which will be described later, is executed. On the other hand, if it is determined that there is no object to be detected (NO in step S105), the field-of-view image V1 of the road surface S is subsequently acquired in time series. Note that the method of determining the presence or absence of the detection target described in step S105 is merely an example, and other methods may be adopted.

［ステップＳ１０６：色判定］
判定部１４は、先のステップＳ１０１において取得された視野画像Ｖ１の各画素の画素値に基づいて、検出対象と判定された被写体の色を判定する。そして、表示制御部１５は、検出対象の色に応じた制御信号を生成し、この信号を表示部３０に出力する。 [Step S106: Color Judgment]
The determination unit 14 determines the color of the subject determined to be the detection target based on the pixel value of each pixel of the field-of-view image V1 acquired in step S101. The display control unit 15 then generates a control signal corresponding to the color to be detected and outputs this signal to the display unit 30 .

［ステップＳ１０７：表示制御］
検出対象の色に応じた制御信号を取得した表示部３０は、図３（Ｅ）に示すように、視野画像Ｖ１と検出対象の色に応じた画像情報とが重畳した重畳画像Ｖ５を表示する。これにより、表示部３０を介してユーザに検出対象の色に応じた注意喚起を促すことができる。 [Step S107: Display control]
After acquiring the control signal corresponding to the color of the detection target, the display unit 30 displays a superimposed image V5 in which the visual field image V1 and the image information corresponding to the color of the detection target are superimposed, as shown in FIG. 3(E). . As a result, the user can be prompted to pay attention to the color to be detected via the display unit 30 .

上記の画像情報とは図３（Ｅ）に示すように、例えば、検出対象を囲む枠線Ｗであり、例えば赤色で強調表示される。この場合、枠線Ｗを太線で表示したり、点滅表示したりしてもよい。また、枠線Ｗの形状は、同図示すような矩形に限られず、円形、楕円形、台形等その形状は問わない。 As shown in FIG. 3(E), the above image information is, for example, a frame line W surrounding the detection target, which is highlighted in red, for example. In this case, the frame line W may be displayed with a thick line or may be blinked. Further, the shape of the frame line W is not limited to the rectangular shape shown in the figure, and may be circular, elliptical, trapezoidal, or any other shape.

以上の処理は、移動体１の運転が終了するまで繰り返し実行される（ステップＳ１０８）。 The above processing is repeatedly executed until the operation of the moving body 1 ends (step S108).

＜作用＞
従来、画像処理によって車線区分線や停止線等の検出対象を検出する場合、画像の前処理として、ＲＧＢ画像を輝度変化のみで構成されるグレースケール画像に変換することによって検出対象を検出する。しかしながら、この場合、白や黄色等の輝度が大きい色の検出対象は十分に検出することができるが、他の色の検出対象に対する検出精度が低いという課題がある。 <Action>
Conventionally, when detection targets such as lane markings and stop lines are detected by image processing, the detection targets are detected by converting an RGB image into a grayscale image composed only of luminance changes as image preprocessing. However, in this case, although it is possible to sufficiently detect a detection target having a high brightness such as white or yellow, there is a problem that detection accuracy for a detection target having other colors is low.

これに対し、本実施形態では、視野画像Ｖ１内の検出対象を検出する際に、グレースケール画像Ｖ２だけはなく視野画像Ｖ１から特定の色成分が抽出された画像であるＨＳＶ画像Ｖ３が利用される。これにより、輝度が大きい黄色や白色の検出対象だけではなく、輝度が小さい青、緑又は赤等の種々の色の検出対象を検出することができる。従って、従来よりも検出対象に対する検出精度が向上する。 On the other hand, in this embodiment, when detecting a detection target in the visual field image V1, not only the grayscale image V2 but also the HSV image V3, which is an image obtained by extracting a specific color component from the visual field image V1, is used. be. This makes it possible to detect not only yellow and white detection targets with high brightness, but also detection targets with various colors such as blue, green, and red with low brightness. Therefore, the detection accuracy for the detection target is improved as compared with the conventional art.

また、本実施形態では、視野画像Ｖ１内の検出対象を検出する際に、グレースケール画像Ｖ２とＨＳＶ画像Ｖ３とが合成された合成画像Ｖ４が利用される。これにより、検出対象の色が輝度の低い色であっても当該検出対象がＨＳＶ画像Ｖ３で検出され、ＨＳＶ空間上において特定の色成分に対応する領域を見つける際の閾値処理が適切でないことにより検出対象周辺の光量の影響で検出対象を正しく検出できない場合であっても、色によっては当該検出対象がグレースケール画像Ｖ２で検出される。
即ち、グレースケール画像Ｖ２とＨＳＶ画像Ｖ３とを合成することによって、両者の欠点が互いに補填されるため、検出対象周辺の光量の変化に対するロバスト性が向上する。 Further, in this embodiment, when detecting a detection target in the field-of-view image V1, a composite image V4 obtained by combining the grayscale image V2 and the HSV image V3 is used. As a result, even if the color of the detection target is a color with low luminance, the detection target is detected in the HSV image V3. Even if the detection target cannot be detected correctly due to the influence of the amount of light around the detection target, the detection target is detected in the grayscale image V2 depending on the color.
That is, by synthesizing the grayscale image V2 and the HSV image V3, the shortcomings of the two are compensated for, thereby improving the robustness against changes in the amount of light around the object to be detected.

＜変形例＞
以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されるものではなく種々変更を加え得ることは勿論である。 <Modification>
Although the embodiments of the present invention have been described above, it goes without saying that the present invention is not limited to the above-described embodiments and can be modified in various ways.

例えば、上記実施形態では、合成画像Ｖ４に基づいて検出対象の有無が判定されるがこれに限られず、グレースケール画像Ｖ２及びＨＳＶ画像Ｖ３のどちらか一方に基づいて検出対象の有無が判定されてもよい。 For example, in the above embodiment, the presence or absence of the detection target is determined based on the synthesized image V4, but the present invention is not limited to this, and the presence or absence of the detection target is determined based on either the grayscale image V2 or the HSV image V3. good too.

また、上記実施形態では、第１の画像処理が実行された後に第２の画像処理が実行されるがこれに限られず、第１の画像処理と第２の画像処理とが並行して実行されてもよい。これにより、比較的短時間で検出対象の有無を判定することができる。 Further, in the above embodiment, the second image processing is executed after the first image processing is executed, but the present invention is not limited to this, and the first image processing and the second image processing are executed in parallel. may As a result, the presence or absence of the detection target can be determined in a relatively short time.

さらに、本発明では、検出対象の特定の色だけではなく、色毎に処理を並列に実行し、複数の色を見分けて色に応じて異なる処理が実行されてもよい。 Furthermore, in the present invention, processing may be executed in parallel not only for a specific color to be detected, but also for each color, and different processing may be executed depending on a plurality of colors.

加えて、上記実施形態では、検出対象として、停止線等の水平方向に連続する所定長さの線成分を有する対象物を例に挙げて説明したが、車線等の垂直方向（視野画像内では斜め方向）に連続する所定長さの線成分を有する対象物を検出対象としてもよい。 In addition, in the above-described embodiment, an object having a line component of a predetermined length that is continuous in the horizontal direction, such as a stop line, was described as an example of a detection target. A detection target may be an object having a line component of a predetermined length continuous in an oblique direction.

また、上記実施形態の第２の画像処理では、視野画像Ｖ１がＨＳＶ画像Ｖ３に変換されるがこれに限られない。例えば、第２の画像処理では、ＨＳＶ画像に代えて、視野画像Ｖ１がＨＬＳ画像、ＹＵＶ画像、ＸＹＺ画像等のＲＧＢ空間とは異なる色空間の画像に変換されてもよい。 Also, in the second image processing of the above embodiment, the field-of-view image V1 is converted into the HSV image V3, but the invention is not limited to this. For example, in the second image processing, instead of the HSV image, the field-of-view image V1 may be converted into an image in a color space different from the RGB space, such as an HLS image, YUV image, or XYZ image.

さらに、上記実施形態では、移動体１としてフォークリフトを例に挙げて説明したが、これに限られず、一般車両や自律走行ロボット等の有人または無人の他の移動体であってもよい。さらに、移動体１は、走行体に限られず、ドローン等の飛行体であってもよい。この場合、天井の梁や柱、建物の壁面等を検出対象とすることができる。 Furthermore, in the above-described embodiment, a forklift is used as an example of the mobile object 1, but the mobile object 1 is not limited to this, and may be another manned or unmanned mobile object such as a general vehicle or an autonomous mobile robot. Furthermore, the moving object 1 is not limited to a traveling object, and may be a flying object such as a drone. In this case, ceiling beams and pillars, walls of buildings, and the like can be detected.

加えて、上記実施形態では、検出対象は典型的には停止線であるがこれに限られず、路面Ｓに落下した物体等の対象物以外の他の対象物の検出にも、本発明は適用可能である。 In addition, in the above embodiment, the detection target is typically a stop line, but is not limited to this, and the present invention can also be applied to detection of objects other than objects such as objects that have fallen on the road surface S. It is possible.

また、実施形態では、視野画像Ｖ１に検出対象が存在する場合、枠線Ｗを表示部３０において強調表示するように構成されたが、上述したように、これに代えて又は加えて、音や光等によりオペレータへ注意を喚起することが可能なブザー、ランプその他の警報器が設置されてもよい。 Further, in the embodiment, when a detection target exists in the field image V1, the frame line W is highlighted on the display unit 30. However, as described above, instead of or in addition to this, a sound A buzzer, lamp, or other alarm device capable of calling the operator's attention with light or the like may be installed.

１０・・・画像処理装置
１１・・・取得部
１２・・・前処理部
１３・・・後処理部
１４・・・判定部
１５・・・表示制御部（信号生成部）
２０・・・撮像部
３０・・・表示部
Ｖ１・・・視野画像
Ｖ２・・・グレースケール画像（第１の画像）
Ｖ３・・・ＨＳＶ画像（第２の画像）
Ｖ４・・・合成画像
１００・・・画像処理システム DESCRIPTION OF SYMBOLS 10... Image processing apparatus 11... Acquisition part 12... Pre-processing part 13... Post-processing part 14... Judgment part 15... Display control part (signal generation part)
20... Imaging unit 30... Display unit V1... View image V2... Grayscale image (first image)
V3: HSV image (second image)
V4: Synthetic image 100: Image processing system

Claims (6)

移動体に設置された撮像部により撮像された視野画像を取得する取得部と、
前記取得部により取得された視野画像をＲＧＢ空間のグレースケール画像である第１の画像に変換する第１の画像処理と、前記視野画像をＲＧＢ空間とは異なる色空間の画像である第２の画像に変換する第２の画像処理とを実行する前処理部と、
前記第１の画像と前記第２の画像の両方に基づいて検出すべき対象の特徴を抽出する後処理部と、
前記抽出処理の結果に基づいて、検出対象の有無を判定する判定部と
を具備する画像処理装置。 an acquisition unit that acquires a field-of-view image captured by an imaging unit installed in a moving object;
first image processing for converting the field-of-view image acquired by the acquisition unit into a first image that is a grayscale image in an RGB space; a preprocessing unit that performs second image processing for converting into an image;
a post-processing unit for extracting features of an object to be detected based on both the first image and the second image;
An image processing apparatus comprising: a determination unit that determines presence/absence of a detection target based on the result of the extraction process. 請求項１に記載の画像処理装置であって、
前記前処理部は、前記第１の画像と前記第２の画像とが合成された合成画像を生成し、
前記後処理部は、前記合成画像に基づいて検出すべき対象の特徴を抽出し、
前記判定部は、当該抽出処理の結果に基づき検出対象の有無を判定する
画像処理装置。 The image processing device according to claim 1,
The preprocessing unit generates a composite image in which the first image and the second image are composited,
The post-processing unit extracts features of a target to be detected based on the synthesized image,
The image processing device, wherein the determination unit determines presence/absence of a detection target based on a result of the extraction processing. 請求項１又は２に記載の画像処理装置であって、
前記判定部は、前記検出対象の色をさらに判定し、
前記画像処理装置は、前記検出対象の色に基づいた画像情報と前記視野画像とを重畳して表示させるための制御信号を生成する信号生成部をさらに具備する
画像処理装置。 The image processing device according to claim 1 or 2,
The determination unit further determines the color of the detection target,
The image processing device further includes a signal generation unit that generates a control signal for superimposing and displaying the image information based on the color of the detection target and the field-of-view image. 請求項３に記載の画像処理装置であって、
前記信号生成部は、前記検出対象の色に応じた制御信号を生成する
画像処理装置。 The image processing device according to claim 3,
The image processing device, wherein the signal generation unit generates a control signal corresponding to the color of the detection target. 移動体に設置された撮像部により撮像された視野画像を取得し、
前記視野画像をＲＧＢ空間のグレースケール画像である第１の画像に変換する第１の画像処理と、前記視野画像をＲＧＢ空間とは異なる色空間の画像である第２の画像に変換する第２の画像処理とを実行し、
前記第１の画像と前記第２の画像の両方に基づいて検出すべき対象の特徴を抽出し、
前記抽出処理の結果に基づいて、検出対象の有無を判定する
画像処理方法。 Acquiring a field-of-view image captured by an imaging unit installed in a moving body,
First image processing for converting the field-of-view image into a first image that is a grayscale image in an RGB space, and second processing for converting the field-of-view image into a second image that is an image in a color space different from the RGB space. image processing and
extracting features of an object to be detected based on both the first image and the second image;
An image processing method for determining whether or not there is a detection target based on the result of the extraction processing. 移動体に設置された撮像部と、
前記撮像部により撮像された視野画像を取得する取得部と、前記取得部により取得された視野画像をＲＧＢ空間のグレースケール画像である第１の画像に変換する第１の画像処理と、前記視野画像をＲＧＢ空間とは異なる色空間の画像である第２の画像に変換する第２の画像処理とを実行する前処理部と、前記第１の画像と前記第２の画像の両方に基づいて検出すべき対象の特徴を抽出する後処理部と、前記抽出処理の結果に基づいて検出対象の有無を判定する判定部と、を有する画像処理装置と
を具備する画像処理システム。 an imaging unit installed in a moving object;
an acquisition unit that acquires a field-of-view image captured by the imaging unit; first image processing that converts the field-of-view image acquired by the acquisition unit into a first image that is a grayscale image in an RGB space; a preprocessing unit that performs second image processing for converting an image into a second image that is an image in a color space different from the RGB space; and based on both the first image and the second image, An image processing system comprising: an image processing apparatus comprising: a post-processing unit that extracts features of an object to be detected;
JP2018152315A 2018-08-13 2018-08-13 IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD AND IMAGE PROCESSING SYSTEM Active JP7129270B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018152315A JP7129270B2 (en) 2018-08-13 2018-08-13 IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD AND IMAGE PROCESSING SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018152315A JP7129270B2 (en) 2018-08-13 2018-08-13 IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD AND IMAGE PROCESSING SYSTEM

Publications (2)

Publication Number Publication Date
JP2020027468A JP2020027468A (en) 2020-02-20
JP7129270B2 true JP7129270B2 (en) 2022-09-01

Family

ID=69620153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018152315A Active JP7129270B2 (en) 2018-08-13 2018-08-13 IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD AND IMAGE PROCESSING SYSTEM

Country Status (1)

Country Link
JP (1) JP7129270B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010122747A1 (en) 2009-04-23 2010-10-28 パナソニック株式会社 Driving support device, driving support method, and program
WO2012014627A1 (en) 2010-07-29 2012-02-02 本田技研工業株式会社 Vehicle periphery monitoring device
JP2013224081A (en) 2012-04-20 2013-10-31 Kyocera Corp Image processing device and driving assisting method
JP2014238693A (en) 2013-06-07 2014-12-18 株式会社リコー Stop line detection device, moving body control device, and program for stop line detection

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4365352B2 (en) * 2005-07-06 2009-11-18 本田技研工業株式会社 Vehicle and lane mark recognition device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010122747A1 (en) 2009-04-23 2010-10-28 パナソニック株式会社 Driving support device, driving support method, and program
WO2012014627A1 (en) 2010-07-29 2012-02-02 本田技研工業株式会社 Vehicle periphery monitoring device
JP2013224081A (en) 2012-04-20 2013-10-31 Kyocera Corp Image processing device and driving assisting method
JP2014238693A (en) 2013-06-07 2014-12-18 株式会社リコー Stop line detection device, moving body control device, and program for stop line detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
神品享, 外1名，"駐車枠より推定された消失線に基づく駐車車両の姿勢推定"，ＳＳＩＩ２０１４ 第２０回画像センシングシンポジウム 講演論文集，日本，画像センシング技術研究会，2014年06月13日，p.(IS3-19-1)-(IS3-19-8)

Also Published As

Publication number Publication date
JP2020027468A (en) 2020-02-20

Similar Documents

Publication Publication Date Title
JP5577398B2 (en) Vehicle periphery monitoring device
JP4482599B2 (en) Vehicle periphery monitoring device
KR101913876B1 (en) Method of processing images and apparatus
JP2010109452A (en) Vehicle surrounding monitoring device and vehicle surrounding monitoring method
JP2009017157A (en) Image processor, method and program
US20210295529A1 (en) Method and system for image processing
KR20170107269A (en) Apparatus and method for depth image filtering of rgbd camera
US20120154545A1 (en) Image processing apparatus and method for human computer interaction
JP2007139564A (en) Obstacle detection system, obstacle detection method and computer program
JP7129270B2 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD AND IMAGE PROCESSING SYSTEM
JP5502149B2 (en) Vehicle periphery monitoring device
JP2019029750A (en) Imaging apparatus
JP2017030380A (en) Train detection system and train detection method
JP5906696B2 (en) Vehicle periphery photographing apparatus and vehicle periphery image processing method
KR101367673B1 (en) Method and System for Selecting Motion Search Region for Image Sequences using Depth Camera Information
JP2010136207A (en) System for detecting and displaying pedestrian
KR101470198B1 (en) Apparatus and method for combining image
JP2012147083A (en) Image processor, image processing method, and program
JP3467774B2 (en) Image processing apparatus, image processing method, and vehicle monitoring system
KR101865958B1 (en) Method and apparatus for recognizing speed limit signs
US11308709B2 (en) Deposit detection device and deposit detection method
JP2008230358A (en) Display device
JP2019068312A (en) Image monitoring apparatus and image monitoring system
JP2016051236A (en) Image processing apparatus, image processing method, and inspection method using the same
JP2008040724A (en) Image processing device and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220414

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220822

R150 Certificate of patent or registration of utility model

Ref document number: 7129270

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350