JPWO2019163378A1 - Image processing equipment for forklifts and control programs - Google Patents

Abstract

フォークリフトにおいて、荷積みした状態で前方を確認できるとともに、安定して、物体までの距離を測定する。
画像処理装置２０は、１本のフォーク１５の先端部分に、フォーク１５の前方を撮影するカメラ２１、２２と、前方にある物体までの距離を検知するための検知センサーとを設け、検知センサーの検知情報に基づいて、カメラ２１、２２が取得した映像を加工して、ディスプレイ２５に表示する。With a forklift, you can check the front in the loaded state and measure the distance to the object in a stable manner.
The image processing device 20 is provided with cameras 21 and 22 for photographing the front of the fork 15 and a detection sensor for detecting the distance to an object in front of the fork 15 at the tip of one fork 15. Based on the detection information, the images acquired by the cameras 21 and 22 are processed and displayed on the display 25.

Description

本発明は、フォークリフトに搭載されたフォークリフト用の画像処理装置、および制御プログラムに関する。 The present invention relates to an image processing device for a forklift mounted on a forklift and a control program.

フォークリフトは、フォークにパレット上の荷物を載せて移動する。例えば運転者が進行方向を向いて運転台に座る座席式のフォークリフトにおいては、前方のフォーク上に、運転者の目線より高く荷積みした場合、前方に死角が出来てしまう。走行する場合には、運転者は、フォークリフトを後進させながら、移動する。しかし、荷役時は、前進が必要で運転者は、横に身をのり出して視認せざるを得ない。 The forklift moves by placing the luggage on the pallet on the fork. For example, in a seat-type forklift in which the driver sits in the driver's cab facing the direction of travel, a blind spot is created in the front when the fork is loaded higher than the driver's line of sight. When traveling, the driver moves while moving the forklift backward. However, at the time of cargo handling, it is necessary to move forward, and the driver has no choice but to lean out to the side and visually recognize.

また、運転者からフォークの前方を視認しづらい高所棚での積み下ろし作業においても、フォークの前方や、フォークを差し込んだ状態でパレットの前方側を視認したいという要望がある。このような問題に対して特許文献１に開示されたフォークリフトでは、フォークに前方を撮影するカメラを設け、撮影した画像をディスプレイに表示させている。 Further, there is a demand that the driver wants to visually recognize the front side of the fork and the front side of the pallet with the fork inserted even in the loading and unloading work on a high-altitude shelf where it is difficult for the driver to visually recognize the front side of the fork. In response to such a problem, in the forklift disclosed in Patent Document 1, a camera for photographing the front is provided on the fork, and the photographed image is displayed on the display.

また、フォークリフトの左右のフォークにそれぞれカメラを設けることで、前方視界を得るとともに、ステレオ視によって前方にある物体までの距離を算出し、算出結果を表示する技術がある（特許文献２）。 Further, there is a technique of providing a front view by providing cameras on the left and right forks of a forklift, calculating the distance to an object in front by stereo vision, and displaying the calculation result (Patent Document 2).

特開２００３−２４６５９７号公報Japanese Unexamined Patent Publication No. 2003-246597 特開２０１３−８６９５９号公報Japanese Unexamined Patent Publication No. 2013-86959

フォークリフトの２本のフォークをフィンガバーに取り付けたとき、一般に、両者間に意図的に、がたつきを設けている。このため、走行時の振動などにより、２本のフォークが互いにバラバラな動きをしたり、取り付けられているフィンガバーやこれらを支持するマスト部分と異なる動きをしたりすることがある。 When the two forks of a forklift are attached to a finger bar, there is generally a deliberate rattling between the two forks. For this reason, the two forks may move apart from each other due to vibration during traveling, or may move differently from the attached finger bars and the mast portion that supports them.

特許文献１では、フォークに１台のカメラを設けている。この場合、前方視認はできるものの、その画像を見ただけでは前方にある物体との距離はわからない。 In Patent Document 1, one camera is provided on the fork. In this case, although the front can be visually recognized, the distance to the object in front cannot be known only by looking at the image.

この点、特許文献２に開示された技術では、２本のフォークのそれぞれにカメラを取り付けることで、ステレオ視により測距できる。しかしながら、上述のように、２本のフォークは、その間隔が安定しておらず、両カメラの間隔（基線長）が安定しないことや、フォークの取り付けガタにより、２本のフォークがバラバラに動く。また、２本のフォークの平行度が確保できないことが多い。このため、ステレオ視計算で精度を保つことが不可能か、または非常に困難になる。 In this regard, in the technique disclosed in Patent Document 2, by attaching a camera to each of the two forks, the distance can be measured by stereo vision. However, as described above, the distance between the two forks is not stable, the distance between the two cameras (baseline length) is not stable, and the two forks move apart due to the backlash of the forks. .. In addition, the parallelism of the two forks is often not ensured. For this reason, it becomes impossible or very difficult to maintain the accuracy in the stereo visual calculation.

さらに、特許文献２に開示された技術では、それぞれのフォークの根元側にカメラを配置しているために、荷積みした状態では、前方の視界が非常に狭くなるため、前方の視界を十分に確保することができない。 Further, in the technique disclosed in Patent Document 2, since the cameras are arranged on the root side of each fork, the front field of view becomes very narrow in the loaded state, so that the front field of view is sufficiently widened. Cannot be secured.

また、特許文献１に開示された技術では、フォーク先端部にカメラを設けている。そのため、フォークに荷積みした状態では、一般に、フォーク先端部のカメラは、地面に近い位置にあり、そのカメラからの映像は、下から見上げるような画角となるために、そのカメラからの映像を表示したとしても、運転者は周囲の状況を把握しづらいという問題がある。 Further, in the technique disclosed in Patent Document 1, a camera is provided at the tip of the fork. Therefore, when loaded on a fork, the camera at the tip of the fork is generally located near the ground, and the image from the camera has an angle of view that looks up from below. Even if is displayed, there is a problem that it is difficult for the driver to grasp the surrounding situation.

本発明は、上述の事情に鑑みなされたものであり、第１の目的は、フォークリフトにおいて、荷積みした状態で前方を確認できるとともに、安定して、物体までの距離を測定できる、フォークリフト用の画像処理装置を提供することである。 The present invention has been made in view of the above circumstances, and the first object of the present invention is for a forklift, which can confirm the front in a loaded state and can stably measure the distance to an object. It is to provide an image processing apparatus.

第２の目的は、フォークリフトにおいて、荷積みした状態であっても前方の状況を容易に確認できるとともに、安全な作業環境を提供することである。 The second purpose is to provide a safe working environment while being able to easily check the situation in front of the forklift even when it is loaded.

本発明の上記目的は、下記の手段によって達成される。 The above object of the present invention is achieved by the following means.

（１）フォークリフトに用いられる画像処理装置であって、
前記フォークリフトの前方側に昇降可能に支持された複数のフォークのうちの１本のフォークの先端部分に設けられ、前記フォークリフトの前方を撮影するカメラと、
前記カメラが設けられた前記フォークの前記先端部分に設けられ、前記フォークリフトの前方にある物体までの距離を検知するための検知センサーと、
前記検知センサーの検知情報に基づいて、前記カメラが取得した映像を加工する処理部と、
前記処理部が加工した加工後の映像を表示するディスプレイと、
を備える画像処理装置。(1) An image processing device used for a forklift.
A camera provided at the tip of one of a plurality of forks supported so as to be able to move up and down on the front side of the forklift and photographing the front of the forklift.
A detection sensor provided at the tip of the fork provided with the camera and for detecting the distance to an object in front of the forklift.
A processing unit that processes the image acquired by the camera based on the detection information of the detection sensor, and
A display that displays the processed image processed by the processing unit, and
An image processing device comprising.

（２）１本の前記フォークに、第１の撮像素子および第２の撮像素子が、それぞれの撮影領域の少なくとも一部が重なるように設けられ、
前記第１、第２の撮像素子の少なくとも一方が、前記カメラの一部として機能するとともに、前記１、第２の撮像素子の両方が前記検知センサーとして機能し、
前記処理部は、前記第１、第２の撮像素子の双方から取得した映像に基づいて、前記フォークの前方にある物体までの距離を検出し、検出した距離に基づいて前記映像を加工する、上記（１）に記載の画像処理装置。(2) A first image sensor and a second image sensor are provided on one of the forks so that at least a part of each image pickup area overlaps.
At least one of the first and second image sensors functions as a part of the camera, and both the first and second image sensors function as the detection sensor.
The processing unit detects the distance to the object in front of the fork based on the images acquired from both the first and second image pickup elements, and processes the image based on the detected distance. The image processing device according to (1) above.

（３）前記フォークリフトの前方に向けて光を照射する、または、前記フォークリフトの前方に向けて２次元のパターン光を照射する投光器、
を備え、
前記投光器、および前記処理部は、前記検知センサーとしても機能し、前記処理部は、前記投光器による照射光、または前記パターン光を撮影した前記カメラからの映像に基づいて、前記フォークリフトの前方にある物体までの距離を検出し、検出した距離に基づいて前記映像を加工する、上記（１）または上記（２）に記載の画像処理装置。(3) A floodlight that irradiates light toward the front of the forklift or irradiates two-dimensional pattern light toward the front of the forklift.
With
The floodlight and the processing unit also function as the detection sensor, and the processing unit is in front of the forklift based on an image from the camera that captures the irradiation light by the floodlight or the pattern light. The image processing apparatus according to (1) or (2) above, which detects the distance to an object and processes the image based on the detected distance.

（４）前記検知センサーは、前記フォークリフトの前方にある物体までの距離を検知して複数点の測距点群データを取得する測距センサーである、上記（１）に記載の画像処理装置。 (4) The image processing device according to (1) above, wherein the detection sensor is a distance measuring sensor that detects a distance to an object in front of the forklift and acquires a plurality of distance measuring point cloud data.

（５）前記フォークの先端のテーパー部であって、上面視において先端に向けて幅が徐々に狭くなり、および／または、側面視において下面が傾斜することで厚みが先端に向けて徐々に薄くなるテーパー部に、前記カメラと前記検知センサーが設けられている、上記（１）から上記（４）のいずれかに記載の画像処理装置。 (5) The tapered portion of the tip of the fork, the width gradually narrows toward the tip in the top view, and / or the lower surface inclines in the side view, so that the thickness gradually decreases toward the tip. The image processing apparatus according to any one of (1) to (4) above, wherein the camera and the detection sensor are provided on the tapered portion.

（６）第１の撮像素子および第２の撮像素子が１本の前記フォークに、それぞれの撮影領域の少なくとも一部を共通するように、前記フォークリフトの前方を撮影領域として設けられており、
前記第１、第２の撮像素子の少なくとも一方が、前記カメラの一部として機能するとともに、前記１、第２の撮像素子の両方が前記検知センサーとして機能し、
前記処理部は、前記第１、第２の撮像素子の双方から取得した映像に基づいて、前記フォークリフトの前方にある物体までの距離を検出し、
前記フォークの先端のテーパー部であって、上面視において先端に向けて幅が徐々に狭くなり、かつ、側面視において下面が傾斜することで厚みが先端に向けて徐々に薄くなるテーパー部の左右両側のそれぞれに、前記第１、第２の撮像素子が配置されている、上記（１）に記載の画像処理装置。(6) The front of the forklift is provided as a photographing area so that the first image pickup element and the second image pickup element share at least a part of the respective photographing areas with the one fork.
At least one of the first and second image sensors functions as a part of the camera, and both the first and second image sensors function as the detection sensor.
The processing unit detects the distance to the object in front of the forklift based on the images acquired from both the first and second image sensors.
The left and right of the tapered portion of the tip of the fork, the width of which gradually narrows toward the tip in the top view, and the thickness gradually decreases toward the tip due to the inclination of the lower surface in the side view. The image processing apparatus according to (1) above, wherein the first and second image pickup elements are arranged on both sides, respectively.

（７）さらに、記憶部を備え、
前記処理部は、前記カメラからの映像と、前記検知センサーの検知情報に基づいて、前記フォークリフトが動作する作業空間内の物体の位置、または形状を示す測距点群である距離マップを生成し、前記記憶部に蓄積する、上記（１）から上記（６）のいずれかに記載の画像処理装置。(7) In addition, it is equipped with a storage unit.
The processing unit generates a distance map, which is a group of AF points indicating the position or shape of an object in the work space in which the forklift operates, based on the image from the camera and the detection information of the detection sensor. The image processing apparatus according to any one of (1) to (6) above, which is stored in the storage unit.

（８）前記処理部は、前記検知センサー、または該検知センサーの検知情報と前記カメラからの映像に基づいて検出した物体までの距離のデータの一部を、前記記憶部に蓄積した前記距離マップで補正する、上記（７）に記載の画像処理装置。 (8) The processing unit stores a part of the distance data to the detection sensor or the object detected based on the detection information of the detection sensor and the image from the camera in the storage unit, and the distance map. The image processing apparatus according to (7) above, which is corrected by.

（９）さらに、前記フォークの位置状態を取得する位置検知センサーを含み、
前記処理部は、前記位置検知センサーにより、前記カメラが設けられた前記フォークの位置状態を取得する、上記（１）から上記（８）のいずれかに記載の画像処理装置。(9) Further, a position detection sensor for acquiring the position state of the fork is included.
The image processing device according to any one of (1) to (8) above, wherein the processing unit acquires the position state of the fork provided with the camera by the position detection sensor.

（１０）前記処理部は、前記加工した映像として、
前記カメラによる取得した映像に対して、前方の物体までの距離に対応した付加情報を付加した映像を、前記ディスプレイに表示させる上記（１）から上記（９）のいずれかに記載の画像処理装置。(10) The processing unit serves as the processed image.
The image processing apparatus according to any one of (1) to (9) above, wherein an image obtained by adding additional information corresponding to a distance to an object in front of the image acquired by the camera is displayed on the display. ..

（１１）前記処理部は、前記加工した映像として、
前記カメラによる取得した映像に対して視点変換した映像を前記ディスプレイに表示させる、上記（１）から上記（１０）のいずれかに記載の画像処理装置。(11) The processing unit serves as the processed image.
The image processing device according to any one of (1) to (10) above, wherein an image whose viewpoint is converted with respect to the image acquired by the camera is displayed on the display.

（１２）前記カメラは、撮影画角の中央部分を用いて露出を行う、上記（１）から上記（１１）のいずれかに記載の画像処理装置。 (12) The image processing apparatus according to any one of (1) to (11) above, wherein the camera exposes using the central portion of the shooting angle of view.

（１３）前記ディスプレイは、前記フォークリフトに取付けられたコンバイナーに虚像を投影するヘッドアップディスプレイである、上記（１）から上記（１２）のいずれかに記載の画像処理装置。 (13) The image processing device according to any one of (1) to (12) above, wherein the display is a head-up display that projects a virtual image onto a combiner attached to the forklift.

（１４）前記コンバイナーは、前記フォークリフトの前方側を透過視できる位置に配置されており、
前記ヘッドアップディスプレイは、虚像の投影距離が５０ｃｍから２０ｍの範囲に設定されている、上記（１３）に記載の画像処理装置。(14) The combiner is arranged at a position where the front side of the forklift can be seen through.
The image processing device according to (13) above, wherein the head-up display has a virtual image projection distance set in the range of 50 cm to 20 m.

（１５）前記フォークの先端部分に設けられ前記カメラ、および前記検知センサーは、衝撃緩和部材を介して、前記フォークの本体部に取付けられている、上記（１）から上記（１４）のいずれかに記載の画像処理装置。 (15) Any of the above (1) to (14), wherein the camera and the detection sensor provided at the tip of the fork are attached to the main body of the fork via an impact mitigation member. The image processing apparatus according to.

（１６）前記カメラ、および前記検知センサーを構成する電子部品の少なくとも一部は、可撓性で高熱伝導性の材料で構成された熱伝導部材を介して、前記フォークの本体部に接続されている、上記（１５）に記載の画像処理装置。 (16) At least a part of the camera and the electronic components constituting the detection sensor are connected to the main body of the fork via a heat conductive member made of a flexible and highly heat conductive material. The image processing apparatus according to (15) above.

（１７）フォークリフトに用いられる画像処理装置であって、
前記フォークリフトの前方を撮影するカメラと、
前記フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、
前記カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行う処理部と、
前記処理部が加工処理した処理後の映像を表示するディスプレイと、
を備える画像処理装置。(17) An image processing device used for a forklift.
A camera that shoots the front of the forklift
A detection sensor for measuring the distance to an object in front of the forklift and acquiring distance measurement point cloud data showing the distribution of distance values.
A processing unit that performs processing processing to add an image of a distance value based on the acquired AF point cloud data to the image acquired by the camera, and a processing unit.
A display that displays the processed image processed by the processing unit, and
An image processing device comprising.

（１８）前記カメラは、可視光領域に感度を有する撮像素子を含む、上記（１７）に記載の画像処理装置。 (18) The image processing apparatus according to (17) above, wherein the camera includes an image sensor having sensitivity in the visible light region.

（１９）前記カメラは、前記フォークリフトの前方側に昇降可能に支持されたフォークに、前記前方を撮影するように設置されている、上記（１７）または上記（１８）に記載の画像処理装置。 (19) The image processing apparatus according to (17) or (18) above, wherein the camera is installed on a fork supported so as to be able to move up and down on the front side of the forklift so as to photograph the front.

（２０）前記カメラは、撮影画角の中央部分を用いて露出を行う、上記（１９）に記載の画像処理装置。 (20) The image processing apparatus according to (19) above, wherein the camera exposes using a central portion of a shooting angle of view.

（２１）前記処理部は、前記加工処理として、さらに、前記測距点群データに基づいて、前記映像に対して視点変換処理を行う、上記（１７）から上記（２０）のいずれかに記載の画像処理装置。 (21) The processing unit according to any one of (17) to (20) above, wherein the processing unit further performs a viewpoint conversion process on the image based on the AF point cloud group data as the processing process. Image processing equipment.

（２２）さらに、前記カメラの姿勢情報を取得する位置検知センサーを備え、
前記処理部は、前記位置検知センサーから取得した前記姿勢情報を用いて、前記視点変換処理を行う、上記（２１）に記載の画像処理装置。(22) Further, a position detection sensor for acquiring the posture information of the camera is provided.
The image processing apparatus according to (21) above, wherein the processing unit performs the viewpoint conversion process using the posture information acquired from the position detection sensor.

（２３）さらに、記憶部を備え、
前記処理部は、前記検知センサーにより取得した測距点群データを用いて３次元距離マップを作成し、前記記憶部に記憶させる、上記（２１）または上記（２２）に記載の画像処理装置。(23) Further, a storage unit is provided.
The image processing device according to (21) or (22) above, wherein the processing unit creates a three-dimensional distance map using the AF point cloud data acquired by the detection sensor and stores it in the storage unit.

（２４）前記記憶部に記憶された前記３次元距離マップは、前記フォークリフトが使用される建物もしくは設備に関する図面データ、前記建物に設置されたセンサーから得られた測距点群データ、他の車両の位置情報、および／または前記建物で用いられる物流情報システムから取得した荷物の位置情報が反映されている、上記（２３）に記載の画像処理装置。 (24) The three-dimensional distance map stored in the storage unit includes drawing data regarding a building or equipment in which the forklift is used, AF point cloud data obtained from a sensor installed in the building, and other vehicles. The image processing apparatus according to (23) above, wherein the position information of the above and / or the position information of the luggage acquired from the physical distribution information system used in the building is reflected.

（２５）前記３次元距離マップには、前記建物もしくは設備に関する、床面、壁面、窓、または照明装置の位置情報が含まれている、上記（２４）に記載の画像処理装置。 (25) The image processing device according to (24) above, wherein the three-dimensional distance map includes position information of a floor surface, a wall surface, a window, or a lighting device related to the building or equipment.

（２６）前記視点変換処理は、前記フォークリフトの運転台に座る運転者の視点位置を仮想視点位置とする視点変換処理、前記運転者の視点位置よりも高い位置を仮想視点位置とする視点変換処理、または、前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理である、上記（２１）から上記（２５）のいずれかに記載の画像処理装置。 (26) The viewpoint conversion process is a viewpoint conversion process in which the viewpoint position of a driver sitting on the driver's cab of the forklift is set as a virtual viewpoint position, and a viewpoint conversion process in which a position higher than the driver's viewpoint position is set as a virtual viewpoint position. , Or the image processing apparatus according to any one of (21) to (25) above, which is a viewpoint conversion process in which a position away from the forklift is set as a virtual viewpoint position.

（２７）前記運転者の視点位置を仮想視点位置とする前記視点変換処理は、前記カメラの地面に対する角度、もしくは高さに応じた台形補正による視点変換処理、または、前記測距点群データ、もしくは記憶部に記憶した３次元距離マップを用いた視点変換処理である、上記（２６）に記載の画像処理装置。 (27) The viewpoint conversion process in which the driver's viewpoint position is set as a virtual viewpoint position is a viewpoint conversion process by trapezoidal correction according to the angle or height of the camera with respect to the ground, or the AF point cloud data. Alternatively, the image processing apparatus according to (26) above, which is a viewpoint conversion process using a three-dimensional distance map stored in a storage unit.

（２８）前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理は、前記測距点群データまたは記憶部に記憶した３次元距離マップを用いた視点変換処理である、上記（２６）に記載の画像処理装置。 (28) The viewpoint conversion process in which a position higher than the driver's viewpoint position is set as a virtual viewpoint position is a viewpoint conversion process using the AF point cloud data or the three-dimensional distance map stored in the storage unit. The image processing apparatus according to (26) above.

（２９）前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理、または前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理では、前記カメラの死角領域に関しては、前記カメラの画角において、前記死角領域が形成される物体の上方で、かつ、該物体よりも遠い距離にある物体の表面のテクスチャーを、前記死角領域に配置する、上記（２６）または上記（２８）に記載の画像処理装置。 (29) In the viewpoint conversion process in which a position higher than the driver's viewpoint position is set as the virtual viewpoint position, or the viewpoint conversion process in which the position away from the forklift is set as the virtual viewpoint position, the blind spot region of the camera is described. In the angle of view of the camera, the texture of the surface of the object above the object on which the blind spot region is formed and at a distance farther than the object is placed in the blind spot region, according to the above (26) or the above ( 28) The image processing apparatus according to.

（３０）前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理、または前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理では、前記カメラの死角領域に関しては、記憶部に記憶した３次元距離マップにおける物体の輪郭情報を用いて、前記死角領域に対して、前記死角領域に存在する前記物体の輪郭を重畳させる、上記（２６）または上記（２８）に記載の画像処理装置。 (30) In the viewpoint conversion process in which a position higher than the driver's viewpoint position is set as the virtual viewpoint position, or the viewpoint conversion process in which the position away from the forklift is set as the virtual viewpoint position, the blind spot region of the camera is described. The above (26) or (28), wherein the contour of the object existing in the blind spot region is superimposed on the blind spot region by using the contour information of the object in the three-dimensional distance map stored in the storage unit. Image processing equipment.

（３１）前記視点変換処理は、物体までの距離に応じて、視点変換処理の有無、または強度を変更する、上記（２１）から上記（３０）のいずれかに記載の画像処理装置。 (31) The image processing apparatus according to any one of (21) to (30) above, wherein the viewpoint conversion process changes the presence or absence of the viewpoint conversion process or the intensity according to the distance to the object.

（３２）前記ディスプレイは、前記フォークリフトの前方を透過視できるように前記フォークリフトに取り付けられた、透明スクリーン、またはヘッドアップディスプレイであり、
前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、認識した前記物体それぞれまでの距離、および／または方向に対応する付加画像を生成し、生成した前記付加画像を前記物体それぞれに重畳させる態様で、前記透明スクリーン、または前記ヘッドアップディスプレイに表示させる、上記（１７）から上記（２０）のいずれかに記載の画像処理装置。(32) The display is a transparent screen or a head-up display attached to the forklift so that the front of the forklift can be seen through.
The processing unit recognizes an object in front of the forklift, generates an additional image corresponding to the distance and / or direction to each of the recognized objects, and superimposes the generated additional image on each of the objects. The image processing apparatus according to any one of (17) to (20) above, which is displayed on the transparent screen or the head-up display in such a manner.

（３３）前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記加工処理として、前記映像に、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を生成し、前記映像に付加する、上記（１７）から上記（３２）のいずれかに記載の画像処理装置。 (33) The processing unit recognizes an object in front of the forklift, and as the processing, adds an additional image corresponding to the recognized type of the object or the distance and position to the object in the image. The image processing apparatus according to any one of (17) to (32) above, which is generated and added to the video.

（３４）前記処理部は、前記物体としてパレットを認識した場合に、前記パレットの差し込み口の形状により、前記パレットに対する傾きを判定し、判定した前記パレットの水平面の傾き量に応じた前記付加画像を生成する、上記（３３）に記載の画像処理装置。 (34) When the processing unit recognizes the pallet as the object, the processing unit determines the inclination with respect to the pallet based on the shape of the insertion port of the pallet, and the additional image according to the amount of inclination of the horizontal plane of the determined pallet. The image processing apparatus according to (33) above.

（３５）前記処理部が生成する前記付加画像には、前記フォークリフトが使用される建物で用いられる物流情報システムから取得した荷物の内容情報、棚の空き状況を示す空棚情報、荷役する手順を示す荷役手順情報の少なくとも一つが含まれる、上記（３２）から上記（３４）のいずれかに記載の画像処理装置。 (35) In the additional image generated by the processing unit, the content information of the luggage acquired from the distribution information system used in the building where the forklift is used, the empty shelf information indicating the availability of the shelves, and the procedure for handling the cargo are described. The image processing apparatus according to any one of (32) to (34) above, which includes at least one of the cargo handling procedure information shown.

（３６）前記処理部は、前記物体までの距離に応じて上方視点の俯瞰画像を生成し、生成した俯瞰画像を追加して前記ディスプレイに表示する、上記（１７）から上記（３５）のいずれかに記載の画像処理装置。 (36) Any of the above (17) to (35), wherein the processing unit generates a bird's-eye view image of an upper viewpoint according to the distance to the object, adds the generated bird's-eye view image, and displays it on the display. The image processing device described in Crab.

（３７）前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記フォークリフト、もしくは前記フォークリフトのフォーク先端からの距離が所定値以下になった場合に、警告を発する、または前記ディスプレイの表示を近接用画面に切り替える、上記（１７）から上記（３６）のいずれかに記載の画像処理装置。 (37) The processing unit recognizes an object in front of the forklift and issues a warning when the distance from the forklift or the fork tip of the forklift is equal to or less than a predetermined value, or displays the display. The image processing apparatus according to any one of (17) to (36) above, which switches the display to a proximity screen.

（３８）前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記距離値の画像において認識した前記物体のフォーク先端からの最短距離に関する情報を出力する、上記（１７）から上記（３７）のいずれかに記載の画像処理装置。 (38) The processing unit recognizes an object in front of the forklift and outputs information on the shortest distance from the fork tip of the object recognized in the image of the distance value. 37) The image processing apparatus according to any one of 37).

（３９）フォークリフトに用いられる画像処理装置であって、前記フォークリフトの前方を撮影するカメラと、前記フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、を備える画像処理装置を制御するコンピューターで実行される制御プログラムであって、
前記カメラにより映像を取得するステップ（ａ）と、
前記検知センサーで測距点群データを取得するステップ（ｂ）と、
前記カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行うステップ（ｃ）と、
処理後の映像をディスプレイに表示するステップ（ｄ）と、
を含む処理を、前記コンピューターに実行させるための制御プログラム。(39) An image processing device used for a forklift, which measures the distance between a camera that captures the front of the forklift and an object in front of the forklift, and distance measurement point group data showing the distribution of distance values. A control program executed by a computer that controls an image processing device equipped with a detection sensor for acquiring data.
In step (a) of acquiring an image with the camera,
Step (b) of acquiring AF point cloud data with the detection sensor,
A step (c) of performing a processing process of adding an image of a distance value based on the acquired AF point cloud data to the image acquired by the camera, and a step (c).
Step (d) of displaying the processed image on the display,
A control program for causing the computer to execute a process including.

（４０）前記ステップ（ｃ）では、前記加工処理として、さらに、前記測距点群データに基づいて、前記映像に対して視点変換処理を行う、上記（３９）に記載の制御プログラム。 (40) The control program according to (39), wherein in the step (c), a viewpoint conversion process is performed on the image based on the AF point cloud data as the processing process.

（４１）前記処理は、さらに、
前記フォークリフトの前方にある物体を認識するステップ（ｅ）を含み、
前記ステップ（ｃ）では、前記加工処理として、前記映像に、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を生成し、前記映像に付加する、上記（３９）または上記（４０）に記載の制御プログラム。(41) The process further comprises
Including step (e) of recognizing an object in front of the forklift.
In the step (c), as the processing, an additional image corresponding to the recognized type of the object, the distance to the object, and the position is generated in the image and added to the image (39). Alternatively, the control program according to (40) above.

第１の発明によれば、１本のフォークの先端部分に、フォークの前方を撮影するカメラと、前方にある物体までの距離を検知するための検知センサーとを設け、検知センサーの検知情報に基づいて、カメラが取得した映像を加工して、ディスプレイに表示する。このようにすることで、運転者は、フォーク上への荷積みにより前方が見えにくい場合であってもディスプレイに表示した画面により前方を確認できるとともに、安定して物体までの距離を測定できる。 According to the first invention, a camera for photographing the front of the fork and a detection sensor for detecting the distance to an object in front of the fork are provided at the tip of one fork, and the detection information of the detection sensor is used. Based on this, the image acquired by the camera is processed and displayed on the display. By doing so, the driver can check the front on the screen displayed on the display even when it is difficult to see the front due to the loading on the fork, and can stably measure the distance to the object.

また、第２の発明によれば、フォークリフトの前方を撮影するカメラと、フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、を備え、カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行い、処理後の映像をディスプレイに表示する。このようにすることで、運転者は、フォーク上への荷積みにより前方が見えにくい場合であってもディスプレイに表示した画面により前方の状況を容易に確認できるとともに、安全な作業環境を提供できる。 Further, according to the second invention, a camera for photographing the front of the forklift and a detection for measuring the distance to an object in front of the forklift and acquiring distance measurement point group data showing the distribution of distance values. It is equipped with a sensor, performs processing to add an image of the distance value based on the acquired AF point group data to the image acquired by the camera, and displays the processed image on the display. By doing so, the driver can easily check the situation ahead on the screen displayed on the display even when it is difficult to see the front due to loading on the fork, and can provide a safe working environment. ..

フォークリフトの外観を示す側面図である。It is a side view which shows the appearance of a forklift. 第１の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。It is a block diagram which shows the hardware structure of the image processing apparatus which concerns on 1st Embodiment, and the functional structure of a processing part. １本のフォークの先端部に第１、第２カメラを取り付けた状態を示す模式図である。It is a schematic diagram which shows the state which the 1st and 2nd cameras are attached to the tip part of one fork. フォークの拡大図である。It is an enlarged view of a fork. 図４（ａ）のＡ−Ａ’断面図である。FIG. 4A is a cross-sectional view taken along the line AA'of FIG. 4A. 他の例のフォークの拡大図である。It is an enlarged view of the fork of another example. 第１、第２カメラの水平方向の画角を説明する模式図である。It is a schematic diagram explaining the angle of view in the horizontal direction of the 1st and 2nd cameras. 第１、第２カメラの垂直方向の画角を説明する模式図である。It is a schematic diagram explaining the vertical angle of view of the 1st and 2nd cameras. カメラの取付け位置と画角を説明する模式図である。It is a schematic diagram explaining the mounting position and the angle of view of a camera. ディスプレイに表示した表示画面の例である。This is an example of the display screen displayed on the display. 第２の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。It is a block diagram which shows the hardware structure of the image processing apparatus which concerns on 2nd Embodiment, and the functional structure of a processing part. 第３の実施形態に例に係る画像処理装置のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware structure of the image processing apparatus which concerns on the example in 3rd Embodiment. 第１の変形例に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。It is a block diagram which shows the hardware structure of the image processing apparatus which concerns on 1st modification, and the functional structure of a processing part. １本のさやフォークの先端部に、第１カメラ、第２カメラを取り付けた状態を示す模式図である。It is a schematic diagram which shows the state which the 1st camera and the 2nd camera are attached to the tip part of one sheath fork. 第３の変形例に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。It is a block diagram which shows the hardware structure of the image processing apparatus which concerns on 3rd modification, and the functional structure of a processing part. 第４の変形例に係る画像処理装置のハードウェア構成、処理部の機能構成、およびＨＵＤの構成を示すブロック図である。It is a block diagram which shows the hardware structure of the image processing apparatus which concerns on 4th modification, the functional structure of a processing part, and the structure of a HUD. ＨＵＤの構成を示す模式図である。It is a schematic diagram which shows the structure of a HUD. 第５の変形例における１本のさやフォークの先端部に、第１カメラ、第２カメラを取り付けた状態を示す模式図である。It is a schematic diagram which shows the state which the 1st camera and the 2nd camera are attached to the tip part of one sheath fork in 5th modification. 第４の実施形態に係る画像処理装置が実行する表示処理を示すフローチャートである。It is a flowchart which shows the display process which the image processing apparatus which concerns on 4th Embodiment executes. 俯瞰画像を追加した表示画面の変形例である。This is a modified example of the display screen with a bird's-eye view image added. 視点変換により生じる死角領域への処理を説明する図である。It is a figure explaining the process to the blind spot area generated by the viewpoint transformation. 第６の変形例に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。It is a block diagram which shows the hardware structure of the image processing apparatus which concerns on 6th modification, and the functional structure of a processing part. 第７の変形例におけるディスプレイに表示した近接用画面の例である。This is an example of a proximity screen displayed on the display in the seventh modification. 第８の変形例に係る画像処理装置のハードウェア構成、処理部の機能構成、およびＨＵＤの構成を示すブロック図である。It is a block diagram which shows the hardware structure of the image processing apparatus which concerns on 8th modification, the functional structure of a processing part, and the structure of a HUD. 第８の変形例におけるＨＵＤに表示した荷物内容情報、空棚情報、荷役手順情報に関する虚像の例である。This is an example of a virtual image relating to the luggage content information, the empty shelf information, and the cargo handling procedure information displayed on the HUD in the eighth modification.

以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。また図面においては、上下方向をＺ方向、フォークリフトの進行方向をＸ方向、これらに直交する方向をＹ方向とする。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In the description of the drawings, the same elements are designated by the same reference numerals, and duplicate description will be omitted. The dimensional ratios in the drawings are exaggerated for convenience of explanation and may differ from the actual ratios. Further, in the drawings, the vertical direction is the Z direction, the traveling direction of the forklift is the X direction, and the direction orthogonal to these is the Y direction.

（フォークリフト）
図１は、フォークリフトの外観を示す側面図である。フォークリフト１０は、本体１１、運転台１２、マスト１３、フィンガバー１４、１対のフォーク１５、１６、およびヘッドガード１７を有する。フォーク１５、１６の上には、パレット９１、およびパレット９１上の荷物９２が荷積みされている。本体１１の前方には、上下方向に伸縮可能なマスト１３が設けられており、フォーク１５、１６はフィンガバー１４に支持されており、フィンガバー１４を介してマスト１３に上下に昇降可能に取り付けられている。マスト１３に取り付けられたチェーン（図示せず）とホイールを介して、フィンガバー１４がマスト１３に沿って上下に移動することで、フォーク１５、１６は、上下方向で位置制御される。また、フォーク１５、１６の地面（走行面）に対する傾斜角度（チルト）は、マスト１３に連結された油圧シリンダー（図示せず）により所定範囲内で変更可能である。また、両フォーク１５、１６間の開き角度、間隔は、フィンガバー１４内にある油圧シリンダー（図示せず）により所定範囲内で変更可能としてもよい。また、フォーク１５、１６は一般に硬い金属で構成される。(forklift)
FIG. 1 is a side view showing the appearance of a forklift. The forklift 10 has a main body 11, a driver's cab 12, a mast 13, a finger bar 14, a pair of forks 15 and 16, and a head guard 17. A pallet 91 and a load 92 on the pallet 91 are loaded on the forks 15 and 16. A mast 13 that can be expanded and contracted in the vertical direction is provided in front of the main body 11, and the forks 15 and 16 are supported by the finger bar 14, and can be attached to the mast 13 up and down via the finger bar 14. Has been done. The forks 15 and 16 are positioned in the vertical direction by moving the finger bar 14 up and down along the mast 13 via a chain (not shown) attached to the mast 13 and a wheel. Further, the inclination angle (tilt) of the forks 15 and 16 with respect to the ground (running surface) can be changed within a predetermined range by a hydraulic cylinder (not shown) connected to the mast 13. Further, the opening angle and the distance between the forks 15 and 16 may be changed within a predetermined range by a hydraulic cylinder (not shown) in the finger bar 14. Further, the forks 15 and 16 are generally made of a hard metal.

（画像処理装置）
図２は、第１の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。図３は、１本のフォーク１５の先端部分に第１カメラ、第２カメラを取り付けた状態を示す模式図である。(Image processing device)
FIG. 2 is a block diagram showing a hardware configuration of the image processing apparatus and a functional configuration of the processing unit according to the first embodiment. FIG. 3 is a schematic view showing a state in which the first camera and the second camera are attached to the tip end portion of one fork 15.

画像処理装置２０は、第１カメラ２１、第２カメラ２２、処理部２３、記憶部２４、およびディスプレイ２５を有し、これらの構成部はフォークリフト１０に搭載されている。 The image processing device 20 includes a first camera 21, a second camera 22, a processing unit 23, a storage unit 24, and a display 25, and these components are mounted on the forklift 10.

図２に示すように第１、第２カメラ２１、２２は、それぞれＣＣＤ、またはＣＭＯＳ等の可視光領域に感度を有する撮像素子２００（第１、第２の撮像素子）と、レンズ等の光学系を備え、フォークリフト１０の前方を撮影し画像（映像）を取得する。第１、第２カメラ２１、２２の撮影領域の少なくとも一部は重なる。第１の実施形態においては、第１、第２カメラ２１、２２の両方の撮像素子２００が、処理部２３と協働することで物体までの距離を検知し、測距点群データを生成するための検知センサーとしても機能する。 As shown in FIG. 2, the first and second cameras 21 and 22 have an image sensor 200 (first and second image sensors) having sensitivity in a visible light region such as a CCD or CMOS, respectively, and optics such as a lens. A system is provided, and an image (video) is acquired by photographing the front of the forklift 10. At least a part of the photographing areas of the first and second cameras 21 and 22 overlap. In the first embodiment, both the image sensors 200 of the first and second cameras 21 and 22 cooperate with the processing unit 23 to detect the distance to the object and generate the AF point cloud group data. It also functions as a detection sensor for.

（カメラ２１、２２）
図３に示すように、第１の実施形態においては、フォークリフト１０の２本のフォーク１５、１６のうち、１本のフォーク１５の先端部分に、ステレオ視（複眼ともいう）するための２台のカメラ２１、２２を本体１１の前方が撮影領域となるように取り付けている。また、フォーク１５の幅方向（Ｙ方向）において、両カメラ２１、２２は所定間隔（基線長）だけ離している。同図に示す例では、左側のフォーク１５に２台のカメラを取り付けているが、これに限られず、右側のフォーク１６に取り付けてもよい。カメラ２１、２２と処理部２３とは、ケーブル（図示せず）または無線で接続しており、映像信号が処理部２３に伝送される。(Camera 21, 22)
As shown in FIG. 3, in the first embodiment, of the two forks 15 and 16 of the forklift 10, two units for stereoscopic viewing (also referred to as compound eyes) at the tip of one fork 15. The cameras 21 and 22 of the above are attached so that the front of the main body 11 is the shooting area. Further, in the width direction (Y direction) of the fork 15, both cameras 21 and 22 are separated by a predetermined interval (baseline length). In the example shown in the figure, two cameras are attached to the fork 15 on the left side, but the present invention is not limited to this, and the fork 16 on the right side may be attached. The cameras 21 and 22 and the processing unit 23 are connected by a cable (not shown) or wirelessly, and a video signal is transmitted to the processing unit 23.

次に、図４（ａ）〜図４（ｃ）、図５を参照し、カメラ２１、２２のフォーク１５への取付け位置について説明する。図４（ａ）〜図４（ｃ）は、フォーク１５の先端側（「爪」または「ブレード」とも称される）の拡大図であり、図５は、図４（ａ）のＡ−Ａ’断面図であり、図５においては、図４（ｂ）の上面ｓ２における輪郭線を破線で示している。 Next, the mounting positions of the cameras 21 and 22 on the fork 15 will be described with reference to FIGS. 4 (a) to 4 (c) and FIG. 4 (a) to 4 (c) are enlarged views of the tip end side (also referred to as "claw" or "blade") of the fork 15, and FIG. 5 is AA of FIG. 4 (a). 'It is a cross-sectional view, and in FIG. 5, the contour line on the upper surface s2 of FIG. 4 (b) is shown by a broken line.

カメラ２１、２２は、より広い画角が得られるように、フォーク１５の側面の直線部と先端突部（後述の先端ｓ１）との境界近傍の側面または下面に配置することが好ましい。より具体的には、カメラ２１、２２は、以下に説明するテーパー部ｓ５１に配置することが好ましい。 The cameras 21 and 22 are preferably arranged on the side surface or the lower surface near the boundary between the straight portion of the side surface of the fork 15 and the tip protrusion portion (tip s1 described later) so that a wider angle of view can be obtained. More specifically, the cameras 21 and 22 are preferably arranged in the tapered portion s51 described below.

図４（ａ）は、２台のカメラ２１、２２を取り付けたフォーク１５の側面図であり、図４（ｂ）は平面図であり、図４（ｃ）はフォーク１５の先端側から視た正面図である。 4 (a) is a side view of the fork 15 to which the two cameras 21 and 22 are attached, FIG. 4 (b) is a plan view, and FIG. 4 (c) is a view from the tip side of the fork 15. It is a front view.

フォーク１５は先端ｓ１、上面ｓ２、下面ｓ３、および側面ｓ４、ならびに先端部分のテーパー部ｓ５１を有する。先端ｓ１はＹＺ平面に延在する平面である。ここで、「先端部分」とは、先端ｓ１のみならず、その周辺部分を含むものとする。例えば、Ｘ方向において先端ｓ１から二十数センチメートルの範囲が含まれる（後述の図９参照）。さらにこの周辺部分には、テーパー部ｓ５１が包含される。テーパー部ｓ５１は、図４（ｂ）に示すように上面視において、先端ｓ１に向けて幅が徐々に狭くなり、かつ、図４（ａ）に示すように側面視において下面ｓ３が傾斜することで厚みが先端ｓ１に向けて徐々に薄くなるテーパー面で構成される。なお先端ｓ１を平面とせずに、曲面で形成されていてもよい。 The fork 15 has a tip s1, an upper surface s2, a lower surface s3, a side surface s4, and a tapered portion s51 at the tip portion. The tip s1 is a plane extending in the YZ plane. Here, the "tip portion" includes not only the tip s1 but also the peripheral portion thereof. For example, a range of more than 20 centimeters from the tip s1 in the X direction is included (see FIG. 9 described later). Further, the peripheral portion includes the tapered portion s51. The width of the tapered portion s51 gradually narrows toward the tip s1 in the top view as shown in FIG. 4 (b), and the lower surface s3 inclines in the side view as shown in FIG. 4 (a). It is composed of a tapered surface whose thickness gradually decreases toward the tip s1. The tip s1 may be formed with a curved surface instead of being a flat surface.

フォーク１５のテーパー部ｓ５１の左右両側にはそれぞれ、円柱状の穴が設けられており、カメラ２１、２２はそれぞれ、この穴に埋め込まれている。カメラ２１、２２はレンズの前面が、テーパー部ｓ５１の外周面からわずかに突出するように配置する方が広い画角を確保できる点で好ましいが、使用時のフォーク１５の床面等への衝突による破損の観点から、円柱状の穴の開口面よりも内側に配置することがより好ましい。 Cylindrical holes are provided on both the left and right sides of the tapered portion s51 of the fork 15, and the cameras 21 and 22 are embedded in the holes, respectively. It is preferable to arrange the cameras 21 and 22 so that the front surface of the lens slightly protrudes from the outer peripheral surface of the tapered portion s51 in that a wide angle of view can be secured, but the camera 21 and 22 collide with the floor surface of the fork 15 during use. From the viewpoint of damage due to, it is more preferable to arrange it inside the opening surface of the columnar hole.

測距するために物体をステレオ視（立体視）するときは、２台のカメラ２１、２２の撮影領域を重複させる必要がある。広い視界（画角）を確保し、より多くの領域が重なるようにするためには側面ｓ４または下面ｓ３のテーパー部ｓ５１にカメラ２１、２２を設けることが好ましい。図５に示すように、テーパー部ｓ５１に配置した２台のカメラ２１、２２は、フォーク１５の前方側に向けて広い画角を確保できる。 When viewing an object in stereo (stereoscopic view) for distance measurement, it is necessary to overlap the shooting areas of the two cameras 21 and 22. In order to secure a wide field of view (angle of view) and allow more regions to overlap, it is preferable to provide the cameras 21 and 22 on the tapered portion s51 of the side surface s4 or the lower surface s3. As shown in FIG. 5, the two cameras 21 and 22 arranged in the tapered portion s51 can secure a wide angle of view toward the front side of the fork 15.

図６（ａ）〜図６（ｃ）は、他の例に係るフォーク１５の拡大図である。図６（ａ）〜図６（ｃ）に示すフォーク１５は、厚みが１０ｍｍで、幅が１００ｍｍ、上面視において先端ｓ１に向けて幅が徐々に狭くなるテーパー部ｓ５１が設けられている。テーパー部ｓ５１は、Ｒ（半径）６０ｍｍであり、Ｘ方向において先端ｓ１から４０ｍｍまで、Ｙ方向において側面ｓ４から４０ｍｍまでがテーパー部ｓ５１である。第１、第２カメラ２１、２２は、このテーパー部ｓ５１に設けられている。 6 (a) to 6 (c) are enlarged views of the fork 15 according to another example. The forks 15 shown in FIGS. 6A to 6C are provided with a tapered portion s51 having a thickness of 10 mm, a width of 100 mm, and a width gradually narrowing toward the tip s1 in a top view. The tapered portion s51 has an R (radius) of 60 mm, and the tapered portion s51 is from the tip s1 to 40 mm in the X direction and from the side surface s4 to 40 mm in the Y direction. The first and second cameras 21 and 22 are provided in the tapered portion s51.

高さ方向（Ｚ方向）において、カメラ２１、２２は、上面ｓ２、下面ｓ３からそれぞれ２ｍｍ以上離れていることが好ましい。上述のようにフォーク１５の厚みが１０ｍｍであれば、カメラ２１、２２はともに下面から２〜８ｍｍの範囲内に収まるようなサイズ、および位置で配置することが好ましい。一般に、荷積み作業においては、フォーク１５を床面や荷物に意図的に接触し、衝突させる場合がある。そのため、このような配置とすることでカメラ２１、２２が床や荷物に、直接的に衝突することを防止する。また、カメラ２１、２２のレンズの前面は、上面視において先端側の表面、すなわち先端ｓ１、およびテーパー部ｓ５１の表面よりも内側に配置されることが好ましい。このような配置にすることで、正面からの他の物体へフォークを（意図的に）衝突させた際に、カメラ２１、２２が直接的に他の物体に衝突することを防止できる。 In the height direction (Z direction), the cameras 21 and 22 are preferably separated from the upper surface s2 and the lower surface s3 by 2 mm or more, respectively. As described above, when the thickness of the fork 15 is 10 mm, it is preferable that both the cameras 21 and 22 are arranged in a size and position so as to be within a range of 2 to 8 mm from the lower surface. Generally, in the loading operation, the fork 15 may intentionally come into contact with the floor surface or the load and collide with it. Therefore, such an arrangement prevents the cameras 21 and 22 from directly colliding with the floor or luggage. Further, it is preferable that the front surface of the lenses of the cameras 21 and 22 is arranged inside the surface on the tip side, that is, the tip s1 and the surface of the tapered portion s51 in the top view. With such an arrangement, it is possible to prevent the cameras 21 and 22 from directly colliding with another object when the fork is (intentionally) collided with another object from the front.

（画角）
以下、図７、図８を参照し、画角について説明する。図７は、水平方向の画角を説明する模式図である。図７においては、図６（ａ）〜図６（ｃ）に示す形状のフォーク１５を例に示し画角を説明するが、図４（ａ）〜図４（ｃ）、図５の形状のフォーク１５の様な、どのようなフォーク形状に対しても適用できる（図８も同様）。第１、第２カメラ２１、２２の画角は理想的には、前方を中心として、水平方向において１８０度あることが好ましい。しかしながら、先端ｓ１にカメラ２１、２２を配置することは、他の物体への衝突による衝撃を考慮すると難しい。水平方向の画角の最低値としては、フォーク１５の５ｍ前方で幅２ｍの物体を撮影（ステレオ視）できるように、画角は４４度以上（両カメラの内側への半画角が２２度以上）確保されていることが好ましい。テーパー部ｓ５１にカメラ２１、２２を配置することで、最低値以上の画角を確保できる。幅２ｍの根拠は、大型のフォークリフトにおいては、２本のフォーク１５、１６の間隔は約２ｍであるため、フォーク１５の当たる領域（後述の付加画像４０２）を最低限ステレオ視できるようにするためである。(Angle of view)
Hereinafter, the angle of view will be described with reference to FIGS. 7 and 8. FIG. 7 is a schematic view illustrating a horizontal angle of view. In FIG. 7, the angle of view will be described by exemplifying the fork 15 having the shapes shown in FIGS. 6 (a) to 6 (c) as an example. It can be applied to any fork shape such as fork 15 (the same applies to FIG. 8). Ideally, the angles of view of the first and second cameras 21 and 22 are 180 degrees in the horizontal direction with the front as the center. However, it is difficult to arrange the cameras 21 and 22 at the tip s1 in consideration of the impact due to the collision with other objects. The minimum horizontal angle of view is 44 degrees or more (half angle of view inside both cameras is 22 degrees) so that an object with a width of 2 m can be photographed (stereo view) 5 m in front of the fork 15. Above) It is preferable that it is secured. By arranging the cameras 21 and 22 on the tapered portion s51, the angle of view equal to or higher than the minimum value can be secured. The reason for the width of 2 m is that in a large forklift, the distance between the two forks 15 and 16 is about 2 m, so that the area where the forks 15 hit (additional image 402 described later) can be viewed in stereo at a minimum. Is.

図８は、垂直方向の画角を説明する模式図である。垂直方向については、理想的には、フォークリフトの前方３ｍにある高さ５ｍのラックが撮影できることが好ましい。すなわちフォーク１５を地面すれすれに位置させた場合において、前方３ｍで高さ５ｍまでの範囲が撮影できるように、垂直方向の画角は１２０度（水平より上方の半画角で６０度）であることが好ましい。 FIG. 8 is a schematic view illustrating a vertical angle of view. In the vertical direction, ideally, it is preferable that a rack having a height of 5 m, which is 3 m in front of the forklift, can be photographed. That is, when the fork 15 is positioned near the ground, the vertical angle of view is 120 degrees (60 degrees in the half angle of view above the horizontal) so that a range up to a height of 5 m can be photographed 3 m in front. Is preferable.

垂直方向の画角の最低値としては、水平方向と同様に、フォーク１５の５ｍ前方で高さ２ｍの物体を撮影できるように、画角は４４度以上（両カメラの内側への半画角が２２度以上）確保されていることが好ましい。５ｍ前方で、高さ２ｍとした根拠は、屋内で広く使用される小型のフォークリフトの全高が２ｍであるため、全高と同じ高さまで荷積みしながら、フォークリフトを前進させても、荷物またはフォークリフトの頭頂部が、前方の何らかの物体と接触しないことを確認できるようにするためである。 As the minimum value of the angle of view in the vertical direction, the angle of view is 44 degrees or more (half angle of view inward of both cameras) so that an object with a height of 2 m can be photographed 5 m in front of the fork 15 as in the horizontal direction. 22 degrees or more) is preferably secured. The reason why the height is 2m 5m ahead is that the total height of a small forklift that is widely used indoors is 2m, so even if the forklift is advanced while loading to the same height as the total height, the luggage or forklift This is to ensure that the crown does not come into contact with any object in front of it.

図９はフォーク１５をパレット９１の差込み口から挿入し、フォーク１５上にパレット９１を載せた状態を示している。同図では、フォーク１５を差し込む位置が、パレット９１の片側の差込口の中心（破線で示す）から、片側へ５０％シフトした場合を想定している。このような５０％ずれた位置であっても水平面（ＸＹ平面）で半画角３０度を確保するためには、カメラ２１、２２の先端位置は、パレット端部から１４ｃｍ以内に配置することが好ましい。 FIG. 9 shows a state in which the fork 15 is inserted from the insertion port of the pallet 91 and the pallet 91 is placed on the fork 15. In the figure, it is assumed that the position where the fork 15 is inserted is shifted by 50% from the center of the insertion port on one side of the pallet 91 (indicated by the broken line) to one side. In order to secure a half angle of view of 30 degrees on the horizontal plane (XY plane) even at such a position shifted by 50%, the tip positions of the cameras 21 and 22 should be arranged within 14 cm from the pallet end. preferable.

標準的なパレットの長さは１１０ｃｍであり、標準的なフォークの長さは１２２ｃｍであれば、パレット端部からのフォーク１５の先端ｓ１までの突出量は１２ｃｍとなる。よって、Ｘ方向において、フォーク１５の先端エッジ（先端ｓ１）から２６ｃｍ（１４＋１２ｃｍ）までの範囲内にレンズの全面が位置するようにカメラ２１、２２を配置することが好ましい。 If the length of the standard pallet is 110 cm and the length of the standard fork is 122 cm, the amount of protrusion from the end of the pallet to the tip s1 of the fork 15 is 12 cm. Therefore, it is preferable to arrange the cameras 21 and 22 so that the entire surface of the lens is located within the range from the tip edge (tip s1) of the fork 15 to 26 cm (14 + 12 cm) in the X direction.

このように本実施形態においては、１本の硬い（剛体）フォーク１５に２台のカメラ２１、２２を配置することにより、両カメラの相対位置は常に一定になる。これにより両カメラ２１、２２間の基線長と平行度を常に一定に保つことができ、後述する２台のカメラ２１、２２からの映像によって測距を行う場合に、高精度に安定して行うことができる。 As described above, in the present embodiment, by arranging the two cameras 21 and 22 on one hard (rigid body) fork 15, the relative positions of both cameras are always constant. As a result, the baseline length and parallelism between the two cameras 21 and 22 can always be kept constant, and when distance measurement is performed using images from the two cameras 21 and 22 described later, the distance measurement is performed with high accuracy and stability. be able to.

また、カメラ２１、２２をフォーク１５の先端部分のテーパー部ｓ５１に配置することにより、平らな下面ｓ３、または側面ｓ４に配置した場合に比べて、画角を広くすることができ、より広範囲を撮影できる。 Further, by arranging the cameras 21 and 22 on the tapered portion s51 of the tip portion of the fork 15, the angle of view can be widened as compared with the case where the cameras 21 and 22 are arranged on the flat lower surface s3 or the side surface s4, and a wider range can be obtained. You can shoot.

再び、図２を参照し、処理部２３等について説明する。処理部２３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とメモリを備え、メモリに保存した制御プログラムをＣＰＵが実行することで画像処理装置２０全体の各種制御を行う。処理部２３が担う各機能については後述する。 The processing unit 23 and the like will be described again with reference to FIG. The processing unit 23 includes a CPU (Central Processing Unit) and a memory, and the CPU executes a control program stored in the memory to perform various controls on the entire image processing device 20. Each function carried by the processing unit 23 will be described later.

記憶部２４は、ハードディスクまたは半導体メモリであり、大容量のデータを記憶する。また記憶部２４は、後述する３次元の距離マップを記憶しており、処理部２３から送られた距離マップを蓄積、または更新する。記憶部２４は、フォークリフト１０に搭載されてもよいが、全部、またはその一部を外部のファイルサーバー内に設けられもよい。記憶部２４の一部を、外部の装置に設けることで、特に後述の機外の測距センサー８０（図８、図２２参照）からの測距マップを用いる場合に有用である。外部のファイルサーバーとのデータ送受信は、画像処理装置２０が備える無線通信部により、ＬＡＮを経由して行う。 The storage unit 24 is a hard disk or a semiconductor memory, and stores a large amount of data. Further, the storage unit 24 stores a three-dimensional distance map, which will be described later, and accumulates or updates the distance map sent from the processing unit 23. The storage unit 24 may be mounted on the forklift 10, but all or part of the storage unit 24 may be provided in an external file server. By providing a part of the storage unit 24 in an external device, it is particularly useful when a distance measuring map from an external distance measuring sensor 80 (see FIGS. 8 and 22), which will be described later, is used. Data transmission / reception with an external file server is performed via a LAN by a wireless communication unit included in the image processing device 20.

また、３次元の距離マップには、フォークリフト１０が使用される、すなわち、フォークリフトが走行する作業空間である、倉庫、工場等の建物または設備に関する図面データが反映されていてもよい。この図面データには、例えば、床面、壁面、窓、および照明装置の位置情報が含まれている。また、この３次元の距離マップには、建物内を走行する他のフォークリフト等の車両の位置情報が含まれてもよい。また、建物で用いられ、内部の荷物の物流を管理する外部の物流システム（後述の図２４参照）から取得した荷物９２の位置情報が含まれてもよい。 Further, the three-dimensional distance map may reflect drawing data relating to a building or equipment such as a warehouse or a factory where the forklift 10 is used, that is, a work space in which the forklift travels. The drawing data includes, for example, location information for floors, walls, windows, and lighting devices. Further, the three-dimensional distance map may include position information of other vehicles such as forklifts traveling in the building. Further, the position information of the luggage 92 used in the building and acquired from an external distribution system (see FIG. 24 described later) that manages the distribution of the internal luggage may be included.

例えば、この物流システムはサーバーを有し、例えば画像処理装置２０とネットワーク接続する。そして、このサーバーには、建物内の荷物の位置情報、荷物の内容情報、棚の空き状況を示す空棚情報、荷役する手順を示す荷役手順情報、等が記憶されている。例えば、各荷物９２、または荷物９２を載置したパレット９１には、ＩＣタグが取り付けられており、物流システムは、このＩＣタグにより、各荷物９２の位置情報を把握することができる。なお、建物内で稼働する他の車両（フォークリフトを含む）の位置情報は、外部の測距センサー８０の信号により把握し、これを取得してもよく、あるいは画像処理装置２０が、他の車両に搭載した通信部とＰ２Ｐ（ピアツーピア）通信することにより、直接的に取得するようにしてもよい。 For example, this distribution system has a server and, for example, connects to an image processing device 20 via a network. Then, this server stores the position information of the luggage in the building, the contents information of the luggage, the empty shelf information indicating the availability of the shelves, the cargo handling procedure information indicating the cargo handling procedure, and the like. For example, an IC tag is attached to each of the luggage 92 or the pallet 91 on which the luggage 92 is placed, and the distribution system can grasp the position information of each luggage 92 by the IC tag. The position information of other vehicles (including forklifts) operating in the building may be grasped by the signal of the external ranging sensor 80 and acquired, or the image processing device 20 may be the other vehicle. It may be acquired directly by performing P2P (peer-to-peer) communication with the communication unit mounted on the vehicle.

ディスプレイ２５は、図１に示すように運転者の前方のヘッドガード１７を支えるフレームに取り付けられており、以下に説明するように処理部２３が生成し、加工した映像を表示する。加工処理した映像とは、例えばカメラ２１、２２が取得した画像の視点変換処理、および／または距離値の画像を付加する加工処理を行った映像である。この距離値の画像を付加する加工処理には、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を映像に重畳する処理が含まれる。これにより、運転者はフォーク１５、１６に積載した荷物により前方の視認性が悪くなった場合であっても、ディスプレイ２５の表示画面により荷物の先の状況を確認できる。ディスプレイ２５は、例えば液晶ディスプレイである。また、ディスプレイ２５は、ＨＵＤ（ヘッドアップディスプレイ）や、運転者が装着するヘッドマウントディスプレイであってもよい。ＨＵＤ用のディスプレイは、半透過性を有する凹面鏡または平面鏡であるコンバイナーを備え、コンバイナーに虚像を投影する。虚像としては、後述する処理部２３が生成した付加画像がある。運転台１２に座った運転者は、コンバイナーを通じて、その先にある実像を視認できるとともに、コンバイナーが反射する虚像を同時に認識できる。ＨＵＤとすることで、たとえ、コンバイナーを運転席の正面側に配置したとしても、映像を投影していないときには、コンバイナーは透明になるので、前方への視界を妨げることはない。 As shown in FIG. 1, the display 25 is attached to a frame that supports the head guard 17 in front of the driver, and the processing unit 23 generates and displays the processed image as described below. The processed image is, for example, an image obtained by performing viewpoint conversion processing of the images acquired by the cameras 21 and 22, and / or processing processing of adding an image of a distance value. The processing process for adding an image of this distance value includes a process of superimposing an additional image corresponding to the recognized type of the object, the distance to the object, and the position on the image. As a result, the driver can confirm the situation ahead of the luggage on the display screen of the display 25 even when the visibility in front of the luggage deteriorates due to the luggage loaded on the forks 15 and 16. The display 25 is, for example, a liquid crystal display. Further, the display 25 may be a HUD (head-up display) or a head-mounted display worn by the driver. The display for the HUD includes a combiner that is a semitransparent concave mirror or a plane mirror, and projects a virtual image onto the combiner. As the virtual image, there is an additional image generated by the processing unit 23 described later. The driver sitting in the driver's cab 12 can visually recognize the real image ahead of the driver through the combiner and simultaneously recognize the virtual image reflected by the combiner. By using the HUD, even if the combiner is placed in front of the driver's seat, the combiner becomes transparent when no image is projected, so that the front view is not obstructed.

（処理部２３）
処理部２３は、画像取得部３０１、前処理部３０２、特徴点抽出部３０３、距離マップ生成部３０４、物***置判定部３０５、付加画像生成部３０６、対応付け部３０７、視点変換部３０８、画像合成部３０９、および画像出力部３１０として機能する。これらの機能は、処理部２３が、内部メモリに記憶しているプログラムを実行することにより行うが、これらの機能の一部を組み込み型の専用ハードウェア回路により行うようにしてもよい。なお、以下に説明する実施形態においては、処理部２３により物体の位置、距離を把握できる距離マップを生成しているが、これに限られず、物体への距離測定だけを行うようにしてもよい。(Processing unit 23)
The processing unit 23 includes an image acquisition unit 301, a preprocessing unit 302, a feature point extraction unit 303, a distance map generation unit 304, an object position determination unit 305, an additional image generation unit 306, an association unit 307, a viewpoint conversion unit 308, and an image. It functions as a compositing unit 309 and an image output unit 310. These functions are performed by the processing unit 23 by executing a program stored in the internal memory, but some of these functions may be performed by a built-in dedicated hardware circuit. In the embodiment described below, the processing unit 23 generates a distance map capable of grasping the position and distance of the object, but the present invention is not limited to this, and only the distance measurement to the object may be performed. ..

（画像取得部３０１）
画像取得部３０１は、２台のカメラ２１、２２にタイミングトリガーをかけて同期させる等の制御をし、これらの撮像素子２００により所定のフレームレートで撮影された画像（映像）を取得する。ここで、画像取得部３０１は、カメラ２１、２２の制御に関して、撮影画角において、中央部分を用いて露出を行うようにしてもよい。これは、特にパレット９１の差し込み口にフォークを挿入して、フォーク先端が差し込み口を突き抜けるまでの間においては、カメラからの映像は、中央部分のみが明るく、その周辺は暗くなるためである。すなわち、差し込み口のフォークが挿入される側と反対側を抜けた空間を適切な露出で撮影するために、画角の中央部分を用いて露出する。これにより露出オーバーにならずに中央部分からの映像を適切に撮影できる。(Image acquisition unit 301)
The image acquisition unit 301 controls the two cameras 21 and 22 by applying timing triggers to synchronize them, and acquires an image (video) captured at a predetermined frame rate by these image sensors 200. Here, the image acquisition unit 301 may perform exposure using the central portion at the shooting angle of view with respect to the control of the cameras 21 and 22. This is because, in particular, until the fork is inserted into the insertion port of the pallet 91 and the tip of the fork penetrates the insertion port, only the central portion of the image from the camera is bright and the periphery thereof is dark. That is, in order to photograph the space passing through the side opposite to the side where the fork of the insertion port is inserted with an appropriate exposure, the central portion of the angle of view is exposed. As a result, it is possible to properly shoot an image from the central portion without overexposure.

（前処理部３０２）
前処理部３０２は、２台のカメラ２１、２２から画像取得部３０１を介してそれぞれ取得した１組の画像の明るさ、コントラストの調整を行う。これらの調整は、既知の調整処理を適用できる。また、調整後の画像に対してさらに２値化処理等の後段の前処理を行い、処理後の画像を特徴点抽出部３０３に供給する。一方で、前処理部３０２は、前段の前処理を行ったカラー画像を視点変換部３０８に供給する。なお、１組の画像を、基線長に応じた位置関係で貼り付けるステッチ処理を行い、処理後の画像を視点変換部３０８に供給してもよく、両カメラ２１、２２の共通撮影領域の画像を視点変換部３０８に供給してもよい。(Pretreatment unit 302)
The preprocessing unit 302 adjusts the brightness and contrast of a set of images acquired from the two cameras 21 and 22 via the image acquisition unit 301, respectively. Known adjustment processing can be applied to these adjustments. Further, the adjusted image is further subjected to post-processing such as binarization processing, and the processed image is supplied to the feature point extraction unit 303. On the other hand, the preprocessing unit 302 supplies the color image subjected to the preprocessing in the previous stage to the viewpoint conversion unit 308. A set of images may be stitched by pasting them in a positional relationship according to the baseline length, and the processed image may be supplied to the viewpoint conversion unit 308. An image in a common shooting area of both cameras 21 and 22. May be supplied to the viewpoint conversion unit 308.

（特徴点抽出部３０３）
特徴点抽出部３０３は、１組の画像それぞれから対応付けの指標となる物体の形状、輪郭に対応する特徴点を抽出する。なお、対応付けの指標としては、色、コントラスト、エッジ、および／またはフレームの情報を用いてもよい。(Feature point extraction unit 303)
The feature point extraction unit 303 extracts feature points corresponding to the shape and contour of the object as an index of association from each of the set of images. As the index of association, information on color, contrast, edge, and / or frame may be used.

（距離マップ生成部３０４）
距離マップ生成部３０４は、１組の画像の抽出した特徴点から共通の対応点を抽出し、それらの対応点から変換パラメータを用いて、特徴点それぞれまでの距離を算出する。例えば左右に配置した１対のカメラ２１、２２において、基線長を用いて、同じ対応点の左右の画素値のズレ量に応じてそれぞれの画素の距離値を算出する（測距）。(Distance map generator 304)
The distance map generation unit 304 extracts common corresponding points from the extracted feature points of a set of images, and calculates the distance to each feature point from those corresponding points using conversion parameters. For example, in a pair of cameras 21 and 22 arranged on the left and right, the distance value of each pixel is calculated according to the amount of deviation of the left and right pixel values of the same corresponding point using the baseline length (distance measurement).

また、距離マップ生成部３０４は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）処理を行ってもよい。ＳＬＡＭ処理を実行するソフトとしては、ＺＥＤカメラ用ＳＤＫソフトがある。また、ＳＬＡＭを作るオープンソースとしてはＲＧＢ−Ｄ ＳＬＡＭＶ２などがあり、これらを用いてもよい。ＳＬＡＭ処理を行うことでフォークリフト１０の３次元距離マップ（以下、単に「距離マップ」という）内における自車、すなわちフォークリフト１０の移動位置をリアルタイムに把握できる。また、ＳＬＡＭ処理において、記憶部２４に記憶しているフォークリフト１０が使用される作業空間内の距離マップを利用してもよい。これによりカメラ２１、２２の撮影領域（画角範囲）から外れる領域内の状況をも把握できる。また、カメラ２１、２２が撮影した１組の画像がハロ、ゴースト、フレア、光芒、外部光源（太陽光等）の反射等の現象により、得られた画像に差が生じ、一次的に、あるいは一部の画素領域で測距できないような場合においては、後述する外部の測距センサー８０（図８、および後述の図２２参照）、またはフォークリフト１０の過去の走行により生成し、記憶部２４に蓄積している距離マップを用いて補正してもよい。この測距できない状況は、例えば、工場や倉庫の窓から外光が照らされたときに生じる。この補正としては、例えば撮影領域内で、距離値が検出できなかった領域に対して、過去の距離マップの対応する位置のデータで置換する処理がある。 Further, the distance map generation unit 304 may perform SLAM (Simultaneus localization and mapping) processing. As software that executes SLAM processing, there is SDK software for ZED cameras. Further, as open source for making SLAM, there is RGB-D SLAMV2 or the like, and these may be used. By performing the SLAM processing, the moving position of the own vehicle, that is, the forklift 10 in the three-dimensional distance map of the forklift 10 (hereinafter, simply referred to as “distance map”) can be grasped in real time. Further, in the SLAM process, a distance map in the work space where the forklift 10 stored in the storage unit 24 is used may be used. As a result, it is possible to grasp the situation in the area outside the shooting area (angle of view range) of the cameras 21 and 22. In addition, a set of images taken by the cameras 21 and 22 may differ in the obtained images due to phenomena such as halo, ghost, flare, light beam, and reflection of an external light source (sunlight, etc.), and may be primary or primary. When distance measurement is not possible in a part of the pixel area, it is generated by the past running of the external distance measurement sensor 80 (see FIG. 8 and FIG. 22 described later) or the forklift 10 described later, and stored in the storage unit 24. It may be corrected by using the accumulated distance map. This situation where distance measurement is not possible occurs, for example, when outside light is illuminated from a window of a factory or warehouse. As this correction, for example, in the shooting area, there is a process of replacing the area where the distance value could not be detected with the data of the corresponding position of the past distance map.

（物***置判定部３０５）
物***置判定部３０５は、フォークリフト１０の前方にある物体の３次元空間での位置を判定する。この物体の判定は、例えば各画素の距離値の類似度に応じて画素をクラスタリングすることにより行ってもよい。また、距離値の類似度に、画素の色の類似度を組み合わせてクラスタリングしてもよい。クラスタリングより判定した各クラスタのサイズを算定する。例えば、垂直方向寸法、水平方向寸法、総面積等を算出する。なお、ここでいう「サイズ」は、実寸法であり、見た目上の大きさ（画角、すなわち画素の広がり）とは異なり、対象物までの距離に応じて画素群の塊が判断される。例えば、物***置判定部３０５は算定したサイズが抽出対象の解析対象の物体を特定するための所定のサイズ閾値以下か否か判定する。サイズ閾値は、測定場所や行動解析対象等により任意に設定できる。通行する作業者を追跡して行動を解析するのであれば、通常の人の大きさの最小値を、クラスタリングする場合のサイズ閾値とすればよい。また、フォークリフトが走行する環境が特定の倉庫内等で限定されるのであれば、その環境に存在する物体に応じたサイズ閾値を適用してもよい。また物***置判定部３０５は、生成したフォークリフト前方の３次元の距離マップを記憶部２４に蓄積する。この距離マップには、所定サイズ以上の物体それぞれの大きさ、位置の情報が含まれる。なお、上述のように、処理負担軽減のために、物体までの距離測定のみを行うようにしてもよい。(Object position determination unit 305)
The object position determination unit 305 determines the position of the object in front of the forklift 10 in the three-dimensional space. The determination of this object may be performed, for example, by clustering the pixels according to the similarity of the distance values of the pixels. Further, clustering may be performed by combining the similarity of the distance values with the similarity of the color of the pixels. Calculate the size of each cluster determined from clustering. For example, the vertical dimension, the horizontal dimension, the total area, and the like are calculated. The "size" referred to here is an actual size, and is different from the apparent size (angle of view, that is, the spread of pixels), and a mass of pixel groups is determined according to the distance to the object. For example, the object position determination unit 305 determines whether or not the calculated size is equal to or less than a predetermined size threshold value for specifying the object to be analyzed to be extracted. The size threshold can be arbitrarily set depending on the measurement location, the behavior analysis target, and the like. If the behavior is analyzed by tracking the passing workers, the minimum value of the size of a normal person may be used as the size threshold value for clustering. Further, if the environment in which the forklift travels is limited in a specific warehouse or the like, a size threshold value corresponding to an object existing in that environment may be applied. Further, the object position determination unit 305 stores the generated three-dimensional distance map in front of the forklift in the storage unit 24. This distance map includes information on the size and position of each object of a predetermined size or larger. As described above, in order to reduce the processing load, only the distance to the object may be measured.

また、物体の種類として人間と他の物体との判別については、機械学習を用いたり、プロポーション判別（縦横比）を用いたりしてもよい。機械学習では、コンピューターが得られた３次元距離マップのデータを用いて、学習を繰り返す。とくに作業空間内においては、甚大な事故を防ぐために、作業者を判別することは重要であり、これらを用いることにより判別精度の向上が見込まれる。 Further, as the type of the object, machine learning may be used or proportion discrimination (aspect ratio) may be used for discriminating between a human being and another object. In machine learning, learning is repeated using the data of the three-dimensional distance map obtained by the computer. Especially in the work space, it is important to discriminate the worker in order to prevent a serious accident, and it is expected that the discriminating accuracy will be improved by using these.

（付加画像生成部３０６）
付加画像生成部３０６は、物***置判定部３０５が判定したフォークリフト１０の前方にある物体までの距離、より具体的には、フォーク１５、１６を延長した先にある物体までの距離に応じた付加画像（アノテーション画像ともいう）を生成する。付加画像としては、距離を示す距離梯子や、数値表示がある（後述の図１０参照）。また、付加画像としては、物体の種類、距離に応じて色や態様を変更した矩形枠、または要注意物が存在する場合などに、運転者に注意喚起するためのマーク、テキストであってもよい。さらに、付加画像として、水平面、または、フォークの対パレット正面でのＸ−Ｙ平面での傾き角度、開き角度、傾斜角度、もしくは地面からの高さの情報であってもよい。(Additional image generation unit 306)
The additional image generation unit 306 adds according to the distance to the object in front of the forklift 10 determined by the object position determination unit 305, more specifically, the distance to the object beyond the extension of the forks 15 and 16. Generate an image (also called an annotation image). As the additional image, there is a distance ladder showing the distance and a numerical display (see FIG. 10 described later). In addition, the additional image may be a rectangular frame whose color or mode is changed according to the type and distance of the object, or a mark or text for alerting the driver when there is an object requiring attention. Good. Further, as the additional image, it may be information on the inclination angle, the opening angle, the inclination angle, or the height from the ground in the horizontal plane or the XY plane in front of the fork with respect to the pallet.

さらに、物流システムから荷物の位置情報、荷物の内容情報、棚の空き状況を示す空棚情報、荷役する手順を示す荷役手順情報、等を取得し、これらの情報を付加画像として生成してもよい（後述の図２５参照）。 Furthermore, even if the location information of the package, the content information of the package, the empty shelf information indicating the availability of the shelves, the cargo handling procedure information indicating the cargo handling procedure, etc. are acquired from the distribution system, and these information are generated as an additional image. Good (see FIG. 25 below).

なお、付加画像として、さらに、荷物を上げる時に、フォーク１５、１６とトラック荷台までの高さ方向の距離、マスト１３と建物もしくは設備の天井との距離、荷物９２の前面側上端と、天井、トラックの天蓋、または棚の上段までの高さ方向の距離に応じた付加画像を生成してもよい。また、これらのうち、フォーク１５、１６の先端との相対位置関係に応じた付加画像は、フォーク１５上のカメラ２１、２２の姿勢情報、すなわち、フォーク１５の向き（開き角度）、高さ、傾斜角度（チルト）、およびフォーク１５、１６の間隔の変更に応じて、変更される。これらのフォーク１５の向き、高さ、傾斜角度、フォーク間の間隔は、カメラ２１、２２の撮影画像から検出してもよく、フォークリフト１０の本体１１に取り付けられている種々のセンサーにより検知してもよい。 As an additional image, when raising the luggage, the distance between the forks 15 and 16 and the truck bed in the height direction, the distance between the mast 13 and the ceiling of the building or equipment, the upper end of the luggage 92 on the front side, and the ceiling. An additional image may be generated according to the height distance to the canopy of the truck or the upper stage of the shelf. Further, among these, the additional image according to the relative positional relationship with the tips of the forks 15 and 16 is the posture information of the cameras 21 and 22 on the forks 15, that is, the orientation (opening angle) and height of the forks 15. It is changed according to the change of the inclination angle (tilt) and the interval of the forks 15 and 16. The orientation, height, inclination angle, and distance between the forks of these forks 15 may be detected from the captured images of the cameras 21 and 22, and are detected by various sensors attached to the main body 11 of the forklift 10. May be good.

また、パレット９１の傾き量に応じた付加画像を生成してもよい。具体的には、物***置判定部３０５が、前方にあるパレット９１の差し込み口の形状を認識し、予め記憶部２４に登録しておいた差し込み口の形状、寸法との比較に応じて、傾き量を判定する。そして付加画像生成部３０６が、傾き量に応じた付加画像を生成する。この傾き量としては、例えば、図１のようにパレット９１と荷物９２を２段以上重ねた場合に、荷物９２の上面が水平でない場合に生じる、水平面に対する傾き角度（チルト）である。また、この傾き角度は、フォーク１５との相対角度であってもよい。また、水平面（ＸＹ面）における、フォーク１５の仮想延長線とパレット９１との相対的な傾き角度（ｙａｗ角）であってもよい。また、これらの傾き量が所定値以上の場合には、警告を行うようにしてもよい。 Further, an additional image may be generated according to the amount of inclination of the palette 91. Specifically, the object position determination unit 305 recognizes the shape of the insertion port of the pallet 91 in front and tilts according to the comparison with the shape and dimensions of the insertion port registered in the storage unit 24 in advance. Determine the amount. Then, the additional image generation unit 306 generates an additional image according to the amount of inclination. The amount of inclination is, for example, an inclination angle (tilt) with respect to a horizontal plane that occurs when the upper surface of the luggage 92 is not horizontal when the pallet 91 and the luggage 92 are stacked in two or more stages as shown in FIG. Further, this inclination angle may be a relative angle with the fork 15. Further, it may be a relative inclination angle (yaw angle) between the virtual extension line of the fork 15 and the pallet 91 on the horizontal plane (XY plane). Further, when these inclination amounts are equal to or more than a predetermined value, a warning may be given.

（対応付け部３０７）
対応付け部３０７は、カメラ２１、２２が撮影した２次元の画像における各物体の位置と、距離マップにおける各物体の位置との対応付けを行う。(Association unit 307)
The associating unit 307 associates the position of each object in the two-dimensional image taken by the cameras 21 and 22 with the position of each object in the distance map.

（視点変換部３０８）
視点変換部３０８は、運転台１２に座る運転者の目の高さに応じた視点位置に応じて予め指定された視点位置（仮想視点位置）から見た時の角度、方向に対して、各画素点の間隔や位置を座標変換することで、画像の視点変換を行う。運転者は、視点位置（仮想視点位置）を画像処理装置２０のキーボート、ポインティングデバイス、タッチセンサー等の入力デバイス（図示せず）により設定できる。また、このとき、カメラからは撮影することができない死角領域に対する表示処理を行う。例えば、死角領域（データＮＵＬＬ領域）を記憶部２４にある、その領域に対応する画素で置換する。死角領域は、カメラの位置と、運転者の視点位置が異なる場合に生じる。また、この視点変換は、カメラ２１、２２の床面に対する傾斜角度、または高さに応じた画像の台形補正による変換と、３次元の距離マップを用いて、画像内の物体までの距離に応じた変換を行う場合が含まれる。例えば、撮影領域に渡って、十分に距離マップが生成できていない場合等には、単純な台形補正により行ってもよい。(Viewpoint conversion unit 308)
The viewpoint conversion unit 308 is for each of the angles and directions when viewed from a predetermined viewpoint position (virtual viewpoint position) according to the viewpoint position according to the height of the eyes of the driver sitting in the driver's cab 12. The viewpoint of an image is converted by converting the coordinates of the pixel point spacing and position. The driver can set the viewpoint position (virtual viewpoint position) by an input device (not shown) such as a keyboard, a pointing device, or a touch sensor of the image processing device 20. At this time, the display process is performed on the blind spot area that cannot be photographed from the camera. For example, the blind spot area (data NULL area) is replaced with the pixels corresponding to the area in the storage unit 24. The blind spot area occurs when the position of the camera and the viewpoint position of the driver are different. Further, this viewpoint conversion is performed according to the inclination angle of the cameras 21 and 22 with respect to the floor surface, or the conversion by keystone correction of the image according to the height, and the distance to the object in the image by using the three-dimensional distance map. This includes the case of performing conversion. For example, when the distance map cannot be sufficiently generated over the shooting area, a simple keystone correction may be performed.

また、視点変換部３０８は、カメラ２１、２２から取得した映像により地面、または本体１１に対するフォーク１５に設けられたカメラ２１、２２自体の姿勢情報として傾斜角度、または高さを判定し、その判定を視点変換に反映してもよい。例えば、フォーク１５が先端に向けて上方に傾斜した場合、または上方に移動した場合には、その傾斜角度、上方移動量を相殺するように視点変換を行う。フォーク１５の地面、または本体１１に対するフォーク１５の傾斜角度、または高さは、フォークリフト１０に取り付けられている種々のセンサー（後述の変形例参照）により検知してもよい。また、フォーク１５、およびカメラ２１、２２の姿勢情報は、フォークリフト１０に取り付けられている種々のセンサー（後述の図２２の変形例参照）により検知してもよい。 Further, the viewpoint conversion unit 308 determines the tilt angle or height as the posture information of the cameras 21 and 22 provided on the ground or the fork 15 with respect to the main body 11 from the images acquired from the cameras 21 and 22, and the determination is made. May be reflected in the viewpoint conversion. For example, when the fork 15 is tilted upward toward the tip or moved upward, the viewpoint is changed so as to offset the tilt angle and the amount of upward movement. The inclination angle or height of the fork 15 with respect to the ground of the fork 15 or the main body 11 may be detected by various sensors attached to the forklift 10 (see a modification described later). Further, the posture information of the fork 15 and the cameras 21 and 22 may be detected by various sensors attached to the forklift 10 (see a modified example of FIG. 22 described later).

（視点変換の変形例）
仮想視点位置としては、運転者の視点位置を仮想視点位置とする視点変換処理に代えて、これよりも高い位置を仮想視点位置とする視点変換処理、または、フォークリフト１０の本体から離れた位置を仮想視点位置とする視点変換処理を行ってもよい。例えば、フォーク１５、１６の高さ位置、または、これにパレット９１、およびこれの上の荷物９２の高さ相当の距離を加えた高さ位置を仮想視点位置とする視点変換処理や、フォークリフト１０の上方からの仮想視点位置（俯瞰）、または背後から前方に向けた仮想位置視点（三人称視点位置）とする視点変換処理である。これにより俯瞰画像を得ることができる。俯瞰画像により、例えば、運転者の目線よりも高所の棚に荷物９２を下ろすときに、フォークリフト１０の前方を容易に確認できる。なお、これらの仮想視点位置の変更や、位置の設定は、フォークリフト１０に設けられた入力デバイスから適宜設定できる。(Modification example of viewpoint conversion)
As the virtual viewpoint position, instead of the viewpoint conversion process in which the driver's viewpoint position is set as the virtual viewpoint position, a viewpoint conversion process in which a position higher than this is set as the virtual viewpoint position, or a position away from the main body of the forklift 10 is used. The viewpoint conversion process for the virtual viewpoint position may be performed. For example, a viewpoint conversion process in which the height position of the forks 15 and 16 or the height position obtained by adding the distance corresponding to the height of the pallet 91 and the luggage 92 on the pallet 91 to the height position is set as the virtual viewpoint position, or the forklift 10 This is a viewpoint conversion process in which the virtual viewpoint position (overhead view) is set from above, or the virtual position viewpoint (third person viewpoint position) is directed from the back to the front. This makes it possible to obtain a bird's-eye view image. From the bird's-eye view image, for example, when the luggage 92 is lowered onto a shelf higher than the driver's line of sight, the front of the forklift 10 can be easily confirmed. It should be noted that the change of the virtual viewpoint position and the setting of the position can be appropriately set from the input device provided in the forklift 10.

また、これらの高い位置、または本体から離れた位置を仮想視点位置とする視点変換処理においては、第１、第２カメラ２１、２２の撮影により生成した距離マップに加えて、外部の測距センサー８０により取得し、記憶部２４に蓄積した距離マップを用いることが好ましい。この測距センサー８０は、例えばレーザーライダー（Ｌａｓｅｒ Ｌｉｄａｒ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ））であり、図８に示すように、フォークリフト１０が用いられる建物または設備の天井に設けられる。 Further, in the viewpoint conversion process in which the high position or the position away from the main body is set as the virtual viewpoint position, in addition to the distance map generated by the shooting of the first and second cameras 21 and 22, an external distance measuring sensor is used. It is preferable to use the distance map acquired by 80 and stored in the storage unit 24. The range finder 80 is, for example, a laser lidar (Light Detection And Ringing), and is provided on the ceiling of a building or equipment in which the forklift 10 is used, as shown in FIG.

さらに、これらの視点変換処理は、フォークリフト１０から物体までの距離に応じて、視点変換の有無、または視点変換量（強度）を変更するようにしてもよい。具体的には、距離値が所定以上の物体に関しては、視点変換処理をオフしたり、視点変換量（視点移動距離）を減少させたり、２次元の台形補正により処理したりしてもよい。また、この視点変換に用いる２次元の映像は、２つのカメラ２１、２２の重複する領域のみから画像を切り出し、その画像に基づき、視点変換処理してもよく、２つの画像を基線長に応じた位置関係で貼り付けるステッチ処理を行い、処理後の画像用いてもよい。その場合、中央の重複領域に対して３次元距離マップを用いて視点変換処理し、重複しない領域の画素に対しては、２次元の台形補正により、視点変換処理するようにしてもよい。 Further, in these viewpoint conversion processes, the presence or absence of viewpoint conversion or the viewpoint conversion amount (intensity) may be changed according to the distance from the forklift 10 to the object. Specifically, for an object having a distance value of a predetermined value or more, the viewpoint conversion process may be turned off, the viewpoint conversion amount (viewpoint movement distance) may be reduced, or the object may be processed by two-dimensional keystone correction. Further, for the two-dimensional image used for this viewpoint conversion, an image may be cut out only from the overlapping area of the two cameras 21 and 22, and the viewpoint conversion process may be performed based on the image, and the two images may be subjected to the viewpoint length. It is also possible to perform a stitch process of pasting in a positional relationship and use the processed image. In that case, the viewpoint conversion process may be performed on the central overlapping region using the three-dimensional distance map, and the viewpoint conversion processing may be performed on the pixels in the non-overlapping region by two-dimensional keystone correction.

また、視点変換処理を行う際に、死角領域が多くなる場合には視点変換量を減少させてもよい。例えば、撮影画像に対して、上方視への視点変換処理をする場合に、総表示画像数に対して、死角領域となる画素数の割合が所定値以上になる場合には、仮想視点位置を設定位置よりも低くなるように制限したり、２次元の台形補正に切り替えたりする。 Further, when the viewpoint conversion process is performed, the viewpoint conversion amount may be reduced if the blind spot region becomes large. For example, when the viewpoint conversion process for upward vision is performed on the captured image, if the ratio of the number of pixels in the blind spot region to the total number of displayed images is equal to or more than a predetermined value, the virtual viewpoint position is set. Limit it so that it is lower than the set position, or switch to two-dimensional keystone correction.

（画像合成部３０９）
画像合成部３０９は、付加画像生成部３０６が生成した付加画像を物***置判定部３０５で検出した物体の位置に対応させた表示位置で、視点変換部３０８が生成した画像に対して重畳させ、合成画像を生成する。(Image composition unit 309)
The image composition unit 309 superimposes the additional image generated by the additional image generation unit 306 on the image generated by the viewpoint conversion unit 308 at a display position corresponding to the position of the object detected by the object position determination unit 305. Generate a composite image.

なお、ディスプレイ２５として、ＨＵＤや透明スクリーン（透過スクリーン）を使用する場合、付加画像の表示位置、および内容は、運転者が見ている物体（実像）に重畳させるように、表示方向、位置を計算して、生成する。また、さらに、ＨＵＤにおいて、虚像距離を変更できる構成とした場合には、物体の位置、方向に対応させた虚像距離で付加画像を生成するようにしてもよい。 When a HUD or a transparent screen (transparent screen) is used as the display 25, the display position and content of the additional image are set in the display direction and position so as to be superimposed on the object (real image) seen by the driver. Calculate and generate. Further, when the HUD is configured so that the virtual image distance can be changed, the additional image may be generated with the virtual image distance corresponding to the position and direction of the object.

（画像出力部３１０）
画像出力部３１０は、画像合成部３０９が生成した合成画像、すなわち加工後の画像（映像）をリアルタイムに、ディスプレイ２５に出力し、運転者に表示する。また、画像出力部３１０は、画像合成部３０９が生成した処理後の画像、すなわち視点変換処理、および／または付加画像を重畳した処理後の画像（映像）をリアルタイムに、ディスプレイ２５に出力し、運転者に表示する。(Image output unit 310)
The image output unit 310 outputs the composite image generated by the image synthesis unit 309, that is, the processed image (video) to the display 25 in real time and displays it to the driver. Further, the image output unit 310 outputs the processed image generated by the image synthesizing unit 309, that is, the processed image (video) obtained by superimposing the viewpoint conversion process and / or the additional image on the display 25 in real time. Display to the driver.

図１０は、ディスプレイ２５に表示した画面２５０の例である。フォークリフト１０の正面には、物体としてのトラック９５、その上のパレット９１、および荷物９２、ならびに作業者９６が存在し、トラック９５の荷台に向けフォークリフト１０を近づけている状況下における、カメラ２１、２２が撮影した、フォークリフト１０正面の映像を表示している。同図に示すように画面２５０においては、付加画像４０１〜４０６が重畳されている。 FIG. 10 is an example of the screen 250 displayed on the display 25. In front of the forklift 10, there is a truck 95 as an object, a pallet 91 on it, a luggage 92, and a worker 96, and the camera 21 under the condition that the forklift 10 is approaching the loading platform of the truck 95. The image of the front of the forklift 10 taken by 22 is displayed. As shown in the figure, the additional images 401 to 406 are superimposed on the screen 250.

付加画像４０１は、フォーク１５、１６に対応するイラスト画像（アニメーション画像）である。付加画像４０２、４０３は、フォーク１５、１６を前方に向けて延長させた線およびその接触位置周辺を示す画像である。これにより運転者はフォーク１５、１６が当たる（挿入される）位置を認識できる。付加画像４０４、４０５は、フォークリフト１０の正面にある物体までの距離を示す画像である。この付加画像４０４、４０５は、付加画像４０３とともに距離梯子とも称される。付加画像４０６は、高さ方向における、トラック９５の荷台の上面までのフォーク１５、１６の距離を示している。付加画像４０７は、フォークリフト１０の前方に人（作業者９６）が近づいた場合に、運転者に注意を促すマークである。なお、人が所定範囲内に近づき接近予測をした場合には、発報処理として、ディスプレイ２５の脇に取り付けられたスピーカーから警告音が鳴る。また、このとき付加画像４０７は、警告を示すために、色を変更したり、点滅させたりしてもよい。 The additional image 401 is an illustration image (animation image) corresponding to the forks 15 and 16. The additional images 402 and 403 are images showing a line in which the forks 15 and 16 are extended forward and the periphery of the contact position thereof. As a result, the driver can recognize the position where the forks 15 and 16 hit (insert). The additional images 404 and 405 are images showing the distance to the object in front of the forklift 10. The additional images 404 and 405 are also referred to as a distance ladder together with the additional image 403. The additional image 406 shows the distances of the forks 15 and 16 to the upper surface of the truck bed in the height direction. The additional image 407 is a mark that calls attention to the driver when a person (worker 96) approaches in front of the forklift 10. When a person approaches a predetermined range and predicts the approach, a warning sound is emitted from a speaker attached to the side of the display 25 as an alarm process. Further, at this time, the additional image 407 may be changed in color or blinked in order to indicate a warning.

なお、付加画像４０１〜４０６は、１対のフォーク１５、１６の間隔距離、およびフォーク１５、１６の地面に対する傾斜角度が、変更可能なフォークリフト１０であれば、間隔距離、傾斜角度の変更に応じて、形状、サイズ、向きを変更してもよい。例えば、フォーク１５が上方に傾斜した場合には、その傾斜角度に応じて、付加画像４０３〜４０６を変更する。この間隔距離、傾斜角度は、カメラ２１、２２から取得した画像により、処理部２３が求めてもよく、あるいは、フォークリフト１０に取り付けられている種々のセンサー（後述の変形例参照）により検知してもよい。 In the additional images 401 to 406, if the distance between the pair of forks 15 and 16 and the inclination angle of the forks 15 and 16 with respect to the ground are changeable forklift 10, the distance and the inclination angle can be changed. The shape, size, and orientation may be changed. For example, when the fork 15 is tilted upward, the additional images 403 to 406 are changed according to the tilt angle. The interval distance and the inclination angle may be obtained by the processing unit 23 from the images acquired from the cameras 21 and 22, or detected by various sensors attached to the forklift 10 (see a modified example described later). May be good.

このように、本実施形態においては、１本のフォーク１５に設けた、１対のカメラ２１、２２を用い、カメラ２１、２２の撮像素子により取得した映像に基づいて、フォークリフト１０の前方にある、物体までの距離を検出するとともに、取得した映像に付加画像を重畳したり、視点変換したりすることで加工を行い、加工後の映像をディスプレイ２５に表示する。１本のフォーク１５に１対のカメラ２１、２２を設けることで、安定して測距できる。また、加工後の映像を表示することで、運転者は、フォーク１５、１６上への荷積みにより前方が見えにくい場合であってもディスプレイ２５に表示した画面により前方を確認できる。また物体までの距離に関する付加画像を付加することで、作業支援や安全警告等を行えるので、より安全にフォークリフトを運転できる。 As described above, in the present embodiment, the pair of cameras 21 and 22 provided on one fork 15 is used, and the forklift 10 is in front of the forklift 10 based on the image acquired by the image pickup elements of the cameras 21 and 22. In addition to detecting the distance to the object, processing is performed by superimposing an additional image on the acquired image or converting the viewpoint, and the processed image is displayed on the display 25. By providing a pair of cameras 21 and 22 on one fork 15, the distance can be measured stably. Further, by displaying the processed image, the driver can confirm the front on the screen displayed on the display 25 even when the front is difficult to see due to the loading on the forks 15 and 16. In addition, by adding an additional image regarding the distance to the object, work support, safety warning, etc. can be provided, so that the forklift can be operated more safely.

（第２の実施形態）
図１１は、第２の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。上述の第１の実施形態に係る画像処理装置（図２等）では、２台のカメラ２１、２２を用いて、フォークリフト１０の前方の撮影および測距を行った。これに対して、第２の実施形態は、１台のカメラ２１と、測距センサー２２ｂを用いて、前方の撮影および測距を行う。第２の実施形態では、この測距センサー２２ｂが距離を検知するための「検知センサー」として機能する。(Second Embodiment)
FIG. 11 is a block diagram showing a hardware configuration of the image processing apparatus and a functional configuration of the processing unit according to the second embodiment. In the image processing apparatus (FIG. 2 and the like) according to the first embodiment described above, two cameras 21 and 22 were used to take a picture in front of the forklift 10 and measure the distance. On the other hand, in the second embodiment, one camera 21 and the distance measuring sensor 22b are used to perform forward photographing and distance measurement. In the second embodiment, the distance measuring sensor 22b functions as a "detection sensor" for detecting the distance.

測距センサー２２ｂとしては、例えばレーザーライダー（Ｌａｓｅｒ Ｌｉｄａｒ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ））、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）スキャナー、ソナー、等のエリア測距器である。エリア測距器により出力部から可視光、赤外光、音波などをエネルギー出射し、物体から反射したエネルギーが入力部に届くまでの時間差により、前方の物体までの測距を行う。エリア測距器によりフォークリフト１０の前方にある物体までの距離を測定して、複数点の測距点群データを測定して、距離値の分布を示す測距点群データを取得する。 The range finder 22b is, for example, an area range finder such as a laser lidar (Light Detection And Ranking), a TOF (Time Of Flight) scanner, a sonar, or the like. Visible light, infrared light, sound waves, etc. are emitted from the output unit by the area ranging device, and the distance is measured to the object in front by the time difference until the energy reflected from the object reaches the input unit. The distance to the object in front of the forklift 10 is measured by the area range finder, the range finder group data of a plurality of points is measured, and the range finder group data showing the distribution of the distance value is acquired.

例えば測距センサー２２ｂとしてレーザーライダーを用いる場合であれば、出射したパルス状のレーザーを前方の測定空間内を走査しながら照射し、その反射光を検出する。そして、出射タイミングと受光タイミングとの時間差に応じて、各照射位置における距離情報を求め、測定空間内の測距点群データを取得する。 For example, when a laser lidar is used as the distance measuring sensor 22b, the emitted pulsed laser is irradiated while scanning in the measurement space in front, and the reflected light is detected. Then, the distance information at each irradiation position is obtained according to the time difference between the emission timing and the light reception timing, and the distance measurement point cloud data in the measurement space is acquired.

取得した測距点群データは、逐次、距離マップ生成部３０４に送られ、各種の処理に用いられる。また、この測距点群データは、距離マップとして記憶部２４に記憶される。 The acquired AF point cloud data is sequentially sent to the distance map generation unit 304 and used for various processes. Further, the AF point cloud group data is stored in the storage unit 24 as a distance map.

また、第１の実施形態と同様に、測距センサー２２ｂとカメラ２１は、１本のフォーク１５の先端部分に配置される。測距センサー２２ｂの測定空間と、カメラ２１の撮影領域とは、一部または全部が重なるように配置される。また、好ましくは測距センサー２２ｂとカメラ２１は、第１の実施形態と同様に、フォーク１５の先端部分のテーパー部ｓ５１に配置することが好ましい（図４〜図９参照）。 Further, as in the first embodiment, the distance measuring sensor 22b and the camera 21 are arranged at the tip end portion of one fork 15. The measurement space of the distance measuring sensor 22b and the photographing area of the camera 21 are arranged so as to partially or completely overlap. Further, it is preferable that the distance measuring sensor 22b and the camera 21 are arranged on the tapered portion s51 of the tip portion of the fork 15 as in the first embodiment (see FIGS. 4 to 9).

このように、測距センサーと、カメラを用いた第２の実施形態においても、第１の実施形態と同様の効果を得ることができる。なお、第２の実施形態に対しても、位置検知センサー２６を備えたり、外部の測距センサー８０で取得し、記憶部２４に記憶した距離マップを用いたりしてもよい。 As described above, the same effect as that of the first embodiment can be obtained in the second embodiment using the distance measuring sensor and the camera. The second embodiment may also be provided with the position detection sensor 26, or the distance map acquired by the external ranging sensor 80 and stored in the storage unit 24 may be used.

（第３の実施形態）
図１２は、第３の実施形態に係る画像処理装置２０のハードウェア構成示すブロック図である。第３の実施形態においては、１台のカメラ２１、投光器２２ｃを備える。本実施形態においては、以下に説明する投光器２２ｃおよび処理部２３が、カメラ２１と協働することでフォークリフトの前方にある物体までの距離を検知するための検知センサーとして機能する。(Third Embodiment)
FIG. 12 is a block diagram showing a hardware configuration of the image processing device 20 according to the third embodiment. In the third embodiment, one camera 21 and a floodlight 22c are provided. In the present embodiment, the floodlight 22c and the processing unit 23 described below function as a detection sensor for detecting the distance to an object in front of the forklift in cooperation with the camera 21.

処理部２３の制御信号に応じて、投光器２２ｃはフォークリフトの前方に向けてパルス状のパターン光の投光を行う。パターン光としては例えば、複数本の縦横ライン光、または縦横所定間隔のドット光で構成される格子状のパターン光である。また、パターン光としてランダムなドットパターンを投光してもよい。このパターン光の照射領域は、カメラ２１の撮影領域の一部、または全部と重なる。なお、パターン光に代えて、１点の照射光を、カメラ２１の撮影領域内を順次走査するように構成してもよい。 In response to the control signal of the processing unit 23, the floodlight 22c projects pulse-shaped pattern light toward the front of the forklift. The pattern light is, for example, a plurality of vertical and horizontal line lights or a grid-like pattern light composed of dot lights at predetermined vertical and horizontal intervals. Further, a random dot pattern may be projected as the pattern light. The irradiation area of this pattern light overlaps a part or all of the photographing area of the camera 21. Instead of the pattern light, one point of irradiation light may be configured to sequentially scan the shooting area of the camera 21.

第１の実施形態と同様に投光器２２ｃと、カメラ２１は、１本のフォーク１５の先端部分に配置され、フォーク１５の幅方向（Ｙ方向）において、投光器２２ｃと、カメラ２１は所定間隔（基線長）だけ離して、取り付けている。また、好ましくは投光器２２ｃと、カメラ２１は、第１の実施形態と同様に、フォーク１５の先端部分のテーパー部ｓ５１に配置することが好ましい（図４〜図６参照）。 Similar to the first embodiment, the floodlight 22c and the camera 21 are arranged at the tip of one fork 15, and the floodlight 22c and the camera 21 are spaced apart from each other (baseline) in the width direction (Y direction) of the fork 15. The length) is separated and attached. Further, it is preferable that the floodlight 22c and the camera 21 are arranged on the tapered portion s51 of the tip portion of the fork 15 as in the first embodiment (see FIGS. 4 to 6).

処理部２３（距離マップ生成部３０４）は、所定タイミングでパターン光を照射した際に、そのパターン光を構成する各ドット光、もしくはライン光の間隔、または位置を、撮影したカメラ２１が取得した画像により検出する。検出したパターン光の位置、および基線長に基づく変換パラメータを用いて、取得した画像の複数画素における距離を算出する。 When the processing unit 23 (distance map generation unit 304) irradiates the pattern light at a predetermined timing, the camera 21 that captures the image acquires the interval or position of each dot light or line light constituting the pattern light. Detect by image. Using the detected pattern light position and conversion parameters based on the baseline length, the distances of the acquired image in a plurality of pixels are calculated.

そして、得られた距離値に基づいて、フォークリフトの前方にある物体までの距離を検出するとともに、取得した映像に、視点変換したり、付加画像を重畳したり、視点変換したりすることで加工を行い、加工後の映像をディスプレイ２５に表示する。 Then, based on the obtained distance value, the distance to the object in front of the forklift is detected, and the acquired image is processed by converting the viewpoint, superimposing an additional image, or converting the viewpoint. Is performed, and the processed image is displayed on the display 25.

このように、第３の実施形態においても、投光器２２ｃとカメラ２１（撮像素子）を用いることで、第１の実施形態と同様に、フォークリフト１０の前方の画像および、前方の物体までの距離を検出し、加工後の映像をディスプレイに表示する。また、カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理した処理後の映像をディスプレイに表示する。これにより、第１の実施形態と同様の効果を得ることができる。 As described above, also in the third embodiment, by using the floodlight 22c and the camera 21 (image sensor), the image in front of the forklift 10 and the distance to the object in front can be obtained as in the first embodiment. Detect and display the processed image on the display. Further, the processed image in which the image of the distance value based on the acquired AF point cloud data is added to the image acquired by the camera is displayed on the display. Thereby, the same effect as that of the first embodiment can be obtained.

なお、図１２の例では、１台のカメラ２１を用いる例を示したが、これに限られず、１本のフォークに配置した２台のカメラ２１、２２を用いてもよい。すなわち第１の実施形態（図２等）の構成に、さらに投光器２２ｃを加える。この場合、例えば、フォーク１５の幅方向においてカメラ２２と同じ位置に投光器２２ｃを配置し、これと基線長離れるカメラ２１で取得した画像から、各画素の距離を算出する。このように２台のカメラによる測距と、投光器２２ｃを用いた測距を併用することで、より高精度に測距を行うことができる。 In the example of FIG. 12, one camera 21 is used, but the present invention is not limited to this, and two cameras 21 and 22 arranged on one fork may be used. That is, the floodlight 22c is further added to the configuration of the first embodiment (FIG. 2, etc.). In this case, for example, the floodlight 22c is arranged at the same position as the camera 22 in the width direction of the fork 15, and the distance of each pixel is calculated from the image acquired by the camera 21 which is separated from the camera 22 by the baseline length. By using the distance measurement by the two cameras and the distance measurement using the floodlight 22c together in this way, the distance measurement can be performed with higher accuracy.

（第１の変形例）
図１３は、第１の変形例に係る、ハードウェア構成および処理部の機能構成を示すブロック図である。(First modification)
FIG. 13 is a block diagram showing a hardware configuration and a functional configuration of the processing unit according to the first modification.

第１の変形例においては、第１の実施形態の構成に対して、さらに２台のカメラ２１、２２が設けられたフォーク１５の位置状態を取得する位置検知センサー２６を備える。 In the first modification, the position detection sensor 26 for acquiring the position state of the fork 15 provided with the two cameras 21 and 22 is further provided with respect to the configuration of the first embodiment.

位置検知センサー２６としては、例えばフォーク１５の傾斜角度（チルト）を検知するセンサーであってもよい。また、位置検知センサー２６としては、フォーク１５のマスト１３に対する高さ、すなわち、地面に対する高さを検知するセンサーであってもよい。これらのセンサーは、例えばアクチュエータと光学素子から構成される。これらのセンサーにより本体１１に対するフォーク１５に設けられたカメラ２１、２２の相対的な位置を検出できる。また、位置検知センサー２６は、加速度センサーやジャイロセンサーであってもよい。加速度センサーやジャイロセンサーにより、角速度情報や旋回角度速度情報を取得でき、これらによりフォーク１５に設けられたカメラ２１、２２の本体１１、または周囲に対する相対的な位置を把握できる。なお、ここでいう相対的な位置には、フォーク１５（カメラ２１、２２）の角度（水平または傾斜）、水平面の把握が含まれる。 The position detection sensor 26 may be, for example, a sensor that detects the tilt angle (tilt) of the fork 15. Further, the position detection sensor 26 may be a sensor that detects the height of the fork 15 with respect to the mast 13, that is, the height with respect to the ground. These sensors are composed of, for example, an actuator and an optical element. These sensors can detect the relative positions of the cameras 21 and 22 provided on the fork 15 with respect to the main body 11. Further, the position detection sensor 26 may be an acceleration sensor or a gyro sensor. Angular velocity information and turning angular velocity information can be acquired by an acceleration sensor or a gyro sensor, and the relative positions of the cameras 21 and 22 provided on the fork 15 with respect to the main body 11 or the surroundings can be grasped. The relative position referred to here includes grasping the angle (horizontal or inclined) of the forks 15 (cameras 21 and 22) and the horizontal plane.

このような変形例においても第１の実施形態と同様の効果が得られるとともに、さらに、位置検知センサー２６を備えることで、付加画像を重畳したり、視点変換したりする処理部２３の処理負荷を低減させることができる。なお、変形例においては、画像処理装置２０は、第１の実施形態の構成に対して位置検知センサー２６を適用していたが、これに限られず、第２、第３の実施形態に位置検知センサー２６を適用してもよい。 In such a modified example, the same effect as that of the first embodiment can be obtained, and further, by providing the position detection sensor 26, the processing load of the processing unit 23 for superimposing an additional image or converting the viewpoint is obtained. Can be reduced. In the modified example, the image processing device 20 applied the position detection sensor 26 to the configuration of the first embodiment, but the present invention is not limited to this, and the position detection is not limited to this, and the position detection is applied to the second and third embodiments. Sensor 26 may be applied.

（第２の変形例）
図１４（ａ）、図１４（ｂ）は、第２の変形例における１本のさやフォーク１９の先端部に、第１カメラ、第２カメラを取り付けた状態を示す模式図である。本実施形態のように、さやフォーク１９をフォーク１５（またはフォーク１６）に先端側に装着する場合には、フォークの先端部、またはフォークの先端とは、さやフォーク１９の先端部、またはさやフォーク１９の先端を指す。さやフォーク１９は、フォーク１５に覆うように装着され、ネジ等の保持具（図示せず）により固定される。(Second modification)
14 (a) and 14 (b) are schematic views showing a state in which the first camera and the second camera are attached to the tip of one sheath fork 19 in the second modification. When the sheath fork 19 is attached to the fork 15 (or fork 16) on the tip side as in the present embodiment, the tip of the fork or the tip of the fork is the tip of the sheath fork 19 or the sheath fork. Refers to the tip of 19. The sheath fork 19 is attached so as to cover the fork 15, and is fixed by a holder (not shown) such as a screw.

図１４（ａ）は、フォーク１５の先端側に装着したさやフォーク１９を示す側面図であり、図１４（ｂ）は平面図である。 FIG. 14A is a side view showing a sheath fork 19 mounted on the tip end side of the fork 15, and FIG. 14B is a plan view.

さやフォーク１９は先端ｓ１１、上面ｓ１２、下面ｓ１３、および側面ｓ１４、ならびに先端部分のテーパー部ｓ１５１を有する。フォーク１９の左右のテーパー部ｓ１５１にはそれぞれ、円柱状の穴が設けられており、カメラ２１、２２はそれぞれ、この穴に埋め込まれて配置されている。カメラ２１、２２の配置位置、およびその効果については、図４〜図９で説明した第１の実施形態と同様であり、説明を省略する。 The sheath fork 19 has a tip s11, an upper surface s12, a lower surface s13, and a side surface s14, and a tapered portion s151 at the tip portion. The left and right tapered portions s151 of the fork 19 are provided with columnar holes, respectively, and the cameras 21 and 22 are respectively embedded in the holes and arranged. The arrangement positions of the cameras 21 and 22 and their effects are the same as those of the first embodiment described with reference to FIGS. 4 to 9, and the description thereof will be omitted.

カメラ２１、２２はフォークリフト１０の本体１１とケーブルまたは無線で接続しており、映像信号の処理部２３への伝送が行われる。ケーブル接続の場合は、本体１１から電力供給がなされ、無線接続の場合には、カメラ２１、２２とともに取り付けたバッテリーにより電力供給がなされる。 The cameras 21 and 22 are connected to the main body 11 of the forklift 10 by a cable or wirelessly, and the video signal is transmitted to the processing unit 23. In the case of cable connection, power is supplied from the main body 11, and in the case of wireless connection, power is supplied by the battery attached together with the cameras 21 and 22.

このように第２の変形例のように、さやフォーク１９に、第１、第２カメラ２１、２２を設けることによっても、第１の実施形態と同様の効果を得ることができる。さらに、第２、第３の実施形態についても、フォーク１５に代えてさやフォーク１９を用いてもよい。すなわち、カメラ２１と、測距センサー２２ｂまたは投光器２２ｃをさやフォーク１９の先端部に設ける。このようにしても、第２、第３の実施形態と同様の効果を得ることができる。 As described above, by providing the first and second cameras 21 and 22 on the sheath fork 19 as in the second modification, the same effect as that of the first embodiment can be obtained. Further, also in the second and third embodiments, the sheath fork 19 may be used instead of the fork 15. That is, the camera 21 and the distance measuring sensor 22b or the floodlight 22c are provided at the tip of the sheath fork 19. Even in this way, the same effect as that of the second and third embodiments can be obtained.

（第３の変形例）
図１５は、第３の変形例に係る、ハードウェア構成および処理部の機能構成を示すブロック図である。第３の変形例においては、１台（単眼）のカメラ２１と、位置検知センサー２７を備える。また、第３の変形例においては、処理部２３にはオプティカルフロー処理部３２０が含まれる。本変形例においては、カメラ２１の撮像素子２００、位置検知センサー２７、および処理部２３（オプティカルフロー処理部３２０）が協働することで物体までの距離を検知するための検知センサーとして機能する。(Third variant)
FIG. 15 is a block diagram showing a hardware configuration and a functional configuration of the processing unit according to the third modification. In the third modification, one (monocular) camera 21 and a position detection sensor 27 are provided. Further, in the third modification, the processing unit 23 includes an optical flow processing unit 320. In this modification, the image sensor 200 of the camera 21, the position detection sensor 27, and the processing unit 23 (optical flow processing unit 320) cooperate to function as a detection sensor for detecting the distance to the object.

位置検知センサー２７は、変形例に係る位置検知センサー２６と同様の構成を備える。位置検知センサー２７から、フォークリフト１０が移動する際のカメラ２１の進行方向や移動量に関する位置データを取得する。 The position detection sensor 27 has the same configuration as the position detection sensor 26 according to the modified example. From the position detection sensor 27, position data regarding the traveling direction and the amount of movement of the camera 21 when the forklift 10 moves is acquired.

オプティカルフロー処理部３２０は、公知のオプティカルフロー処理を用いて測距情報を取得する。具体的には、カメラ２１の時系列の複数フレーム（複数映像）間の差分を検出し、その時の位置検知センサー２７からの位置データを用いて、画像内の各物体までの距離値を取得する。このようにしても、上述の各実施形態と同様の効果を得ることができる。 The optical flow processing unit 320 acquires distance measurement information using a known optical flow processing. Specifically, the difference between a plurality of frames (plural images) in the time series of the camera 21 is detected, and the distance value to each object in the image is acquired by using the position data from the position detection sensor 27 at that time. .. Even in this way, the same effect as that of each of the above-described embodiments can be obtained.

（第４の変形例）
図１６は、第４の変形例に係る画像処理装置のハードウェア構成、処理部の機能構成、およびＨＵＤの構成を示すブロック図である。図１７は、ＨＵＤの構成を示す模式図である。第４の変形例は、ディスプレイとして、ＨＵＤ２５ｂを有する。ＨＵＤ２５ｂのコンバイナー５２２は、図１のディスプレイ２５と同様な位置であって、フォークリフトの前方側を透過できる位置に配置されている。ＨＵＤ２５ｂにより、運転者は、図１０で示した付加画像４０１〜４０７のような画像を虚像として投影しながら、前方の実像をコンバイナー越しに透過視できる。なお、この第４の変形例におけるＨＵＤ２５ｂを、上述した第１から第３の実施形態、および各変形例に適用してもよい。(Fourth modification)
FIG. 16 is a block diagram showing a hardware configuration of the image processing apparatus, a functional configuration of the processing unit, and a configuration of the HUD according to the fourth modification. FIG. 17 is a schematic diagram showing the configuration of the HUD. The fourth modification has a HUD25b as a display. The combiner 522 of the HUD 25b is arranged at a position similar to that of the display 25 of FIG. 1 and can pass through the front side of the forklift. With the HUD25b, the driver can see the real image in front through the combiner while projecting an image such as the additional images 401 to 407 shown in FIG. 10 as a virtual image. The HUD25b in the fourth modification may be applied to the first to third embodiments described above and each modification.

図１７に示すように、ＨＵＤ２５ｂは、２次元的な表示面を有する表示素子５１、表示素子５１に形成された像ｉを拡大し、虚像ｆに変換して投影する、ミラー５２１、およびコンバイナー５２２を含む虚像投影光学系５２、および移動機構５３を有する。なお、ミラー５２１を省略した構成としてもよい。表示素子５１は、液晶、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、または中間スクリーンであってもよい。コンバイナー５２２で反射された光は、運転者の瞳９１０に導かれ、虚像ｆとして認識される。虚像投影光学系５２は、ミラー５２１、コンバイナー５２２を含み、表示素子５１に形成された像ｉを拡大し、虚像ｆに変換してコンバイナー５２２へ投影する。移動機構５３は、ミラー５２１、または表示素子５１を動かすことにより、運転者の座高に合わせた座高調整を行う。 As shown in FIG. 17, the HUD 25b magnifies the display element 51 having a two-dimensional display surface, the image i formed on the display element 51, converts it into a virtual image f, and projects the mirror 521 and the combiner 522. It has a virtual image projection optical system 52 including, and a moving mechanism 53. The mirror 521 may be omitted. The display element 51 may be a liquid crystal, an OLED (Organic Light Emitting Diode), or an intermediate screen. The light reflected by the combiner 522 is guided to the driver's pupil 910 and recognized as a virtual image f. The virtual image projection optical system 52 includes a mirror 521 and a combiner 522, enlarges the image i formed on the display element 51, converts it into a virtual image f, and projects it onto the combiner 522. The moving mechanism 53 adjusts the sitting height according to the sitting height of the driver by moving the mirror 521 or the display element 51.

ＨＵＤ２５ｂでの虚像は、荷物や荷棚、フォーク爪先を交互に見て作業する必要があるので、虚像距離の設定としては、フォーク爪先、荷棚、荷物が見やすい、ディスプレイより５０ｃｍから２０ｍの間である事が望ましい。運転席に座った運転者の瞳９１０に導かれる表示素子５１からの表示光により、運転者は、あたかもフォークリフトの車体前方にあるような表示像として、虚像ｆを観察することができる。この観察する虚像ｆまでの距離が虚像距離であり、図１７では瞳９１０と虚像ｆまでの距離に相当する。視認すべき実体物までの距離と虚像距離が近い事により、眼の焦点距離を殆ど変える事なく、実体物と虚像を見る事ができるので、虚像上の情報が目の焦点変更を必要なく理解できる為、認識時間短縮が出来る。また、目への負担が減ることにより疲労度軽減が出来る。この虚像距離の設定は、フォークリフト１０のサイズまたはフォーク１５先端と運転席の距離に応じて行われることが好ましい。例えば１．５トン程度の小型のフォークリフトの場合、爪先から視点を外さないで、虚像も観察できるために、投影距離の設定は、１ｍから３ｍの範囲内が望ましい。 Since it is necessary to work by alternately looking at the luggage, luggage rack, and fork toe for the virtual image on the HUD25b, the virtual image distance can be set between 50 cm and 20 m from the display so that the fork toe, luggage rack, and luggage are easy to see. It is desirable to have something. The display light from the display element 51 guided by the pupil 910 of the driver sitting in the driver's seat allows the driver to observe the virtual image f as if it were in front of the vehicle body of the forklift. The distance to the virtual image f to be observed is the virtual image distance, which corresponds to the distance between the pupil 910 and the virtual image f in FIG. Since the distance to the real object to be visually recognized and the virtual image distance are close, the real object and the virtual image can be seen with almost no change in the focal length of the eye, so the information on the virtual image can be understood without the need to change the focus of the eye. Therefore, the recognition time can be shortened. In addition, the degree of fatigue can be reduced by reducing the burden on the eyes. This virtual image distance is preferably set according to the size of the forklift 10 or the distance between the tip of the fork 15 and the driver's seat. For example, in the case of a small forklift of about 1.5 tons, the projection distance is preferably set within the range of 1 m to 3 m because a virtual image can be observed without removing the viewpoint from the tip of the toe.

なお、ＨＵＤは、虚像投影距離を変更可能な構成としてもよい。例えば、表示素子５１を光軸ＡＸ方向の位置を変更する移動機構、またはミラー５２１を移動する移動機構を設け、これにより、虚像ｆまでの投影距離を変更してもよい。例えば、荷物９２またはパレット差込口９１ａまでの距離に応じて投影距離を変更する。さらに、他の形態として、中間スクリーンを設け、中間スクリーンの光軸方向の位置を変更することで、投影距離を変更するように構成してもよい。この中間スクリーンは、その表面に表示素子の表示面に形成した画像を投影する部材であり、摺りガラス等の拡散機能を有する部材であり、表示素子５１とミラー５２１との間に配置する。 The HUD may have a configuration in which the virtual image projection distance can be changed. For example, the display element 51 may be provided with a moving mechanism for changing the position in the optical axis AX direction or a moving mechanism for moving the mirror 521, whereby the projection distance to the virtual image f may be changed. For example, the projection distance is changed according to the distance to the luggage 92 or the pallet insertion port 91a. Further, as another form, an intermediate screen may be provided and the projection distance may be changed by changing the position of the intermediate screen in the optical axis direction. This intermediate screen is a member for projecting an image formed on the display surface of the display element on its surface, and is a member having a diffusion function such as frosted glass, and is arranged between the display element 51 and the mirror 521.

また、さらに、ＨＵＤを３Ｄ−ＨＵＤの構成として、前方の荷物、荷棚、作業者等の実態物（オブジェクト）までの距離に対応させた虚像距離で、虚像を３次元的に表示するようにしてもよい。例えば、数十Ｈｚの周期で、移動機構により象面（表示素子５１やミラー５２１）を移動することで虚像距離を変更し、表示制御部が象面の移動タイミングに合わせて表示素子に形成する像を制御する。これにより運転者には、複数の異なる虚像距離の虚像が同時に表示されているように見える。 Furthermore, the HUD is configured as a 3D-HUD, and the virtual image is displayed three-dimensionally at a virtual image distance corresponding to the distance to the actual object (object) such as the luggage, the luggage rack, and the worker in front. You may. For example, the virtual image distance is changed by moving the elephant surface (display element 51 or mirror 521) by the moving mechanism in a cycle of several tens of Hz, and the display control unit forms the display element in accordance with the movement timing of the elephant surface. Control the image. This makes it appear to the driver that multiple virtual images with different virtual image distances are being displayed at the same time.

（第５の変形例）
図１８は、第５の変形例における、１本のさやフォーク１９の先端部に、第１カメラ、第２カメラ２１、２２を取り付けた状態を示す模式図である。第５の変形例は、第２の変形例と同様にさやフォーク１９を用いたものであり、さらに衝突時の衝撃緩和を考慮した構成としている。(Fifth variant)
FIG. 18 is a schematic view showing a state in which the first camera and the second cameras 21 and 22 are attached to the tip of one sheath fork 19 in the fifth modification. The fifth modification uses the sheath fork 19 as in the second modification, and is configured in consideration of impact mitigation at the time of collision.

図１８は、フォーク１５の先端側に装着したさやフォーク１９を示す側面断面図である。さやフォーク１９は、本体部１９１、蓋部１９２、透明板１９３、衝撃緩和部材１９４、および熱伝導部材１９５を有する。 FIG. 18 is a side sectional view showing a sheath fork 19 mounted on the tip end side of the fork 15. The sheath fork 19 has a main body portion 191 and a lid portion 192, a transparent plate 193, a shock absorbing member 194, and a heat conductive member 195.

基板ユニット４０は、アルミプレート４１、ならびにこのアルミプレート４１上に配置した第１、第２カメラ２１、２２、カメラ基板４２、およびＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）基板４３を有する。カメラ基板４２には、処理部２３の一部、または全部の機能が配置される。また、ＩＭＵ基板４３は、上述の位置検知センサー２７に対応する。蓋部１９２がボルト９０等により、本体部１９１に固定されることで、基板ユニット４０は、本体部１９１の空間内部に収納される。 The substrate unit 40 includes an aluminum plate 41, first and second cameras 21, 22 arranged on the aluminum plate 41, a camera substrate 42, and an IMU (Inertial Measurement Unit) substrate 43. A part or all the functions of the processing unit 23 are arranged on the camera board 42. Further, the IMU substrate 43 corresponds to the above-mentioned position detection sensor 27. By fixing the lid portion 192 to the main body portion 191 with bolts 90 or the like, the substrate unit 40 is housed in the space of the main body portion 191.

本体部１９１、蓋部１９２は、鋼材で構成される。透明板１９３は、光を透過する部材で、例えばポリカーボネートで構成され、第１、第２カメラ２１、２２は、この透明板１９３を通じて、外部を撮影する。衝撃緩和部材１９４はシリコンゴム等の弾性体、またはゲル化素材で構成される。 The main body portion 191 and the lid portion 192 are made of steel. The transparent plate 193 is a member that transmits light, and is made of, for example, polycarbonate. The first and second cameras 21 and 22 photograph the outside through the transparent plate 193. The shock absorbing member 194 is made of an elastic body such as silicon rubber or a gelled material.

熱伝導部材１９５は、可撓性で、高熱伝導性のアルミニウム、銅、カーボンなどの熱伝導率の高い材料、またはヒートパイプで構成された部材であり、アルミプレート４１と本体部１９１に貼り付けられ、アルミプレート４１、熱伝導部材１９５を介して、熱を本体部１９１に伝え、基板ユニット４０の各電子部品から発生した熱を放熱する。熱伝導部材１９５としては、例えば、カーボン基材のグラファイトシート（または熱伝導シート）を用いてもよく、フレキシブルなヒートパイプを用いてもよい。 The heat conductive member 195 is a member made of a flexible and highly heat conductive material having high thermal conductivity such as aluminum, copper, carbon, or a heat pipe, and is attached to the aluminum plate 41 and the main body 191. The heat is transferred to the main body 191 via the aluminum plate 41 and the heat conductive member 195, and the heat generated from each electronic component of the substrate unit 40 is dissipated. As the heat conductive member 195, for example, a graphite sheet (or heat conductive sheet) having a carbon base material may be used, or a flexible heat pipe may be used.

衝撃緩和部材１９４は、蓋部１９２の内側表面上に貼り付けられており、その端部は、本体部１９１にも接触している。この衝撃緩和部材１９４により、カメラ、および検知センサーを構成する電子部品が、衝撃緩和部材１９４を介して間接的に本体部１９１とつながる。具体的には、図１８の例では、基板ユニット４０全体が衝撃緩和部材１９４により覆われており、さやフォーク１９へ物体が衝突することによる衝撃は緩和されて、基板ユニット４０の各電子部品に伝わる。 The shock absorbing member 194 is attached on the inner surface of the lid portion 192, and its end portion is also in contact with the main body portion 191. The shock absorbing member 194 indirectly connects the camera and the electronic components constituting the detection sensor to the main body portion 191 via the shock absorbing member 194. Specifically, in the example of FIG. 18, the entire substrate unit 40 is covered with the impact mitigation member 194, and the impact caused by the collision of an object with the sheath fork 19 is mitigated to each electronic component of the substrate unit 40. It is transmitted.

このように、第５の変形例では、衝撃緩和部材１９４により、カメラおよび検知センサーが保護されている。これにより、さやフォークへの衝撃による、これらの構成部品に与える影響を緩和できる。また、さらに、可撓性のフレキシブルな熱伝導部材１９５を用いることで、電子部品への振動や衝撃を緩和するととともに、電子部品からの排熱を行える。 As described above, in the fifth modification, the shock absorbing member 194 protects the camera and the detection sensor. As a result, the influence of the impact on the pod fork on these components can be mitigated. Further, by using the flexible and flexible heat conductive member 195, vibration and impact on the electronic component can be alleviated, and heat can be exhausted from the electronic component.

なお、第５の変形例は、さやフォーク１９に衝撃緩和および放熱用の部材を適用した例を説明したが、これに限られず、図１６に示した構成を、図３から図５等に示したフォーク１５に適用してもよい。また、上述の第１の実施形態等の各実施形態に適用してもよい。 The fifth modification has described an example in which a member for shock mitigation and heat dissipation is applied to the sheath fork 19, but the present invention is not limited to this, and the configuration shown in FIG. 16 is shown in FIGS. 3 to 5 and the like. It may be applied to the fork 15. Further, it may be applied to each embodiment such as the above-mentioned first embodiment.

（第４の実施形態）
（画像表示処理）
図１９は、第４の実施形態に係る画像処理装置２０が行う表示処理を示すフローチャートである。以下、図１９を参照し、表示処理について説明する。(Fourth Embodiment)
(Image display processing)
FIG. 19 is a flowchart showing a display process performed by the image processing device 20 according to the fourth embodiment. Hereinafter, the display process will be described with reference to FIG.

（ステップＳ１０１）
画像処理装置２０の処理部２３（画像取得部３０１）は、最初に、第１、第２のカメラ２１、２２を制御し、所定のフレームレートで撮影された映像を取得する。(Step S101)
The processing unit 23 (image acquisition unit 301) of the image processing device 20 first controls the first and second cameras 21 and 22 to acquire an image shot at a predetermined frame rate.

（ステップＳ１０２）
次に、処理部２３は、それぞれのカメラ２１、２２から取得した対応する２枚の画像を処理することより、距離マップを取得する。この処理は、上述の前処理部３０２、特徴点抽出部３０３、および距離マップ生成部３０４により行われる。すなわち、取得した画像に対して、前処理を行った後、基線長を用いて、２枚の画像の特徴点の対応関係により、各画素の距離値を算出して、距離マップを生成する。(Step S102)
Next, the processing unit 23 acquires a distance map by processing two corresponding images acquired from the respective cameras 21 and 22. This processing is performed by the preprocessing unit 302, the feature point extraction unit 303, and the distance map generation unit 304 described above. That is, after preprocessing the acquired image, the distance value of each pixel is calculated based on the correspondence between the feature points of the two images using the baseline length, and a distance map is generated.

（ステップＳ１０３）
続いて、処理部２３は、生成した距離マップを用いて、ステップＳ１０１で取得した２次元の映像に対して、視点変換処理を施す。この処理は、物***置判定部３０５、対応付け部３０７、および視点変換部３０８により行われる。すなわち、前方にある物体の３次元空間での位置を判定し、判定した物体それぞれを、２次元の映像の各画素に対して対応付けをする。そして、運転台１２に座る運転者の視点位置等に対応した、予め指定された仮想視点位置から見た時の角度、方向に対して、各画素点の間隔や位置を座標変換することで、画像の視点変換処理を行う。(Step S103)
Subsequently, the processing unit 23 performs viewpoint conversion processing on the two-dimensional image acquired in step S101 using the generated distance map. This processing is performed by the object position determination unit 305, the association unit 307, and the viewpoint conversion unit 308. That is, the position of the object in front in the three-dimensional space is determined, and each of the determined objects is associated with each pixel of the two-dimensional image. Then, the distance and position of each pixel point are coordinate-converted with respect to the angle and direction when viewed from the virtual viewpoint position designated in advance, corresponding to the viewpoint position of the driver sitting on the driver's cab 12. Performs image viewpoint conversion processing.

（ステップＳ１０４）
処理部２３は、付加画像を作成する。具体的には、付加画像生成部３０６は、フォークリフト１０の前方にある物体と、フォーク１５、１６の先端との距離に応じた付加画像を生成する。また、処理部２３は、接近予測を行う。すなわち、フォーク１５等が物体に近づき過ぎて物体までの距離が所定値以下となった場合には発報条件を満たすと判断する。(Step S104)
The processing unit 23 creates an additional image. Specifically, the additional image generation unit 306 generates an additional image according to the distance between the object in front of the forklift 10 and the tips of the forks 15 and 16. In addition, the processing unit 23 makes an approach prediction. That is, when the fork 15 or the like gets too close to the object and the distance to the object becomes equal to or less than a predetermined value, it is determined that the alarm condition is satisfied.

（ステップＳ１０５）
処理部２３は、ステップＳ１０４で生成した付加画像を、ステップＳ１０３で視点変換処理した画像に付加（重畳）させる加工処理を行う。具体的には、画像合成部３０９は、付加画像を物体の位置に対応させた表示位置で重畳させた合成画像を生成する。なお、ステップＳ１０３による視点変換処理を省略し、ステップＳ１０４による加工処理のみにより、映像に対して加工処理してもよい。(Step S105)
The processing unit 23 performs a processing process of adding (superimposing) the additional image generated in step S104 to the image subjected to the viewpoint conversion process in step S103. Specifically, the image synthesizing unit 309 generates a composite image in which the additional image is superimposed at the display position corresponding to the position of the object. The viewpoint conversion process in step S103 may be omitted, and the image may be processed only by the processing in step S104.

（ステップＳ１０６）
処理部２３の画像出力部３１０は、ステップＳ１０５で生成した合成画像をリアルタイムにディスプレイ２５に出力して、運転者に表示する。例えば、ステップＳ１０６において、図１０に示したような画面２５０をディスプレイ２５に表示する。また、ステップＳ１０４で接近予測として、発報条件を満たすと判断した場合には、処理部２３は、ディスプレイ２５周辺に設けられたスピーカーにより警告音を出力したり、所定の警告表示をディスプレイに表示したりする発報処理を行う。なお、人が所定範囲内に近づき接近予測をした場合には、発報処理として、ディスプレイ２５の脇に取り付けられたスピーカーから警告音が鳴る。また、このとき付加画像４０７は、警告を示すために、色を変更したり、点滅させたりしてもよい。(Step S106)
The image output unit 310 of the processing unit 23 outputs the composite image generated in step S105 to the display 25 in real time and displays it to the driver. For example, in step S106, the screen 250 as shown in FIG. 10 is displayed on the display 25. Further, when it is determined in step S104 that the alarm condition is satisfied as the approach prediction, the processing unit 23 outputs a warning sound by the speaker provided around the display 25 or displays a predetermined warning display on the display. Performs alarm processing. When a person approaches a predetermined range and predicts the approach, a warning sound is emitted from a speaker attached to the side of the display 25 as an alarm process. Further, at this time, the additional image 407 may be changed in color or blinked in order to indicate a warning.

また、フォーク１５、１６先端からの最短距離に関する情報を出力するようにしてもよい。この情報としては、例えば、前方映像に最短距離の距離値を重畳させたり、音声で距離情報を出力したり、所定値以下の危険な距離になった時に、フォークリフト１０に設けた警告ランプ（図示せず）で光を点滅させたりする。また、パレット９１だけの位置でなく、パレット９１の上下左右の空間情報（その中でのパレット９１の位置）を必要とするので、一点だけの距離情報ではなく、ある程度の広さをもつ範囲（カメラ撮影範囲）の距離情報を表示するようにしてもよい。具体的には、例えば付加画像４０２の上下左右に（画角における）所定間隔で配置した格子状の複数のポイントに対する距離情報を表示する。また、その中でパレット９１への相対的な位置として、ＹＺ平面における距離を表示する。 Further, the information regarding the shortest distance from the tips of the forks 15 and 16 may be output. This information includes, for example, a warning lamp provided on the forklift 10 when the distance value of the shortest distance is superimposed on the front image, the distance information is output by voice, or when the distance becomes a dangerous distance equal to or less than a predetermined value (FIG. (Not shown) flashes the light. Further, since not only the position of the pallet 91 but also the spatial information of the pallet 91 up, down, left and right (the position of the pallet 91 in the pallet 91) is required, the distance information of only one point is required, and the range having a certain size ( The distance information of the camera shooting range) may be displayed. Specifically, for example, distance information for a plurality of grid-like points arranged at predetermined intervals (at an angle of view) on the top, bottom, left, and right of the additional image 402 is displayed. Further, the distance in the YZ plane is displayed as a relative position with respect to the pallet 91.

このように、第４の実施形態においては、フォーク１５に設けた１対のカメラ２１、２２を用い、カメラ２１、２２の撮像素子により取得した映像に基づいて、フォークリフト１０の前方の物体までの距離を測距し、距離値の分布を示す測距点群データを取得し、カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行い、処理後の映像をディスプレイに表示する。このように距離値の画像を付加する加工処理することで、前方の風景が距離として把握できるので、単に映像を見るより安全に作業を行うことができる。また、運転者は、フォーク１５、１６上への荷積みにより前方が見えにくい場合であってもディスプレイ２５に表示した画面により容易に前方の状況を確認できる。また、視点変換処理した映像をディスプレイ２５に表示することで、運転者は、フォーク１５、１６上への荷積みにより前方が見えにくい場合であっても、視点変換処理した加工後の映像によって、より容易に前方を確認できる。 As described above, in the fourth embodiment, the pair of cameras 21 and 22 provided on the fork 15 is used, and the object in front of the fork lift 10 is reached based on the image acquired by the image sensor of the cameras 21 and 22. The distance is measured, the distance measurement point group data showing the distribution of the distance value is acquired, and the processing process of adding the image of the distance value based on the acquired distance measurement point group data to the image acquired by the camera is performed. , Display the processed image on the display. By performing the processing process of adding the image of the distance value in this way, the scenery in front can be grasped as the distance, so that the work can be performed more safely than simply viewing the image. Further, the driver can easily confirm the front situation on the screen displayed on the display 25 even when the front is difficult to see due to the loading on the forks 15 and 16. Further, by displaying the image of the viewpoint conversion processed on the display 25, the driver can use the processed image of the viewpoint conversion process even when it is difficult to see the front due to the loading on the forks 15 and 16. You can check the front more easily.

（表示変形例）
図２０は、ディスプレイ２５に表示した画面２５１の変形例である。変形例では俯瞰画像を追加しており、画面２５１は、正面視の正面画像２５０１と俯瞰画像２５０２から構成される。正面画像２５０１は、図１０の画面２５０と同じであり、これを縮小表示したものである。俯瞰画像２５０２は、付加画像生成部３０６が、物体までの距離値に応じて真上視点（上方視点）の俯瞰画像を生成し、これを正面画像２５０１に並べて表示したものである。俯瞰画像２５０２は、距離を示す付加画像４０９、およびフォーク１５、１６に対応するイラスト画像である付加画像４１０が表示されている。通常は、フォークリフト１０に面する物体の前面側、あるいは前面側、側面、上面の距離値が得られるが、物体の背面側に関しては、何ら距離値の情報が得られない。そのため、背面側については表示データがない。しかしながら、フォークリフト１０の運転に関しては、背面側の距離値は分からなくても、正面側の距離値が判別できれば十分である。なお、背面側に対しては、図２０の例に示すように記憶部２４に記憶している距離マップを参照することで、死角領域に存在する物体の輪郭を生成し、重畳するようにしてもよい。図２０の破線は、死角領域の物体（トラック、作業者）の輪郭を示している。このように、俯瞰画像２５０２を表示することで運転者は、周囲の状況をより正しく把握することができ、より安全にフォークリフトを運転できる。(Display transformation example)
FIG. 20 is a modified example of the screen 251 displayed on the display 25. In the modified example, a bird's-eye view image is added, and the screen 251 is composed of a front view image 2501 and a bird's-eye view image 2502. The front image 2501 is the same as the screen 250 of FIG. 10, and is a reduced display thereof. In the bird's-eye view image 2502, the additional image generation unit 306 generates a bird's-eye view image of the directly above viewpoint (upper viewpoint) according to the distance value to the object, and displays this side by side on the front image 2501. The bird's-eye view image 2502 displays an additional image 409 showing the distance and an additional image 410 which is an illustration image corresponding to the forks 15 and 16. Normally, the distance values of the front side, the front side, the side surface, and the upper surface of the object facing the forklift 10 can be obtained, but no distance value information can be obtained for the back side of the object. Therefore, there is no display data on the back side. However, regarding the operation of the forklift 10, even if the distance value on the back side is not known, it is sufficient if the distance value on the front side can be determined. On the back side, as shown in the example of FIG. 20, by referring to the distance map stored in the storage unit 24, the contour of the object existing in the blind spot region is generated and superimposed. May be good. The dashed line in FIG. 20 shows the outline of an object (track, worker) in the blind spot area. By displaying the bird's-eye view image 2502 in this way, the driver can more accurately grasp the surrounding situation and can drive the forklift more safely.

（死角領域の処理）
次に、図２１（ａ）〜図２１（ｄ）を参照し、死角領域の処理について説明する。図２１（ａ）は、カメラ２１、２２により撮影した画像（元画像）であり、図２１（ｂ）は図２１（ａ）の画像に対して、説明のために、画像内の各物体に符号を付与した模式図である。物体９７１から９７５は直方体の物体であり、物体９７１が最もカメラ２１、２２に近く、以下、物体９７２、９７３、９７４、９７５の順に遠く位置に配置されている。(Treatment of blind spot area)
Next, the processing of the blind spot region will be described with reference to FIGS. 21 (a) to 21 (d). 21 (a) is an image (original image) taken by the cameras 21 and 22, and FIG. 21 (b) is for each object in the image for explanation with respect to the image of FIG. 21 (a). It is a schematic diagram to which a code is given. Objects 971 to 975 are rectangular parallelepiped objects, and the object 971 is closest to the cameras 21 and 22, and the objects 972, 973, 974, and 975 are arranged at the farthest positions in this order.

図２１（ｃ）は、視点変換部３０８により、図２１（ａ）の元画像に対して、カメラ２１、２２よりも高い位置を仮想視点位置とする視点変換を行った画像である。物体の背面側は、カメラ２１、２２で撮影することができない死角領域である。そのため、上方への視点変換においては、物体の背面側は、画素情報が欠損（Ｎｕｌｌ）した状態となる。図２１（ｄ）は、図２１（ｃ）の画像に対して、説明のために、符号を付与した模式図である。図２１（ｄ）では、死角領域ｂ１からｂ３が各物体の背面側に発生している。死角領域ｂ１からｂ３に対しては、それぞれ黒画素を割り当ててもよいが、見易さのために以下のような画素を割り当ててもよい。 FIG. 21 (c) is an image obtained by performing viewpoint conversion on the original image of FIG. 21 (a) by the viewpoint conversion unit 308 with a position higher than the cameras 21 and 22 as a virtual viewpoint position. The back side of the object is a blind spot area that cannot be photographed by the cameras 21 and 22. Therefore, in the upward viewpoint conversion, the pixel information is missing (Null) on the back surface side of the object. 21 (d) is a schematic view in which a reference numeral is added to the image of FIG. 21 (c) for the sake of explanation. In FIG. 21D, blind spot regions b1 to b3 are generated on the back surface side of each object. Black pixels may be assigned to the blind spot areas b1 to b3, respectively, but the following pixels may be assigned for ease of viewing.

例えば、（１）死角領域を形成される物体の上方で、かつ、この物体よりも遠い距離にある物体の表面のテクスチャー、すなわち表面を構成する画素の色、模様を、死角領域に割り当てる。このようにすることで、死角領域が生じたしたとしても、遠い側の物体の表面に溶け込むので、表示での違和感を緩和できる。あるいは（２）記憶部２４に記憶している３次元距離マップにおける物体の輪郭情報を用いて、死角領域に対して、死角領域に存在する物体の輪郭を生成し、画像に重畳させる。このようにしても表示での死角領域による違和感を緩和できる。 For example, (1) the texture of the surface of an object above the object to which the blind spot region is formed and at a distance farther than this object, that is, the color and pattern of the pixels constituting the surface are assigned to the blind spot region. By doing so, even if a blind spot region is generated, it melts into the surface of the object on the distant side, so that the discomfort in the display can be alleviated. Alternatively, (2) the contour information of the object in the three-dimensional distance map stored in the storage unit 24 is used to generate the contour of the object existing in the blind spot region with respect to the blind spot region and superimpose it on the image. Even in this way, the discomfort caused by the blind spot area on the display can be alleviated.

（第６の変形例）
図２２は、第６の変形例に係る、ハードウェア構成および処理部の機能構成を示すブロック図である。(Sixth variant)
FIG. 22 is a block diagram showing a hardware configuration and a functional configuration of the processing unit according to the sixth modification.

第６の変形例においては、第１の実施形態の構成に対して、さらにフォーク１５に設けられた２台のカメラ２１、２２の姿勢情報を取得する位置検知センサー２６を備える。また、建物または設備に設置された外部の測距センサー８０（図８参照）が取得した測距点群データによる測距マップが、記憶部２４に蓄積されている。ここで、姿勢情報には、地面に対する傾斜角度、高さ、または、フォークリフト１０の本体１１に対する高さ、両フォーク１５、１６間の開き角度、間隔の情報が含まれる。 In the sixth modification, the position detection sensor 26 for acquiring the posture information of the two cameras 21 and 22 provided on the fork 15 is further provided with respect to the configuration of the first embodiment. In addition, a distance measurement map based on the distance measurement point cloud data acquired by the external distance measurement sensor 80 (see FIG. 8) installed in the building or equipment is stored in the storage unit 24. Here, the posture information includes information on the inclination angle and height with respect to the ground, the height of the forklift 10 with respect to the main body 11, the opening angle between the forks 15 and 16, and the distance.

例えば、位置検知センサー２６は、フォーク１５の地面に対する傾斜角度（チルト）を検知するセンサーである。また、位置検知センサー２６は、フォーク１５のマスト１３に対する高さ、すなわち、地面に対する高さを検知するセンサーである。これらのセンサーは、例えばアクチュエータと光学素子から構成される。また、両フォーク１５、１６の開き角度、および間隔を検知するセンサーを含めてもよい。これらのセンサーは、フォークリフト１０に設けられたモーターに設けられたエンコーダーである。位置検知センサー２６によりこれらのセンサーにより本体１１に対するフォーク１５に設けられたカメラ２１、２２の相対的な位置を検出できる。また、位置検知センサー２６は、加速度センサーやジャイロセンサーであってもよい。加速度センサーやジャイロセンサーにより、角速度情報や旋回角度速度情報を取得でき、これらによりフォーク１５に設けられたカメラ２１、２２の本体１１、または周囲に対する相対的な位置を把握できる。なお、ここでいう相対的な位置には、フォーク１５（カメラ２１、２２）の角度（水平または傾斜）、水平面の把握が含まれる。 For example, the position detection sensor 26 is a sensor that detects the inclination angle (tilt) of the fork 15 with respect to the ground. Further, the position detection sensor 26 is a sensor that detects the height of the fork 15 with respect to the mast 13, that is, the height with respect to the ground. These sensors are composed of, for example, an actuator and an optical element. Further, a sensor for detecting the opening angle and the distance between the forks 15 and 16 may be included. These sensors are encoders provided in the motor provided in the forklift 10. The position detection sensor 26 can detect the relative positions of the cameras 21 and 22 provided on the fork 15 with respect to the main body 11 by these sensors. Further, the position detection sensor 26 may be an acceleration sensor or a gyro sensor. Angular velocity information and turning angular velocity information can be acquired by an acceleration sensor or a gyro sensor, and the relative positions of the cameras 21 and 22 provided on the fork 15 with respect to the main body 11 or the surroundings can be grasped. The relative position referred to here includes grasping the angle (horizontal or inclined) of the forks 15 (cameras 21 and 22) and the horizontal plane.

このような第６の変形例においても第１の実施形態等と同様の効果が得られるとともに、さらに、位置検知センサー２６を備えることで、付加画像を重畳したり、視点変換したりする処理部２３の処理負荷を低減させることができる。また、外部の測距センサー８０から得られた測距マップを記憶部２４に蓄積することで、フォークリフト１０の前方の物体へ測距を行う場合に、測距精度をより向上させることができる。また、この測距マップを用いることで、カメラ２１、２２で撮影することができない、物体の背面側の輪郭等の形状情報を得ることができる。 In such a sixth modification, the same effect as that of the first embodiment can be obtained, and by further providing the position detection sensor 26, a processing unit that superimposes an additional image or changes the viewpoint. The processing load of 23 can be reduced. Further, by accumulating the distance measuring map obtained from the external distance measuring sensor 80 in the storage unit 24, the distance measuring accuracy can be further improved when the distance is measured to the object in front of the forklift 10. Further, by using this distance measurement map, it is possible to obtain shape information such as the contour of the back side of the object, which cannot be photographed by the cameras 21 and 22.

（第７の変形例）
図２３は、第７の変形例における、ディスプレイに表示した近接用画面の例である。上述の図１９のステップＳ１０４では、物体までの距離が所定値以下となった場合に発報条件を満たすと判断し、警告表示等の発報処理を行っていた。第７の変形例においては、処理部２３はフォーク１５の先端から物体までの距離が所定距離以下、例えば２ｍ以下になった場合には、発報処理に替えて、図２３に示すような近接用画面２５２を生成し、ディスプレイの表示をこの近接用画面２５２に切り替える。図２３に示す近接用画面２５２は、荷物９２を載せたパレット９１の差し込み口にフォーク１５の先端を挿入する直前の状態を示している。(7th variant)
FIG. 23 is an example of a proximity screen displayed on the display in the seventh modification. In step S104 of FIG. 19 described above, when the distance to the object is equal to or less than a predetermined value, it is determined that the issuing condition is satisfied, and the issuing process such as warning display is performed. In the seventh modification, when the distance from the tip of the fork 15 to the object is less than a predetermined distance, for example, 2 m or less, the processing unit 23 replaces the alarm processing with the proximity as shown in FIG. The screen 252 is generated, and the display is switched to the proximity screen 252. The proximity screen 252 shown in FIG. 23 shows a state immediately before the tip of the fork 15 is inserted into the insertion port of the pallet 91 on which the luggage 92 is placed.

この近接用画面２５２では、それまでに表示していた図１０の画面２５０と異なり、フォーク１５に近接する物体を表示するとともに、この物体に対するフォーク１５先端の仮想位置を示す付加画像を追加する。具体的には、近接用画面２５２では、付加画像４０３、４０４、４０５の距離梯子は無くなり、その代わりにフォーク１５の仮想先端を示す付加画像４１１を表示する。パレット９１にフォーク１５が近接した時には、前方物体までの距離よりもパレット９１の差し込み口９１ａとフォーク１５先端の位置関係が最大の関心事になる。そのため、近接用画面２５２に切り替えることは有効である。図２３に示す近接用画面２５２の例では、差し込み口９１ａの中央よりもやや左側にフォーク１５先端が位置していることを示しており、運転者は、少し右側にフォーク１５先端をシフトさせることで、差し込み口９１ａの中央にフォーク１５を挿入することができる。なお、同図の例では、１本のフォーク１５にのみカメラを搭載しているので、フォーク先端の仮想位置は１個のみ表示しているが、これに限られず２本のフォークそれぞれに対応させて２個の仮想位置を表示するようにしてもよい。このように、フォーク１５の先端からの距離が所定値以下になった場合に、近接用画面２５２に切り替えることで、運転者は、フォーク１５の先端が、パレット９１の差し込み口９１ａに対してどのような位置にあるか容易に把握することができる。 On the proximity screen 252, unlike the screen 250 of FIG. 10 that has been displayed so far, an object close to the fork 15 is displayed, and an additional image showing the virtual position of the tip of the fork 15 with respect to this object is added. Specifically, on the proximity screen 252, the distance ladders of the additional images 403, 404, and 405 are eliminated, and instead, the additional image 411 showing the virtual tip of the fork 15 is displayed. When the fork 15 is close to the pallet 91, the positional relationship between the insertion port 91a of the pallet 91 and the tip of the fork 15 is of greatest concern rather than the distance to the front object. Therefore, it is effective to switch to the proximity screen 252. In the example of the proximity screen 252 shown in FIG. 23, it is shown that the tip of the fork 15 is located slightly to the left of the center of the insertion port 91a, and the driver shifts the tip of the fork 15 slightly to the right. Then, the fork 15 can be inserted into the center of the insertion port 91a. In the example of the figure, since the camera is mounted on only one fork 15, only one virtual position of the fork tip is displayed, but it is not limited to this, and it corresponds to each of the two forks. Two virtual positions may be displayed. In this way, when the distance from the tip of the fork 15 becomes less than a predetermined value, by switching to the proximity screen 252, the driver can tell which tip of the fork 15 is relative to the insertion port 91a of the pallet 91. It can be easily grasped whether it is in such a position.

（第８の変形例）
図２４は、第８の変形例に係る画像処理装置のハードウェア構成、処理部の機能構成、およびＨＵＤの構成を示すブロック図である。図２５は、ＨＵＤに表示した荷物内容情報、空棚情報、荷役手順情報に関する虚像の例である。(8th variant)
FIG. 24 is a block diagram showing a hardware configuration of the image processing apparatus, a functional configuration of the processing unit, and a configuration of the HUD according to the eighth modification. FIG. 25 is an example of a virtual image relating to the luggage content information, the empty shelf information, and the cargo handling procedure information displayed on the HUD.

第８の変形例は、ディスプレイとして、ＨＵＤ２５ｂを有する。このＨＵＤ２５ｂは、図１７に示したＨＵＤ２５ｂと同様の構成であり、説明を省略する。また、第８の変形例における画像処理装置２０は、ネットワークを介して外部の物流システム６０と接続する。建物内の荷物の位置情報、荷物の内容情報、棚の空き状況を示す空棚情報、荷役する手順を示す荷役手順情報、等が記憶されている。 The eighth modification has HUD25b as a display. This HUD25b has the same configuration as the HUD25b shown in FIG. 17, and the description thereof will be omitted. Further, the image processing device 20 in the eighth modification is connected to the external distribution system 60 via a network. The location information of the luggage in the building, the contents information of the luggage, the empty shelf information indicating the availability of the shelves, the cargo handling procedure information indicating the cargo handling procedure, and the like are stored.

図２５は、第８の変形例におけるＨＵＤに表示した荷物内容情報、空棚情報、荷役手順情報に関する虚像の例である。運転者は、コンバイナー５２２越しに、実像（物体）である床、棚、荷物９２、パレット９１を直接見ることができる。また、コンバイナー５２２には、ＨＵＤ２５ｂにより虚像ｆ１１からｆ１３が投影され、運転者は、所定の虚像距離で虚像を見ることができる。この虚像距離は、測定した実像までの距離に近い値に設定される。３次元的に虚像を表示する態様であれば、対象となる各実像までの距離に合わせて、それぞれ異なる虚像距離に設定してもよい。虚像ｆ１１は荷物内容（「製品番号」、「原材料」）であり、虚像ｆ１２は空棚情報（「原材料ＢＢ用スペース」）であり、虚像ｆ１３は荷役手順情報（「荷役順位」）である。これらの情報は、外部の物流システム６０から、取得した情報である。なお、図２５は、ＨＵＤにおける表示例であるが、これに限られず、第１の実施形態等で用いた液晶のディスプレイ２５に適用してもよい。例えば、虚像ｆ１１〜ｆ１３に対応する荷物内容情報、空棚情報、荷役手順情報に関する付加画像を、第１の実施形態等で用いた液晶のディスプレイ２５に表示する映像に付加する。 FIG. 25 is an example of a virtual image relating to the luggage content information, the empty shelf information, and the cargo handling procedure information displayed on the HUD in the eighth modification. The driver can directly see the real images (objects) of the floor, shelves, luggage 92, and pallet 91 through the combiner 522. Further, the virtual images f11 to f13 are projected onto the combiner 522 by the HUD25b, and the driver can see the virtual image at a predetermined virtual image distance. This virtual image distance is set to a value close to the measured distance to the real image. As long as the virtual image is displayed three-dimensionally, different virtual image distances may be set according to the distance to each target real image. The virtual image f11 is the contents of the package (“product number”, “raw material”), the virtual image f12 is empty shelf information (“space for raw material BB”), and the virtual image f13 is cargo handling procedure information (“loading order”). These pieces of information are information acquired from the external distribution system 60. Note that FIG. 25 is a display example in the HUD, but the present invention is not limited to this, and the display 25 may be applied to the liquid crystal display 25 used in the first embodiment or the like. For example, additional images relating to the luggage content information, the empty shelf information, and the cargo handling procedure information corresponding to the virtual images f11 to f13 are added to the image displayed on the liquid crystal display 25 used in the first embodiment and the like.

このように、第８の変形例においては、ディスプレイとしてＨＵＤを用いることで実体物と虚像を見る事ができるので、虚像上の情報が目の焦点変更を必要なく理解できる為、認識時間短縮が出来る。また、目への負担が減ることにより疲労度軽減が出来る。また、付加情報として、荷物内容情報、空棚情報、荷役手順情報を用い、これを虚像として投影することで、運転者は、作業に戸惑うことなく、より安全、かつ、スムーズに荷役作業を行える。 As described above, in the eighth modification, since the real object and the virtual image can be seen by using the HUD as the display, the information on the virtual image can be understood without the need to change the focus of the eye, so that the recognition time can be shortened. You can. In addition, the degree of fatigue can be reduced by reducing the burden on the eyes. In addition, by using baggage content information, empty shelf information, and cargo handling procedure information as additional information and projecting them as a virtual image, the driver can perform cargo handling work more safely and smoothly without being confused by the work. ..

以上に説明したフォークリフト用の画像処理装置２０の構成は、上記の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な画像処理装置が備える構成を排除するものではない。 The configuration of the image processing device 20 for a forklift described above is not limited to the above configuration, and various modifications are made within the scope of the claims, as the main configuration has been described in explaining the features of the above-described embodiment. can do. Further, the configuration provided in a general image processing device is not excluded.

例えば、本実施形態においては、ディスプレイ２５はフォークリフト１０に取り付けられたものを用いたが、これに限られない。ディスプレイ２５とともに、またはこれに代えて、フォークリフトが使用する作業空間に設けられた管理事務所に、ディスプレイを設け、処理部２３が無線等により伝送した映像信号をこのディスプレイに表示させるようにしてもよい。このようにすることで、管理事務所において作業状況を監督したり、作業記録を残す操作を行ったりすることができる。 For example, in the present embodiment, the display 25 is attached to the forklift 10, but the display 25 is not limited to this. A display may be provided together with the display 25 or in the management office provided in the work space used by the forklift, and the video signal transmitted by the processing unit 23 wirelessly or the like may be displayed on the display. Good. By doing so, it is possible to supervise the work situation and perform an operation of leaving a work record in the management office.

上述した実施形態に係る画像処理装置における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、たとえば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、画像処理装置の一機能としてその装置のソフトウエアに組み込まれてもよい。 The means and methods for performing various processes in the image processing apparatus according to the above-described embodiment can be realized by either a dedicated hardware circuit or a programmed computer. The program may be provided by a computer-readable recording medium such as a USB memory or a DVD (Digital Versail Disc) -ROM, or may be provided online via a network such as the Internet. In this case, the program recorded on the computer-readable recording medium is usually transferred and stored in a storage unit such as a hard disk. Further, the above program may be provided as a single application software, or may be incorporated into the software of the device as a function of the image processing device.

本出願は、２０１８年２月２３日に出願された日本特許出願（特願２０１８−０３０７９３号）、および２０１８年３月８日に出願された日本特許出願（特願２０１８−４２２９２号）に基づいており、その開示内容は、参照され、全体として組み入れられている。 This application is based on a Japanese patent application filed on February 23, 2018 (Japanese Patent Application No. 2018-030793) and a Japanese patent application filed on March 8, 2018 (Japanese Patent Application No. 2018-42292). The disclosure is referenced and incorporated as a whole.

１０ フォークリフト
１１ 本体
１２ 運転台
１３ マスト
１４ フィンガバー
１５、１６ フォーク
１９ さやフォーク
１９１ 本体部
１９２ 蓋部
１９３ 透明板
１９４ 衝撃緩和材
１９５ 熱伝導部材
２０ 画像処理装置
２１、２２ カメラ
２３ 処理部
３０１ 画像取得部
３０２ 前処理部
３０３ 特徴点抽出部
３０４ 距離マップ生成部
３０５ 物***置判定部
３０６ 付加画像生成部
３０７ 対応付け部
３０８ 視点変換部
３０９ 画像合成部
３１０ 画像出力部
２４ 記憶部
２５ ディスプレイ
４０ 基板ユニット
４１ アルミプレート
４２ カメラ基板
４３ ＩＭＵ基板
２５ｂ ＨＵＤ
５１ 表示素子
５２ 虚像投影光学系
５２２ コンバイナー
５３ 移動機構
９１ パレット
４０１〜４０７、４０９〜４１１ 付加画像
10 Forklift 11 Main body 12 Driver's cab 13 Mast 14 Finger bar 15, 16 Fork 19 Saya fork 191 Main body 192 Lid 193 Transparent plate 194 Shock absorbing material 195 Heat conductive member 20 Image processing device 21, 22 Camera 23 Processing unit 301 Image acquisition Part 302 Pre-processing part 303 Feature point extraction part 304 Distance map generation part 305 Object position determination part 306 Additional image generation part 307 Correspondence part 308 Viewpoint conversion part 309 Image synthesis part 310 Image output part 24 Storage part 25 Display 40 Board unit 41 Aluminum plate 42 Camera board 43 IMU board 25b HUD
51 Display element 52 Virtual image projection optical system 522 Combiner 53 Moving mechanism 91 Palettes 401-407, 409-411 Additional image

Claims (41)

フォークリフトに用いられる画像処理装置であって、
前記フォークリフトの前方側に昇降可能に支持された複数のフォークのうちの１本のフォークの先端部分に設けられ、前記フォークリフトの前方を撮影するカメラと、
前記カメラが設けられた前記フォークの前記先端部分に設けられ、前記フォークリフトの前方にある物体までの距離を検知するための検知センサーと、
前記検知センサーの検知情報に基づいて、前記カメラが取得した映像を加工する処理部と、
前記処理部が加工した加工後の映像を表示するディスプレイと、
を備える画像処理装置。An image processing device used for forklifts.
A camera provided at the tip of one of a plurality of forks supported so as to be able to move up and down on the front side of the forklift and photographing the front of the forklift.
A detection sensor provided at the tip of the fork provided with the camera and for detecting the distance to an object in front of the forklift.
A processing unit that processes the image acquired by the camera based on the detection information of the detection sensor, and
A display that displays the processed image processed by the processing unit, and
An image processing device comprising. １本の前記フォークに、第１の撮像素子および第２の撮像素子が、それぞれの撮影領域の少なくとも一部が重なるように設けられ、
前記第１、第２の撮像素子の少なくとも一方が、前記カメラの一部として機能するとともに、前記１、第２の撮像素子の両方が前記検知センサーとして機能し、
前記処理部は、前記第１、第２の撮像素子の双方から取得した映像に基づいて、前記フォークの前方にある物体までの距離を検出し、検出した距離に基づいて前記映像を加工する、請求項１に記載の画像処理装置。A first image sensor and a second image sensor are provided on one of the forks so that at least a part of each image pickup area overlaps with each other.
At least one of the first and second image sensors functions as a part of the camera, and both the first and second image sensors function as the detection sensor.
The processing unit detects the distance to the object in front of the fork based on the images acquired from both the first and second image pickup elements, and processes the image based on the detected distance. The image processing apparatus according to claim 1. 前記フォークリフトの前方に向けて光を照射する、または、前記フォークリフトの前方に向けて２次元のパターン光を照射する投光器、
を備え、
前記投光器、および前記処理部は、前記検知センサーとしても機能し、前記処理部は、前記投光器による照射光、または前記パターン光を撮影した前記カメラからの映像に基づいて、前記フォークリフトの前方にある物体までの距離を検出し、検出した距離に基づいて前記映像を加工する、請求項１または請求項２に記載の画像処理装置。A floodlight that irradiates light toward the front of the forklift or irradiates two-dimensional pattern light toward the front of the forklift.
With
The floodlight and the processing unit also function as the detection sensor, and the processing unit is in front of the forklift based on an image from the camera that captures the irradiation light by the floodlight or the pattern light. The image processing apparatus according to claim 1 or 2, wherein the distance to an object is detected and the image is processed based on the detected distance. 前記検知センサーは、前記フォークリフトの前方にある物体までの距離を検知して複数点の測距点群データを取得する測距センサーである、請求項１に記載の画像処理装置。 The image processing device according to claim 1, wherein the detection sensor is a distance measuring sensor that detects a distance to an object in front of the forklift and acquires data of a plurality of distance measuring point clouds. 前記フォークの先端のテーパー部であって、上面視において先端に向けて幅が徐々に狭くなり、および／または、側面視において下面が傾斜することで厚みが先端に向けて徐々に薄くなるテーパー部に、前記カメラと前記検知センサーが設けられている、請求項１から請求項４のいずれかに記載の画像処理装置。 A tapered portion at the tip of the fork, the width of which gradually narrows toward the tip in top view and / or the thickness of the tapered portion gradually decreases toward the tip when the lower surface is inclined in side view. The image processing apparatus according to any one of claims 1 to 4, wherein the camera and the detection sensor are provided. 第１の撮像素子および第２の撮像素子が１本の前記フォークに、それぞれの撮影領域の少なくとも一部を共通するように、前記フォークリフトの前方を撮影領域として設けられており、
前記第１、第２の撮像素子の少なくとも一方が、前記カメラの一部として機能するとともに、前記１、第２の撮像素子の両方が前記検知センサーとして機能し、
前記処理部は、前記第１、第２の撮像素子の双方から取得した映像に基づいて、前記フォークリフトの前方にある物体までの距離を検出し、
前記フォークの先端のテーパー部であって、上面視において先端に向けて幅が徐々に狭くなり、かつ、側面視において下面が傾斜することで厚みが先端に向けて徐々に薄くなるテーパー部の左右両側のそれぞれに、前記第１、第２の撮像素子が配置されている、請求項１に記載の画像処理装置。The front of the forklift is provided as a photographing area so that the first image pickup element and the second image pickup element share at least a part of the respective photographing areas with the one fork.
At least one of the first and second image sensors functions as a part of the camera, and both the first and second image sensors function as the detection sensor.
The processing unit detects the distance to the object in front of the forklift based on the images acquired from both the first and second image sensors.
The left and right of the tapered portion of the tip of the fork, the width of which gradually narrows toward the tip in the top view, and the thickness gradually decreases toward the tip due to the inclination of the lower surface in the side view. The image processing apparatus according to claim 1, wherein the first and second image pickup elements are arranged on both sides, respectively. さらに、記憶部を備え、
前記処理部は、前記カメラからの映像と、前記検知センサーの検知情報に基づいて、前記フォークリフトが動作する作業空間内の物体の位置、または形状を示す測距点群である距離マップを生成し、前記記憶部に蓄積する、請求項１から請求項６のいずれかに記載の画像処理装置。In addition, it has a storage unit
The processing unit generates a distance map, which is a group of AF points indicating the position or shape of an object in the work space in which the forklift operates, based on the image from the camera and the detection information of the detection sensor. The image processing apparatus according to any one of claims 1 to 6, which is stored in the storage unit. 前記処理部は、前記検知センサー、または該検知センサーの検知情報と前記カメラからの映像に基づいて検出した物体までの距離のデータの一部を、前記記憶部に蓄積した前記距離マップで補正する、請求項７に記載の画像処理装置。 The processing unit corrects a part of the data of the distance to the detection sensor or the object detected based on the detection information of the detection sensor and the image from the camera with the distance map stored in the storage unit. , The image processing apparatus according to claim 7. さらに、前記フォークの位置状態を取得する位置検知センサーを含み、
前記処理部は、前記位置検知センサーにより、前記カメラが設けられた前記フォークの位置状態を取得する、請求項１から請求項８のいずれかに記載の画像処理装置。Further, it includes a position detection sensor that acquires the position state of the fork.
The image processing apparatus according to any one of claims 1 to 8, wherein the processing unit acquires the position state of the fork provided with the camera by the position detection sensor. 前記処理部は、前記加工した映像として、
前記カメラによる取得した映像に対して、前方の物体までの距離に対応した付加情報を付加した映像を、前記ディスプレイに表示させる請求項１から請求項９のいずれかに記載の画像処理装置。The processing unit is used as the processed image.
The image processing apparatus according to any one of claims 1 to 9, wherein an image obtained by adding additional information corresponding to a distance to a front object to the image acquired by the camera is displayed on the display. 前記処理部は、前記加工した映像として、
前記カメラによる取得した映像に対して視点変換した映像を前記ディスプレイに表示させる、請求項１から請求項１０のいずれかに記載の画像処理装置。The processing unit is used as the processed image.
The image processing apparatus according to any one of claims 1 to 10, wherein an image whose viewpoint is converted with respect to the image acquired by the camera is displayed on the display. 前記カメラは、撮影画角の中央部分を用いて露出を行う、請求項１から請求項１１のいずれかに記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 11, wherein the camera exposes using a central portion of a shooting angle of view. 前記ディスプレイは、前記フォークリフトに取付けられたコンバイナーに虚像を投影するヘッドアップディスプレイである、請求項１から請求項１２のいずれかに記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 12, wherein the display is a head-up display that projects a virtual image onto a combiner attached to the forklift. 前記コンバイナーは、前記フォークリフトの前方側を透過視できる位置に配置されており、
前記ヘッドアップディスプレイは、虚像の投影距離が５０ｃｍから２０ｍの範囲に設定されている、請求項１３に記載の画像処理装置。The combiner is arranged at a position where the front side of the forklift can be seen through.
The image processing device according to claim 13, wherein the head-up display has a virtual image projection distance set in the range of 50 cm to 20 m. 前記フォークの先端部分に設けられ前記カメラ、および前記検知センサーは、衝撃緩和部材を介して、前記フォークの本体部に取付けられている、請求項１から請求項１４のいずれかに記載の画像処理装置。 The image processing according to any one of claims 1 to 14, wherein the camera and the detection sensor provided at the tip end portion of the fork are attached to the main body portion of the fork via an impact absorbing member. apparatus. 前記カメラ、および前記検知センサーを構成する電子部品の少なくとも一部は、可撓性で高熱伝導性の材料で構成された熱伝導部材を介して、前記フォークの本体部に接続されている、請求項１５に記載の画像処理装置。 A claim that at least a part of the camera and the electronic components constituting the detection sensor are connected to the main body of the fork via a heat conductive member made of a flexible and highly heat conductive material. Item 15. The image processing apparatus according to item 15. フォークリフトに用いられる画像処理装置であって、
前記フォークリフトの前方を撮影するカメラと、
前記フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、
前記カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行う処理部と、
前記処理部が加工処理した処理後の映像を表示するディスプレイと、
を備える画像処理装置。An image processing device used for forklifts.
A camera that shoots the front of the forklift
A detection sensor for measuring the distance to an object in front of the forklift and acquiring distance measurement point cloud data showing the distribution of distance values.
A processing unit that performs processing to add an image of a distance value based on the acquired AF point cloud data to the image acquired by the camera, and a processing unit.
A display that displays the processed image processed by the processing unit, and
An image processing device comprising. 前記カメラは、可視光領域に感度を有する撮像素子を含む、請求項１７に記載の画像処理装置。 The image processing apparatus according to claim 17, wherein the camera includes an image sensor having sensitivity in the visible light region. 前記カメラは、前記フォークリフトの前方側に昇降可能に支持されたフォークに、前記前方を撮影するように設置されている、請求項１７または請求項１８に記載の画像処理装置。 The image processing device according to claim 17 or 18, wherein the camera is installed on a fork supported so as to be able to move up and down on the front side of the forklift so as to photograph the front side. 前記カメラは、撮影画角の中央部分を用いて露出を行う、請求項１９に記載の画像処理装置。 The image processing apparatus according to claim 19, wherein the camera exposes using a central portion of a shooting angle of view. 前記処理部は、前記加工処理として、さらに、前記測距点群データに基づいて、前記映像に対して視点変換処理を行う、請求項１７から請求項２０のいずれかに記載の画像処理装置。 The image processing apparatus according to any one of claims 17 to 20, wherein the processing unit further performs a viewpoint conversion process on the image based on the AF point cloud group data as the processing process. さらに、前記カメラの姿勢情報を取得する位置検知センサーを備え、
前記処理部は、前記位置検知センサーから取得した前記姿勢情報を用いて、前記視点変換処理を行う、請求項２１に記載の画像処理装置。Further, it is equipped with a position detection sensor that acquires the posture information of the camera.
The image processing apparatus according to claim 21, wherein the processing unit performs the viewpoint conversion process using the posture information acquired from the position detection sensor. さらに、記憶部を備え、
前記処理部は、前記検知センサーにより取得した測距点群データを用いて３次元距離マップを作成し、前記記憶部に記憶させる、請求項２１または請求項２２に記載の画像処理装置。In addition, it has a storage unit
The image processing apparatus according to claim 21, wherein the processing unit creates a three-dimensional distance map using the AF point cloud data acquired by the detection sensor and stores it in the storage unit. 前記記憶部に記憶された前記３次元距離マップは、前記フォークリフトが使用される建物もしくは設備に関する図面データ、前記建物に設置されたセンサーから得られた測距点群データ、他の車両の位置情報、および／または前記建物で用いられる物流情報システムから取得した荷物の位置情報が反映されている、請求項２３に記載の画像処理装置。 The three-dimensional distance map stored in the storage unit includes drawing data regarding a building or equipment in which the forklift is used, AF point cloud data obtained from a sensor installed in the building, and position information of other vehicles. The image processing apparatus according to claim 23, wherein the position information of the luggage acquired from the physical distribution information system used in the building and / or the building is reflected. 前記３次元距離マップには、前記建物もしくは設備に関する、床面、壁面、窓、または照明装置の位置情報が含まれている、請求項２４に記載の画像処理装置。 The image processing device according to claim 24, wherein the three-dimensional distance map includes position information of a floor surface, a wall surface, a window, or a lighting device related to the building or equipment. 前記視点変換処理は、前記フォークリフトの運転台に座る運転者の視点位置を仮想視点位置とする視点変換処理、前記運転者の視点位置よりも高い位置を仮想視点位置とする視点変換処理、または、前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理である、請求項２１から請求項２５のいずれかに記載の画像処理装置。 The viewpoint conversion process is a viewpoint conversion process in which the viewpoint position of the driver sitting on the driver's cab of the forklift is set as a virtual viewpoint position, a viewpoint conversion process in which a position higher than the driver's viewpoint position is set as a virtual viewpoint position, or The image processing apparatus according to any one of claims 21 to 25, which is a viewpoint conversion process in which a position away from the forklift is set as a virtual viewpoint position. 前記運転者の視点位置を仮想視点位置とする前記視点変換処理は、前記カメラの地面に対する角度、もしくは高さに応じた台形補正による視点変換処理、または、前記測距点群データ、もしくは記憶部に記憶した３次元距離マップを用いた視点変換処理である、請求項２６に記載の画像処理装置。 The viewpoint conversion process in which the driver's viewpoint position is set as a virtual viewpoint position is a viewpoint conversion process by trapezoidal correction according to the angle or height of the camera with respect to the ground, or the distance measurement point cloud data or a storage unit. The image processing apparatus according to claim 26, which is a viewpoint conversion process using the three-dimensional distance map stored in the above. 前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理は、前記測距点群データまたは記憶部に記憶した３次元距離マップを用いた視点変換処理である、請求項２６に記載の画像処理装置。 26. The viewpoint conversion process in which a position higher than the driver's viewpoint position is set as a virtual viewpoint position is a viewpoint conversion process using the three-dimensional distance map stored in the AF point cloud data or the storage unit. The image processing apparatus according to. 前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理、または前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理では、前記カメラの死角領域に関しては、前記カメラの画角において、前記死角領域が形成される物体の上方で、かつ、該物体よりも遠い距離にある物体の表面のテクスチャーを、前記死角領域に配置する、請求項２６または請求項２８に記載の画像処理装置。 In the viewpoint conversion process in which a position higher than the driver's viewpoint position is set as the virtual viewpoint position, or in the viewpoint conversion process in which the position away from the forklift is set as the virtual viewpoint position, the blind spot region of the camera is related to the camera. 26 or 28, wherein in the angle of view, the texture of the surface of the object above the object on which the blind spot region is formed and at a distance farther than the object is arranged in the blind spot region. Image processing device. 前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理、または前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理では、前記カメラの死角領域に関しては、記憶部に記憶した３次元距離マップにおける物体の輪郭情報を用いて、前記死角領域に対して、前記死角領域に存在する前記物体の輪郭を重畳させる、請求項２６または請求項２８に記載の画像処理装置。 In the viewpoint conversion process in which the position higher than the driver's viewpoint position is set as the virtual viewpoint position or the viewpoint conversion process in which the position away from the forklift is set as the virtual viewpoint position, the blind spot area of the camera is stored in the storage unit. The image processing apparatus according to claim 26 or 28, wherein the contour information of the object in the stored three-dimensional distance map is used to superimpose the contour of the object existing in the blind spot region on the blind spot region. 前記視点変換処理は、物体までの距離に応じて、視点変換処理の有無、または強度を変更する、請求項２１から請求項３０のいずれかに記載の画像処理装置。 The image processing apparatus according to any one of claims 21 to 30, wherein the viewpoint conversion process changes the presence or absence of the viewpoint conversion process or the intensity according to the distance to the object. 前記ディスプレイは、前記フォークリフトの前方を透過視できるように前記フォークリフトに取り付けられた、透明スクリーン、またはヘッドアップディスプレイであり、
前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、認識した前記物体それぞれまでの距離、および／または方向に対応する付加画像を生成し、生成した前記付加画像を前記物体それぞれに重畳させる態様で、前記透明スクリーン、または前記ヘッドアップディスプレイに表示させる、請求項１７から請求項２０のいずれかに記載の画像処理装置。The display is a transparent screen or a head-up display attached to the forklift so that the front of the forklift can be seen through.
The processing unit recognizes an object in front of the forklift, generates an additional image corresponding to the distance and / or direction to each of the recognized objects, and superimposes the generated additional image on each of the objects. The image processing apparatus according to any one of claims 17 to 20, which is displayed on the transparent screen or the head-up display in such a manner. 前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記加工処理として、前記映像に、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を生成し、前記映像に付加する、請求項１７から請求項３２のいずれかに記載の画像処理装置。 The processing unit recognizes an object in front of the forklift, and as the processing, generates an additional image corresponding to the recognized type of the object or the distance and position to the object in the image. The image processing apparatus according to any one of claims 17 to 32, which is added to the video. 前記処理部は、前記物体としてパレットを認識した場合に、前記パレットの差し込み口の形状により、前記パレットに対する傾きを判定し、判定した前記パレットの水平面の傾き量に応じた前記付加画像を生成する、請求項３３に記載の画像処理装置。 When the pallet is recognized as the object, the processing unit determines the inclination of the pallet with respect to the pallet based on the shape of the insertion port of the pallet, and generates the additional image according to the amount of inclination of the horizontal plane of the determined pallet. 33. The image processing apparatus according to claim 33. 前記処理部が生成する前記付加画像には、前記フォークリフトが使用される建物で用いられる物流情報システムから取得した荷物の内容情報、棚の空き状況を示す空棚情報、荷役する手順を示す荷役手順情報の少なくとも一つが含まれる、請求項３２から請求項３４のいずれかに記載の画像処理装置。 The additional image generated by the processing unit includes the content information of the luggage acquired from the distribution information system used in the building where the forklift is used, the empty shelf information indicating the availability of the shelves, and the cargo handling procedure indicating the cargo handling procedure. The image processing apparatus according to any one of claims 32 to 34, which comprises at least one piece of information. 前記処理部は、前記物体までの距離に応じて上方視点の俯瞰画像を生成し、生成した俯瞰画像を追加して前記ディスプレイに表示する、請求項１７から請求項３５のいずれかに記載の画像処理装置。 The image according to any one of claims 17 to 35, wherein the processing unit generates a bird's-eye view image of an upper viewpoint according to the distance to the object, adds the generated bird's-eye view image, and displays it on the display. Processing equipment. 前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記フォークリフト、もしくは前記フォークリフトのフォーク先端からの距離が所定値以下になった場合に、警告を発する、または前記ディスプレイの表示を近接用画面に切り替える、請求項１７から請求項３６のいずれかに記載の画像処理装置。 The processing unit recognizes an object in front of the forklift and issues a warning when the distance from the forklift or the fork tip of the forklift is equal to or less than a predetermined value, or brings the display closer to the display. The image processing apparatus according to any one of claims 17 to 36, which switches to a screen for use. 前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記距離値の画像において認識した前記物体のフォーク先端からの最短距離に関する情報を出力する、請求項１７から請求項３７のいずれかに記載の画像処理装置。 Any of claims 17 to 37, wherein the processing unit recognizes an object in front of the forklift and outputs information on the shortest distance from the fork tip of the object recognized in the image of the distance value. The image processing apparatus according to. フォークリフトに用いられる画像処理装置であって、前記フォークリフトの前方を撮影するカメラと、前記フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、を備える画像処理装置を制御するコンピューターで実行される制御プログラムであって、
前記カメラにより映像を取得するステップ（ａ）と、
前記検知センサーで測距点群データを取得するステップ（ｂ）と、
前記カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行うステップ（ｃ）と、
処理後の映像をディスプレイに表示するステップ（ｄ）と、
を含む処理を、前記コンピューターに実行させるための制御プログラム。An image processing device used for a forklift, which measures the distance between a camera that captures the front of the forklift and an object in front of the forklift, and acquires distance measurement point group data showing the distribution of distance values. A control program executed by a computer that controls an image processing device equipped with a detection sensor for
In step (a) of acquiring an image with the camera,
Step (b) of acquiring AF point cloud data with the detection sensor,
A step (c) of performing a processing process of adding an image of a distance value based on the acquired AF point cloud data to the image acquired by the camera, and a step (c).
Step (d) of displaying the processed image on the display,
A control program for causing the computer to execute a process including. 前記ステップ（ｃ）では、前記加工処理として、さらに、前記測距点群データに基づいて、前記映像に対して視点変換処理を行う、請求項３９に記載の制御プログラム。 The control program according to claim 39, wherein in step (c), as the processing process, a viewpoint conversion process is further performed on the image based on the AF point cloud group data. 前記処理は、さらに、
前記フォークリフトの前方にある物体を認識するステップ（ｅ）を含み、
前記ステップ（ｃ）では、前記加工処理として、前記映像に、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を生成し、前記映像に付加する、請求項３９または請求項４０に記載の制御プログラム。
The process further
Including step (e) of recognizing an object in front of the forklift.
In the step (c), as the processing, an additional image corresponding to the recognized type of the object, the distance to the object, and the position is generated in the image and added to the image, claim 39 or The control program according to claim 40.