DE112013000566T5 - Umgebungsüberwachungsvorrichtung für selbstangetriebene Industriemaschine - Google Patents

Umgebungsüberwachungsvorrichtung für selbstangetriebene Industriemaschine Download PDF

Info

Publication number
DE112013000566T5
DE112013000566T5 DE112013000566.2T DE112013000566T DE112013000566T5 DE 112013000566 T5 DE112013000566 T5 DE 112013000566T5 DE 112013000566 T DE112013000566 T DE 112013000566T DE 112013000566 T5 DE112013000566 T5 DE 112013000566T5
Authority
DE
Germany
Prior art keywords
image
camera
self
bird
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE112013000566.2T
Other languages
English (en)
Inventor
c/o Hitachi Construction Machin Kowatari Youichi
c/o Hitachi Ltd. Tsukijishin Kenta
c/o Hitachi Construction Machi Ishimoto Hidefumi
c/o Hitachi Construction Mach Inanobe Yoshihiro
c/o Hitachi Ltd. Ito Eitaro
c/o Hitachi Ltd. Ishii Takaaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Publication of DE112013000566T5 publication Critical patent/DE112013000566T5/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

Diese Erfindung offenbart eine Umgebungsüberwachungsvorrichtung für eine selbstfahrende Industriemaschine, um Kamerabilder anzuzeigen, die von mehreren Kameras aufgenommen werden, die an der selbstfahrenden Industriemaschine angeordnet sind, mit einer Anzeigesteuereinheit, die einen Blickpunktumsetzer zum Umsetzen des Blickpunkts der Kamerabilder in einen oberen Blickpunkt, um ein Vogelperspektivenbild zu erzeugen, einen Bildselektor für ein oder mehrere auf dem Monitor anzuzeigende Bilder aus mehreren Kamerabildern und dem Vogelperspektivenbild, eine Bildzusammensetzungsvorrichtung zum Zusammensetzen eines Bildsymbols, um die Position der Kamera anzugeben, mit dem ausgewählten Bild vom Bildselektor, und einen Bilderzeuger zum Erzeugen eines zusammengesetzten Bildes des Bildes zusammengesetzt mit dem Bildsymbol umfasst.

Description

  • Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf eine Umgebungsüberwachungsvorrichtung für eine selbstangetriebene Industriemaschine, das heißt eine Umgebungsüberwachungsvorrichtung für eine selbstfahrende Industriemaschine, die für die Überwachung um eine Arbeitsmaschine für den Zweck des Sicherstellens von Sicherheit für das Durchführen und Verbessern der Effizienz der Arbeiten und dergleichen vorgesehen ist.
  • Beschreibung des Standes der Technik
  • Verschiedene selbstfahrende Industriemaschinen werden entwickelt und in praktischen Gebrauch genommen. Ein hydraulischer Bagger wird beispielsweise zum Ausheben von Erde und Erdboden betrieben und die ausgehobene Erde und der ausgehobene Erdboden werden durch einen Muldenkipper abgeführt. In einem Fall, in dem eine Person oder irgendein Material um die selbstfahrende Industriemaschine angeordnet ist, können die Komponententeile der Maschine einen Kontakt verursachen oder damit in Kollision kommen, daher sollte ein Fahrer achtgeben, um den Umfang der Maschine zu sichern, wenn die Maschine betrieben wird. Da der Fahrer in einer Fahrerkabine während des Durchführens eines Betriebs der Maschine platziert ist, soll das Vorwärtsblickfeld sichergestellt werden, während er auf dem Fahrersitz sitzt. Seitenspiegel sind auf den entgegengesetzten Seiten der Kabine angeordnet, wodurch Blickfelder dieser Richtungen auch im Wesentlichen verfügbar sein können. Ferner kann das Rückwärtsblickfeld mittels eines Rückspiegels erreicht werden.
  • Im Fall eines Muldenkippers für den Betrieb mit Erde und Erdboden beladen sollte beispielsweise zumindest ein Vorwärtsfeld der Fahrtrichtung davon wegen der Sicherheit sichergestellt werden. Der Muldenkipper bewegt sich in die Rückwärtsrichtung zusätzlich zur Vorwärtsfahrtrichtung, wobei er ferner auch in einer gekrümmten Richtung fährt. Daher sollte das Blickfeld im Wesentlichen in der Fahrtrichtung in einem gewissen Umfang in Abhängigkeit von der Fahrgeschwindigkeit sichergestellt werden, während es im Blickwinkel nicht so weit benötigt wird.
  • In diesem Zusammenhang kann der hydraulische Bagger als selbstfahrende Industriemaschine fahren, wenn auch mit niedriger Fahrgeschwindigkeit. Der hydraulische Bagger besteht aus einer Fahrzeugbasisstruktur mit einem Fahrmittel normalerweise vom Raupentyp und einer oberen Schwenkstruktur, die auf dem unteren Fahrmechanismus angeordnet ist. Die obere Schwenkstruktur kann um 360 Grad zur Fahrzeugbasisstruktur gedreht werden, und ein Arbeitsmechanismus ist an der oberen Schwenkstruktur vorgesehen. Um die Sicherheit des Umfangs der Industriemaschine sicherzustellen, soll sich das perspektivische Blickfeld um die ganze Maschine befinden, nämlich 360 Grad, aufgrund der Durchführung einer Drehung der oberen Schwenkstruktur, und der Abstand von der Fahrzeugkarosserie zum Überwachungsobjekt ist wichtig, da der Arbeitsmechanismus ein Ausfahren und Einziehen durchführt.
  • Es ist manchmal kritisch, die Umgebungssicherheit durch das bloße Auge des Fahrers in der Sitzstellung in der Fahrerkabine der selbstfahrenden Industriemaschine aufrechtzuerhalten. In diesem Zusammenhang ist es bekannt, um eine Überwachung um die selbstfahrende Industriemaschine durchzuführen, dass eine Kamera oder Kameras installiert werden, um Bilder aufzunehmen, und ein Monitor, in einer Fahrerkabine montiert ist, um die Kamerabilder in Form von Bewegungsbildern anzuzeigen. Da das Blickfeld der Kamera eine gewisse Grenze in der Reichweite aufweist, kann ferner ein Hilfsblickfeld in einem für das Fahrerauge blinden Einsichtbereich mit der Bereitstellung von mehreren Kameras erreicht werden. Die Situation kann um die ganze Industriemaschine durch Vorsehen von mehreren Kameras nicht blind erzeugt werden, insbesondere um die Blickfelder in Richtungen der Rückseite und der linken und rechten Seite oder in vier Richtungen, einschließlich der Vorwärtssicht, zu erreichen.
  • Kameras können ein Bewegungsbild vor der optischen Achse des vorbestimmten Winkelbereichs erreichen und können bis zu einem weiten Abstand sehen. Der Abstand von der selbstfahrenden Industriemaschine zu einem Überwachungsobjekt wird jedoch lediglich von einer Kamera, die in die Vorwärtsrichtung gerichtet ist, kaum erkannt. Ein virtuelles Bild kann durch Verarbeiten erzeugt werden, um den Blickpunkt des von der Kamera aufgenommenen Kamerabildes von einer bestimmten Höhenposition nach unten gerichtet umzusetzen. In einem Fall, in dem das Kamerabild auf dem Monitor angezeigt wird, kann ein Bild in weiter Entfernung gezeigt werden, während der Abstand von der Position der Kamera zum Überwachungsobjekt aus einen Vogelperspektivenbild durch Anzeigen auf dem Monitor erkannt werden kann. Sowohl das Kamerabild als auch das Vogelperspektivenbild können erhalten werden, wenn die Kamera schräg nach vorn angeordnet ist. Für diesen Zweck wird die Kamera nach unten geneigt bereitgestellt, aber hinsichtlich des Blickfeldes ist sie für das Fernbild im Verhältnis zur Abwärtsrichtung eingeschränkt. Daher ist für den Zweck, das erforderliche Blickfeld zu erreichen, eine Einstellung am Winkel, an der Position und der Richtung der Kamera erforderlich.
  • Das Patentdokument 1 offenbart einen hydraulischen Bagger mit Überwachungskameras auf der hinteren und der rechten Seite, die die blinden Seiten für den Fahrer sind, und ein Monitor ist zum Anzeigen eines solchen Kamerabildes oder des Kamerabildes und eines Vogelperspektivenbildes gleichzeitig vertikal angeordnet montiert. Gemäß dem Patentdokument 1 wird in einem Fall, in dem die Kamera in Richtung der Rückwärtsrichtung angeordnet ist, das Kamerabild angezeigt, während Kameras rückwärts und in der rechten Seitenrichtung angeordnet sind, 2 Kamerabilder, die von diesen zwei Kameras aufgenommen werden, werden angezeigt oder ansonsten können das Kamerabild und das Vogelperspektivenbild angezeigt werden.
  • In einem Fall, in dem zwei Kameras vorgesehen sind, wird jeder Umfang des Blickfeldes von jeweiligen Kameras gleichzeitig in der Anzeige angegeben, für diesen Zweck zeigt eine Draufsicht des hydraulischen Baggers auf dem Monitor den Umfang der Blickfelder von jeweiligen Kameras. Außerdem ist ein Beschreibungsbereich auf dem Monitor gegeben, um den sich das angezeigte Kamerabild, das von der Rückwärtskamera oder der Kamera auf der rechten Seite aufgenommen wird, befindet.
  • Dokument des Standes der Technik
  • Patentdokument
    • Internationale Veröffentlichung Pamphlet WO2006/106685
  • Zusammenfassung der Erfindung
  • Von der Erfindung zu lösendes Problem
  • Die Anzeigegröße ist eingeschränkt, da der Monitor in der Fahrerkabine angeordnet ist, folglich sollte die eingeschränkte Anzeigefläche des Monitors effektiv genutzt werden, um das Umgebungsüberwachungsbild effizient zu zeigen. Das Bild sollte scharf und leicht zu sehen sein, und die Bildfläche sollte so weit wie möglich verbreitert werden. Mehrere Kameras sind an der selbstfahrenden Industriemaschine zum Beseitigen des blinden Bereichs installiert, und um eine Anzeige der Bilder, die von diesen Kameras aufgenommen werden, in einer weiten und leicht sichtbaren Weise während des Betriebszustandes durchzuführen, sollten Bilder, die zur Überwachung der Umgebung davon erforderlich sind, weit angezeigt werden, ferner sollen mehrere Bilder gleichzeitig gezeigt werden. Für den Zweck, wie vorstehend erläutert, sollte das Bild auf dem Monitor so weit wie möglich angezeigt werden und der Monitor muss in mehrere Teile unterteilt werden. Außerdem kann in einem Fall, in dem der Fahrer das gegenwärtig auf dem Monitor gezeigte Kamerabild nicht sicher erkennen kann, nicht nur das Ziel zur Durchführung der Umgebungsüberwachung nicht erreicht werden, sondern auch eine Unzweckmäßigkeit wie eine Verwirrung oder dergleichen tritt auf.
  • Die vorliegende Erfindung wird in Anbetracht des vorstehend erwähnten Aspekts durchgeführt, folglich liegt die Aufgabe der vorliegenden Erfindung darin, damit ein Bild der Umgebungsüberwachung in leicht sichtbarer und deutlicher Weise angezeigt wird, die Anzeigefläche umfangreich zu nutzen, ferner identifiziert das gegenwärtig angezeigte Bild für die Überwachungsverwendung sicher die spezifische Kamera innerhalb mehrerer daran angeordneter Kameras.
  • Mittel zum Lösen des Problems
  • Gemäß der vorliegenden Erfindung wird, um die vorstehend angegebene Aufgabe zu erreichen, eine Umgebungsüberwachungsvorrichtung für eine selbstfahrende Industriemaschine geschaffen, um auf einem Monitor Bilder anzuzeigen, die durch eine Anzeigesteuereinheit von Kamerabildern verarbeitet werden, die von mehreren Kameras aufgenommen werden, die an der selbstfahrenden Industriemaschine angeordnet sind, dadurch gekennzeichnet, dass die Anzeigesteuereinheit einen Blickpunktumsetzer, um den Blickpunkt der Kamerabilder in einen oberen Blickpunkt umzusetzen, um ein Vogelperspektivenbild zu erzeugen, einen Bildselektor, um ein oder mehrere auf dem Monitor anzuzeigende Bilder aus mehreren Kamerabildern und dem Vogelperspektivenbild auszuwählen, eine Bildzusammensetzungsvorrichtung, um ein Bildsymbol zum Angeben der Position der Kamera des vom Bildselektor ausgewählten Bildes hinzuzufügen, und einen Bilderzeuger, um ein zusammengesetztes Bild des mit dem Bildsymbol zusammengesetzten Bildes zu erzeugen, aufweist.
  • Von der selbstfahrenden Industriemaschine ist ein Muldenkipper oder dergleichen dazu ausgelegt, mit hoher Geschwindigkeit zu fahren, aber die zu überwachende Richtung ist auf die Fahrtrichtung begrenzt, während in einem Fall eines hydraulischen Baggers oder dergleichen dieser dazu ausgelegt ist, eine Schwenkbewegung durchzuführen, und einen Arbeitsmechanismus aufweist, der sich im Verlauf von Ausfahren und Einziehen bewegt, es ist wichtig, das Blickfeld um die selbstfahrende Industriemaschine einzugeben und den Abstand relativ zu einem Objekt zu erkennen, um einen Kontakt und eine Kollision zu vermeiden, aber nicht schädlich, das Blickfeld für eine weit entfernte Sicht in Richtung der Fahrtrichtung wegen der Sicherheit zu benötigen. Das Kamerabild ist nützlich, um im Wesentlichen weit in die Ferne zu sehen, während die Vogelperspektive ein erforderliches Bild ist, um den relativen Abstand zu einem zu meidenden Objekt zu erkennen, das sich um die Maschine befindet. Daher ist es angesichts der Sicherheit erwünscht, sowohl das Kamerabild als auch das Vogelperspektivenbild auf dem Monitor anzuzeigen, auch wenn ein gewisser Unterschied in der Bedeutung besteht. Trotzdem ist die Umgebungsüberwachungsvorrichtung der vorliegenden Erfindung auf die Montage am Muldenkipper und am hydraulischen Bagger, aber anderen Industriemaschinen wie z. B. einem Kran und dergleichen eingeschränkt.
  • Die Umgebungsüberwachungsvorrichtung sieht mehrere Kameras um die Maschine vor, die Kameras sind an mindestens 3 Stellen an der Rückseite, der rechten und der linken Seite der Maschine angeordnet, ferner 4 Stellen, einschließlich an der Vorderseite, selbst wenn eine verfügbare Sicht aus der Fahrerkabine besteht, wodurch der blinde Bereich ganz um die Fahrerkabine beseitigt wird. Daher sind mindestens 3 Kameras oder 4 Kameras, wenn die Vorderseitenkamera zusätzlich dazu vorhanden ist, für die Maschine vorgesehen. Obwohl fünf oder mehr Kameras durch Hinzufügen von Kameras auf einer oder beiden Seiten vorgesehen sein können, ist dies jedoch aufgrund der komplizierten Signalverarbeitung nicht erwünscht, wenn so viele Kameras vorgesehen sind. Für diesen Zweck wird eine Weitwinkellinse, die so weit wie möglich ist, verwendet, vorausgesetzt, dass die optische Achse der Linse in die Richtung schräg nach unten gerichtet wird.
  • Das auf dem Monitor angezeigte Bild wird von jeweiligen Kameras erzeugt und kann in Form von Kamerabildern oder in Form des Vogelperspektivenbildes angezeigt werden. Alle Kamerabilder oder alle Vogelperspektivenbilder können vollständig auf einem einzigen Monitor angezeigt werden. Ferner werden ein Kamerabild und ein Vogelperspektivenbild jeweils in der unterschiedlichen Position gleichzeitig auf dem Monitor angezeigt oder ein Kamerabild wird zusammen mit einem Vogelperspektivenbild, das an derselben Stelle angeordnet ist, angezeigt. Der Bildselektor kann eine Kombination und Anzahl des Kamerabildes und des Vogelperspektivenbildes zum Anzeigen auf dem Monitor auswählen.
  • Im Fall der Anzeige aller Kamerabilder auf dem Monitor werden die Bilder in einer Reihe nebeneinander angeordnet, während es erwünscht ist, das jeweilige Vogelperspektivenbild in radialer Richtung von der Mitte des Monitors anzuordnen, da die jeweiligen Vogelperspektivenbilder in jeweiligen radialen Richtungen der selbstfahrenden Industriemaschine aufgenommen werden. Ferner wird in der Mitte des Monitors das Bild der selbstfahrenden Industriemaschine oder eine symbolisierte Abbildung davon angeordnet, wobei folglich die vorangehende Anordnung des Vogelperspektivenbildes zum Erleichtern der Erkennung des Zustandes um die selbstfahrende Industriemaschine angepasst wird.
  • Ein einzelnes Bild des Kamerablickbildes oder ein Vogelperspektivenbild, das von einer Kamera aufgenommen wird, kann auf der ganzen Fläche des Monitors angezeigt werden. Daher wird der Umgebungszustand mit einem vergrößerten Bild mit einer großen Größe unter Verwendung der ganzen Fläche des Monitors angezeigt. Das Kamerablickbild und das Vogelperspektivenbild können auf dem Monitor gleichzeitig angezeigt werden. In diesem Zusammenhang können zur Anzeige auf dem Monitor das Kamerablickbild und das Vogelperspektivenbild durch dieselbe Kamera oder durch verschiedene Kameras aufgenommen werden.
  • Eine Anzeigesteuereinheit ist mit dem Monitor verbunden und ein Bildselektor ist in der Anzeigesteuereinheit vorgesehen, um die Auswahl des anzuzeigenden Blickbildes auf dem Monitor zu ermöglichen. Hinsichtlich des Verfahrens zum Durchführen der Auswahl wird beispielsweise die Auswahl durch Bildlauf des jeweiligen Blickbildes und Auswählen desselben, wenn das interessierende Bild angezeigt wird, durchgeführt. Ansonsten werden alle Kamerabilder oder alle Vogelperspektivenbilder auf demselben Bildschirm angezeigt, dann kann eine Einstellung durchgeführt werden, um eines oder mehrere der interessierenden Blickbilder auszuwählen.
  • In einem Fall, in dem alle Vogelperspektivenbilder um das zentrale Bild der selbstfahrenden Industriemaschine (oder die symbolisierte Abbildung) auf dem Monitor angezeigt werden, ist es möglich, die Positionsbeziehung zwischen dem jeweiligen Blickbild und der jeweiligen Kamera in einem gewissen Umfang zu erkennen, während in Bezug auf ein anderes Blickbild, insbesondere zum Anzeigen eines Blickbildes auf einer ganzen Fläche des Monitors, nicht oder kaum erkannt werden kann, welches die Richtung des angezeigten Blickbildes ist. Aus diesem Grund wird ein Angabeindex innerhalb der Anzeigefläche gezeigt, um zu identifizieren, welches Blickbild angezeigt wird. Der Angabeindex umfasst zumindest den Ort (oder die angeordnete Position) der Kamera, die an der selbstfahrenden Industriemaschine angeordnet ist, vorzugsweise zusammen mit der Richtungsangabemarkierung der Fahrerkabine in diesem Moment. Das Bildsymbol weist ein symbolisiertes Muster der vorgegebenen selbstfahrenden Industriemaschine oder ein Symbol davon auf. Die anzuzeigende Kameraposition kann auch in Form eines Farbcodes mit einer für einen anderen Abschnitt der Komponententeile verschiedenn Farbe oder Blinken usw. unterschieden werden.
  • In einem Fall, in dem mehrere der Blickbilder auf dem Monitor angezeigt werden, wird das Bildsymbol für das jeweilige Blickbild angegeben. In einem Fall, in dem an dem jeweiligen Blickbild gezeigte Bildsymbole voneinander entfernt angeordnet sind, sind diese Bildsymbole eher nicht bezüglich der Sichtbarkeit bevorzugt, da man sich weitgehend in der Sichtlinie bewegen sollte, wenn die Bildsymbole betrachtet werden. Daher wird jedes Bildsymbol des jeweiligen Blickbildes so nahe wie möglich am anderen Bildsymbol angeordnet. Durch derartiges Positionieren der Bildsymbole ist das jeweilige Bildsymbol mit hoher Sichtbarkeit zu sehen und der Fahrer kann intuitiv die Identität des Blickbildes mit dem Bildsymbol erkennen. Daher wird die Angabe in einer benutzerfreundlichen Weise durchgeführt.
  • Falls Kameras angeordnet sind, um die linke Seite und die rechte Seite der selbstfahrenden Industriemaschine zu überwachen, verursacht das Kamerabild auf der linken Seite eine Drehung in der Richtung im Uhrzeigersinn und das Kamerabild auf der rechten Seite wird in der Richtung gegen den Uhrzeigersinn gedreht. Durch eine solche Konstruktion kann der Fahrer die Blickbilder der linken und der rechten Seite intuitiv erkennen.
  • Es ist erwünscht, dass die anzuzeigende Fläche ein so breiter Bildschirm wie möglich ist, obwohl die Bildschirmfläche auf die Belegung auf der Anzeige begrenzt ist. Aus dem vorangehenden Grund kann das Bildsymbol begrenzt sein, um es in einer vorbestimmten Zeitdauer zu zeigen, danach wird die ganze Fläche des Monitors verwendet, um nur das Blickbild zu zeigen, durch Ausschalten des Bildsymbols. Ferner kann das Bildsymbol zum Zeigen auf Anforderung wiederhergestellt werden. Außerdem kann die Fahrtrichtung der selbstfahrenden Industriemaschine auch gezeigt werden, falls eine obere Schwenkstruktur dazu ausgelegt ist, sich zur Fahrbasisstruktur zu drehen, wie z. B. ein hydraulischer Bagger.
  • Effekte der Erfindung
  • Die Anzeigefläche des Monitors kann umfangreich für die Überwachung um die selbstfahrende Industriemaschine genutzt werden, wobei sehr sichtbare und deutliche Umgebungsbilder für die Überwachung der selbstfahrenden Industriemaschine sichergestellt werden, was es ermöglicht, ohne Verwirrung das spezifische Bild von den mehreren Bildern, die gleichzeitig gezeigt werden, zu identifizieren, was folglich eine Verbesserung der Überwachungsfunktion qualitativ für die Umgebung der selbstfahrenden Industriemaschine bewirkt.
  • Kurzbeschreibung der Zeichnungen
  • [1] ist eine Vorderaufrissansicht eines hydraulischen Baggers als Beispiel einer selbstfahrenden Industriemaschine.
  • [2] ist eine Vorderaufrissansicht eines Muldenkippers als weiterer Typ einer selbstfahrenden Industriemaschine.
  • [3] ist eine schematische erläuternde Ansicht, die die Anordnung von Kameras eines hydraulischen Baggers und eines Muldenkippers zusätzlich zur jeweiligen optischen Achse und zum Sichtfeldbereich zeigt.
  • [4] ist eine veranschaulichte Ansicht, die eine Fahrerkabine einer selbstfahrenden Industriemaschine zeigt.
  • [5] ist eine erläuternde Ansicht eines Prinzips zum Umsetzen von einer Kameraansicht in ein Vogelperspektivenbild.
  • [6] ist eine beispielhafte schematische Ansicht, die einen zu überwachenden Arbeitsbereich zusammen mit einem Kamerabild und einem Vogelperspektivenbild im Arbeitsbereich zeigt.
  • [7] ist ein Blockdiagramm zum Zeigen der Konstruktion einer Umgebungsüberwachungsvorrichtung.
  • [8] zeigt ein Beispiel eines Bildsymbols für die Angabe in einem Monitor.
  • [9] ist eine veranschaulichte erläuternde Ansicht von gesamten Kamerabildern und eines Vogelperspektivenbildes.
  • [10] ist eine veranschaulichte erläuternde Ansicht eines gesamten Vogelperspektivenbildes und eines individuellen Vogelperspektivenbildes.
  • [11] ist eine veranschaulichte Ansicht, die die Kamerabilder der linken Seite und der rechten Seite zeigt.
  • [12] ist eine erläuternde Ansicht, die verschiedene Seitenverhältnisse des Monitors von 11 zeigt.
  • [13] ist eine erläuternde Ansicht, die auf dem Monitor zwei Blickbilder mit einem unterschiedlichen Abstand zeigt.
  • [14] ist eine erläuternde Ansicht, die in Kombination ein Kamerabild und ein Vogelperspektivenbild auf dem Monitor zeigt.
  • [15] ist eine erläuternde Ansicht, die ein Bildsymbol der Fahrtrichtung auf dem Monitor in einem Fall eines Unterschiedes der Richtung des hydraulischen Baggers und der Fahrtrichtung zeigt.
  • Ausführungsform der Erfindung
  • Ausführungsformen der vorliegenden Erfindung werden nachstehend mit Bezug auf die beigefügten Zeichnungen beschrieben. Zuallererst ist in 1 ein hydraulischer Bagger als selbstfahrende Industriemaschine gezeigt und ein Muldenkipper ist in 2 als weitere selbstfahrende Industriemaschine gezeigt.
  • Der in 1 gezeigte hydraulische Bagger 1 bildet eine Fahrzeugstruktur 2 vom Raupentyp und eine obere Schwenkstruktur 3, die dazu ausgelegt ist, eine Schwenkbewegung auf der Fahrzeugstruktur 2 durchzuführen. Die obere Schwenkstruktur 3 weist eine Fahrerkabine, die dazu ausgelegt ist, durch einen Fahrer betrieben zu werden, und einen Arbeitsmechanismus 5 zum Durchführen z. B. eines Aushubs der Erde und des Erdbodens oder dergleichen auf. Der Arbeitsmechanismus 5 ist auf der rechten Seite der Fahrerkabine ungefähr daneben angeordnet. Ferner ist ein Maschinenraum 6 oder dergleichen an der Rückseite der Fahrerkabine 4 und des Arbeitsmechanismus 5 montiert, zusätzlich ist ein Gegengewicht 7 in der hintersten Position angeordnet.
  • Der Arbeitsmechanismus 5 besteht aus einem Ausleger 10, einem Arm 11 und einer Schaufel 12 als vordere Befestigung, die ein Aushubmittel für Erde und Sand bildet. Der Ausleger 10 ist am proximalen Ende mit einer Flamme 3a der oberen Schwenkstruktur 3 schwenkbar verbunden, die von einem Schwenkverbindungsbolzen verwendet wird und dazu ausgelegt ist, eine Aufwärts- und Abwärtsbewegung durchzuführen. Das Spitzenende des Auslegers 10 ist mit dem Arm 11 verbunden, um eine vertikale Aufwärts- und Abwärtsbewegung durchzuführen, und die Schaufel 12 ist mit dem Spitzenende des Arms 11 verbunden, wobei sie eine Drehbewegung durchführen kann. Die vertikale Bewegung des Auslegers 10 wird durch einen Auslegerzylinder 10a betätigt. Der Arm 11 wird durch einen Armzylinder 11a betätigt und die Schaufel 12 wird durch einen Schaufelzylinder 12a betätigt. Daher kann der Arbeitsmechanismus 5 die Haltung ändern, so dass er zwischen dem Ausleger 10 und dem Arm 11 eingeklappt wird und der Ausleger 10 und der Arm 11 in der Vorwärtsrichtung ausgefahren werden.
  • Während der Muldenkipper 20, wie in 2 gezeigt, ein Fahrgestell 22, das mit Reifen 21 versehen ist, als Fahrmittel aufweist, wobei eine Fahrerkabine in einer hohen Position des Fahrgestells 22 vorgesehen ist, führt ein Fahrer die Betätigung innerhalb der Fahrerkabine durch. Auf dem Fahrgestell 22 ist ein Behälter montiert, in den Erde und Erdboden und dergleichen geladen werden soll. Der Behälter 24 ist dazu ausgelegt, sich nach hinten zu neigen, wodurch die geladene Erde und der Erdboden vom Fahrgestell 22 abgeführt werden. Ein Antriebszylinder 25 und ein Verbindungsmechanismus 26 sind zwischen dem Fahrgestell 22 und dem Behälter 24 verbunden, was folglich ein Neigen des Behälters 24 ermöglicht.
  • Mehrere Kameras sind am hydraulischen Bagger 1 und am Muldenkipper 20 wegen der Überwachung um die selbstfahrende Industriemaschine (Fahrzeug) wie z. B. des hydraulischen Baggers 1, des Muldenkippers 20 und dergleichen montiert. Hinsichtlich des hydraulischen Baggers 1, wie in 3A gezeigt, sind eine Rückwärtsüberwachungskamera (Rückwärtskamera) 30B, eine Überwachungskamera auf der rechten Seite (Kamera auf der rechten Seite) 30R und eine Überwachungskamera auf der linken Seite (Kamera auf der linken Seite) 30L vorgesehen und wobei zusätzlich eine Vorwärtsüberwachungskamera (Vorwärtskamera) 30F auch vorgesehen ist. In diesem Zusammenhang kann die Vorwärtsüberwachungskamera nicht notwendigerweise vorgesehen sein. Andererseits weist der Muldenkipper 20, wie in 3B gezeigt, ähnlich zum hydraulischen Bagger 1 eine Rückwärtsüberwachungskamera (Rückwärtskamera) 30B, eine Überwachungskamera auf der rechten Seite (Kamera auf der rechten Seite) 30R und eine Überwachungskamera auf der linken Seite (Kamera auf der linken Seite) 30L auf und wobei zusätzlich eine Vorwärtsüberwachungskamera (Vorwärtskamera) 30F auch vorgesehen ist. Nachstehend werden die Vorwärtskamera 30F, die Rückwärtskamera 30B, die rechte Kamera 30R und die linke Kamera 30L manchmal gemeinsam Kamera 30 genannt.
  • 4 zeigt ein Beispiel einer Fahrerkabine 23 des Muldenkippers 20 als selbstfahrende Industriemaschine. In der Fahrerkabine 23 ist ein Griff 31 für einen Fahrvorgang durch den Fahrer vorgesehen und eine Konsole 32 ist für Instrumente und dergleichen angeordnet. Ein Monitor 34 ist auch an einer Säule 33 in einer Position vorgesehen, die das Vorwärtssichtfeld des Fahrers nicht einschränkt. Der Monitor 34 weist einen Bildanzeigeabschnitt 35 für ein Blickbild oder dergleichen, das von der Kamera 30 aufgenommen wird, und einen Eingabeabschnitt 36, um die Anzeigeinformationen zu steuern, auf.
  • Dann nehmen jeweilige Kameras 30 das Blickbild in einem vorbestimmten Winkel der optischen Achse auf. Ein Bild eines oberen Blickpunkts kann als Bild eines virtuellen Blickpunkts aus dem Kamerabild durch Durchführen eines vorbestimmten Signalprozesses erzeugt werden. Wie in 5 gezeigt, ist nämlich die optische Achse A der Objektivlinse für die Kamera 30 nach unten zur Bodenoberfläche L in einem vorbestimmten Winkel θ geneigt. Dann kann eine Blickpunktumsetzung durch Durchführen einer Koordinatentransformation in ein Vogelperspektivenbild durchgeführt werden, das von einer virtuellen Kamera 30V, die in einer Höhe H montiert ist, in Richtung der Bodenoberfläche L nach unten blickt. Das Vogelperspektivenbild wird so erzeugt.
  • 6A zeigt die Rückseite des hydraulischen Baggers 1 als selbstfahrende Industriemaschine, ein Arbeiter S1 und ein Gebäude S2 befinden sich in der hinteren Position, wobei dieser Arbeiter S1 und das Gebäude S2 zu überwachende Objekte der Umgebung sind. Die Rückwärtskamera 30B nimmt ein Kamerabild (unmittelbares Bild) auf, wie in 6B gezeigt. Ein Vogelperspektivenbild wird durch Durchführen des Blickpunktumsetzungsprozesses aus dem vorstehend erwähnten Kamerabild erzeugt. Wie aus diesen Figuren ersichtlich ist, ist das Kamerabild von 6B sichtbar bis zu einem weiten langen Abstand in der axialen Richtung. Indessen erleichtert das Vogelperspektivenbild in 6C das Erkennen des Abstandes zwischen dem hydraulischen Bagger und dem zu überwachenden Objekt.
  • Wie vorstehend beschrieben, ist die selbstfahrende Industriemaschine wie z. B. der hydraulische Bagger 1, der Muldenkipper 20 und dergleichen mit Kameras in den vier Positionen versehen, Bilder, die von jeweiligen Kameras stammen, werden als Kamerabilder in eine Anzeigesteuereinheit 40 eingegeben. Wie in 7 gezeigt, werden diese Kamerabilder in die Anzeigesteuereinheit 40 als Bildsignale eingegeben, dann werden die Bildsignale zur Anzeige auf dem Monitor 34 verarbeitet. Jeweilige Kamerabilder von den Kameras 30 werden zu einem Bildkorrekturabschnitt 41 übertragen. Der Bildkorrekturabschnitt 41 führt eine Korrektur des Bildes wie z. B. eine Verzerrungskorrektur, eine Kontrastkorrektur, eine Farbkorrektur und dergleichen mittels optischer Kameraparameter am erfassten Kamerabild durch, wodurch die Qualität des erreichten Bildes verbessert wird.
  • Jeweilige Kamerabilder nach der durchgeführten Korrekturverarbeitung werden zu einem Kamerabild-Speicherabschnitt 42 und einem Blickpunkt-Umsetzungsabschnitt 43 übertragen. Dann führt der Blickpunkt-Umsetzungsabschnitt 43 eine Umsetzung in das Bild des oberen Blickpunkts durch, wodurch das Vogelperspektivenbild erzeugt wird. In diesem Zusammenhang werden Kamerabilder, die von der Vorwärtskamera 30F, der Rückwärtskamera 30B, der Kamera 30L auf der linken Seite und der Kamera 30R auf der rechten Seite erhalten werden, unabhängig in die Vogelperspektivenbilder umgesetzt. Die erzeugten Vogelperspektivenbilder werden zu einem Vogelperspektivenbild-Speicherabschnitt 44 übertragen. Außerdem ist ein Bildsymbol-Speicherabschnitt 45 in der Anzeigesteuereinheit 40 vorgesehen. Das Bildsymbol ist ein Symbol zum Angeben der Position der Kameras 30 ungeachtet dessen, ob es sich um das Kamerabild oder das Vogelperspektivenbild handelt, wobei das Bildsymbol im Bildsymbol-Speicherabschnitt 45 gespeichert ist. Wenn das Umgebungsüberwachungsbild angezeigt wird, wird das Bildsymbol überlagert gezeigt.
  • Der Monitor 34 weist den Bildanzeigeabschnitt 35 und den Eingabeabschnitt 36 auf, der Eingabeabschnitt 36 weist ein Umstellmittel wie z. B. Schalter oder dergleichen auf. Eingangssignale, die vom Eingabeabschnitt 36 gegeben werden, werden zu einem Bildauswahlabschnitt 46 übertragen, wodurch ein spezifisches Kamerabild oder ein spezifisches Vogelperspektivenbild aus dem Kamerabild-Speicherabschnitt 42 oder dem Vogelperspektivenbild-Speicherabschnitt 44 ausgelesen wird, um es auf dem Monitor 34 anzuzeigen. Wenn eine Auswahl zur Anzeige des Überwachungsbildes (Kamerabild oder Vogelperspektivenbild) getroffen wird, wird daher ein Vogelperspektivenbild aus dem Vogelperspektivenbild-Speicherabschnitt 44 ausgelesen oder ein Kamerabild wird aus dem Kamerabild-Speicherabschnitt 42 ausgelesen. In diesem Fall umfasst das Überwachungsbild eine Aufnahme von einer Kamera 30 oder auch mehreren Kameras. Das vom Bildauswahlabschnitt 46 ausgewählte Überwachungsbild wird dann durch einen Bilderzeugungsabschnitt 48 ferner mit dem Bildsymbol zusammengesetzt, das im Bildsymbol-Speicherabschnitt 45 gespeichert ist, wobei es schließlich auf dem Bildanzeigeabschnitt 34 des Monitors 34 angezeigt wird. In diesem Fall bestimmt der Bildzusammensetzungsabschnitt 47 die Bildposition und die Bildgröße des ausgewählten Bildes zur Anzeige auf dem Bildanzeigeabschnitt 35 des Monitors 34.
  • Das Bildsymbol für die Angabe der Kameraposition besteht aus dem Überwachungsbild auf dem Monitor 34. Die Weise zum Angeben des Bildsymbols ist in 8 veranschaulicht. Das Angabeaussehen des Bildsymbols ist nicht auf das in 8 gezeigte begrenzt, sondern ein anderer Typ eines Angabeaussehens kann verwendet werden, vorausgesetzt, dass die Richtung der selbstfahrenden Industriemaschine und die Position der Kamera deutlich angegeben werden können, wobei das Bild notwendigerweise die Richtung der selbstfahrenden Industriemaschine und die Position der Kamera zeigt.
  • 8A zeigt das Bildsymbol ic1, das mit dem Kamerabild zusammengesetzt ist. Im Bildsymbol ic1 ist das icD in Form einer Dreieckmarkierung gezeigt, die die Richtung der selbstfahrenden Industriemaschine angibt, und mehrere Bogensegmente, die der Anzahl der Kameras entsprechen, sind um den Pfeil icD gezeigt. Gemäß der vorliegenden Ausführungsform besteht das Bildsymbol ic1 aus dem icD, das in vier Bogensegmentabschnitte icB, icR, icL und icF unterteilt ist, die um die mittige Pfeilmarkierung icD als Symbolcodes vorgesehen sind. Und das Bogensegment der entsprechenden Position der angezeigten Kamera 30 ist mit einer Farbe angegeben, um es von anderen Bogensegmenten zu unterscheiden. In der Zeichnung zeigt ein Gitter im Bogensegment icB die von anderen Bogensegmenten in der Farbe unterschiedliche Angabe.
  • Daher bezeichnet die Pfeilmarkierung icD des Bildsymbols ic1 die Angabe der Vorwärtsrichtung und die vier Bogensegmente icB, icR, icL und icF bezeichnen die Angabe der Positionen der Kameras. Der spezifische Abschnitt des Bogensegments, der die Position der Kamera angibt, kann durch ein anderes Verfahren, nicht begrenzt auf den Farbunterschied, identifiziert werden, wie z. B. Beleuchtung, Flackern oder dergleichen. Ferner kann eine Schraffierung gegeben werden, wie in der Zeichnung gezeigt. Somit kann irgendeine Anzeigeform übernommen werden, solange sie das Subjekt des spezifischen Bogens identifiziert.
  • 8B zeigt ein Bildsymbol ic2, das zum Zeitpunkt der Anzeige des Vogelperspektivenbildes gebildet wird. In der Zeichnung ist der Muldenkipper 20 als selbstfahrende Industriemaschine gezeigt, wobei ein Symbol ic0 als Wiedergabe der Draufsicht angezeigt ist. Außerdem ist der Umgebungsraum radial in vier Bereiche der Vorwärts-, Rückwärts-, linken Seite und rechten Seite unterteilt, um Bildsymbole icB, isT, icL und icF entsprechend der vorgesehenen Anzahl von Kameras zu bilden. Die Position einer Kamera 30 ist auch angepasst, um einen Unterschied gegenüber den anderen Bereichen zu machen, mittels der Unterscheidung unter Verwendung einer unterschiedlichen Farbe (schraffierter Abschnitt in der Zeichnung), oder Beleuchtung oder Flackern. In 6B ist das Bildsymbol icS der Vorwärtsrichtungsindikator und die Bereiche icB, icR, icL und icF sind der Kamerapositionsindikator der Positionen der Kameras 30.
  • In diesem Zusammenhang kann das Bildsymbol ic2 von 8B mit dem angezeigten Kamerabild zusammengesetzt werden, das Bildsymbol ic1 von 8A kann zum Zeitpunkt der Anzeige des Vogelperspektivenbildes zusammengesetzt werden. Kurz gesagt, wenn irgendein Bildsymbol verwendet wird, kann ein optionales Angabeverfahren für die Angabe der Richtung der selbstfahrenden Industriemaschine und der Position der Kameras angewendet werden.
  • Die Umgebungsüberwachung der selbstfahrenden Industriemaschine ist dazu ausgelegt, einen Kontakt oder eine Kollision mit einem zu meidenden Überwachungsobjekt, das heißt beispielsweise einer Person wie z. B. einem Arbeiter, der in der Umgebung des Aktivitätsbereichs unter dem Betrieb der selbstfahrenden Industriemaschine angeordnet ist, einem stationären angeordneten Umgebungsbauwerk und dergleichen wie z. B. einem Material oder einem Baum oder einem anderen Fahrzeug zu verhindern. Aus diesem Grund wird ein Bild der selbstfahrenden Industriemaschine auf dem Monitor 34 angezeigt und das angezeigte Bild ist das Kamerabild oder das Vogelperspektivenbild. Das Kamerabild wird verwendet, um Informationen der Vorwärtsrichtung zu erhalten, und muss das zu meidende Objekt ziemlich weit weg sichtbar machen in Anbetracht dessen, wo die selbstfahrende Industriemaschine mit hoher Geschwindigkeit fährt. Der Blickwinkel kann jedoch begrenzt sein, da der Blickbereich in einem vorbestimmten Winkelbereich aus der Fahrtrichtung als Zentrum ausreicht. Dagegen ist das Vogelperspektivenbild so ausgelegt, dass es Informationen hinsichtlich der Umgebungssituation der selbstfahrenden Industriemaschine aufweist, das Wichtige ist die relative Position zwischen der selbstfahrenden Industriemaschine und dem zu meidenden Objekt, wobei die Kenntnis der Beziehung dieser Positionen wichtig ist, selbst wenn der sichtbare Winkel mehr oder weniger geopfert wird.
  • In der selbstfahrenden Industriemaschine benötigt der hydraulische Bagger 1 das Vogelperspektivenbild, während das Kamerabild als wichtig für den Muldenkipper 20 betrachtet wird. Das Kamerabild ohne verarbeiteten Blickpunkt ist jedoch auch für den hydraulischen Bagger 1 erforderlich, um zu ermöglichen, dass das zu beobachtende Bild klarer erkannt wird. Ferner ist für den Muldenkipper 20 die Anzeige des Vogelperspektivenbildes wichtig, um die Positionsbeziehung zum zu meidenden Objekt zu kennen.
  • An nächster Stelle werden die auf dem Bildanzeigeabschnitt 35 des Monitors 34 anzuzeigenden veranschaulichten Bilder nachstehend erläutert. Ein in 9 gezeigtes Beispiel sind die gesamten Kamerabilder. In 9A sind vier Kamerabilder TB, TR, TL und TF, die von den Kameras 30 aufgenommen werden, insgesamt jeweils mit dem Bildsymbol ic1 gezeigt.
  • Die vier Bilder, die aus den gesamten Kameras zusammengesetzt werden, sind jeweils auf dem Bildanzeigeabschnitt 34 des Monitors 34 gezeigt, der in vier Flächen in Form einer Kreuzform als oben, unten, links und rechts unterteilt ist. Die angezeigten jeweiligen Flächen bestehen aus den Kamerabildern zusammen mit Bildsymbolen, um die Position der jeweiligen Kameras in Zusammensetzung damit zu identifizieren. In einem Fall, in dem das Bildsymbol ic1 von 9A übernommen wird, wird jedes der Kamera entsprechende Bogensegment mit von anderen Segmenten verschiedenen Farben eingefärbt, wie im Gittermuster gezeigt. Dadurch wird die Positionsbeziehung zwischen den Kamerabildern und der Position der jeweiligen Kamera 30 identifiziert, was folglich das Verursachen eines Missverständnisses für den Fahrer verhindert, wenn er den Monitor 34 betrachtet.
  • 10A zeigt das Vogelperspektivenbild. Die Anzeige des Vogelperspektivenbildes besteht aus einem Zeichen CR, das die Wiedergabe der Draufsicht des Muldenkippers 20 in der Mitte ist, und vier Vogelperspektivenbildern PB, PR, TR und TF, die durch die Blickpunktumsetzung von den vier Kamerabildern TB, TR, TL und TF umgesetzt sind, die von den jeweiligen Kameras 30 aufgenommen werden, die diese umgeben. Die Anzeige ist ein gesamtes Vogelperspektivenbild. Das Zeichen CR ist dasselbe wie oder ähnlich zur Konfiguration des Symbols icS, wie in 8B gezeigt. Das Zeichen CR ist hinsichtlich der Größe größer als das Bildsymbol icS, obwohl das Symbol icS aus einem Teil des Bildsymbols ic1 als solches besteht. Das Zeichen CR gibt die Fahrtrichtung ähnlich zum Bildsymbol icS an.
  • Eines oder mehrere der Bilder können auf dem Monitor 34 angezeigt werden, die aus dem gesamten Kamerablickbild, wie in 9A gezeigt, oder dem gesamten Vogelperspektivenbild, wie in 10A gezeigt, gewonnen werden. Das jeweilige Bild wird ursprünglich im Bildsymbol ic1 im Fall des gesamten Kamerablickbildes angegeben, das Bildsymbol ic2 kann im Fall des gesamten Vogelperspektivenbildes unabhängig zur jeweiligen Anzeigefläche hinzugefügt werden. Eine farbige Angabe der jeweiligen Fläche ist jedoch durch Zeigen des Zeichens CR in der Mitte des Monitors 34 nicht erforderlich.
  • Wie in 9B oder 10B gezeigt, kann ein einzelnes Kamerabild oder ein einzelnes Vogelperspektivenbild von einer der Kameras wie z. B. der Rückwärtskamera 30B angezeigt werden. In diesem Fall wird das einzelne Kamerabild oder das einzelne Vogelperspektivenbild vollständig auf dem Bildanzeigeabschnitt 35 des Monitors 34 angezeigt. Daher wird das Bild in vergrößerter Weise angezeigt, so dass die Qualität des Umgebungsüberwachungsbildes durch deutliches Zeigen des Details des vergrößerten Bildes verbessert ist.
  • Das einzelne Kamerabild, wie in 9B gezeigt, besteht aus dem Bildsymbol ic1, um die Position der Kamera 30 zu identifizieren. Unter den Bogensegmenten icB, icR, icL und icF, die das Bildsymbol ic1 bilden, entspricht das Bildsymbol, das eine von den anderen Bildsymbolen verschiedene Farbe aufweist, der Position der Kamera 30 (das Bogensegment icB wird im Fall der Rückwärtskamera 30B ausgewählt). Daher bestätigt das angezeigte einzelne Kamerabild deutlich die Richtung des Bildes mit Blick aus der Fahrerkabine 4, selbst wenn keine Beschreibung über das Gesamtbild oder den Blickbereich der selbstfahrenden Industriemaschine gegeben wird. Daher sollte kein übermäßiges Bild gezeigt werden, so dass das einzelne Kamerabild im einzelnen Kamerabild mit maximaler Größe angezeigt werden kann.
  • Das einzelne Vogelperspektivenbild, wie in 10B gezeigt, besteht auch aus dem Bildsymbol ic2, um die Position der Kamera 30 zu identifizieren. Unter den Bogensegmenten icB, icR, icL und icF, die das Bildsymbol ic1 bilden, entspricht das Bildsymbol, das eine von den anderen Bildsymbolen verschiedene Farbe aufweist, der Position des gegenwärtig angezeigten Bildes von der Kamera 30 (wobei das Bogensegment icB im Fall der Rückwärtskamera 30B ausgewählt wird). Dadurch kann das Vogelperspektivenbild die Richtung des Blicks aus der Fahrerkabine 4 identifizieren, das Vogelperspektivenbild kann mit maximaler Größe angezeigt werden. Das Bildsymbol ic1 von 7A kann anstelle des Bildsymbols ic2 gebildet werden, wie in 10B gezeigt. Das Bildsymbol ic2 wird jedoch in dem Fall gebildet, in dem das Vogelperspektivenbild angezeigt wird, daher wird das angezeigte Bild angepasst, so dass es deutlich als Vogelperspektivenbild bezeichnet wird.
  • Nicht nur ein einzelnes Kamerabild oder einzelnes Vogelperspektivenbild wird angezeigt, sondern auch mehrere Bilder können auf dem Bildanzeigeabschnitt 35 nebeneinander angezeigt werden. 11 ist ein Beispiel zum Anzeigen der zwei Kamerabilder TL und LR, die von der Kamera 30L auf der linken Seite und der Kamera 39R auf der rechten Seite aufgenommen werden, auf dem Bildanzeigeabschnitt 35. Das Kamerabild TL, das von der Kamera 30L auf der linken Seite aufgenommen wird (Bild TL), und das Kamerabild LR, das von der Kamera 30R auf der rechten Seite aufgenommen wird (Bild TR), können vollständig oder teilweise angezeigt werden.
  • Obwohl ein Beispiel von zwei Kamerabildern in 11 gezeigt ist, können zwei Vogelperspektivenbilder angezeigt werden. Das Vogelperspektivenbild, bei dem der Blickpunkt des Kamerabildes umgesetzt ist, das von der Kamera 30L auf der linken Seite aufgenommen wird, und das Vogelperspektivenbild, bei dem Blickpunkt des Kamerabildes umgesetzt ist, das von der Kamera 30R auf der rechten Seite aufgenommen wird, können beispielsweise nebeneinander angezeigt werden.
  • Das Bild TL und das Bild TR werden in vergrößerten Maßstäben angezeigt. Daher werden die zwei vergrößerten Kamerabilder auf der Bildanzeigefläche des Bildanzeigeabschnitts 35 angezeigt, wenn auch im Maßstab kleiner als das einzelne Bild. Daher wird das Blickfeld der rechten Seite und der linken Seite der Fahrerkabine 4 vom Bildanzeigeabschnitt 35 des Bildes TL und des Bildes TR erreicht. Ferner wird das Bildsymbol ic1 gebildet, um jeweils die Position der Kamera 30 für das Bild TL und das Bild TR anzugeben.
  • Da das Bildsymbol ic1 des TL-Bildes (nachstehend als ic1L bezeichnet, um es vom Bildsymbol ic1 des TR-Bildes zu unterscheiden) das Sichtfeld der linken Seite ist, ist das Bogensegment icL der linken Seite mit einer anderen Farbe eingefärbt als die anderen Bogensegmente. Während das Bildsymbol ic1 des TR-Bildes (nachstehend als ic1R bezeichnet, um es vom Bildsymbol ic1 des TL-Bildes zu unterscheiden) das Sichtfeld der rechten Seite ist, ist das Bogensegment icR der linken Seite mit einer anderen Farbe als die anderen Bogensegmente eingefärbt. Zum Angeben als Index für Bildsymbole ic1L und ic1R wird deutlich zwischen dem Bild TL, das das Blickbild der linken Seite ist, und dem Bild TR, das das Bild der rechten Seite ist, unterschieden, ohne dass irgendeine spezifische Erläuterung gegeben wird.
  • Wie in 11 gezeigt, werden dann das Bildsymbol ic1L und das Bildsymbol ic1R in der nahen Position zueinander angeordnet. Mit anderen Worten, das Bildsymbol ic1L wird auf der rechten Seite des Bildes TL angeordnet und das Bildsymbol ic1R wird auf der linken Seite des Bildes TR angeordnet. In dieser Figur ist das Bildsymbol ic1L des Bildes TL auf der rechten Seite angeordnet und das Bildsymbol ic1R des Bildes TR ist an der oberen Ecke der linken Seite angeordnet.
  • Das Bildsymbol ic1L und das Bildsymbol ic1R werden in der nahen Position angeordnet. Ferner wird das Bildsymbol ic1L innerhalb des Bildes TL gebildet und das Bildsymbol ic1R wird innerhalb des Bildes TR gebildet. Dadurch kann der Fahrer die zwei Bildsymbole praktisch ohne Verschieben des Auges erkennen. Außerdem kann der Fahrer auf einen Blick erkennen, dass das Bild TL ein Bild ist, das von der Kamera 50L auf der linken Seite aufgenommen ist, und das Bild TR ein Bild ist, das von der Kamera 50R auf der rechten Seite aufgenommen ist.
  • Insbesondere wird das Bild TL in der linken Hälfte angezeigt und das Bild TR wird in der rechten Hälfte angezeigt. Daher sind das Bildsymbol ic1L und das Bildsymbol ic1R im Wesentlichen in der Mitte des Anzeigebildschirms angeordnet. Unter der Annahme, dass sich der Fahrer in der Mitte des Monitorbildschirms befindet, erkennt der Fahrer intuitiv, dass das angezeigte Bild entweder das Bild der linken Seite oder das Bild der rechten Seite ist, das von der Kamera 30 aufgenommen ist, auf der Basis des Bildsymbols ic1L und des Bildsymbols ic1R.
  • Die vorstehend erläuterte Ausführungsform ist auf zwei Kamerabilder in 11 bezogen, in einem Fall, in dem die Kamerabilder vollständig angezeigt werden, werden ihre Bildsymbole ic1 in der nahen Position angeordnet oder werden auf die Mitte des Anzeigebildschirms konzentriert. Durch eine solche Konstruktion kann der Fahrer vier Bildsymbole ic1 im Wesentlichen ohne Verschieben der Sichtlinie erkennen. Daher kann leicht mit einer feinen Sichtbarkeit die Entsprechung der vier Kamerabilder TB, TF, TR und TL zur jeweiligen Kamera 30 beurteilt werden.
  • Dann werden das Bild TL und das Bild TR um 90 Grad gedreht, wie in 11 gezeigt. Das Bild TL wird um 90 Grad in der Richtung im Uhrzeigersinn gedreht und das Bild TR wird in der Richtung gegen den Uhrzeigersinn gedreht. Dadurch kann der Fahrer in leicht sichtbarer Weise sinnhaft erkennen, dass das Bild TL (das Kamerabild der Kamera 30 auf der linken Seite) auf der linken Seite des Bildanzeigeabschnitts 35 angezeigt wird. Ebenso kann der Fahrer sinnhaft in leicht sichtbarer Weise erkennen, dass das Bild TR in der rechten Seitenhälfte des Bildanzeigeabschnitts 35 angezeigt wird.
  • Wie vorstehend erläutert, wird in einem Fall der Anzeige von mehreren Bildern auf der Bildanzeigefläche 35 die Sichtbarkeit durch Vorsehen des jeweiligen Bildsymbols ic1 an der nahen Stelle zueinander verbessert. Das Ziel wird jedoch erreicht, selbst wenn das jeweilige Bildsymbol ic1 abseits angeordnet wird, falls die Sichtbarkeit des Fahrers vernachlässigt wird. Im Allgemeinen kann der Fahrer die Position der Kamera 30 durch Bilden des Bildsymbols ic1 wegen der Identifikation der Kamera 30 erkennen.
  • Obwohl in 11 eine Erläuterung in einem Fall durchgeführt ist, in dem die vertikale Pixelzahl im Seitenverhältnis größer ist, kann dasselbe für die Querpixelzahl im Seitenverhältnis anwendbar sein, wie in 12 gezeigt. Selbst wenn der Bildanzeigeabschnitt 35 in eine äquivalente Größe zum Anzeigen des Bildes TL und des Bildes TR in 11 und 12 unterteilt wird, können das Bild TL und das Bild TR in ihren Größen unterschiedlich sein. Der Bildbereich des Bildes LT ist schmal und der Bildbereich des Bildes TR ist breit in 13. In diesem Zusammenhang ist das Bild PL das Vogelperspektivenbild der Kamera 30L auf der linken Seite, während das Bild PR das Vogelperspektivenbild der Kamera 30R auf der rechten Seite ist. Jedes Bogensegment kann im Verhältnis zur Bildanzeigegröße verändert werden.
  • In einem Fall, in dem die mehreren Bilder nebeneinander angezeigt werden, können drei Bilder angezeigt werden. Zum Zeitpunkt der Anzeige von drei Vogelperspektivenbildern wird die Position der Randlinie zum Unterteilen jedes Bildes angepasst, um eine Veränderung der Position durchzuführen. Das Bildsymbol ic1 zum Identifizieren der Position der Kamera wird vorzugsweise eingestellt, um eine Veränderung im Verhältnis zur Breite des angezeigten Bildes durchzuführen.
  • In einem Fall, in dem mehrere Bilder nebeneinander angezeigt werden, können ein Kamerabild und ein Vogelperspektivenbild kombiniert werden. Wie in 14 gezeigt, kann beispielsweise ein kombiniertes Bild, das aus 3 Vogelperspektivenbildern besteht, die von der Rückwärtskamera 30B, der Kamera 30L auf der linken Seite und der Kamera 30R auf der rechten Seite aufgenommen sind, mit einem Kamerabild durch die Kamera 30F gleichzeitig auf dem Monitor 34 angezeigt werden. In Bezug auf die Vogelperspektivenbilder wird ein Bildsymbol ic2 auf den Vogelperspektivenbildern mit derselben Farbe eingefärbt in den Bogensegmenten icB, icR und icL angegeben. Da jedoch die Vogelperspektivenbilder der Kamera 30L auf der linken Seite und der Kamera 30R auf der rechten Seite teilweise gezeigt sind, ist der farbige Bereich nicht die ganzen Flächen icL und icR, sondern eingeschränkt auf das entsprechende Verhältnis der angezeigten Flächen für die Vogelperspektivenbilder. Dagegen ist das Bogensegment icF hinsichtlich der Färbung auf die Vorwärtsrichtung begrenzt.
  • In einem Fall des Muldenkippers 20 wird keine Verlagerung im Betrieb zwischen der Fahrerkabine und dem Fahrgestell 22 verursacht, da die Fahrerkabine 23 mit dem Fahrgestell 22 nicht zum Durchführen einer Schwenkbewegung verbunden ist, während hinsichtlich des hydraulischen Baggers 1 die obere Schwenkstruktur 3, die an der Fahrerkabine 4 montiert ist, dazu ausgelegt ist, sich gegenüber der Fahrzeugbasisstruktur 2 zu drehen, wodurch sich das Fahrzeug nicht nur in der Vorwärtsrichtung, sondern auch Rückwärtsrichtung bewegen kann, wenn der Vorwärtsfahrhebel in der Situation betätigt wird, dass die obere Schwenkstruktur 3 um 180 Grad in Bezug auf die Fahrzeugbasisstruktur 2 gedreht ist, daher wird das Fahrzeug zwangsweise nicht in der beabsichtigten Richtung gefahren.
  • 15 zeigt ein Bild, das aus dem Zeichen CR in der Mitte besteht, das von vier Vogelperspektivenbildern PF, PL, PR und PL umgeben ist, wobei das Bildsymbol ic1 auf dem Bildanzeigeabschnitt 35 gebildet ist, die Fahrtrichtung der Fahrerkabine wird mittels der Pfeilmarkierung icD angegeben. Und die Fahrtrichtung des hydraulischen Baggers 1 zum Zeitpunkt der Vorwärtsbewegung wird durch ein Angabebildsymbol icG angegeben. Dadurch kann der Fahrer die Fahrtrichtung erkennen, wenn er die Fahrt des hydraulischen Baggers 1 für die Vorwärtsbewegung betätigt.
  • Wie vorstehend erläutert, wird zusätzlich zum Umgebungsüberwachungsbild das Bildsymbol auf der Bildanzeigefläche 35 des Monitors 34 angezeigt, wobei somit die Umgebungsüberwachungsbildfläche durch den Bildsymbolangabebereich eingeschränkt wird. In diesem Zusammenhang sollte das Bildsymbol nicht immer angegeben werden, sondern kann normalerweise von der Anzeige verborgen sein, sofern die Informationen vom Fahrer erkannt werden, wobei somit die Einschränkung für die Umgebungsüberwachungsbildfläche beseitigt wird. Aus diesem Grund kann das Bildsymbol von der Anzeige durch die Betätigung des Fahrers verborgen werden oder das Bildsymbol kann während der vorbestimmten Zeitdauer angegeben werden, wonach es von der Anzeige verborgen wird.
  • Durch eine solche Konstruktion wird bei der Betätigung der selbstfahrenden Industriemaschine wie z. B. des hydraulischen Baggers 1, des Muldenkippers 20 und dergleichen die Sicherheit um die selbstfahrende Industriemaschine bestätigt. Daher kann die Situation um die selbstfahrende Industriemaschine schnell und genau in Bezug auf die nahe Anwesenheit des zu meidenden Überwachungsobjekts, wie z. B. eines Arbeiters oder einer anderen Person, eines Gebäudes, eines stationären Objekts, eines Baums oder eines anderen Fahrzeugs, erkannt werden. Folglich kann ein Unfall wie z. B. ein Kontakt oder ein Konflikt damit verhindert werden und die Arbeitseffizienz wird verbessert.
  • Zum Zeitpunkt des Starts der selbstfahrenden Industriemaschine aus dem gestoppten Zustand wird die Umgebungsüberwachung durchgeführt, um die Anwesenheit eines Überwachungsobjekts um die ganze selbstfahrende Industriemaschine zu bestätigen. Falls erforderlich, kann irgendeine Risikovermeidungsmaßnahme vor dem Starten der selbstfahrenden Industriemaschine durchgeführt werden, wie z. B. dass eine Benachrichtigung an den Arbeiter gegeben wird oder die selbstfahrende Industriemaschine vor dem Start einen Umweg macht.
  • Die Sichtbarkeit der Vorwärtsrichtung zum Fahren sollte für den Muldenkipper als selbstfahrende Industriemaschine zum Zeitpunkt des Starts sichergestellt werden. Wenn der Muldenkipper 20 in der Vorwärtsrichtung fährt, wird das Bild der Vorwärtskamera 30F auf dem Monitor 34 angezeigt. Und da das Kamerabild auf dem ganzen Bildschirm des Monitors 34 angezeigt werden kann, wird das angezeigte Bild angepasst, um es vergrößert im Maßstab zu zeigen, um detaillierte und auffällige Bildinformationen zu erreichen. Durch Angeben mit dem Bildsymbol ic1 zum Identifizieren des gegenwärtig angezeigten Bildes auf dem Monitor 34 tritt außerdem keine Fehlerkennung auf, wodurch die Sicherheit im Betrieb sichergestellt wird.
  • In einem Fall, in dem der Muldenkipper 20 rückwärts fährt und durch den Lenkvorgang dreht, wird das Bild für die Fahrtrichtung angezeigt. Es ist erwünscht, dass das Bild für die Fahrtrichtung durch die Betätigung des Eingabeabschnitts 36 oder eine Verknüpfung mit der Betätigung des Griffs 31 oder des Betätigungshebels erscheint. In. einem Fall, in dem das angezeigte Bild wechseln soll, wird ferner ein Zielbild leicht durch Zeigen aller Kamerabilder und aller Vogelperspektivenbilder ausgewählt. Um mehrere verschiedene Bilder auszuwählen, die an die Umgebungsüberwachung angepasst sind, werden ferner diese Bilder in der Weise eines Bildlaufs gezeigt und ermöglichen eine Auswahl durch den Fahrer.
  • In einem Fall des Muldenkippers 20 wird hauptsächlich das Kamerabild angezeigt und zum Durchführen eines feinen Lenkvorgangs wird die Umgebungssicherheit durch einmaliges Anzeigen der ganzen Vogelperspektivenbilder sichergestellt. Das Vogelperspektivenbild wird durch Blickpunktumsetzung verarbeitet, so dass verursacht wird, dass das Bild an sich etwas verschlechtert wird. Eine solche Verschlechterung kann verbessert werden, um das betreffende Kamerabild allein anzuzeigen oder die Bildanzeigefläche zum Zeigen des Vogelperspektivenbildes und des Kamerabildes zu unterteilen.
  • Dagegen muss in einem Fall des hydraulischen Baggers 1 als selbstfahrende Industriemaschine die Anzeigefläche der Umgebung nicht so breit sein aufgrund der langsamen Fahrgeschwindigkeit, aber im Wesentlichen ist eine Anzeige der Richtung vom Bild des oberen Blickpunkts erforderlich, das heißt vom ganzen Vogelperspektivenbild. Daher soll das ganze Vogelperspektivenbild vorteilhafterweise auf dem Monitor 34 gezeigt werden. Ferner kann eine Markierung einer gefährlichen Zone zum Monitor 34 mit einem vorbestimmten Radius von der Mitte des hydraulischen Baggers 1 hinzugefügt werden, wodurch sichergestellt wird, dass dies der Fahrer bemerkt. Auf der Basis des ganzen Vogelperspektivenbildes kann eine geeignete Handlung zum Vermeiden der Gefahr zum Zeitpunkt der Erkennung des zu meidenden Objekts durchgeführt werden. Da der Monitor 34 eine begrenzte Anzeigefläche aufweist, kann das gesamte Vogelperspektivenbild möglicherweise beim Erhalten der Detailinformationen schlechter sein oder ein unklares Bild verursachen. Unter solchen Umständen können ein oder mehrere Vogelperspektivenbilder vergrößert werden oder ein Kamerabild kann anstelle von oder zusammen mit dem Vogelperspektivenbild angezeigt werden. Das angezeigte Bild auf dem Monitor 34 gibt natürlich die Kamera als Aufnahmequelle jedes Bildes an, der Fahrer versteht das angezeigte Bild nicht falsch oder verwechselt es.
  • Wie vorstehend erläutert, kann im Betrieb der selbstfahrenden Industriemaschine wie z. B. des hydraulischen Baggers 1 oder des Muldenkippers 20 ein Kontakt oder Konflikt der selbstfahrenden Industriemaschine oder ihres Teils mit einem Objekt, einer Person oder dergleichen im Voraus vermieden werden, wobei sie folglich in der Sicherheit der Arbeit merklich verbessert ist.
  • Bezugszeichenliste
  • 1
    Hydraulischer Bagger
    20
    Muldenkipper
    30
    Kamera
    34
    Monitor
    35
    Bildanzeigefläche
    36
    Eingabefläche
    40
    Anzeigesteuereinheit
    41
    Bildkorrekturabschnitt
    42
    Kamerabild-Speicherabschnitt
    43
    Blickpunkt-Umsetzungsabschnitt
    44
    Bildspeicherabschnitt
    45
    Bildsymbol-Speicherabschnitt
    46
    Bildauswahlabschnitt
    47
    Bildzusammensetzungsabschnitt
    48
    Bilderzeugungsabschnitt
    50
    Kamera
    CR
    Zeichen
    ic1, ic2
    Bildsymbol

Claims (7)

  1. Umgebungsüberwachungsvorrichtung für eine selbstfahrende Industriemaschine zum Anzeigen von Bildern auf einem Monitor, die durch eine Anzeigesteuereinheit von Kamerabildern verarbeitet werden, die von mehreren Kameras aufgenommen werden, die an der selbstfahrenden Industriemaschine angeordnet sind, wobei die Anzeigesteuereinheit einen Blickpunktumsetzer aufweist, um den Blickpunkt der Kamerabilder in einen oberen Blickpunkt umzusetzen, um ein Vogelperspektivenbild zu erzeugen, einen Bildselektor, um ein oder mehrere auf dem Monitor anzuzeigende Bilder aus mehreren Kamerabildern und dem Vogelperspektivenbild auszuwählen, eine Bildzusammensetzungsvorrichtung, um ein Bildsymbol hinzuzufügen, um die Position der Kamera des vom Bildselektor ausgewählten Bildes anzugeben, und einen Bilderzeuger, um ein zusammengesetztes Bild des mit dem Bildsymbol zusammengesetzten Bildes zu erzeugen.
  2. Umgebungsüberwachungsvorrichtung für eine selbstfahrende Industriemaschine nach Anspruch 1, wobei der Bildselektor dazu ausgelegt ist, mehrere Bilder auszuwählen, die aus dem Kamerabild und dem Vogelperspektivenbild in den verschiedenen Positionen, dem Kamerabild und dem Vogelperspektivenbild in der gleichen Position, allen Kamerabildern, allen Vogelperspektivenbildern oder wahlweise einem oder mehreren des Kamerabildes und wahlweise einem oder mehreren des Vogelperspektivenbildes bestehen.
  3. Umgebungsüberwachungsvorrichtung für eine selbstfahrende Industriemaschine nach Anspruch 1 und Anspruch 2, wobei das Bildsymbol einen Vorwärtsrichtungsindikator zum Angeben der Vorwärtsrichtung der selbstfahrenden Industriemaschine und einem Kamerapositionsindikator für das aufgenommene angezeigte Bild aufweist.
  4. Umgebungsüberwachungsvorrichtung für eine selbstfahrende Industriemaschine nach Anspruch 3, wobei zum Zeitpunkt, zu dem der Bildzusammensetzungsabschnitt mehrere der Bilder anzeigt, die Bildsymbole eines jeweiligen Bildes nahe beieinander angeordnet werden.
  5. Umgebungsüberwachungsvorrichtung für eine selbstfahrende Industriemaschine nach Anspruch 4, wobei die Bildzusammensetzungsvorrichtung ein Kamerabild der linken Seite der selbstfahrenden Industriemaschine um 90 Grad in der Richtung im Uhrzeigersinn dreht, während sie ein Kamerabild der rechten Seite um 90 Grad in der Richtung gegen den Uhrzeigersinn dreht.
  6. Umgebungsüberwachungsvorrichtung für eine selbstfahrende Industriemaschine nach Anspruch 3, wobei jeweilige unmittelbare Bilder nebeneinander angezeigt werden, wenn alle unmittelbaren Bilder angezeigt werden, während eine Draufsicht der selbstfahrenden Industriemaschine in der Mitte des Monitors angeordnet wird und jeweilige Vogelperspektivenbilder um die Draufsicht angeordnet werden, wenn alle Vogelperspektivenbilder angezeigt werden.
  7. Umgebungsüberwachungsvorrichtung für eine selbstfahrende Industriemaschine nach Anspruch 3, wobei das Bildsymbol auf dem Monitor während einer vorbestimmte Zeitdauer angegeben wird und das Bildsymbol nach dem Ablauf der festgelegten Zeitdauer verborgen wird.
DE112013000566.2T 2012-01-12 2013-01-10 Umgebungsüberwachungsvorrichtung für selbstangetriebene Industriemaschine Withdrawn DE112013000566T5 (de)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012003982 2012-01-12
JP2012003982 2012-01-12
JPJP2012111198 2012-05-15
JP2012111198 2012-05-15
PCT/JP2013/050295 WO2013105597A1 (ja) 2012-01-12 2013-01-10 自走式産業機械の周囲監視装置

Publications (1)

Publication Number Publication Date
DE112013000566T5 true DE112013000566T5 (de) 2014-11-06

Family

ID=48781541

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112013000566.2T Withdrawn DE112013000566T5 (de) 2012-01-12 2013-01-10 Umgebungsüberwachungsvorrichtung für selbstangetriebene Industriemaschine

Country Status (6)

Country Link
US (1) US20140375814A1 (de)
JP (1) JP6167042B2 (de)
CN (1) CN104041018A (de)
AU (1) AU2013208525A1 (de)
DE (1) DE112013000566T5 (de)
WO (1) WO2013105597A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220305999A1 (en) 2021-03-24 2022-09-29 Deere & Company Intuitive work vehicle vision system for enhanced operator visibility

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013002079A1 (de) * 2013-02-06 2014-08-07 Volvo Construction Equipment Germany GmbH Baumaschine
JP6214976B2 (ja) * 2013-09-11 2017-10-18 住友建機株式会社 建設機械
CN105682446B (zh) * 2013-10-01 2018-06-08 洋马株式会社 联合收割机
JP6148147B2 (ja) * 2013-10-16 2017-06-14 ヤンマー株式会社 コンバイン
JP2015070799A (ja) * 2013-10-01 2015-04-16 ヤンマー株式会社 コンバイン
JP6095592B2 (ja) * 2014-02-17 2017-03-15 日立建機株式会社 油圧ショベルの監視画像表示装置
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
JP6204884B2 (ja) 2014-07-25 2017-09-27 日立建機株式会社 旋回式作業機の周囲表示装置
CN105460785B (zh) * 2014-10-22 2019-03-19 徐州重型机械有限公司 视频监控的控制方法和***、以及起重机
US9667875B2 (en) 2015-01-21 2017-05-30 Caterpillar Inc. Vision system and method of monitoring surroundings of machine
US20180295357A1 (en) * 2015-07-31 2018-10-11 Komatsu Ltd. Display system of working machine and display method of working machine
JP6583883B2 (ja) * 2015-08-21 2019-10-02 キャタピラー エス エー アール エル 作業機械
JP6589468B2 (ja) * 2015-09-01 2019-10-16 株式会社タダノ 移動式クレーンの周囲表示装置
JP2017081238A (ja) 2015-10-23 2017-05-18 株式会社小松製作所 表示システムおよび作業車両
JP7023714B2 (ja) * 2015-12-28 2022-02-22 住友建機株式会社 ショベル
US20190031102A1 (en) * 2016-01-28 2019-01-31 Hon Hai Precision Industry Co., Ltd. Image display system for vehicle use and vehicle equipped with the image display system
JP6713884B2 (ja) * 2016-09-09 2020-06-24 株式会社タダノ 俯瞰画像システム、俯瞰画像表示方法およびプログラム
WO2018084146A1 (ja) * 2016-11-01 2018-05-11 住友建機株式会社 作業機械用周辺監視システム
US10594934B2 (en) * 2016-11-17 2020-03-17 Bendix Commercial Vehicle Systems Llc Vehicle display
JP6612724B2 (ja) * 2016-12-09 2019-11-27 株式会社日立ビルシステム 映像監視システム及び監視映像表示方法
JP6662762B2 (ja) * 2016-12-19 2020-03-11 株式会社クボタ 作業車
JP2019014585A (ja) * 2017-07-07 2019-01-31 株式会社タダノ クレーン車
JP6988206B2 (ja) * 2017-07-07 2022-01-05 株式会社タダノ クレーン車
US10683641B2 (en) * 2018-07-11 2020-06-16 Deere & Company Depth guidance system for a work vehicle
JP7158216B2 (ja) 2018-09-03 2022-10-21 株式会社小松製作所 作業機械のための表示システム
KR20210106409A (ko) * 2018-10-19 2021-08-30 스미토모 겐키 가부시키가이샤 쇼벨
CN109963120B (zh) * 2019-02-26 2020-10-09 北京大视景科技有限公司 一种虚实融合场景中多ptz相机的联合控制***及方法
US10882468B1 (en) * 2019-10-29 2021-01-05 Deere & Company Work vehicle composite panoramic vision systems
US11661722B2 (en) 2020-11-19 2023-05-30 Deere & Company System and method for customized visualization of the surroundings of self-propelled work vehicles
US11590892B2 (en) 2021-07-02 2023-02-28 Deere & Company Work vehicle display systems and methods for generating visually-manipulated context views

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3841493A (en) * 1972-06-05 1974-10-15 J Becker Moment monitoring system for hydraulic-piston type cranes
DE10012525A1 (de) * 2000-03-15 2001-09-20 Still Gmbh Flurförderzeug mit einer Kameraeinrichtung
JP2005333565A (ja) * 2004-05-21 2005-12-02 Auto Network Gijutsu Kenkyusho:Kk 監視装置
JP4780385B2 (ja) * 2005-11-17 2011-09-28 アイシン精機株式会社 周辺監視システム
JP2008312004A (ja) * 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
EP2280547A4 (de) * 2008-05-19 2013-02-13 Panasonic Corp Einrichtung und verfahren zur überwachung der fahrzeugumgebung
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
JP5187179B2 (ja) * 2008-12-16 2013-04-24 三菱自動車工業株式会社 車両周辺監視装置
JP4951639B2 (ja) * 2009-03-02 2012-06-13 日立建機株式会社 周囲監視装置を備えた作業機械
JP2011135253A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
JP5522492B2 (ja) * 2010-06-15 2014-06-18 アイシン精機株式会社 運転支援装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220305999A1 (en) 2021-03-24 2022-09-29 Deere & Company Intuitive work vehicle vision system for enhanced operator visibility
DE102022206814A1 (de) 2021-03-24 2023-08-17 Deere & Company Arbeitsfahrzeugssichtsystem mit kontextabhängigen anwendungssymbolen
US11772562B2 (en) 2021-03-24 2023-10-03 Deere & Company Intuitive work vehicle vision system for enhanced operator visibility
US11993209B2 (en) 2021-03-24 2024-05-28 Deere & Company Work vehicle vision system with contextual task icons

Also Published As

Publication number Publication date
JP6167042B2 (ja) 2017-07-19
CN104041018A (zh) 2014-09-10
WO2013105597A1 (ja) 2013-07-18
JPWO2013105597A1 (ja) 2015-05-11
AU2013208525A1 (en) 2014-08-14
US20140375814A1 (en) 2014-12-25

Similar Documents

Publication Publication Date Title
DE112013000566T5 (de) Umgebungsüberwachungsvorrichtung für selbstangetriebene Industriemaschine
DE112016000115B4 (de) Umgebungsüberwachungsvorrichtung für Arbeitsmaschine
DE112013003703B4 (de) Umgebungsüberwachungsvorrichtung für eine Betriebsmaschine
DE112013002543B4 (de) Displayvorrichtung für Industriemaschine mit Eigenantrieb
DE112016000127T5 (de) Umgebungsüberwachungsvorrichtung für Arbeitsmaschine
DE112013006256T5 (de) Baumaschinen-Anzeigesystem und Verfahren zum Steuern desselben
EP3135822B1 (de) Selbstfahrende baumaschine und verfahren zur anzeige der umgebung einer selbstfahrenden baumaschine
DE112015000292B4 (de) Arbeitsmaschinen-Anzeigesystem, Arbeitsmaschinen-Anzeigevorrichtung und Arbeitsmaschinen-Anzeigeverfahren
DE112013000873T5 (de) Peripherieüberwachungsvorrichtung für Transportfahrzeug
EP2954120B1 (de) Baumaschine mit einer überwachungseinrichtung
DE112004002539T5 (de) Anzeigegerätsteuersystem mit Kamerabereich
DE112013001746T5 (de) Steuerung für Kurvenfahrtoperationen eines Motorgraders
DE112004002542B4 (de) Anzeigesteuersystem für Baumaschine
DE102008037933A1 (de) Maschine mit automatisiertem Schildpositionierungssystem
DE102014009165A1 (de) Fahrbarer Großmanipulator
EP3269579A1 (de) Verfahren zum betreiben eines informationssystems und informationssystem
DE102009025205A1 (de) Anzeige und Verfahren für eine Umgebungsdarstellung eines Kraftfahrzeug-Surround-View-Systems
DE112013003858T5 (de) Überwachungsvorrichtung für Transportfahrzeug
DE112016005345T5 (de) Arbeitsfahrzeug und Anzeige-Steuerungsverfahren
DE102015010009A1 (de) Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
EP2198390A2 (de) Verfahren zum kalibrieren einer anordnung mit mindestens einer omnidirektionalen kamera und einer optischen anzeigeeinheit
DE102020106869A1 (de) Verfahren und system zur bereitstellung einer objekterfassungswarnung
DE112021000258B4 (de) Hydraulikbagger, Arbeitsmaschine und Steuerverfahren einer Arbeitsmaschine
DE102020210650A1 (de) Multi-kamera-sichtsysteme für ein arbeitsfahrzeug
DE112016005181T5 (de) Arbeitsfahrzeug und Verfahren zum Steuern des Arbeitsfahrzeugs

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee