DE102013216764B3

DE102013216764B3 - Refrigeration unit with a camera module

Info

Publication number: DE102013216764B3
Application number: DE102013216764.4A
Authority: DE
Inventors: Stephan Kempfle; Gerhard Wetzl
Original assignee: BSH Bosch und Siemens Hausgeraete GmbH
Current assignee: BSH Hausgeraete GmbH
Priority date: 2013-08-23
Filing date: 2013-08-23
Publication date: 2014-09-04
Anticipated expiration: 2033-08-24
Also published as: EP3036490A1; CN105612397A; WO2015024735A1; US20160201981A1; CN105612397B

Abstract

Die vorliegende Erfindung betrifft ein Kältegerät (100) mit einem beweglich angeordneten Kameramodul (105), das einen Bildsensor (107) mit einer Matrix lichtempfindlicher Elemente umfasst, dadurch gekennzeichnet, dass der Bildsensor (107) orientiert ist, dass ein Erfassen der Aufnahme durch ein spaltenweises Abtasten der lichtempfindlichen Elemente der Matrix senkrecht zur Bewegungsrichtung (109) des Kameramoduls (105) erfolgtThe present invention relates to a refrigeration device (100) with a movably arranged camera module (105), which comprises an image sensor (107) with a matrix of photosensitive elements, characterized in that the image sensor (107) is oriented in such a way that the recording by a column-wise scanning of the light-sensitive elements of the matrix perpendicular to the direction of movement (109) of the camera module (105)

Description

Die vorliegende Erfindung betrifft ein Kältegerät mit einem beweglich angeordneten Kameramodul.The present invention relates to a refrigerator with a movably arranged camera module.

Bei beweglichen, digitalen Kameramodulen entstehen durch die Bewegung Bildfehler, die die Qualität eines aufgenommenen Bildes beinträchtigen.Moving digital camera modules will produce aberrations that affect the quality of a captured image.

Insbesondere tritt beim Fotografieren beweglicher Objekte mit einem zeilen- oder spaltenweise aufnehmenden Kameramodul tritt das Phänomen des sogenannten „Rolling-Shutter-Effektes” auf. Die Belichtung der einzelnen Pixel einer Matrix aus lichtempfindlichen Elementen bei zeilen- oder spaltenweise aufnehmenden Kameramodulen erfolgt zeitlich nacheinander in kurzer Zeit. Durch die resultierende Zeitverzögerung beim Belichten der Pixel einer Zeile oder Spalte nacheinander wird ein bewegtes Objekt in der zu einem Zeitpunkt belichteten Zeile oder Spalte mit seinem momentanen Ort abgebildet. Bei einer zeilen- oder spaltenweise Aufnahme hat sich das sich bewegende Objekt jedoch beim Abtasten einer zur nächsten Zeile schon von einer Position in die nächste Position bewegt, so dass bei Zusammensetzung aller Zeilen oder Spalten ein bewegtes Objekt nicht als Ganzes auf einmal abgebildet werden kann, sondern zeilenweise zu unterschiedlichen Zeitpunkten in unterschiedlichen Positionen. Da es beim Auftreten des Rolling-Shutter-Effektes nur auf die Relativbewegung zwischen dem zu belichtenden Objekt und dem Kameramodul ankommt, tritt dieses Phänomen auch beim Fotografieren eines unbewegten Objektes mit einem bewegten Kameramodul auf.In particular, the phenomenon of the so-called "rolling shutter effect" occurs when photographing moving objects with a line or column-type camera module. The exposure of the individual pixels of a matrix of photosensitive elements with camera modules receiving in rows or columns takes place one after the other in a short time. The resulting time delay in exposing the pixels of a row or column one after another mimics a moving object in the row or column exposed at one time with its current location. In a line or column-wise recording, however, the moving object has already moved from one position to the next position when scanning a line to the next, so that when moving all rows or columns a moving object can not be displayed as a whole in one go, but line by line at different times in different positions. Since the appearance of the rolling shutter effect depends only on the relative movement between the object to be exposed and the camera module, this phenomenon also occurs when photographing a still object with a moving camera module.

Die Patentschrift DE 10 2008 060 034 B4 zeigt eine Lagervorrichtung mit Dokumentationsmöglichkeit der Entnahme von Gegenständen sowie ein entsprechendes Einlagerungs- und Entnahmeverfahren.The patent DE 10 2008 060 034 B4 shows a storage device with documentation of the removal of items and a corresponding storage and removal procedure.

Die Patentschrift DE 10 2004 007 911 B3 zeigt eine Vorrichtung zur digitalen Abtastung von farbigen Bildvorlagen.The patent DE 10 2004 007 911 B3 shows an apparatus for digital scanning of color image templates.

Die Offenlegungsschrift US 2005/0206725 A1 zeigt eine Minibar.The publication US 2005/0206725 A1 shows a minibar.

Es ist die der Erfindung zugrundeliegende Aufgabe, ein Kältegerät mit einem beweglichen Kameramodul anzugeben, bei dem Bildfehler vermieden werden.It is the object underlying the invention to provide a refrigeration device with a movable camera module, are avoided in the image error.

Diese Aufgabe wird durch den Gegenstand mit den Merkmalen nach dem unabhängigen Anspruch gelöst. Vorteilhafte Ausführungsformen der Erfindung sind Gegenstand der Figuren, der Beschreibung und der abhängigen Ansprüche.This object is achieved by the subject matter having the features of the independent claim. Advantageous embodiments of the invention are the subject of the figures, the description and the dependent claims.

Gemäß einem Aspekt der Erfindung wird die Aufgabe durch ein Kältegerät mit einem beweglich angeordneten Kameramodul gelöst, das einen Bildsensor mit einer Matrix lichtempfindlicher Elemente umfasst, wobei der Bildsensor orientiert ist, dass ein Erfassen der Aufnahme durch ein spaltenweises Abtasten der lichtempfindlichen Elemente der Matrix senkrecht zur Bewegungsrichtung des Kameramoduls erfolgt. Die Matrix der lichtempfindlichen Elemente bildet eine m×n-Matrix, bevorzugt eine n×n-Matrix, wobei m und n jeweils natürliche Zahlen sind.According to one aspect of the invention, the object is achieved by a refrigerator having a movably arranged camera module comprising an image sensor with a matrix of photosensitive elements, wherein the image sensor is oriented to detect the image by scanning the photosensitive elements of the matrix in columns perpendicular to the column Direction of movement of the camera module is done. The matrix of photosensitive elements forms an m × n matrix, preferably an n × n matrix, where m and n are each natural numbers.

Die Bewegungsrichtung einer Kältegerätetür beim Schließen derselben zeigt bedingt durch ein Scharnier zwischen der Kältegerätetür und dem Gehäuse des Kältegerätes entlang einer Kreisbahn. Durch ein spaltenweises Abtasten der lichtempfindlichen Elemente der Matrix senkrecht zur Bewegungsrichtung des Kameramoduls entlang der Kreisbahn wird bei der Relativbewegung zwischen Kameramodul und dem Wareninhalt des Kältegerätes die Position des abgelichteten Innenraumes des Kältegerätes in etwa unverändert beigehalten. Der Wareninhalt des Kältegerätes kann hierdurch beim Schließen des Kältegerätes bildlich festgehalten werden, ohne dass dabei das Phänomen des Rolling-Shutter-Effektes sichtbar wird. Die fotografische Aufnahme ist nicht mittels Software nachzubearbeiten. Auch ein Erfassen der Schließgeschwindigkeit der Kältegerätetür ist nicht erforderlich. Bei beispielsweise einem späteren Einkauf kann durch die Bildaufnahme der Wareninhalt des Kältegerätes festgestellt werden. Dadurch wird eine Aufnahme des Wareninhaltes in dem Kältegerät bei bewegtem Kameramodul ermöglicht, ohne dass das Phänomen des Rolling-Shutter-Effektes in der Aufnahme auftritt.The direction of movement of a refrigerator door when closing the same shows due to a hinge between the refrigerator door and the housing of the refrigerator along a circular path. By a column-wise scanning of the photosensitive elements of the matrix perpendicular to the direction of movement of the camera module along the circular path, the position of the scanned interior of the refrigerator is kept approximately unchanged during the relative movement between the camera module and the goods content of the refrigerator. The goods content of the refrigerator can thereby be captured graphically when closing the refrigerator without the phenomenon of the rolling shutter effect is visible. The photographic image is not to be reworked by software. A detection of the closing speed of the refrigerator door is not required. For example, a later purchase can be determined by the image of the goods content of the refrigerator. Thereby, a recording of the goods content in the refrigeration device is made possible with the camera module moved without the phenomenon of the rolling shutter effect occurring in the recording.

Unter einem Kältegerät wird insbesondere ein Haushaltskältegerät verstanden, also ein Kältegerät, das zur Haushaltsführung in Haushalten oder im Gastronomiebereich eingesetzt wird, und insbesondere dazu dient Lebensmittel und/oder Getränke bei bestimmten Temperaturen zu lagern, wie beispielsweise ein Kühlschrank, ein Gefrierschrank, eine Kühlgefrierkombination, eine Gefriertruhe oder ein Weinkühlschrank.A refrigeration appliance is understood in particular to mean a domestic refrigeration appliance, that is to say a refrigeration appliance which is used for household management or in the gastronomy sector, and in particular for storing food and / or drinks at specific temperatures, such as, for example, a refrigerator, a freezer, a refrigerated freezer combination, a freezer or a wine fridge.

In einer vorteilhaften Ausführungsform umfasst das Kameramodul eine Triggereinheit zum Auslösen des Bildsensors durch ein Triggersignal. Die Triggereinheit kann dem Bildsensor ein Triggermodus auferlegen, mit dem die lichtempfindlichen Elemente zu vorbestimmten Zeiten angesteuert werden. Dadurch wird beispielsweise der technische Vorteil erreicht, dass durch ein zeitverzögertes, getriggertes Auslösen des Bildsensors die lichtempfindlichen Elemente zu einer vorbestimmten zeitgleich Zeit belichtet werden können.In an advantageous embodiment, the camera module comprises a trigger unit for triggering the image sensor by a trigger signal. The trigger unit may impose a trigger mode on the image sensor to drive the photosensitive elements at predetermined times. As a result, the technical advantage is achieved, for example, that the light-sensitive elements can be exposed at a predetermined time at the same time by a time-delayed, triggered triggering of the image sensor.

In einer weiteren vorteilhaften Ausführungsform ist das Kameramodul ausgebildet, eine Spalte der lichtempfindlichen Elemente für eine vorgegebene Aufnahmezeit bei Empfang des Triggersignals zu aktivieren. Die Aktivierung der lichtempfindlichen Elemente für eine vorgegebene Aufnahmezeit liegt bevorzugt bei wenigen Sekunden bis wenigen Minuten. Besonders bevorzugt ist eine Aktivierung der lichtempfindlichen Elemente für eine vorgegebene Aufnahmezeit im Zeitbereich von 5 Sekunden bis 3 Minuten vorgesehen. In diesem Zeitbereich befindet sich ein Kältegerät für gewöhnlich für eine Entnahme einer Ware oder für ein Befüllen des Kältegerätes in einem Zustand mit geöffneter Kältegerätetür. Dadurch wird beispielsweise der technische Vorteil erreicht, dass die Belichtung der Waren in dem Innenraum des Kältegerätes unabhängig von der Öffnungsdauer des Kältegerätes erfolgt. In a further advantageous embodiment, the camera module is designed to activate a column of the photosensitive elements for a predetermined recording time upon receipt of the trigger signal. The activation of the photosensitive elements for a given recording time is preferably from a few seconds to a few minutes. Particularly preferred activation of the photosensitive elements for a predetermined recording time in the time range of 5 seconds to 3 minutes is provided. In this time range is a refrigeration device usually for a removal of a product or for filling the refrigerator in a state with open refrigerator door. As a result, for example, the technical advantage is achieved that the exposure of the goods in the interior of the refrigerator is independent of the opening duration of the refrigerator.

In einer vorteilhaften Ausführungsform ist das Kameramodul ausgebildet, eine erste Spalte der lichtempfindlichen Elemente zu einem ersten Zeitpunkt für eine vorgegebene Aufnahmezeit zu aktivieren und eine zweite Spalte der lichtempfindlichen Elemente zu einem zweiten Zeitpunkt für die vorgegebene Aufnahmezeit zu aktivieren. Bevorzugt ist das Kameramodul ausgebildet die n-te Zeile zu einem n-ten Zeitpunkt für eine vorgegebene Aufnahmezeit zu aktivieren. Zu dem n-ten Zeitpunkt sind n Spalten der Matrix lichtempfindlicher Elemente zeitgleich aktiviert. Dadurch wird beispielsweise der technische Vorteil erreicht, dass die fotografische Aufnahme der zu belichtenden Waren in dem Innenraum des Kältegerätes durch mehrere Spalten der lichtempfindlichen Elemente erfassbar ist.In an advantageous embodiment, the camera module is designed to activate a first column of the photosensitive elements at a first time for a predetermined recording time and to activate a second column of the photosensitive elements at a second time for the predetermined recording time. Preferably, the camera module is configured to activate the nth row at an nth time for a predetermined recording time. At the nth time, n columns of the matrix of photosensitive elements are activated at the same time. As a result, the technical advantage is achieved, for example, that the photographic image of the goods to be exposed in the interior of the refrigerator by several columns of the photosensitive elements can be detected.

In einer weiteren vorteilhaften Ausführungsform ist das Kameramodul ausgebildet, die Spalten der lichtempfindlichen Elemente sequenziell mit jeweils einem zeitlichen Versatz für jeweils die vorgegebene Aufnahmezeit zu aktivieren. Das Kameramodul aktiviert nacheinander aufeinander folgende Spalten, so dass für eine weitere vorgegebene Aufnahmezeit alle Spalten der Matrix aktiviert sind und die Aufnahme der zu belichtenden Waren in dem Innenraum des Kältegerätes erfassen. Dadurch wird beispielsweise der technische Vorteil erreicht, dass zur Erfassung der zu belichtenden Waren alle Spalten der lichtempfindlichen Elemente für eine gemeinsame Zeit zur Verfügung stehen.In a further advantageous embodiment, the camera module is designed to activate the columns of the photosensitive elements sequentially, each with a time offset for each of the predetermined recording time. The camera module activates successive columns successively, so that all columns of the matrix are activated for a further predetermined recording time and capture the recording of the goods to be exposed in the interior of the refrigerator. As a result, the technical advantage is achieved, for example, that all columns of photosensitive elements are available for a common time to detect the goods to be exposed.

In einer vorteilhaften Ausführungsform ist das Kameramodul ausgebildet, die Spalten der lichtempfindlichen Elemente vor einer Aktivierung spaltenweise zurückzusetzen. Das Zurücksetzen der lichtempfindlichen Elemente vor einer Aktivierung entspricht einem Sicherstellen, dass keine zuvor erfasste Bildinformation in den lichtempfindlichen Elementen zurückgeblieben ist und einer neu folgenden fotografischen Aufnahme überlagert wird. Dadurch wird beispielsweise der technische Vorteil erreicht, dass eine erfasste fotografische Aufnahme zu einem Zeitpunkt dem tatsächlichen Wareninhalt in dem Kältegerät entspricht.In an advantageous embodiment, the camera module is designed to reset the columns of light-sensitive elements column by column before activation. Resetting the photosensitive elements prior to activation is the same as ensuring that no previously acquired image information has remained in the photosensitive elements and is superimposed on a subsequent photographic photograph. As a result, the technical advantage is achieved, for example, that a captured photographic image at one time corresponds to the actual goods content in the refrigeration appliance.

In einer weiteren vorteilhaften Ausführungsform ist das Kameramodul ausgebildet, die Spalten der lichtempfindlichen Elemente nach einer Aktivierung spaltenweise auszulesen. Durch das spaltenweise Auslesen können die erfassten Bildinformationen in Spalten und Zeilen, insbesondere in Form einer Matrixstruktur, ausgelesen werden. Ein über- oder unterbelichtetes oder defektes lichtempfindliches Element ist hierdurch auffindbar. Dadurch wird beispielsweise der technische Vorteil erreicht, dass die ausgelesenen Bildinformationen den einzelnen lichtempfindlichen Elementen zugeordnet werden können.In a further advantageous embodiment, the camera module is designed to read out the columns of the photosensitive elements in columns after an activation. The column-wise readout allows the acquired image information to be read out in columns and rows, in particular in the form of a matrix structure. An over- or under-exposed or defective photosensitive element can be found hereby. As a result, the technical advantage is achieved, for example, that the read-out image information can be assigned to the individual photosensitive elements.

In einer vorteilhaften Ausführungsform umfasst das Kameramodul eine Verarbeitungseinrichtung zum digitalen verarbeiten der Aufnahme des Bildsensors. Die Verarbeitungseinrichtung fügt die ausgelesenen Spalten zu einer fotografischen Aufnahme zusammen, welche den Wareninhalt in dem Kältegerät beim Schließen desselben wiedergibt. Die Aufnahme des Bildsensors wird auf einem Monitor, der beispielsweise im Außenbereich der Kältegerätetür angeordnet ist, wiedergegeben. Ein Weiterleiten der Aufnahme über Internet oder über ein Mobilfunkgerät an einen Adressaten ist ebenfalls möglich. Dadurch wird beispielsweise der technische Vorteil erreicht, dass eine in situ Aufnahme des Wareninhaltes des Kältegerätes jederzeit von außen oder aus der Ferne für einen Adressaten sichtbar ist.In an advantageous embodiment, the camera module comprises a processing device for processing the digital image of the image sensor. The processing device combines the read-out columns into a photographic image, which reproduces the contents of the goods in the refrigeration device when it is being closed. The image of the image sensor is displayed on a monitor, which is arranged for example in the outer region of the refrigerator door. It is also possible to forward the recording via the Internet or via a mobile device to an addressee. As a result, for example, the technical advantage is achieved that an in situ recording of the goods content of the refrigeration device is visible at any time from the outside or remotely for an addressee.

In einer weiteren vorteilhaften Ausführungsform umfasst das Kameramodul einen Speicher zum digitalen Speichern der Aufnahme. Die zeitlich nacheinander erfassten Aufnahmen können gespeichert werden und den zeitlichen Verbrauch der in dem Kältegerät gelagerten Waren dokumentieren. Dadurch wird beispielsweise der technische Vorteil erreicht, dass eine auf den Verbrauch von Lebensgütern gerichtete Haushaltsführung erleichtert wird.In a further advantageous embodiment, the camera module comprises a memory for digitally storing the recording. The successive recorded images can be stored and document the time consumption of the stored in the refrigerator goods. As a result, for example, the technical advantage is achieved that a directed to the consumption of food budget management is facilitated.

In einer vorteilhaften Ausführungsform umfasst das Kameramodul eine Blitzeinrichtung zum Belichten der Aufnahme. Bei einem zu einer Zeit voll mit Waren beladenden Kältegerät kann die Beleuchtung im Innenraum des Kältegerätes durch die Waren bedeckt sein, dass für eine Belichtung eine zu geringe Lichtenge den Bildsensor erreicht. Die Blitzeinrichtung stellt sicher, dass zur Aufnahme eine ausreichende Lichtmenge gegeben ist. Dadurch wird beispielsweise der technische Vorteil erreicht, dass bei einem Schließen des Kältegerätes eine Aufnahme unabhängig von der Menge des Wareninhaltes durchführbar ist.In an advantageous embodiment, the camera module comprises a flash device for exposing the recording. In one at a time fully laden with goods refrigeration device, the lighting in the interior of the refrigerator may be covered by the goods, that for an exposure to a low amount of light reaches the image sensor. The flash device ensures that a sufficient amount of light is given for recording. As a result, for example, the technical advantage is achieved that when closing the refrigerator, a recording is independent of the amount of goods content feasible.

In einer weiteren vorteilhaften Ausführungsform ist das Kameramodul ausgebildet, die Blitzeinrichtung zu einem Zeitpunkt auszulösen, an dem alle Spalten lichtempfindlicher Elemente aktiviert sind. Die Blitzeinrichtung belichtet alle Spalten mit derselben Lichtmenge, dass vergleichbare Kontraste in den einzelnen Spalten erfasst werden. Dadurch wird beispielsweise der technische Vorteil erreicht, dass die zusammengesetzte Aufnahme von Spalte zu Spalte wenn nur geringe unterschiedliche Kontraste zeigt. In a further advantageous embodiment, the camera module is designed to trigger the flash device at a time at which all columns of photosensitive elements are activated. The flash device illuminates all columns with the same amount of light to detect comparable contrasts in each column. As a result, for example, the technical advantage is achieved that the composite recording from column to column shows only slight differences in contrast.

In einer vorteilhaften Ausführungsform ist das beweglich angeordnete Kameramodul in einer Kältegerätetür angeordnet. Bevorzugt sind mehrere Kameramodule in der Kältegerätetür angeordnet. Beispielsweise ist jedem Kühlfach in dem Kältegerät ein Kameramodul zugeordnet. Durch Anordnung des Kameramoduls in der Kältegerätetür ist das Kameramodul vor von den Waren auslaufenden Flüssigkeiten geschützt. Dadurch wird beispielsweise der technische Vorteil erreicht, dass das Kameramodul Zugriff auf die in dem Kältegerät gelagerten Waren hat und nicht von einzelnen Waren bedeckt werden kann. Zudem wird das Kameramodul vor eindringenden Flüssigkeiten geschützt.In an advantageous embodiment, the movably arranged camera module is arranged in a refrigerator door. Preferably, a plurality of camera modules are arranged in the refrigerator door. For example, each cooling compartment in the refrigerator is assigned a camera module. By arranging the camera module in the refrigerator door, the camera module is protected from leaking liquids from the goods. As a result, for example, the technical advantage is achieved that the camera module has access to the goods stored in the refrigeration device and can not be covered by individual goods. In addition, the camera module is protected from penetrating liquids.

In einer weiteren vorteilhaften Ausführungsform ist das beweglich angeordnete Kameramodul an einer Seite der Kältegerätetür angeordnet, die einer Anschlagsseite der Kältegerätetür gegenüberliegt. Die Kältegerätetür ist an einer Seite über ein Scharnier mit dem Gehäuse des Kältegerätes verbunden. Die dem Scharnier gegenüberliegende Seite des Gehäuses bildet die Anschlagseite aus, an der die dem Innenraum des Kältegerätes zugeneigte Seite der Kältegerätetür beim Schließen des Kältegerätes anliegt. Diese Seite der Kältegerätetür wird im Folgenden mit Innenseite bezeichnet. Das Kameramodul ist bevorzugt in einem Bereich der Innenseite angeordnet, der sich von der Mitte bis zu dem Scharnier gegenüberliegenden äußeren Rand der Kältegerätetür erstreckt. Besonders bevorzugt ist das Kameramodul weiter von der Mitte beabstandet angeordnet als vom äußeren Rand. Die Position der Anordnung des Kameramoduls in der Kältegerätetür bestimmt den Bildbereich für Aufnahmen des Bildsensors in dem Kameramodul. Dadurch wird beispielsweise der technische Vorteil erreicht, dass ein vorbestimmter Bildbereich in dem Innenraum des Kältegerätes von dem Bildsensor erfasst werden kann.In a further advantageous embodiment, the movably arranged camera module is arranged on one side of the refrigerator door, which is opposite a stop side of the refrigerator door. The refrigerator door is connected on one side via a hinge to the housing of the refrigerator. The side of the housing opposite the hinge forms the stop side against which the side of the refrigeration device door, which is inclined towards the interior of the refrigeration device, rests when the refrigeration device is closed. This side of the refrigerator door is hereinafter referred to as inside. The camera module is preferably arranged in an area of the inside, which extends from the middle to the hinge opposite outer edge of the refrigerator door. Particularly preferably, the camera module is arranged further from the center than from the outer edge. The position of the arrangement of the camera module in the refrigerator door determines the image area for taking pictures of the image sensor in the camera module. Thereby, for example, the technical advantage is achieved that a predetermined image area in the interior of the refrigerator can be detected by the image sensor.

In einer vorteilhaften Ausführungsform ist der Bildsensor als ein CMOS-Sensor ausgebildet. CMOS-Sensoren weisen lichtempfindliche Elemente auf, die in einer Matrix angeordnet sind und der Erfassung eines zweidimensionalen Bildes bei geringen Energieumsatz dienen. CMOS-Sensoren werden miniaturisiert hergestellt und können daher als Kameramodul in eine Vorrichtung eingesetzt werden. Dadurch wird beispielsweise der technische Vorteil erreicht, dass ein Kameramodul platzsparend in ein Kältegerät integriert werden kann.In an advantageous embodiment, the image sensor is designed as a CMOS sensor. CMOS sensors have photosensitive elements which are arranged in a matrix and serve to acquire a two-dimensional image with low energy conversion. CMOS sensors are miniaturized and can therefore be used as a camera module in a device. As a result, for example, the technical advantage is achieved that a camera module can be integrated to save space in a refrigeration device.

In einer weiteren vorteilhaften Ausführungsform umfasst der CMOS-Sensor einen Farbfilter. Der Farbfilter weist bevorzugt Filter der Farben Rot, Grün und Blau auf, insbesondere kann der Farbfilter als ein Bayerfilter ausgebildet sein. Der Farbfilter kann zudem auch als ein anderer Farbfilter ausgebildet sein oder beispielsweise weiße Pixel enthalten. Der Farbfilter ermöglicht eine der Wahrnehmung durch das menschliche Auge nachgebildete fotografische Aufnahme. Dadurch wird beispielsweise der technische Vorteil erreicht, dass der Wareninhalt des Kältegerätes in Farbe erfasst werden kann.In a further advantageous embodiment, the CMOS sensor comprises a color filter. The color filter preferably has filters of the colors red, green and blue, in particular the color filter can be designed as a Bayer filter. The color filter can also be designed as another color filter or contain, for example, white pixels. The color filter allows for the perception of the human eye simulated photograph. As a result, for example, the technical advantage is achieved that the goods content of the refrigeration device can be detected in color.

Ausführungsbeispiele der Erfindung sind in der Zeichnung/den Zeichnungen dargestellt und werden im Folgenden näher beschrieben.Embodiments of the invention are illustrated in the drawing / drawings and will be described in more detail below.

Es zeigen:Show it:

1 eine schematische Ansicht eines Kältegerätes; 1 a schematic view of a refrigerator;

2 eine schematische Darstellung von Aufsichten eines Kältegerätes mit geschlossener und geöffneter Kältegerätetür; 2 a schematic representation of plan views of a refrigerator with closed and opened refrigerator door;

3 eine schematische Darstellung einer Aufsicht eines Kältegerätes beim Schließen mit einem in der Kältegerätetür angebrachten Kameramodul; 3 a schematic representation of a top view of a refrigeration device when closing with a mounted in the refrigerator door camera module;

4a die Aufnahme eines Wareninhaltes in dem Kältegerät mit zeilenweiser Erfassung der lichtempfindlichen Elemente; 4a the inclusion of a goods content in the refrigerator with line by line detection of the photosensitive elements;

4b die Aufnahme eines Wareninhaltes in dem Kältegerät mit spaltenweiser Erfassung der lichtempfindlichen Elemente; und 4b the inclusion of a goods content in the refrigerator with column-wise detection of the photosensitive elements; and

5 eine schematische Darstellung der Funktionsweise des Bildsensors in einem Triggermodus mit einem alle lichtempfindlichen Elemente erfassenden Blitz 5 a schematic representation of the operation of the image sensor in a trigger mode with a light-sensitive elements detecting flash

1 zeigt ein Kältegerät 100 mit zwei Kältegerätetüren 111. Die obere Kältegerätetür 111 verschließt den Innenraum eines Kühlfaches (nicht dargestellt) und die untere Kältegerätetür 111 den Innenraum eines Tiefkühlfaches (nicht dargestellt). Die Kältegerätetür 111 grenzt dabei an das Gehäuse 123 des Kältegerätes 100 an. 1 shows a refrigerator 100 with two refrigeration appliance doors 111 , The upper refrigerator door 111 closes the interior of a refrigerator compartment (not shown) and the lower refrigerator door 111 the interior of a freezer compartment (not shown). The refrigerator door 111 it borders on the case 123 of the refrigeration device 100 at.

2 zeigt eine Aufsicht auf das Kältegerät 100 von oben mit geschlossener und geöffneter Kältegerätetür 111. In der Kältegerätetür 111 ist ein Kameramodul 105 angeordnet. Die Bewegungsrichtung 109 beim Schließen der Kältegerätetür 111 zeigt entlang einer Kreisbahn. Die Kältegerätetür 111 ist über ein nicht gezeigtes Scharnier mit dem Gehäuse 123 des Kältegerätes 100 verbunden. Das Kameramodul 105 ist senkrecht zu der Bewegungsrichtung 109 angeordnet. Hierdurch wird der Bildsensor während eines Schließens der Kältegerätetür 111 auf einen Bildbereich 125 gerichtet oder fokussiert, der 3 zu entnehmen ist. 2 shows a view of the refrigerator 100 from above with closed and opened refrigerator door 111 , In the refrigerator door 111 is a camera module 105 arranged. The direction of movement 109 when closing the refrigerator door 111 shows along a circular path. The refrigerator door 111 is via a hinge, not shown, with the housing 123 of the refrigeration device 100 connected. The camera module 105 is perpendicular to the direction of movement 109 arranged. As a result, the image sensor during a closing of the refrigerator door 111 on a picture area 125 directed or focused, the 3 can be seen.

3 zeigt schematisch die Bewegungsrichtung 109 entlang einer Kreisbahn, wobei die Bewegungsrichtung 109 entlang einer x-Achse zeigt. Ein gedachtes x-y-z-Koordinatensystem wird bei einem Schließen der Kältegerätetür entsprechend dem Verlauf der Kreisbahn an seinen x-y Achsen gedreht. Der Bildsensor 107 des Kameramoduls 105 ist senkrecht zu der Bewegungsrichtung 109 angeordnet und zeigt in horizontaler Richtung. In horizontaler Richtung verläuft die y-Achse, während in vertikaler Richtung die z-Achse (nicht eingezeichnet) verläuft. Die Anordnung des Kameramoduls 105 senkrecht zu der Bewegungsrichtung 109 resultiert in einen vom Kameramodul erfassten Bildbereich 125. 3 shows schematically the direction of movement 109 along a circular path, with the direction of movement 109 along an x-axis. An imaginary xyz-coordinate system is rotated at a closing of the refrigerator door according to the course of the circular path on its xy axes. The image sensor 107 of the camera module 105 is perpendicular to the direction of movement 109 arranged and pointing in a horizontal direction. The y-axis runs in the horizontal direction, while the z-axis (not shown) runs in the vertical direction. The arrangement of the camera module 105 perpendicular to the direction of movement 109 results in an image area captured by the camera module 125 ,

4a zeigt eine Aufnahme eines Bechers 127 mit zeilenweiser Erfassung beim Schließen der Kältegerätetür 111 des Kältegerätes 100, wie es in 1 dargestellt ist, während 4b eine Aufnahme mit spaltenweiser Erfassung zeigt. Bei zeilenweiser Erfassung nach 4a tritt das Phänomen des Rolling-Shutter-Effektes auf, während es bei einer spaltenweisen Erfassung nach 4b nicht auftaucht. Eine Softwarebearbeitung der ausgelesenen Spalten ist auf Grundlage der Anordnung des Kameramoduls 105 senkrecht zu der Bewegungsrichtung 109, wie in 2 und 3 dargestellt nicht erforderlich. 4a shows a recording of a mug 127 with line by line detection when closing the refrigerator door 111 of the refrigeration device 100 as it is in 1 is shown while 4b shows a recording with column-wise detection. For line by line detection 4a the phenomenon of the rolling shutter effect occurs, whereas in the case of a column-wise detection, the phenomenon occurs 4b does not show up. Software editing of the columns read out is based on the arrangement of the camera module 105 perpendicular to the direction of movement 109 , as in 2 and 3 not shown required.

5 zeigt schematisch den Verlauf in einem Kameramodul 105 beim Schließen der Kältegerätetür 111. Zu einem ersten Zeitpunkt t1 wird eine Zurücksetzung 130 einer ersten Spalte des Kameramoduls durchgeführt und die Triggereinheit 113 löst ein Triggersignal an dem Bildsensor 107 des Kameramoduls 105 aus. Zu dem ersten Zeitpunkt t1 wird eine erste Spalte des Kameramoduls 105 aktiviert. Zu einem zweiten Zeitpunkt t2 wird eine zweite Spalte des Kameramoduls 105 zurückgesetzt und anschließend aktiviert. Die Zurücksetzung 130 und Aktivierung der Spalten wird fortgeführt bis die n-te Spalte zu einem n-ten Zeitpunkt angesteuert ist. Nach Zurücksetzung und anschließender Aktivierung der n-ten Spalte wird für die Zeit einer Blitzdauer TB ein Blitz 138 von der Blitzeinrichtung 119 ausgelöst. Der Blitz 138 erstreckt sich dabei über n aktivierte, beispielsweise über alle, Spalten. Die Belichtung 132 der Spalten erstreckt sich über eine Belichtungszeit T, welche mit Beginn des Blitzes 138 einsetzt. Die Belichtungszeit T erstreckt sich über eine längere Zeit als die Blitzdauer TB. Nach Beendigung der Blitzdauer TB ist an der ersten Spalte des Kameramoduls 105 ein Ladungstransfer 136 vorgesehen, dem sich ein Auslesen 134 der ersten Spalte anschließt. Zeitlich nacheinander werden an der zweiten Spalte bis zur Ansteuerung der n-ten Spalte ein Ladungstransfer 136 und ein Auslesen 134 der jeweiligen Spalte durchgeführt. Mit Ansteuerung der n-ten Spalte endet die Belichtungszeit T, dass im Anschluss daran, der Ladungstransfer 136 und das Auslesen 134 an der n-ten Spalte durchgeführt wird. 5 schematically shows the course in a camera module 105 when closing the refrigerator door 111 , At a first time t1, a reset occurs 130 a first column of the camera module performed and the trigger unit 113 triggers a trigger signal on the image sensor 107 of the camera module 105 out. At the first time t1 becomes a first column of the camera module 105 activated. At a second time t2, a second column of the camera module 105 reset and then activated. The reset 130 and activation of the columns is continued until the nth column is driven at an nth time. After resetting and then activating the nth column, TB becomes a flash for the duration of a flash duration 138 from the flash device 119 triggered. The Lightning 138 extends over n activated, for example, over all, columns. The exposure 132 The column extends over an exposure time T, which begins with the flash 138 starts. The exposure time T extends over a longer time than the flash duration TB. After completion of the flash duration TB is at the first column of the camera module 105 a charge transfer 136 provided for reading out 134 the first column connects. Temporally one after the other, a charge transfer takes place at the second column up to the control of the n-th column 136 and a readout 134 carried out the respective column. When the nth column is driven, the exposure time T ends, followed by the charge transfer 136 and reading out 134 is performed on the nth column.

Alle in Verbindung mit einzelnen Ausführungsformen der Erfindung erläuterten und gezeigten Merkmale können in unterschiedlicher Kombination in dem erfindungsgemäßen Gegenstand vorgesehen sein, um gleichzeitig deren vorteilhafte Wirkungen zu realisieren.All of the features explained and shown in connection with individual embodiments of the invention may be provided in different combinations in the article according to the invention in order to simultaneously realize their advantageous effects.

Der Schutzbereich der vorliegenden Erfindung ist durch die Ansprüche gegeben und wird durch die in der Beschreibung erläuterten oder den Figuren gezeigten Merkmale nicht beschränkt.The scope of the present invention is given by the claims and is not limited by the features illustrated in the specification or shown in the figures.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

100100: KältegerätThe refrigerator
107107: Bildsensorimage sensor
105105: Kameramodulcamera module
109109: Bewegungsrichtungmovement direction
111111: KältegerätetürRefrigerator door
113113: Triggereinheittrigger unit
115115: Verarbeitungseinrichtungprocessing device
119119: Blitzeinrichtungflash device
120120: Anschlagsseitestop side
125125: Bildbereichimage area
127127: Bechercups
129129: Ausleseeinheitreadout unit
130130: ZurücksetzenReset to default
132132: Belichtungexposure
134134: Auslesenselect
136136: Ladungstransfercharge transfer
138138: Blitzlightning
TT: Aufnahmezeitrecording time
t1t1: erster Zeitpunktfirst time
t2t2: zweiter Zeitpunktsecond time
TBTB: Blitzdauerflash duration

Claims

Kältegerät (100) mit einem beweglich angeordneten Kameramodul (105), das einen Bildsensor (107) mit einer Matrix lichtempfindlicher Elemente umfasst, dadurch gekennzeichnet, dass das beweglich angeordnete Kameramodul (105) in einer Kältegerätetür (111) angeordnet ist, wobei die Kältegerätetür (111) über ein Scharnier mit einem Gehäuse (123) des Kältegeräts (100) verbunden ist, so dass eine Bewegungsrichtung beim Schließen der Kältegerätetür (111) entlang einer Kreisbahn zeigt, wobei der Bildsensor (107) derart orientiert ist, dass er während des Schließens der Kältegerätetür (111) senkrecht zur Bewegungsrichtung zeigt, um einen Bildbereich (125) zu erfassen, wobei eine Aufnahme durch ein spaltenweises Auslesen der lichtempfindlichen Elemente der Matrix senkrecht zur Bewegungsrichtung (109) des Kameramoduls (105) erfolgt.Refrigeration appliance ( 100 ) with a movably arranged camera module ( 105 ), which has an image sensor ( 107 ) comprising a matrix of photosensitive elements, characterized in that the movably arranged camera module ( 105 ) in a refrigerator door ( 111 ), wherein the refrigerator door ( 111 ) via a hinge with a housing ( 123 ) of the refrigeration device ( 100 ), so that a direction of movement when closing the refrigerator door ( 111 ) along a circular path, wherein the image sensor ( 107 ) is oriented such that during closing of the refrigerator door ( 111 ) perpendicular to the direction of motion to a picture area ( 125 ), wherein a recording by a column-wise reading of the photosensitive elements of the matrix perpendicular to the direction of movement ( 109 ) of the camera module ( 105 ) he follows.

Kältegerät (100) nach Anspruch 1, dadurch gekennzeichnet, dass das Kameramodul (105) eine Triggereinheit (113) zum Auslösen des Bildsensors (107) durch ein Triggersignal umfasst.Refrigeration appliance ( 100 ) according to claim 1, characterized in that the camera module ( 105 ) a trigger unit ( 113 ) for triggering the image sensor ( 107 ) by a trigger signal.

Kältegerät (100) nach Anspruch 2, dadurch gekennzeichnet, dass das Kameramodul (105) ausgebildet ist, eine Spalte der lichtempfindlichen Elemente für eine vorgegebene Aufnahmezeit (T) bei Empfang des Triggersignals zu aktivieren.Refrigeration appliance ( 100 ) according to claim 2, characterized in that the camera module ( 105 ) is adapted to activate a column of the photosensitive elements for a predetermined recording time (T) upon receipt of the trigger signal.

Kältegerät (100) nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass das Kameramodul (105) ausgebildet ist, eine erste Spalte der lichtempfindlichen Elemente zu einem ersten Zeitpunkt (t1) für eine vorgegebene Aufnahmezeit (T) zu aktivieren und eine zweite Spalte der lichtempfindlichen Elemente zu einem zweiten Zeitpunkt (t2) für die vorgegebene Aufnahmezeit (T) zu aktivieren.Refrigeration appliance ( 100 ) according to one of claims 2 or 3, characterized in that the camera module ( 105 ) is configured to activate a first column of the photosensitive elements at a first time (t1) for a predetermined recording time (T) and to activate a second column of the photosensitive elements at a second time (t2) for the predetermined recording time (T).

Kältegerät (100) nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass das Kameramodul (105) ausgebildet ist, die Spalten der lichtempfindlichen Elemente sequenziell mit jeweils einem zeitlichen Versatz für jeweils die vorgegebene Aufnahmezeit (T) zu aktivieren.Refrigeration appliance ( 100 ) according to one of claims 2 to 4, characterized in that the camera module ( 105 ) is configured to activate the columns of the photosensitive elements sequentially, each with a time offset for each of the predetermined recording time (T).

Kältegerät nach einem der vorangegangenen Ansprüchen, dadurch gekennzeichnet, dass das Kameramodul (105) ausgebildet ist, die Spalten der lichtempfindlichen Elemente vor einer Aktivierung spaltenweise zurückzusetzen.Refrigerating appliance according to one of the preceding claims, characterized in that the camera module ( 105 ) is configured to reset the columns of the photosensitive elements before activation column by column.

Kältegerät nach einem der vorangegangenen Ansprüchen, dadurch gekennzeichnet, dass das Kameramodul (105) ausgebildet ist, die Spalten der lichtempfindlichen Elemente nach einer Aktivierung spaltenweise auszulesen.Refrigerating appliance according to one of the preceding claims, characterized in that the camera module ( 105 ) is designed to read the columns of the photosensitive elements column after column after activation.

Kältegerät nach einem der vorangegangenen Ansprüchen, dadurch gekennzeichnet, dass das Kameramodul (105) eine Verarbeitungseinrichtung (115) zum digitalen verarbeiten der Aufnahme des Bildsensors (107) umfasst.Refrigerating appliance according to one of the preceding claims, characterized in that the camera module ( 105 ) a processing device ( 115 ) for digitally processing the image sensor's image ( 107 ).

Kältegerät nach einem der vorangegangenen Ansprüchen, dadurch gekennzeichnet, dass das Kameramodul (105) einen Speicher zum digitalen Speichern der Aufnahme umfasst.Refrigerating appliance according to one of the preceding claims, characterized in that the camera module ( 105 ) comprises a memory for digitally storing the recording.

Kältegerät (100) nach einem der vorangegangenen Ansprüchen, dadurch gekennzeichnet, dass das Kameramodul (105) eine Blitzeinrichtung (119) zum Belichten der Aufnahme umfasst.Refrigeration appliance ( 100 ) according to one of the preceding claims, characterized in that the camera module ( 105 ) a flash device ( 119 ) for exposing the recording.

Kältegerät (100) nach einem der vorangegangenen Ansprüchen, dadurch gekennzeichnet, dass das Kameramodul (105) ausgebildet ist, die Blitzeinrichtung (119) zu einem Zeitpunkt auszulösen, an dem alle Spalten lichtempfindlicher Elemente aktiviert sind.Refrigeration appliance ( 100 ) according to one of the preceding claims, characterized in that the camera module ( 105 ), the flash device ( 119 ) at a time when all columns of photosensitive elements are activated.

Kältegerät (100) nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das beweglich angeordnete Kameramodul (105) an einer Seite der Kältegerätetür (111) angeordnet ist, die einer Anschlagsseite (120) der Kältegerätetür (111) gegenüberliegt.Refrigeration appliance ( 100 ) according to one of the preceding claims, characterized in that the movably arranged camera module ( 105 ) on one side of the refrigerator door ( 111 ) is arranged, which a stop side ( 120 ) of the refrigerator door ( 111 ) is opposite.

Kältegerät (100) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Bildsensor (107) als ein CMOS-Sensor ausgebildet ist.Refrigeration appliance ( 100 ) according to one of the preceding claims, characterized in that the image sensor ( 107 ) is formed as a CMOS sensor.

Kältegerät (100) nach Anspruch 13, dadurch gekennzeichnet, dass der CMOS-Sensor einen Farbfilter umfasst.Refrigeration appliance ( 100 ) according to claim 13, characterized in that the CMOS sensor comprises a color filter.