DE69938173T2

DE69938173T2 - Automatische voreingestellte teilnehmerpositionsbestimmung für videokonferenzsysteme

Info

Publication number: DE69938173T2
Application number: DE69938173T
Authority: DE
Inventors: Eric Cohen-Solal; Adrian P. Martel; Soumitra Sengupta; Hugo Strubbe; Jorge Caviedes; Mohamed Abdel-Mottaleb; Ahmed Elgammal
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1998-12-22
Filing date: 1999-12-14
Publication date: 2009-02-19
Anticipated expiration: 2019-12-15
Also published as: WO2000038414A1; JP2002534009A; KR20010041177A; EP1057326B1; CN1298601A; DE69938173D1; KR100699704B1; EP1057326A1; CN1156151C; ES2301256T3; US7057636B1

Description

Die vorliegende Erfindung bezieht sich auf den Bereich der Videokonferenztechnologie und insbesondere auf ein Verfahren zur automatischen Ermittlung der geeigneten Pan-, Tilt- und Zoomparameter einer Kamera, die mit gewünschten Bilder von Teilnehmern in einer Videokonferenzaufstellung übereinstimmen.
Während einer Videokonferenz ist es notwendig, die richtigen Kameraparameter für jeden Teilnehmer zu kennen, so dass das Bild der Kamera schnell von dem einen auf den anderen Teilnehmer ändern kann. Diese Parameter umfassen die richtige Zoom-, Pan- und Tiltbewegung der Kamera und werden kollektiv als die "Kameraparameter" bezeichnet, und wobei die Werte dieser mit jedem Teilnehmer assoziierten Parameter als Voreinstellungen "Presets" bezeichnet werden. Während die Konferenz "läuft" sollen die Teilnehmer die Möglichkeit erhalten, verschiedene Teilnehmer schnell zu beobachten; oft um kurzer Zeit von dem einen Teilnehmer auf den anderen wechseln.
Bekannte Anordnungen erfordern, dass ein Benutzer die Kameraparameter für jeden sich an der Konferenz beteiligenden Teilnehmer manuell einstellt. Jede Kamera, die im gebrauch ist, wird auf einen Teilnehmer fokussiert und es wird ein Voreinstellschalter betätigt. Wenn es beispielsweise drei Personen in der Konferenz gibt, wird der Schalter 1 benutzt, die geeigneten Kameraparameter für den Teilnehmer 1 darzustellen; der Schalter 2 für den Teilnehmer 2 und der Schalter 3 für den Teilnehmer 3. Wenn ein Benutzer wünscht, das Bild von Teilnehmer 1 zu Teilnehmer 2 zu wechseln, braucht er nur den Schalter 2 zu betätigen und die Kamera wird dementsprechend verlagert und fokussiert. Das Einstellen der Kamera aber für jeden Teilnehmer ist oft eine mühsame Angelegenheit, die von dem Kameramann oder dem Benutzer viel Zeit beansprucht. Außerdem müssen jeweils wenn ein Teilnehmer den Raum verlässt oder in denselben eintritt, die Voreinstellungen dementsprechend neu eingestellt werden. Wenn ein Teilnehmer lediglich seinen ursprünglichen Platz verlässt, gelten die ursprünglichen Voreinstellungen nicht mehr. Dies ist deutlich ein Problem, wenn ein Teilnehmer innerhalb des Raumes den einen Platz gegen den anderen wechselt. Wenn aber der Teilnehmer auf seinem Stuhl seine Lage ändert (vorwärts, rückwärts oder zur Seite lehnt usw.) können die Parameter sich ändern und es kann sein, dass dieser Teilnehmer nicht länger fokussiert ist, in der Mitte der Kamerasicht, oder in der gewünschten Größe in Bezug auf die Kamerasicht.
In US Patent 5.598.209 kann ein Benutzer auf einen Gegenstand oder eine Person richten, den bzw. die er beobachten möchte und das System speichert automatisch die Pan- und Tilt-Parameter der Kamera in Bezug auf die Mitte dieses Gegenstandes. Alle Gegenstände oder Personen in dem Raum sollen bestätigend selektiert und gespeichert werden, und zwar unter Steuerung eines Benutzers, was an sich wieder zeitaufwendig ist. Es gibt auch keine Möglichkeit, die Parameter zu aktualisieren, wenn ein Teilnehmer den Raum verlässt oder in denselben eintritt.
Die Fähigkeit automatisch Voreinstellpositionen vorher einzustellen, ist auch nützlich in einem Kongresslayout. Im Allgemeinen basieren in diesen Typen von Räumen die Kameravoreinstellungen auf die Mikrophone, die für jedes Individuum verwendet werden. Wenn ein Teilnehmer sein Mikrophon einschaltet, werden die Kameravoreinstellungen, die sich auf die Position dieses Mikrophons beziehen, verwendet. Dies ist problematisch, weil, wenn das Mikrophon nicht funktioniert, oder wenn ein bestimmtes Mikrophon von einem anderen Redner verwendet wird, die geeignete Korrelation zwischen Redner und Kamerasicht nicht auftreten würde.
Deswegen gibt es ein Bedürfnis nach einem Videokonferenzsystem, das automatisch die geeigneten Kameraparameter für alle Teilnehmer ermittelt und das auch sich selbst einstellen kann, wenn Teilnehmer den Raum verlassen oder in denselben eintreten. Dies Ziel einer Videokonferenz ist eine effektive Kommunikation und Konversation. Wenn ein Benutzer ständig das System nachregeln muss um Voreinstellungsparameter zu initialisieren oder zu aktualisieren, geht es am Ziel vorbei. Die Konversationsdynamik zwischen den Endverbrauchern ist anders als die bei einer Produktion (wie in einer Fernsehshow). Um diese Dynamik zu ermöglichen ist es erwünscht, möglichst viel von dem System zu automatisieren, ohne dass man zu einem statischen ausgezoomten Bild flüchtet, was zu einer wenig sinnvollen Kommunikation führen würde.
Ein Aspekt der vorliegenden Erfindung ist ein Verfahren zum berechnen von Voreinstellungen von Kameraparametern entsprechend Teilnehmern in einem Videokonferenzsystem. Das Verfahren umfasst das Schaffen von Tilt-, Pan- und Zoomparametern, und das Definieren eines Raumes auf Basis eines Layouts des Videokonferenzsystems. Das Verfahren umfasst weiterhin das Durchführen eines der nachfolgenden Vorgänge: das Bewegen der Kamera durch alle entsprechenden Schwenkwerte, entsprechenden Schwenkwerte, die durch den Raum definiert sind, in dem das Videokonferenzsystem sich befindet, und das Auszoomen der Kamera, so dass alle möglichen Teilnehmer von der Kamera gesehen werden können und so dass eine Stelle jedes Teilnehmers in dem Raum ermittelt werden kann. Das Verfahren schafft weiterhin das Detektieren von Teilnehmern innerhalb des Raums und das Berechnen der Voreinstellungen, die mit den Teilnehmern übereinstimmen, der Voreinstellungen, die eine Kamerasicht definieren, der Voreinstellungen, die auf wenigstens einer optimalen Position der Teilnehmer in der Kamerasicht basieren, einer Ausrichtung der Mitte des Kopfes der Teilnehmer mit einer Mitte der Kamerasicht, und einer Ausrichtung der Mitte eines Teilnehmers mit der Mitte der Kamerasicht.
Dieser Aspekt ermöglicht, ebenso wie die nachfolgenden Aspekte, eine automatische Detektion und Aktualisierung von Kameraparametern, die mit Teilnehmern an einer Videokonferenz übereinstimmen.
Nach einem anderen Aspekt der vorliegenden Erfindung umfasst ein Videokonferenzsystem wenigstens eine Kamera mit Pan-, Tilt- und Zoomparametern. Die Parameter haben Voreinstellwerte, die entsprechenden Teilnehmern des Videokonferenzsystems zugeordnet sind. Jede der Voreinstellungen definieren eine Kamerasicht und werden bestimmt durch: das Pannen oder Zoomen der Kamera durch einen Raum, definiert durch das Videokonferenzsystem, das Detektieren eines Teilnehmers und das Definieren einer Voreinstellung auf Basis einer Kameraposition, die den Teilnehmer in eine optimale Position bringen wird, und zwar eine Position, in der der Kopf eines Teilnehmers gegenüber der Mitte der Kamerasicht ausgerichtet ist, und einer Position, in der die Mitte des Teilnehmers gegenüber der Mitte der Kamerasicht ausgerichtet ist.
Nach noch einem anderen Aspekt der vorliegenden Erfindung umfasst ein Videokonferenzsystem wenigstens eine Kamera mit Pan-, Tilt- und Zoomparametern. Die Parameter haben vorher eingestellte Wert, die entsprechenden Teilnehmern des Videokonferenzsystems zugeordnet sind; wobei die Voreinstellungen eine Kamerasicht definieren. Das System umfasst weiterhin wenigstens eines der nachfolgenden Mittel: Panmittel zum Pannen der Kamera durch einen durch das Videokonferenzsystem definierten Raum und Zoommittel zum Auszoomen der Kamera um dadurch zu ermöglichen, dass die Kamera den durch das Videokonferenzsystem definierten Raum sieht. Ein Detektionsmittel wird verwendet um Teilnehmer in dem Raum zu detektieren. Eine Ermittlungsmittel wird verwendet um Voreinstellungen der Kamera auf Basis einer Kameraposition zu ermitteln, die einen der Teilnehmer in eine optimale Position bringt, eine Position, worin der Kopf des Teilnehmers gegenüber der Mitte der genannten Kamerasicht ausgerichtet ist, oder eine Position, worin die Mitte des Teilnehmers gegenüber der Mitte der Kamerasicht ausgerichtet ist.
Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung, ein Videokonferenzsystem und ein Verfahren zu schaffen, das automatisch die Voreinstellungen für Kameraparameter in Bezug auf die richtigen Bilder von Teilnehmern ermittelt.
Es ist eine weitere Aufgabe der vorliegenden Erfindung, ein Videokonferenzsystem und ein Verfahren zu schaffen, das ständig die Kameravoreinstellungen entsprechend Änderungen in der Anzahl und Lage der Teilnehmer aktualisieren kann.
Ausführungsbeispiele der vorliegenden Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
1A, 1B und 1C je eine schematische Darstellung eines Raum-, Kongress- bzw. Tischlayouts eines Videokonferenzsystems nach der vorliegenden Erfindung,
2A, 2B, 2C je eine schematische Darstellung eines Teilnehmers, der in das Gesichtsfeld der Kamera kommt, wenn die Kamera durch einen Raum bei einem Videokonferenzsystem nach der vorliegenden Erfindung schwenkt,
3 ein schaubildliches Modell einer in der Erfindung verwendeten Kamera,
4 eine Darstellung von Teilnehmern an einer Videokonferenz, wobei betreffende einstweilige Voreinstellungen angegeben sind,
5 eine Darstellung der Mitte eines Teilnehmers, versetzt gegenüber der Mitte der Kamerasicht dieses Teilnehmers,
6 eine Darstellung von Teilnehmern an einer Videokonferenz, wobei die betreffenden aktualisierten Voreinstellungen angegeben sind,
7 eine Darstellung einer alternativen Ausführungsform der vorliegenden Erfindung, wobei zwei Kameras verwendet werden,
8 eine Darstellung eines zylinderförmigen Koordinatensystems, verwendet zur graphischen Darstellung von Farben von Pixeln in Bilder,
9 drei Graphiken, die Projektionen der YUV Farbdomäne darstellen, welche die Gebiete angeben, in denen hautfarbene Pixel liegen,
10A–10F ursprüngliche Bilder und betreffende binäre Bilder, wobei die binären Bilder durch Segregation von Pixeln auf Basis der Farbe gebildet werden,
11 eine Darstellung, die zeigt, wie eine 3 × 3 Maske als Teil der Leuchtdichtevariationsdetektion nach der vorliegenden Erfindung verwendet wird,
12A und 12B eine Darstellung, die eine Konnektivität vom Typ 4 bzw. 8 zeigen,
13A und 13B Bilder, die zeigen, wie das Bild nach 3C und 3E aussehen würde, nachdem die Ränder nach der vorliegenden Erfindung entfernt worden sind,
14 ein Bild, das Beispiele von Begrenzungsboxen zeigt, angewandt auf das Bild nach 3F,
15 eine Folge von Darstellungen, die zeigen, wie Teile eines Bildes durch Scheitelpunkte dargestellt werden und verbunden werden zum Bilden einer Graphik nach der vorliegenden Erfindung,
16A–16D eine Folge von Bildern, welche die Anwendung einer Heuristik nach der vorliegenden Erfindung zeigen,
17 ein Flussdiagramm, das die allgemeinen Schritte bei der Gesichtsdetektion zeigen.
In 1A ist ein Videokonferenzsystem dargestellt, bei dem die Teilnehmer an einem Tisch sitzen. 1B zeigt die Teilnehmer in einer Kongress-Anordnung. Eine Kamera 50 wird durch einen Controller 52 gesteuert um von der einen Seite des Raumes zu der anderen zu schwenken. Die Schwenkbewegung kann an derselben Stelle anfangen und enden. Wie beispielsweise in 1C dargestellt, könnte die Kamera 50 mitten in dem Raum aufgestellt sein, wobei die Teilnehmer alle um die Kamera sitzen. In dieser Situation würde die Kamera 50 komplett in einem Kreis drehen, um über den ganzen Raum zu schwenken. In der in 1B dargestellten Kongress-Anordnung könnte die Kamera 50 viele Schwenkstrecken machen um die jeweiligen Reihen zu decken. Jede dieser Strecken hätte dann einen anderen Tiltwinkel und wahrscheinlich einen anderen Zoom (obschon der Zoom der gleiche sein kann, wenn Teilnehmer unmittelbar übereinander in nahezu dem gleichen radialen Abstand von der Kamera sitzen). Auch hier könnte in der Kongress-Anordnung die Kamera 50 in der Mitte des Raumes aufgestellt sein und dann kann die Schwenkbewegung eine komplette Drehung erfordern, wie in 1C dargestellt.
Der Einfachheit halber wird die in 1A dargestellte Anordnung nun weiter beschrieben, obschon es einleuchten dürfte, dass dieselben Ideen für alle anderen genannten Anordnungen gelten und dass auch andere Anordnungen dem Fachmann einleuch ten dürften. Die vorliegende Erfindung wirkt in jedem Raum, definiert durch die Einstellbarkeit des Videokonferenzsystems. Es sind nur drei Teilnehmer (Part A, Part B, Part C) dargestellt, aber es können mehrere Teilnehmer beteiligt sein.
Eine Kamera 50 schwenkt von der einen Seite des Raums zu der anderen Seite, wobei Teilnehmer in das Gesichtsfeld der Kamera erscheinen und durch dasselbe hindurch gehen. Wie in den 2A–2C dargestellt, erscheint ein Teilnehmer in verschiedenen Teilen der Kamerasicht, und zwar abhängig von der Schwenkposition der Kamera. Wie auch aus der Figur erkannt werden kann, ist für drei verschiedene Schwenkpositionen )P1, P2, P3) die Tilt- (T) und die Zoombewegung (Z) die gleiche. Es ist ebenfalls möglich, dass während der anfänglichen Abtastung durch die Kamera einer der anderen Parameter (d. h. Tilt oder Zoom) durch einen betreffenden Bereich verlagert wird, während die restlichen zwei Parameter konstant bleiben. Eine andere Möglichkeit ist, wenn die Kamera 50 den Zoomparameter derart eingestellt hat, dass der ganze Raum mit einem Male gesehen werden kann (wobei vorausgesetzt wird, dass genügend Information gesammelt werden kann um die Position unbeweglicher Teilnehmer ermitteln zu können, wie nachstehend noch deutlich erläutert wird). Auch hier wird der Einfachheit halber die Schwenkidee der Kamera beschrieben, aber es dürfte einleuchten, dass die anderen Vorschläge mit entsprechenden Änderungen implementiert werden könnten, was dem Fachmann einleuchten dürfte.
Während der anfänglichen Schwenkung wird jedes Frame, das die Kamera verarbeitet, analysiert um zu ermitteln, ob ein Teilnehmer sich in dem Frame befindet. Ein Verfahren um dies zu ermitteln wird nachstehend in dem Teilnehmerdetektionsteil detailliert beschrieben. Mit anderen Worten, andere Verfahren könnten implementiert werden. Für jeden Teilnehmer, der detektiert wird, wird eine schwenkende Kamera eine Vielzahl von Frames detektieren, die diesen Teilnehmer enthalten. Wenn beispielsweise eine Kamera Tausend Frames für einen Raum verarbeitet, könnte dies als Tausend Teilnehmer interpretiert werden, wenn ein Teilnehmer in jedem Frame sichtbar ist.
Um dieses Problem der Multiplikation der wirklichen Anzahl Teilnehmer zu vermeiden, wird jeder Teilnehmer mit einem Kennzeichen versehen. Der Massenmittelpunkt für jeden detektierten Teilnehmer wird für jedes verarbeitete Frame berechnet. Danach wird ein zweites, nachfolgendes Frame mit etwaigen Teilnehmern mit dem vorhergehenden, ersten Frame verglichen um zu sehen, ob die Kamera einen neuen Teilnehmer sieht oder nur ein anderes Frame, das denselben Teilnehmer enthält. Ein Verfahren zum Effektuieren dieses Vergleichs ist das Durchführen eines Extrapolation auf Basis der ersten Mitte und dem Betrag, um den die Kamera aus der ersten Position sich verlagert hat. Dies würde nahezu erzielen, wo die Mitte sein sollte, wenn das zweite Frame denselben Teilnehmer wie das erste Frame enthält. Auf gleiche Weise könnte der Massenmittelpunkt des zweiten Frames berechnet und danach mit dem ersten Mittelpunkt verglichen werden, zusammen mit der bekannten Bewegung der Kamera zwischen der Position, wo das erste Frame genommen wurde und der Position, wo das zweite Frame genommen wurde. Auf alternative Art und Weise könne eine Signatur für jeden detektierten Teilnehmer geschaffen werden und danach könnten die Signaturen der Teilnehmer in aufeinander folgenden Frames mit der anfänglichen Signatur verglichen werden. Signaturen sind in dem betreffenden technischen Bereich bekannt. Einige Beispiele von Signaturtechniken werden nachstehend in dem Teilnehmeridentifikations- und Positionsaktualisierungsteil näher beschrieben. Wenn einmal bestimmt worden ist, dass das Bild des Teilnehmers in einem Frame liegt, können einstweilige Voreinstellungen berechnet werden.
In 3 ist ein schaubildliches Modell einer Kamera dargestellt. Ein Sensor 56 der Kamera hat einen Hauptpunkt (PP) mit einer x und einer y Koordinate PPx bzw. PPy. Eine Linse 58 hat eine Mittel, die auf einer Brennweite f von dem Hauptpunkt PP liegt. Eine Änderung in dem Zoom der Kamera wird durch eine Änderung der Brennweite f effektuiert. Eine kürzere f bedeutet ein breites Bild ("Auszoomen"). Eine Änderung in dem Schwenkparameter ist im Endeffekt eine Drehung des Sensors um die Schwenkachse. Eine Änderung in dem Tiltparameter ist eine Drehung des Sensors um die Tiltachse.
Wenn ein Gegenstand oder ein Teilnehmer 62 in das Gesichtsfeld der Kamera gelangt, kann die Stelle dieses Teilnehmers in dem Raum ermittelt werden, und zwar unter Anwendung herkömmlicher Verfahren, wenn zwei Frames mit diesem Teilnehmer verfügbar sind. Dies ist weil die Stelle des Hauptpunktes PP (nun bei 60 dargestellt) und der Brennpunkt f bekannt sind. Wenn die Kamera 50 durch einen Raum schwenkt, erfasst sie viele Frames mit Teilnehmern und auf diese Weise kann die Stelle jedes Teilnehmers in dem Raum ermittelt werden. Wenn die Kamera statt einer Schwenkbewegung eine Zoombewegung macht, sind zwei einzelne Messungen erforderlich um die Stelle zu ermitteln. Wenn die Stelle eines Teilnehmers einmal bekannt ist, kann die einstweilige Voreinstellung durch einen Prozessor 54 berechnet werden (1A–1C).
Um die einstweilige Voreinstellung zu berechnen wird die Mitte des Teilnehmers ermittelt, wie oben die Kennzeichnung des Teilnehmers, wobei bekannte Techniken angewandt werden. So kann beispielsweise der Mittelwert des Umfangs des Teilnehmers und dessen Massenmittelpunktes berechnet werden. Der Mittelpunkt wird danach in die Mitte der Kamerasicht gestellt um beispielsweise die Voreinstellungen Psa, Tsa und Zsa für den Teil Part_A in 1 zu erzeugen. Diese Schwenk- und Voreinstellungsberechnungsprozesse werden für alle Teilnehmer in dem Raum wiederholt und folglich wird auch ermittelt, wie viele Teilnehmer anfangs in dem Raum anwesend sind. Dies alles wird während des Einleitungsteils der Konferenz durchgeführt und kann später während einer Aktualisierungsroutine wiederholt werden, wie nachstehend noch näher beschrieben wird.
Wenn alle Teilnehmer in dem Raum einmal mit einen Kennzeichen versehen sind und alle einstweiligen Parameter berechnet worden sind, wie in 4 dargestellt, führt die Kamera 50 eine zweite Schwenkbewegung (oder eine Auszoombewegung) durch den Raum durch. Jedes vorher eingestelltes Bild wird weiter verfeinert, weil die in der anfänglichen Schwenkphase durchgeführte Kalibrierung im Allgemeinen nicht genau genug ist.
Wie in 5 dargestellt, wird die Mitte des Kamerabildes mit der Mitte des Kopfes jedes betreffenden Teilnehmers verglichen. Die Parameter werden derart eingestellt, dass in dem Kamerabild die Mitten ausgerichtet sind. Wenn die Voreinstellung verfeinert wird, wird die Voreinstellung, die einem "optimalen" Bild jedes Teilnehmers entspricht, berechnet. Dies kann anders sein, und zwar abhängig von den gesellschaftlichen Kulturen. So kann beispielsweise der Kopf und der Rumpf eines Teilnehmers 30-6-% des ganzen Frames beaufschlagen – wie in den nachrichten in den Vereinigten Staaten. Das optimale Bild erzeugt aktualisierte Voreinstellungen Psn', Tsn' und Zsn', wie in 6 dargestellt. Diese Werte werden ständig aktualisiert, und zwar abhängig davon, wie das System strukturiert ist und wie die Aktualisierungen durchgeführt werden sollen, wie nachstehend noch näher erläutert wird. Wenn eine Kamera einen einzigen Teilnehmer sieht und dieser Teilnehmer verlagert sich, müsste die neue optimale Position berechnet werden und die Kameravoreinstellung wird ständig dementsprechend eingestellt.
Die Kamera kann auf Teilnehmer fokussiert werden, und zwar auf Basis von Audioverfolgung, Videoverfolgung, einer durch einen Benutzer gemachten Selektion oder durch eine andere in dem betreffenden technischen Bereich bekannte Technik. Audioverfolgung allein ist begrenzt, weil die Genauigkeit davon abnimmt, wenn Menschen sich wei ter weg befinden und es kann sogar nicht angewandt werden, weil dieses System im Allgemeinen einen 4–5 Grad Fehler hat und es kann keine Verfolgung geben, wenn ein Teilnehmer zu reden aufhört.
Ein Name kann mit jedem Teilnehmer assoziiert werden, wenn dieser einmal detektiert worden ist. So können beispielsweise die drei Teilnehmer aus 1 als A, B und C identifiziert werden, so dass ein Benutzer bloß angeben könnte, dass er den Teilnehmer A sehen möchte und die Kamera bewegt sich zu der optimierten Voreinstellung für A. Außerdem könnte das System derart programmiert werden, dass es etwas spezifisches über jeden Teilnehmer lernt und folglich diesen Teilnehmer kennzeichnet. So könnte beispielsweise eine Signatur für jeden Teilnehmer geschaffen werden, es könnte die Farbe des Hemdes des Teilnehmers, oder ein Stimmenmuster genommen werden, oder es könnte eine Kombination aus Gesicht und Stimme verwendet werden um das mit einem Teilnehmer assoziierte Kennzeichen zu bilden. Mit dieser zusätzlichen Information wird, wenn der Teilnehmer A sich in dem Raum verlagert, wissen, welcher Teilnehmer sich verlagert und wird nicht bestürzt sein, wenn der Teilnehmer A durch das Bild geht, das Parameter für den Teilnehmer B entspricht. Weiterhin wird, wenn zwei Teilnehmer nahe genug beisammen sind, so dass sie sich ein Kamerabild teilen, können die zwei Teilnehmer als ein einziger Teilnehmer betrachtet werden, wobei die Kamera auf die Mitte der Kombination dieser Bilder fokussiert wird.
Wie oben erwähnt, ist ein Vorteil dieses Systems, dass es ermöglicht, dass die Voreinstellungen automatisch als die Dynamik der Änderung der Teilnehmer in dem Raum eingestellt werden. Offensichtlich, wenn eine Voreinstellung selektiert wird und der entsprechende Teilnehmer hat den Raum verlassen, wird das System dies spüren und die Voreinstellungen aktualisieren. Ein anderes Aktualisierungsverfahren ist, dass jeweils wenn eine neue Voreinstellung selektiert wird, die Kamera 50 auszoomt (oder eine Schwenkbewegung durch den Raum macht) um zu sehen, ob Menschen den Raum betreten oder verlassen haben und um die Voreinstellungen zu aktualisieren, bevor die Kamera 50 zu der selektierten Voreinstellung geht. Die Kamera 50 könnte derart gesteuert werden, dass sie periodisch, sogar wenn sie instruiert wird einen selektierten Teilnehmer in Bild zu nehmen, vorübergehend die Aufnahme dieses Teilnehmers beendet und eine Schwenkbewegung durch den Raum macht oder auszoomt um zu sehen, ob die Anzahl Teilnehmer sich geändert hat. Eine andere Technik ist das Erkennen, dass ein Teilnehmer nicht an der Stelle ist, wo er sich befinden sollte. Wenn beispielsweise die Kamera 50 den Befehl erhält, von der Voreinstellung für den Teilnehmer C beispielsweise auf den Teilnehmer A zu wechseln (1), wenn der Teilnehmer B den Raum verlassen hat, könnte das System dies lernen, und die dazu geeigneten Einstellungen machen. Noch eine andere Technik der Aktualisierung betrifft, dass die Kamera eine Schwenkbewegung durch den Raum macht (oder auszoomt) entweder periodisch oder jeweils, wenn eine neue Voreinstellung selektiert wird.
In 7 ist eine zweite Ausführungsform dargestellt. Diese Ausführungsform zeigt dieselben Merkmale die die aus 1A, mit der Ausnahme, dass eine zweite Kamera 64 hinzugefügt worden ist. Die anfängliche Kalibrierung wird auf dieselbe Weise durchgeführt wie oben beschrieben. Während der Konferenz aber wird die eine Kamera benutzt zum Fokussieren des entsprechenden Teilnehmers, während die andere Kamera zur kontinuierlichen Aktualisierung der Voreinstellungen verwendet wird. Die Aktualisierungskamera kann ständig ausgezoomt sein, so dass diese ermitteln kann, wenn ein Teilnehmer den Raum betritt oder denselben verlässt. Auf alternative Weise könnte die Aktualisierungskamera ständig durch den Raum schwenken und geeignete Aktualisierungen der Voreinstellungen machen. Die zwei Kameras teilen sich die Voreinstellungsinformation, beispielsweise den Prozessor 54. Es dürfte einleuchten, dass mehr Kameras verwendet werden könnten. So könnte beispielsweise für jeden Teilnehmer einzeln eine Kamera vorgesehen sein, der für die Konferenz geplant ist und dann könnte eine zusätzliche Kamera als Aktualisierungskamera verwendet werden.
Eine Art und Weise der Ermittlung, ob ein Teilnehmer sich in dem Kamerabild befindet, ist zu ermitteln, ob es in dem Bild, das die Kamera sieht, ein Gesicht gibt. Jedes Pixel in einem Bild wird im Allgemeinen in der HSV (Farbton, Sättigung, Wert) Farbdomäne dargestellt. Diese Werte werden auf einem zylinderförmigen Koordinatensystem abgebildet. Wie in 8 dargestellt, wobei P der Wert (oder Leuchtdichte) ist, wobei Θ der Farbton ist und wobei r die Sättigung ist. Wegen der Nichtlinearität des zylinderförmigen Koordinatensystems werden andere Farbräume verwendet um den HSV Raum anzunähern. In den vorliegenden Applikationen wird der YUV Farbraum verwendet, weil das meiste auf einem magnetischen Medium gespeicherte Videomaterial und der MPEG2 Standard beide diesen Farbraum benutzen.
Transformation eines RGB Bildes in die YUV Domäne und weitere Projektion in die VU, VY und VU Ebenen erzeugen Graphiken, wie diejenigen aus 9. Die kreisförmigen Segmente stellen die Annäherung der HSV Domäne dar. Wenn Pixel, die der Hautfarbe entsprechen, in dem YUV Raum graphisch dargestellt werden, fallen sie im Allgemeinen in diese dargestellten kreisförmigen Segmente. Wenn beispielsweise die Leuchtdichte eines Pixels einen Wert zwischen 0 und 200 hat, hat der Farbwert U im Allgemeinen einen Wert zwischen –100 und 0 für ein hautfarbenes Pixel. Dies sind allgemeine Werte auf Basis von Experimenten. Mit anderen Worten, ein Farbtrainingsvorgang könnte für jede verwendete Kamera durchgeführt werden. Die Ergebnisse dieses Trainings würden dann zum Erzeugen genauerer hautfarbener Segmente verwendet werden.
Um ein Gesicht zu detektieren wird jedes Pixel in einem Bild untersucht um zu ermitteln, ob es hautfarben ist. Diejenigen Pixel, die hautfarben sind, werden aus dem Rest des Bildes gruppiert und werden auf diese Weise aus etwaige Gesichtskandidaten festgehalten. Wenn wenigstens eine Projektion eines Pixels nicht in die Grenzen des Hautclustersegmentes fällt, wird das Pixel als nicht hautfarben bezeichnet und aus der Erwägung als etwaigen Gesichtskandidaten entfernt.
Das resultierende durch die Hautfarbedetektion gebildete Bild ist binär, weil es entweder Teile des Bildes zeigt, die hautfarben sind, oder Teile, die nicht hautfarben sind, wie in den 10B, 10D und 10F dargestellt, die den ursprünglichen Bildern in den 10A, 10C und 10E entsprechen. In den Figuren ist weiß für Hautfarbe dargestellt und schwarz für nicht Hautfarbe. Wie in den 10A und 10B dargestellt, kann dieser Detektionsschritt allein große Teile des Bildes als ein Gesicht aufweisend ausschließen. Bekannt Techniken, die Farbe und Form benutzen, können auf diese Weise vor einfachen Hintergründen funktionieren, wie in 10A dargestellt. Wenn wir aber die 10C und 10D näher betrachten, und die 10E und 10F, dürfte es einleuchten, dass Detektion durch Farbe und Form allein nicht ausreicht um die Gesichter zu detektieren. In den 10C–10F haben Gegenstände im Hintergrund, wie Leder, Holz, Kleider und Haare Farben ähnlich wie Haut. Wie in den 10D und 10F ersichtlich, befinden sich diese hautfarbenen Gegenstände unmittelbar neben der Haut der Gesichter, so dass die Gesichter selber schwer zu detektieren sind.
Nachdem die Pixel durch Farbe abgeschieden worden sind, werden die Pixel an den Rändern entfernt. Ein Rand ist eine Änderung in dem Helligkeitspegel vom einen Pixel zum anderen. Die Entfernung erfolgt dadurch, dass jedes hautfarbene Pixel genommen wird und dass die Varianz in den Pixeln rundherum in dem Leuchtdichtenanteil be rechnet wird; wobei eine große Varianz eine Anzeige eines Randes ist. Wie in 11 dargestellt, ist ein Kasten ("Fenster") zur Größe von entweder 3×3 oder 5×5 Pixeln über ein hautfarbenes Pixel gestellt. Offensichtlich könnten nebst einem quadratischen Kasten andere Masken verwendet werden. Die Varianz wird wie folgt definiert:
wobei ā_x der Mittelwert aller Pixel in dem untersuchten Fenster ist. Ein "hoher" Varianzpegel wird anders sein, und zwar abhängig von dem Gesicht und der verwendeten Kamera. Deswegen wird eine iterative Routine angewandt, startend mit einem sehr hohen Varianzpegel und herunter gehend zu einem niedrigen Varianzpegel.
In jedem Schritt der Varianzwiederholung werden Pixel aus der Gesichtserwägung entfernt, wenn die Varianz in einem Fenster um das hautfarbene Pixel herum größer ist als die Varianzschwelle, die für diese Wiederholung getestet wird. Nachdem alle Pixel in einer Wiederholung untersucht worden sind, werden die resultierenden verbundenen Komponenten aus Gesichtskennzeichen untersucht, wie nachstehend noch näher beschrieben wird. Verbundene Komponenten sind Pixel, die den gleichen binären Wert haben (weiß für Gesichtsfarbe) und die verbunden sind. Konnektivität kann entweder eine 4- oder 8-artige Konnektivität sein. Wie in 12A dargestellt, für eine Konnektivität von 4 Typ, wird das zentrale Pixel als nur mit Pixeln "verbunden" betrachtet, die unmittelbar daran grenzen, wie durch die "1" in den angrenzenden Kasten angegeben. In der Konnektivität vom 8-Typ, wie in 12B dargestellt, werden Pixel, die das zentrale Pixel diagonal berühren, auch als mit diesem Pixel "verbunden" betrachtet.
Wie oben erwähnt, werden nach jeder Wiederholung die verbundenen Komponenten in einem Komponentenklassifizierungsschritt untersucht um zu sehen, ob sie ein Gesicht sein könnten. Diese Untersuchung betrifft eine Untersuchung auf 5 verschiedene Kriterien, auf Basis eines Begrenzungskastens, gezeichnet um jede resultierende verbundene Komponente; Beispiele davon sind in 14 dargestellt, und zwar auf Basis des Bildes nach 10E. Die Kriterien sind:

1. Das Gebiet des Begrenzungskastens im Vergleich zu einer Schwelle. Dies erkennt die Tatsache an, dass ein Gesicht im Allgemeinen nicht sehr groß oder sehr klein ist.
2. Das Seitenverhältnis (Höhe im Vergleich zu Breite) des Begrenzungskastens im Vergleich zu einer Schwelle. Dies erkennt an, dass menschliche Gesichter im Allgemeinen in einen Bereich von Seitenverhältnissen fallen.
3. Das Verhältnis zwischen dem Gebiet detektierter hautfarbener Pixel und dem Gebiet des Begrenzungskastens, im Vergleich zu einer Schwelle. Dieses Kriterium erkennt die Tatsache an, dass das von einem menschlichen Gesicht bedecktes Gebiet in einen Bereich von Prozentsätzen des Gebietes des Begrenzungskasten fällt.
4. Die Orientierung länglicher Gegenstande innerhalb des Begrenzungskastens. Es gibt viele bekannte Möglichkeiten, die Orientierung einer Reihe von Pixeln zu ermitteln. So kann beispielsweise die Mittelachse ermittelt werden und die Orientierung kann anhand dieser Achse gefunden werden. Im Allgemeinen werden Gesichter nicht wesentlich um die Achse ("z-Achse") gedreht, die sich senkrecht zu der Ebene des Bildes erstreckt, und folglich werden Komponenten mit länglichen Gegenstanden, die gegenüber der z-Achse gedreht sind, aus der Erwägung entfernt.
5. Der Abstand zwischen der Mitte des Begrenzungskastens und dem Massenmittelpunkt der untersuchten Komponente. Im Allgemeinen befinden sich Gesichter innerhalb der Mitte des Begrenzungskastens und werden beispielsweise nicht alle auf einer Seite liegen.

Die Wiederholungen für Varianz werden fortgesetzt, wobei das Bild in kleinere Komponenten aufgeteilt wird, bis die Größe der Komponenten die einer Schwelle unterschreitet. Die Bilder nach den 10C und 10E sind in den 13A bzw. 13B nach dem Varianzwiederholungsprozess transformiert dargestellt. Wie erkannt werden kann, wurden Gesichter in dem Bild von den nicht-Gesicht hautfarbenen Gebieten im Hintergrund getrennt, und zwar als Ergebnis der Varianzwiederholung. Oft verursacht dies, dass das Gebiet mit detektierter Hautfarbe fragmentiert wird, wie in 13B ans Beispiel dargestellt. Dies geschieht, weil es entweder Objekte gibt, die Teile des Gesichtes einschließen (wie eine Brille oder Gesichtshaare) oder weil Teile wegen hoher Varianz entfernt wurden. Auf diese Weise ist es schwer durch Verwendung der Komponenten selber nach einem Gesicht zu suchen. Die Komponenten, die nach den Varianzwiederholungs- und Komponentenklassifizierungsschritten dennoch einen Teil des Gesichtes bilden können, werden verbunden um eine Graphik zu bilden, wie in 15 dargestellt. Auf diese Weise werden hautfarbene Komponenten, die ähnliche Merkmale aufweisen, und in dem Raum nahe beisammen liegen, gruppiert und danach weiter untersucht.
In 15 ist jede resultierende Komponente (welche die Farbdetektions-, Randentfernungs- und Komponentenklassifisierungsschritte überlebt) durch einen Scheitelpunkt einer Graphik dargestellt. Scheitelpunkte werden Verbunden, wenn sie im Raum in dem ursprünglichen Bild nahe beisammen liegen und wenn sie in dem ursprünglichen Bild eine ähnliche Farbe haben. Zwei Komponenten, i und j, haben eine gleiche Farbe, wenn: Yl – Yj| < ty ∧ |Ui – Uj| < tu ANDLINE Vi – Vj | < tv wobei Y_n, U_n und V_n die Mittelwerte der Leuchtdichte und des Farbtons der n. Komponente sind und wobei t_n Schwellenwerte sind. Die Schwellen basieren auf Variationen in den Y-, U- und V-Werten in Gesichtern und werden hoch genug gehalten, so dass Komponenten desselben Gesichtes als ähnlich betrachtet werden. Komponenten werden als nahe beisammen liegend im Raum betrachtet, wenn der Abstand zwischen ihnen kleiner ist als eine Schwelle. Die räumliche Anforderung gewährleistet, dass räumlich in einem Abstand voneinander liegende Komponenten nicht gruppiert werden, weil Teile einer Gesichtes normalerweise nicht in räumlich entfernt liegenden Teilen eines Bildes liegen.
Die Verbindung zwischen Scheitelpunkten wird als Rand bezeichnet. Jeder Rand erhält eine Gewichtung, die zu dem euklidischen Abstand zwischen zwei Scheitelpunkten proportional ist. Das Verbinden der Scheitelpunkte wird zu einer Graphik oder zu einem Satz unzusammenhängender Graphiken führen. Für jede der resultierenden Graphiken wird der minimale aufspannende Baum extrahiert. Der minimale aufspannende Baum wird im Allgemeinen als den Subsatz einer Graphik definiert, wobei alle Scheitelpunkte dennoch verbunden sind und die Summe der Längen der Ränder der Graphik möglichst klein ist (minimale Gewichtung). Die Komponenten, die jeder resultierenden Graphik entsprechen werden danach klassifiziert als entweder Gesicht oder Nicht-Gesicht, und zwar unter Anwendung der Formparameter, definiert in dem oben genannten Komponentenklassifizierungsschritt. Danach wird jede Graphik in zwei Graphiken aufgeteilt, und zwar durch Entfernung des schwächsten Randes (des Randes mit der größten Gewichtung) und die entsprechenden Komponenten der resultierenden Graphiken werden wieder untersucht. Die Aufteilung wird fortgesetzt, bis ein Gebiet eines Begrenzungskastens, der um die resultierenden Graphiken geformt wird, kleiner ist als eine Schwelle.
Durch Zerlegung und Untersuchung jeder Graphik für ein Gesicht wird ein Satz aller möglichen Stellen und Größen von Gesichtern in einem Bild ermittelt. Dieser Satz kann eine Vielzahl falscher Positiven enthalten und auf diese Weise wird eine Heuristik angewandt um einige der falschen Positiven zu entfernen. Eine Suche nach allen Gesichtsmerkmalen (d. h., Nase, Mund, usw.) würde eine Schablone erfordern, die die für einen Suchraum zu groß werden würde. Versuche haben aber gezeigt, dass diese Gesichtsmerkmale Ränder mit einer hohen Varianz haben. Viele falsche Positiven können dadurch entfernt werden, dass das Verhältnis zwischen Pixeln hoher Varianz innerhalb eines möglichen Gesichtes zu der gesamten Anzahl Pixel in dem möglichen Gesicht untersucht wird.
Die oben genannte Heuristik wird dadurch effektuiert, dass zunächst ein morphologisch schließender Vorgang an den Gesichtskandidaten innerhalb des Bildes durchgeführt wird. Wie in dem betreffenden technischen Bereich bekannt, wird eine Maske gewählt und auf jedes Pixel innerhalb eines möglichen Gesichtsgebiets angewandt. So könnte beispielsweise eine 3 × 3 Maske verwendet werden. Ein Streckungsalgorithmus wird angewandt um die Grenzen von Gesichtskandidatenkomponenten zu erweitern. Danach wird ein Erosionsalgorithmus angewandt um Pixel von den Rändern zu eliminieren. Es dürfte dem Fachmann einleuchten, dass diese zwei Algorithmen, durchgeführt in dieser Reihenfolge, Lücken zwischen Komponenten füllen werden und auch die Komponenten in im Wesentlichen demselben Maßstab halten werden. Offensichtlich könnte man mehrere Streckungsschritte und danach mehrere Erosionsschritt durchführen, solange beide eine gleiche Anzahl Male angewandt werden.
Nun wird das Verhältnis der Pixel mit einer hohen Varianznachbarschaft innerhalb des Gesichtskandidatengebietes mit der gesamten Anzahl Pixel in dem Gesichtskandidatengebiet verglichen. In den 16A bis 16D wird ein ursprüngliches Bild in 16A auf mögliche Gesichtskandidaten untersucht, und zwar unter Anwendung oben beschriebener Verfahren, um das in 16B dargestellte binäre Bild zu erreichen. Der morphologische Schließvorgang erfolgt an dem binären Bild, was zu dem in 16C dargestellten Bild führt. Zum Schluss werden Pixel mit einer hohen Varianz, die in dem Bild nach 16C liegen, detektiert, wie in 16D dargestellt. Das Verhältnis der Pixel hoher Varianz zu der gesamten Anzahl Pixel kann danach ermittelt werden. Das ganze Teilnehmerdetektionsverfahren wird durch die Schritte S2–S16 aus 17 zusammengefasst.
Wie erkannt werden kann, können durch Steuerung einer Kamera zum Beobachten eines Raumes, definiert durch ein Videokonferenzsystem, Kameraparametervoreinstellungen, die mit Teilnehmern übereinstimmen, automatisch berechnet und ständig aktualisiert werden.
Obschon die bevorzugten Ausführungsformen beschrieben worden sind, dürfte es einleuchten, dass im Rahmen der vorliegenden Erfindung, definiert durch die beiliegenden Patentansprüche, mehrere Änderungen durchgeführt werden können.
Text in der Zeichnung
11

Hautfarbenes Pixel

Claims

Verfahren zum Berechnen von Voreinstellungen von Kameraparametern in Übereinstimmung mit Teilnehmern (Teilnehmer A, Teilnehmer B, Teilnehmer C) in einem Videokonferenzsystem, wobei das genannte Verfahren Folgendes umfasst: – das Schaffen einer Kamera mit Tilt-, Schwenk- und Zoomparametern (50); – das Definieren eines Raum auf Basis eines Layouts des genannten Videokonferenzsystems; wobei Folgendes durchgeführt wird: – das Verlagern der genannten Kamera durch alle entsprechenden Panwerte, wobei die entsprechenden Panwerte durch den genannten Raum definiert werden, in dem das Videokonferenzsystem sich befindet, und – das Auszoomen der genannten Kamera, so dass alle möglichen Teilnehmer von der genannten Kamera gesehen werden können und so, dass eine Stelle jedes Teilnehmers in dem genannten Raum ermittelt werden kann; – das Detektieren und Kennzeichnen der genannten Teilnehmer zum Erhalten gekennzeichneter Teilnehmer innerhalb des genannten Raums; – das Berechnen der genannten Voreinstellungen entsprechend den genannten gekennzeichneten Teilnehmern, wobei die genannten Voreinstellungen eine Kamerasicht definieren, wobei die genannten Voreinstellungen auf wenigstens einem der nachfolgenden Elemente basieren: (i) einer optimalen Position der genannten gekennzeichneten Teilnehmer in der genannten Kamerasicht, (ii) eine Ausrichtung der Mitte eines Kopfes der genannten gekennzeichneten Teilnehmer mit einer Mitte der genannten Kamerasicht, und (iii) eine Ausrichtung einer Mitte des gekennzeichneten Teilnehmers mit der genannten Mitte der genannten Kamerasicht; und – das Aktualisieren der mit einem bestimmten gekennzeichneten Teilnehmer assoziierten Voreinstellungen, wenn eine Stelle des bestimmten gekennzeichneten Teilnehmers sich geändert hat, wobei die Aktualisierung kontinuierlich, periodisch ist, oder wenn eine neue Voreinstellung selektiert wird.
Verfahren nach Anspruch 1, das weiterhin Folgendes umfasst: das Schaffen wenigstens einer zweiten Kamera zur Aktualisierung der genannten Voreinstellungen durch Durchführung der genannten Vorführung.
Verfahren nach Anspruch 1, das weiterhin das Verfolgen der genannten gekennzeichneten Teilnehmer umfasst.
Verfahren nach Anspruch 1, wobei der Schritt der Aktualisierung der genannten Voreinstellung weiterhin das Aktualisieren der genannten Voreinstellungen umfasst, indem das genannte Videokonferenzsystem wenigstens einen der nachfolgenden Vorgänge durchführt: das Einstellen einer Voreinstellung, wenn diese Voreinstellung von einem Benutzer gewählt wird, das Löschen einer Voreinstellung, wenn der Teilnehmer, der mit der Voreinstellung übereinstimmt, den genannten Raum verlässt, und das Wiederholen der genannten Durchführung.
Verfahren nach Anspruch 1, wobei in dem genannten Berechnungsschritt, wenn mehr als nur ein Teilnehmer sich in der Kamerasicht befindet, die Teilnehmer zu einem einzigen kombinierten Bild kombiniert werden und die Mitte des kombinierten Bildes zum Ermitteln der genannten Voreinstellungen benutzt wird.
Verfahren nach Anspruch 1, wobei der genannte Detektionsschritt Folgendes umfasst: – das Schaffen eines digitalen Bildes, bestehend aus einer Anzahl Pixel (52); – das Erzeugen eines binären Bildes aus dem digitalen Bild durch Detektion hautfarbener Pixel (54); – das Entfernen von Pixeln, die mit Rändern in dem Leuchtdichteanteil des genannten binären Bildes übereinstimmen, wodurch binäre Bildanteile erzeugt werden (56); – das Abbilden der genannten binären Bildanteile in wenigstens eine Graphik (512); und – das Klassifizieren der genannten abgebildeten binären Bildanteile als Gesichts- und Nichtgesichtstypen, wobei die Gesichtstypen als Gesichtskandidaten dienen (514).
Verfahren nach Anspruch 6, das weiterhin den Verfahrensschritt umfasst, das Anwenden einer Heuristik, wobei die genannte Heuristik die nachfolgenden Schritte umfasst: – das Anwenden eines morphologischen schließenden Vorgangs an jedem der genannten Gesichtskandidaten zum Erzeugen wenigstens eines geschlossenen Gesichtskandidaten; – das Ermitteln von Pixeln hoher Varianz in dem genannten geschlossenen Gesichtskandidaten; – das Ermitteln des Verhältnisses zwischen den genannten Pixeln hoher Varianz und der gesamten Anzahl Pixel in dem genannten geschlossenen Gesichtskandidaten; und – das Vergleichen des genannten Verhältnisses mit einer Schwelle.
Verfahren nach Anspruch 6, wobei der genannte Entfernungsschritt Folgendes umfasst: – das Anwenden einer Maske auf eine Anzahl Pixel, einschließlich eines untersuchten Pixels; – das Ermitteln der Varianz zwischen dem genannten untersuchten Pixel und Pixeln innerhalb der genannten Maske; und – das Vergleichen der genannten Varianz mit einer Varianzschwelle.
Verfahren nach Anspruch 8, wobei: – der genannte Entfernungsschritt zum Verringern der Varianzschwellen wiederholt wird, bis eine Größe der genannten binären Bildanteile unterhalb einer Größenschwelle des Anteils liegt; und – nach jedem Entfernungsschritt der genannte Schritt der Klassifizierung der genannten Anteile durchgeführt wird.
Verfahren nach Anspruch 6, wobei die genannten binären Bildanteile verbunden werden.
Verfahren nach Anspruch 6, wobei der genannte Schritt der Klassifizierung Folgendes umfasst: – das Bilden einer Begrenzungsbox um einen klassifizierten Anteil der genannten Anteile und das Durchführen wenigstens eines der nachfolgenden Vorgänge: – das Bilden einer Begrenzungsbox um einen klassifizierten Anteils der genannten Anteile; – das Vergleichen eines Gebietes der Begrenzungsbox mit einer Begrenzungsboxschwelle; – das Vergleichen eines Bildseitenverhältnisses der Begrenzungsbox mit einer Bildseitenverhältnisschwelle; – das Ermitteln eines Gebietsverhältnisses, wobei das genannte Gebietsverhältnis der Vergleich zwischen dem Gebiet des klassifizierten Anteils und dem Gebiet der genannten Begrenzungsbox ist, und das Vergleichen des genannten Gebietsverhältnisses mit einer Gebietsverhältnisschwelle; – das Ermitteln einer Orientierung längerer Objekte innerhalb der genannten Begrenzungsbox; und – das Ermitteln eines Abstandes zwischen einer Mitte der genannten Begrenzungsbox und einer Mitte des genannten klassifizierten Anteils.
Verfahren nach Anspruch 6, wobei der genannte Schritt der Abbildung die nachfolgenden Verfahrensschritte umfasst: – das Darstellen jedes Anteils als ein Scheitelpunkt; – das Verbinden von Scheitelpunkte mit einer Kante, wenn nahe in dem Raum und ähnlich in der Farbe, wodurch die genannte wenigstens eine Graphik gebildet wird.
Verfahren nach Anspruch 12, wobei jede Kante eine assoziierte Gewichtung hat und weiterhin die nachfolgenden Schritte umfasst: – das Extrahieren des minimalen aufspannenden Baums jeder Graphik; – das Klassifizieren der entsprechenden binären Bildanteile jeder Graphik als Gesicht oder Nichtgesicht; – das Entfernen der Kante in jeder Graphik mit der größten Gewichtung, wodurch zwei kleinere Graphiken gebildet werden; und – das Wiederholen des genannten Schrittes der Klassifizierung der entsprechenden binären Bildanteile für jede der genannten kleineren Graphiken, bis eine Begrenzungsbox um die genannten kleineren Graphiken kleiner ist als eine Graphikschwelle.
Videokonferenzsystem, das Folgendes umfasst: – wenigstens eine Kamera mit Schwenk-, Tilt- und Zoomparametern (50); – wobei die genannten Parameter Werte haben, die entsprechenden Teilnehmern des genannten Videokonferenzsystems zugeordnet sind, wobei die Werte Voreinstellungen sind, wobei die genannten Voreinstellungen eine Kamerasicht definieren; – wenigstens Schwenkmittel zum Schwenken der genannten Kamera durch einen Raum, definiert durch das genannte Videokonferenzsystem, und Zoommittel zum Auszoomen der genannten Kamera um dadurch die Möglichkeit zu schaffen, den durch das genannte Videokonferenzsystem definierten Raum zu sehen; – Detektions- und Kennzeichnungsmittel zum Detektieren und Kennzeichnen von Teilnehmern zum Erhalten gekennzeichneter Teilnehmer in dem genannten Raum; und – Ermittlungsmittel zum Ermitteln von Voreinstellungen der genannten Kamera auf Basis einer Kameraposition, die einen der genannten gekennzeichneten Teilnehmer an die nachfolgenden Stellen platzieren möchte: (i) eine optimale Stelle, (ii) eine Stelle, wo ein Kopf des genannten gekennzeichneten Teilnehmers gegenüber einer Mitte der genannten Kamerasicht ausgerichtet ist, und (iii) eine Stelle, wo eine Mitte des genannten gekennzeichneten Teilnehmers gegenüber der genannten Mitte der genannten Kamerasicht ausgerichtet ist, – Mittel zum Aktualisieren der mit einem bestimmten gekennzeichneten Teilnehmer assoziierten Voreinstellungen, wenn die Stelle eines bestimmten gekennzeichneten Teilnehmers sich geändert hat, wobei die Aktualisierung kontinuierlich, periodisch ist oder wenn eine neue Voreinstellung selektiert wird.
Videokonferenzsystem nach Anspruch 14, wobei die Mittel zum Aktualisieren wenigstens eine zweite Kamera zum Aktualisieren der genannten Voreinstellungen umfassen.
Videokonferenzsystem nach Anspruch 14, das weiterhin Mittel aufweist zur Verfolgung der genannten Teilnehmer durch Assoziation eines Kennzeichens mit jedem der genannten Teilnehmer.
Videokonferenzsystem nach Anspruch 14, wobei die Mittel zum Aktualisieren zum Aktualisieren der genannten Voreinstellungen vorgesehen sind, indem das genannte Videokonferenzsystem wenigstens eine Einstellung einer Voreinstellung durchführt, wenn diese Voreinstellung durch einen Benutzer gewählt wird, oder eine Voreinstellung löscht, wenn der Teilnehmer, der mit der Voreinstellung übereinstimmt, den genannten Raum verlässt, oder die genannte Kamera durch den genannten Raum schwenkt, oder aber die genannte Kamera durch den genannten Raum zoomt.
Videokonferenzsystem nach Anspruch 14, wobei, wenn mehr als ein Teilnehmer sich in der Kamerasicht befindet, die Teilnehmer zu einem einzigen kombinierten Bild kombiniert werden und die Mitte des kombinierten Bildes zum Ermitteln der genannten Voreinstellungen benutzt wird.
Videokonferenzsystem nach Anspruch 14, wobei die genannte Detektion Folgendes umfasst: – das Schaffen eines digitalen Bildes, bestehend aus einer Vielzahl von Pixeln (52); – das Erzeugen eines binären Bildes aus dem digitalen Bild durch Detektion hautfarbener Pixel (54); – das Entfernen von Pixeln, die mit Rändern in dem Leuchtdichteanteil des genannten binären Bildes übereinstimmen, wodurch binäre Bildanteile (56) erzeugt werden; – das Abbilden der genannten binären Bildanteile in wenigstens eine Graphik (512); und – das Klassifizieren der abgebildeten binären Bildanteile als Gesichts- und Nichtgesichtstyp, wobei die Gesichtstypen als Gesichtskandidaten dienen (514).
Videokonferenzsystem nach Anspruch 15, wobei die wenigstens eine zweite Kamera zur Aktualisierung der genannten Voreinstellungen vorgesehen ist zum Durchführen wenigstens eines der Vorgänge Schwenken der genannten Kamera durch den genannten Raum, und Zoomen der genannten Kamera durch den genannten Raum.