JP5750590B2 - Imaging device, intercom device, intercom system - Google Patents

Imaging device, intercom device, intercom system Download PDF

Info

Publication number
JP5750590B2
JP5750590B2 JP2010283627A JP2010283627A JP5750590B2 JP 5750590 B2 JP5750590 B2 JP 5750590B2 JP 2010283627 A JP2010283627 A JP 2010283627A JP 2010283627 A JP2010283627 A JP 2010283627A JP 5750590 B2 JP5750590 B2 JP 5750590B2
Authority
JP
Japan
Prior art keywords
image
unit
imaging
adjustment
intercom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010283627A
Other languages
Japanese (ja)
Other versions
JP2012134660A (en
Inventor
利春 竹ノ内
利春 竹ノ内
山中 睦裕
睦裕 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2010283627A priority Critical patent/JP5750590B2/en
Publication of JP2012134660A publication Critical patent/JP2012134660A/en
Application granted granted Critical
Publication of JP5750590B2 publication Critical patent/JP5750590B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、撮像装置、及び撮像装置を具備するインターホン装置、当該インターホン装置を備えたインターホンシステムに関する。   The present invention relates to an imaging device, an interphone device including the imaging device, and an interphone system including the interphone device.

従来の撮像装置として、インターホンシステムのインターホン装置(主に来訪者が使用するドアホン子器やロビーインターホンなど)に搭載されるものがある。例えば、特許文献1に記載されている従来装置は、ドアホン子器のカメラで撮像した画像のなかから来訪者の顔等の拡大表示すべき位置が手動で指定された後、位置検出手段により検出される来訪者の動きに追従して拡大表示する位置を変化させている。   2. Description of the Related Art As conventional imaging devices, there are devices mounted on intercom devices of interphone systems (mainly door phone slaves and lobby intercoms used by visitors). For example, the conventional device described in Patent Document 1 detects a position to be magnified such as a visitor's face from an image captured by a camera of a door phone slave unit, and then detects it by a position detection unit. The position of the enlarged display is changed following the movement of the visitor.

特開平6-38214号公報JP-A-6-38214

ところで、近年の撮像装置では、画像処理技術の進歩により、人物の被写体画像から顔領域を認識するとともに認識された顔領域が画角のほぼ中央に位置するように自動的に拡大処理等が行われている。しかしながら、特許文献1記載の従来例のように移動する来訪者を追跡する処理(追跡処理)と、来訪者の位置(顔領域)を検出する処理(顔検出処理)とが双方とも実行される場合、撮像装置における画像処理の負担が大幅に増加し、来訪者の追跡が困難になる虞があった。なお、画像処理を実行するハードウェア(CPUや画像処理用ICなど)が高性能なものであれば、画像処理の負担増にも対応可能ではあるが、そのような高性能なハードウェアが採用されると撮像装置の製造コストが上昇してしまうという問題がある。   By the way, in recent imaging apparatuses, with the advance of image processing technology, a face area is recognized from a person's subject image and an enlargement process is automatically performed so that the recognized face area is positioned at the approximate center of the angle of view. It has been broken. However, both the process of tracking a visitor (tracking process) and the process of detecting the visitor's position (face area) (face detection process) as in the conventional example described in Patent Document 1 are executed. In this case, there is a possibility that the image processing load in the imaging apparatus is significantly increased, and it is difficult to track visitors. If the hardware that executes image processing (CPU, image processing IC, etc.) is high-performance, it can handle the increased burden of image processing, but such high-performance hardware is used. If it does, there exists a problem that the manufacturing cost of an imaging device will rise.

本発明は、上記課題に鑑みて為されたものであり、製造コストの上昇を抑えつつ人物の顔を確実に追跡して撮像することを目的とする。   The present invention has been made in view of the above problems, and an object thereof is to reliably track and image a human face while suppressing an increase in manufacturing cost.

本発明の撮像装置は、画像を撮像する撮像手段と、当該画像を記憶する記憶手段と、前記画像における人の顔の存在領域を検出する顔検出手段と、前記画像の一部の領域を拡大する拡大手段と、前記人が前記画像から外れないように前記撮像手段の撮像範囲又は前記拡大手段の拡大領域を調整する調整手段とを備え、前記顔検出手段の検出処理の実行中に前記記憶手段に記憶される前記画像に対して前記調整手段の調整処理が行われることを特徴とする。   An image pickup apparatus according to the present invention includes an image pickup means for picking up an image, a storage means for storing the image, a face detection means for detecting a human face existing area in the image, and an enlargement of a partial area of the image. And an adjustment unit that adjusts an imaging range of the imaging unit or an enlargement area of the enlargement unit so that the person does not deviate from the image, and stores the memory during the detection process of the face detection unit. An adjustment process of the adjustment unit is performed on the image stored in the unit.

この撮像装置において、前記記憶手段は、一定の周期で画像を記憶することが好ましい。   In this imaging apparatus, it is preferable that the storage unit stores images at a constant cycle.

この撮像装置において、前記記憶手段は、人が前記撮像手段の撮像範囲内に居る可能性が高いときは前記撮像手段のフレーム周期よりも長い第1周期で画像を記憶し、その他のときは前記第1周期よりも短く且つ前記フレーム周期よりも長くない第2周期で画像を記憶することが好ましい。   In this imaging apparatus, the storage means stores an image with a first period longer than the frame period of the imaging means when there is a high possibility that a person is within the imaging range of the imaging means, and otherwise, the storage means It is preferable to store the image in a second period shorter than the first period and not longer than the frame period.

この撮像装置において、前記調整手段で調整された画像を含む複数種類の画像を親画面と子画面に振り分けた画像を生成する画像生成手段を備えることが好ましい。   The imaging apparatus preferably includes image generation means for generating an image in which a plurality of types of images including images adjusted by the adjustment means are distributed to a main screen and a sub screen.

この撮像装置において、前記調整手段で調整された画像と前記調整手段で調整されていない画像とを選択して出力する出力手段を備え、前記調整手段は、当該出力手段に選択されるか否かに関わりなく、画像の調整を行うことが好ましい。   The imaging apparatus includes an output unit that selects and outputs an image adjusted by the adjustment unit and an image that is not adjusted by the adjustment unit, and whether the adjustment unit is selected by the output unit. Regardless, it is preferable to adjust the image.

本発明のインターホン装置は、何れかの撮像装置と、当該撮像装置で撮像される画像を伝送する伝送手段とを備えることを特徴とする。   The intercom apparatus according to the present invention includes any one of the imaging apparatuses and a transmission unit that transmits an image captured by the imaging apparatus.

本発明のインターホンシステムは、前記インターホン装置と、前記インターホン装置から伝送される画像を表示する表示手段を具備するインターホン装置とを備えることを特徴とする。   The intercom system according to the present invention includes the intercom apparatus and an intercom apparatus including display means for displaying an image transmitted from the intercom apparatus.

本発明の撮像装置及びインターホン装置、インターホンシステムは、製造コストの上昇を抑えつつ人物の顔を確実に追跡して撮像することができるという効果がある。   The imaging apparatus, intercom apparatus, and intercom system of the present invention have an effect that it is possible to reliably track and image a person's face while suppressing an increase in manufacturing cost.

本発明に係る撮像装置、インターホン装置、インターホンシステムの実施形態を示すブロック図である。It is a block diagram showing an embodiment of an imaging device, an intercom device, and an intercom system according to the present invention. 同上におけるインターホン子機の平面図である。It is a top view of the intercom child machine in the same as the above. 同上の動作説明用のタイムチャートである。It is a time chart for operation | movement description same as the above.

以下、撮像装置を内蔵して住戸の外玄関や集合住宅の共用玄関(ロビー)などに設置されるカメラ付きのインターホン子機(ロビーに設置される場合はロビーインターホン)Sと、住戸内に設置されてインターホン子機(以下、「子機」と略す)Sとの間で通話を行うインターホン親機(以下、「親機」と略す)Mとで構成されるインターホンシステムに本発明を適用した実施形態について、図面を参照して詳細に説明する。但し、撮像装置を子機Sと別体に構成しても構わない。   Interphone cordless handset with camera (installed in lobby if lobby is installed) S installed in the exterior entrance of housing unit or common entrance (lobby) of apartment housing with built-in imaging device The present invention is applied to an interphone system including an interphone master unit (hereinafter abbreviated as “master unit”) M that performs a call with an interphone slave unit (hereinafter abbreviated as “slave unit”) S. Embodiments will be described in detail with reference to the drawings. However, the imaging device may be configured separately from the slave unit S.

図1に示すように、インターホン装置に相当する親機Mと子機Sは信号線Lsで接続されている。本実施形態のインターホンシステムでは、子機Sと親機Mとの間で信号線Lsを介して相互に音声信号を伝送して通話するとともに、子機Sの撮像装置で撮像された画像(動画像)が信号線Lsを介して親機Mに伝送され、親機Mの表示部101で表示される。なお、図示は省略しているが、親機M並びに子機Sには、マイクロホンとスピーカ、マイクロホンで集音した音声を信号線Ls(あるいは、図示しない通話線)を介して伝送し、且つ相手側から伝送されてくる音声をスピーカから鳴動させる通話手段が設けられている。但し、このような通話手段については従来周知であるから図示並びに説明を省略する。   As shown in FIG. 1, a master unit M and a slave unit S corresponding to an interphone device are connected by a signal line Ls. In the intercom system according to the present embodiment, a voice signal is transmitted between the slave unit S and the master unit M via the signal line Ls to make a call, and an image (moving image) captured by the imaging device of the slave unit S is used. Image) is transmitted to the base unit M via the signal line Ls and displayed on the display unit 101 of the base unit M. Although not shown, the master unit M and the slave unit S transmit the sound collected by the microphone, the speaker, and the microphone via the signal line Ls (or a communication line (not shown)) and the other party. Calling means is provided for sounding the sound transmitted from the side from the speaker. However, since such communication means is well known in the art, illustration and description thereof are omitted.

親機Mは、表示部101、信号伝送部100、操作入力部103、親機制御部102などを備えている。表示部101は、LCDパネルのような表示デバイスと表示デバイスを駆動して動画像(映像)を表示させるドライバ回路等を具備する。信号伝送部100は、子機Sとの間で信号線Lsを介して音声信号、映像信号、制御信号を伝送(ディジタル伝送あるいは周波数分割多重伝送)するとともに、子機Sから伝送されてくる映像信号の復調及び復号化の処理を行っている。操作入力部103は、後述する応答釦などの操作入力を受け付けて当該操作入力に対応した操作信号を親機制御部100に出力する。親機制御部102は、マイクロコンピュータやメモリなどのハードウェアとソフトウェアとで構成され、親機M全体の制御を行っている。   Base unit M includes display unit 101, signal transmission unit 100, operation input unit 103, base unit control unit 102, and the like. The display unit 101 includes a display device such as an LCD panel and a driver circuit that drives the display device to display a moving image (video). The signal transmission unit 100 transmits an audio signal, a video signal, and a control signal to the slave unit S via the signal line Ls (digital transmission or frequency division multiplex transmission), and a video transmitted from the slave unit S. Signal demodulation and decoding are performed. The operation input unit 103 receives an operation input such as a response button described later, and outputs an operation signal corresponding to the operation input to the parent device control unit 100. The parent device control unit 102 includes hardware such as a microcomputer and a memory and software, and controls the entire parent device M.

子機Sは、撮像部1、バッファメモリ2、画像処理部3、信号伝送部4、顔検出処理部5、画角調整部6、操作入力部7、制御部8などを備えている。信号伝送部4は、親機Mの信号伝送部101との間で信号線Lsを介して音声信号、映像信号、制御信号を伝送する。撮像手段たる撮像部1は、CCDイメージ・センサあるいはCMOSイメージ・センサからなる撮像素子10、撮像素子10の撮像面に光を集光するレンズ11などを具備している。なお、撮像素子10は、Yの輝度成分とU,Vの色差成分からなるディジタル・ビデオ信号(映像信号)を出力することができる。   The subunit | mobile_unit S is provided with the imaging part 1, the buffer memory 2, the image process part 3, the signal transmission part 4, the face detection process part 5, the view angle adjustment part 6, the operation input part 7, the control part 8, etc. The signal transmission unit 4 transmits an audio signal, a video signal, and a control signal to and from the signal transmission unit 101 of the parent device M via the signal line Ls. The imaging unit 1 serving as an imaging unit includes an imaging element 10 formed of a CCD image sensor or a CMOS image sensor, a lens 11 that collects light on an imaging surface of the imaging element 10, and the like. Note that the image sensor 10 can output a digital video signal (video signal) composed of a luminance component of Y and color difference components of U and V.

バッファメモリ2は、制御部8の指示に従って撮像部1から出力される映像信号(画像データ)を記憶(バッファリング)するものであって、フラッシュメモリなどの電気的に書換可能な不揮発性の半導体メモリで構成されている。但し、バッファメモリ2が画像データを記憶(バッファリング)するタイミングは、制御部8の指示によって決まる。   The buffer memory 2 stores (buffers) a video signal (image data) output from the imaging unit 1 in accordance with an instruction from the control unit 8, and is an electrically rewritable nonvolatile semiconductor such as a flash memory. Consists of memory. However, the timing at which the buffer memory 2 stores (buffers) image data is determined by an instruction from the control unit 8.

画像処理部3は、バッファメモリ2から読み出す映像信号をディジタル変調(例えば、BPSKやQPSKなど)する変調処理のほか、拡大処理(いわゆるディジタル・ズーム)や追跡処理、調整処理などを行う。拡大処理とは、元の映像信号から、1画面(1フレーム)よりも小さい任意の領域(以下、「拡大領域」という。)を前記1画面分の大きさに拡大して表示するための映像信号を作成する処理である。また追跡処理とは、フレーム間差分によって抽出される移動体(来訪者)の画像上の位置を検出する処理である。但し、この種の拡大処理(ディジタル・ズーム)や追跡処理の具体的な処理内容については、従来周知であるから詳細な説明は省略する。さらに調整処理とは、後述する顔存在領域が画像(画角)から外れないように撮像部1の撮像範囲又は拡大処理における拡大領域を調整する処理である。なお、撮像部1の撮像範囲の調整は、後述するように画角調整部6による画角調整によって実現される。   The image processing unit 3 performs an enlargement process (so-called digital zoom), a tracking process, an adjustment process, and the like in addition to a modulation process that digitally modulates a video signal read from the buffer memory 2 (for example, BPSK or QPSK). The enlargement process is an image for enlarging and displaying an arbitrary area (hereinafter referred to as “enlarged area”) smaller than one screen (one frame) from the original video signal. This is a process for creating a signal. The tracking process is a process for detecting the position on the image of the moving object (visitor) extracted by the interframe difference. However, since specific processing contents of this type of enlargement processing (digital zoom) and tracking processing are well known in the art, detailed description thereof will be omitted. Further, the adjustment process is a process of adjusting the imaging range of the imaging unit 1 or the enlargement area in the enlargement process so that a face existing area described later does not deviate from the image (view angle). Note that adjustment of the imaging range of the imaging unit 1 is realized by angle of view adjustment by the angle of view adjustment unit 6 as described later.

顔検出処理部5は、撮像部1の撮像画像における人の顔の存在領域(顔存在領域)を検出する処理(顔検出処理)を行っている。顔検出処理とは、例えば、予め撮像部1で撮像される画像から人の顔の特徴部分(目や鼻、口など)を抽出してテンプレートを作成しておき、実際に撮像された画像に対してテンプレートを走査し、テンプレートとのマッチング(相関)が高い領域を顔存在領域と判定する処理である。なお、顔検出処理部5で検出された顔存在領域の位置情報(画像上の位置座標)が画像処理部3に伝えられる。   The face detection processing unit 5 performs processing (face detection processing) for detecting a human face existing region (face existing region) in the captured image of the imaging unit 1. The face detection process is, for example, extracting a human face feature (such as eyes, nose, mouth) from an image captured in advance by the image capturing unit 1 to create a template, and creating an actual captured image. In contrast, this is a process of scanning a template and determining an area having a high matching (correlation) with the template as a face existing area. Note that the position information (position coordinates on the image) of the face existing area detected by the face detection processing unit 5 is transmitted to the image processing unit 3.

画角調整部6は、撮像部1を水平方向に回動させるパンニング、及び垂直方向に回動させるチルティングをそれぞれ行ってレンズ11の光軸の向き、すなわち、撮像部1の画角を調整するものである。なお、パンニング及びチルティングは、それぞれの回動機構をモータで駆動することによって実現される。また、画角調整部6による画角調整は、後述するように制御部8の指示によって行われる。   The angle-of-view adjustment unit 6 adjusts the direction of the optical axis of the lens 11, that is, the angle of view of the imaging unit 1 by performing panning that rotates the imaging unit 1 in the horizontal direction and tilting that rotates the imaging unit 1 in the vertical direction. To do. Note that panning and tilting are realized by driving each rotation mechanism with a motor. The angle of view adjustment by the angle of view adjustment unit 6 is performed according to an instruction from the control unit 8 as described later.

信号伝送部4は、親機Mの信号伝送部101との間で信号線Lsを介して音声信号、映像信号、制御信号を伝送する。また信号伝送部4では、映像信号の符号化(圧縮)処理や符号化された映像信号をディジタル変調(例えば、BPSKやQPSKなど)する変調処理なども行っている。   The signal transmission unit 4 transmits an audio signal, a video signal, and a control signal to and from the signal transmission unit 101 of the parent device M via the signal line Ls. The signal transmission unit 4 also performs encoding (compression) processing of the video signal and modulation processing for digitally modulating the encoded video signal (for example, BPSK and QPSK).

操作入力部7は、多数の押釦スイッチを有し、これらの押釦スイッチがオンされたときに各押釦スイッチに対応した操作入力を受け付けるとともに、受け付けた操作入力に対応する操作信号を制御部8に送出する。また、操作入力部7は、後述するように入力内容を表示するための表示器(例えば、7セグメントのLED表示器)も具備している。   The operation input unit 7 has a large number of push button switches. When these push button switches are turned on, the operation input unit 7 accepts operation inputs corresponding to the push button switches, and sends an operation signal corresponding to the received operation input to the control unit 8. Send it out. The operation input unit 7 also includes a display (for example, a 7-segment LED display) for displaying input contents as will be described later.

制御部8は、マイクロコンピュータやメモリなどのハードウェアと、後述する種々の制御を実行するためのソフトウェアとで構成されている。例えば、操作入力部7で親機Mを呼び出す操作入力が受け付けられると、制御部8は、信号伝送部4から信号線Lsを介して親機Mに呼出信号を送信する。そして、呼出信号を受信した親機Mのスピーカから呼出音が鳴動される。さらに、呼出音が鳴動されてから一定時間内に親機Mの応答釦が操作されると、親機Mと子機Sの間に信号線Lsを介した通話路が形成され、親機Mと子機Sとの間でインターホン通話が可能となる。すなわち、本実施形態では来訪者が通話に使用する子機Sが撮像装置及び当該撮像装置を備えるインターホン装置に相当し、応対者(住人)が通話に使用する親機M(インターホン装置)とともにインターホンシステムを構成している。   The control unit 8 includes hardware such as a microcomputer and a memory, and software for executing various controls described later. For example, when an operation input for calling the base unit M is received by the operation input unit 7, the control unit 8 transmits a call signal from the signal transmission unit 4 to the base unit M via the signal line Ls. Then, a ringing tone is generated from the speaker of the base unit M that has received the calling signal. Further, when the response button of the base unit M is operated within a predetermined time after the ringing tone is sounded, a communication path via the signal line Ls is formed between the base unit M and the handset S, and the base unit M Interphone call is possible between the mobile phone S and the handset S. That is, in this embodiment, the handset S used by a visitor for a call corresponds to an image pickup apparatus and an interphone device provided with the image pickup apparatus. The system is configured.

図2は、ロビーインターホンとして構成された子機Sの外観図(正面図)を示している。子機Sのハウジング200は、正面から見て矩形の箱形に形成され、その内部に撮像部1、バッファメモリ2、画像処理部3、信号伝送部4、顔検出処理部5、画角調整部6、操作入力部7、制御部8の各部が収納されている。またハウジング200の前面中央には、操作入力部7の押釦スイッチを押操作するための操作部材(操作釦)201,202が配設されている。一方の操作釦201は、0〜1の数字や*(アスタリスク)を入力するための押釦スイッチと、入力した数字又はアスタリスクを消去するための押釦スイッチとにそれぞれ対応している。また、他方の操作釦202は、操作釦201を操作して入力した内容(親機Mが設置されている住戸の住戸番号)を確定し、子機Sから親機Mへ呼出信号を送信させるための押釦スイッチと対応している。なお、操作釦201を押操作して入力される内容(数字)は、ハウジング200前面において、操作釦201の上部に配設されている表示器(例えば、7セグメントのLED表示器)203に表示される。また、ハウジング200前面における表示器203の隣に撮像部1のレンズ11が配置されている。但し、レンズ11は曇りガラスからなるカバー204で隠されている。なお、レンズ11が配置される位置は、操作釦201を押操作する来訪者の顔が撮像可能な位置であればよい。   FIG. 2 shows an external view (front view) of the handset S configured as a lobby intercom. The housing 200 of the slave unit S is formed in a rectangular box shape when viewed from the front, and includes an imaging unit 1, a buffer memory 2, an image processing unit 3, a signal transmission unit 4, a face detection processing unit 5, and an angle of view adjustment. The unit 6, the operation input unit 7, and the control unit 8 are accommodated. In the center of the front surface of the housing 200, operation members (operation buttons) 201 and 202 for pressing the push button switch of the operation input unit 7 are disposed. One operation button 201 corresponds to a push button switch for inputting a number from 0 to 1 or * (asterisk) and a push button switch for deleting the inputted number or asterisk. Further, the other operation button 202 determines the contents inputted by operating the operation button 201 (the dwelling unit number of the dwelling unit in which the parent device M is installed), and transmits a calling signal from the child device S to the parent device M. This corresponds to a push button switch. The contents (numerals) input by pressing the operation button 201 are displayed on a display (for example, a 7-segment LED display) 203 disposed on the operation button 201 on the front surface of the housing 200. Is done. Further, the lens 11 of the imaging unit 1 is disposed next to the display 203 on the front surface of the housing 200. However, the lens 11 is hidden by a cover 204 made of frosted glass. The position where the lens 11 is disposed may be a position where the face of the visitor who presses the operation button 201 can be imaged.

次に、図3のタイムチャートを参照して、来訪者が子機Sを使用して訪問先の住戸の親機Mを呼び出すまでの動作を説明する。まず、来訪者が子機Sの前に立って操作釦201を押操作し、訪問先の住戸の住戸番号を入力する。操作入力部7は、操作釦201が押操作される毎に当該操作釦201で押操作された押釦スイッチと対応する操作信号を制御部8に出力する。制御部8は、最初の操作信号を操作入力部7から受け取った時点で人(来訪者)が撮像部1の撮像範囲内に居る可能性が高いと判断する。   Next, with reference to the time chart of FIG. 3, an operation until the visitor calls the parent device M of the visited dwelling unit using the child device S will be described. First, a visitor stands in front of the handset S and presses the operation button 201 to input the dwelling unit number of the visited dwelling unit. The operation input unit 7 outputs an operation signal corresponding to the push button switch pressed by the operation button 201 to the control unit 8 every time the operation button 201 is pressed. The control unit 8 determines that there is a high possibility that a person (visitor) is within the imaging range of the imaging unit 1 when the first operation signal is received from the operation input unit 7.

そして制御部8は、人が撮像範囲内に居る可能性が高いと判断した後、撮像部1を起動して撮像させるとともに、顔検出処理部5に顔検出処理の実行を指示する。さらに、制御部8は撮像部1のフレーム周期TFよりも長い周期TB(図示例ではTB=TF×5)でバッファメモリ2に画像データを記憶(バッファリング)させる。ここで、来訪者によって操作釦201が操作される前は、撮像部1、バッファメモリ2、画像処理部3、信号伝送部4、顔検出処理部5、画角調整部6が休止状態にあり、操作入力部7と制御部8のみが動作している。但し、制御部8はマイクロコンピュータの消費電力を抑えたスタンバイ状態にあり、操作入力部7から最初の操作信号を受け取った時点で通常の動作状態に復帰する。   Then, after determining that there is a high possibility that a person is in the imaging range, the control unit 8 activates the imaging unit 1 to perform imaging, and instructs the face detection processing unit 5 to execute face detection processing. Further, the control unit 8 stores (buffers) image data in the buffer memory 2 with a period TB (TB = TF × 5 in the illustrated example) longer than the frame period TF of the imaging unit 1. Here, before the operation button 201 is operated by the visitor, the imaging unit 1, the buffer memory 2, the image processing unit 3, the signal transmission unit 4, the face detection processing unit 5, and the view angle adjustment unit 6 are in a pause state. Only the operation input unit 7 and the control unit 8 are operating. However, the control unit 8 is in a standby state in which the power consumption of the microcomputer is suppressed, and returns to a normal operation state when the first operation signal is received from the operation input unit 7.

顔検出処理部5は、撮像部1で撮像された画像に対して顔検出処理を実行して来訪者の顔が映っている領域(顔存在領域)を検出し、検出した顔存在領域の位置情報を制御部8に渡す。制御部8は、顔検出処理部5から受け取った顔存在領域の位置情報に基づいて、画像処理部3における拡大処理の要否を判断する。例えば、来訪者が子機Sから離れた位置に居たため、画面に対する顔存在領域の占める割合が所定のしきい値以下であったとすれば、制御部8は拡大処理が必要と判断して画像処理部3に拡大処理の実行を指示する。一方、来訪者が子機Sに顔を近付けていたため、画面に対する顔存在領域の占める割合がしきい値を越えていたとすれば、制御部8は拡大処理が不要と判断して画像処理部3に拡大処理の実行を指示しない。   The face detection processing unit 5 performs a face detection process on the image captured by the image capturing unit 1 to detect a region (face existing region) in which a visitor's face is shown, and the position of the detected face existing region Information is passed to the control unit 8. The control unit 8 determines whether or not the enlargement process in the image processing unit 3 is necessary based on the position information of the face existing area received from the face detection processing unit 5. For example, if the visitor is at a position away from the child device S and the ratio of the face existing area to the screen is equal to or less than a predetermined threshold, the control unit 8 determines that the enlargement process is necessary and determines the image. The processing unit 3 is instructed to execute enlargement processing. On the other hand, if the visitor is approaching the face of the child device S and the ratio of the face existing area to the screen exceeds the threshold value, the control unit 8 determines that the enlargement process is unnecessary, and the image processing unit 3 Is not instructed to execute enlargement processing.

さらに制御部8は、顔検出処理部5から顔存在領域の位置情報を受け取ると画像処理部3に追跡処理並びに調整処理を開始させる。この追跡処理は、操作釦201,202の操作開始時点から顔検出処理部5の顔検出処理が終了するまでの間(顔検出処理期間TX)にバッファメモリ2に記憶されている複数フレームの画像データから開始される。但し、一番最初に記憶されたフレームは追跡処理に使用されず、顔検出処理のみに使用される。さらに、顔検出処理期間TX中にバッファメモリ2に記憶されていた画像データの処理が済むと、画像処理部3は、引き続いてバッファメモリ2に記憶されている最新の画像データを用いて追跡処理を継続する。なお、顔検出処理期間TX中に記憶された画像データの処理が済んだ後、制御部8はバッファメモリ2のバッファリング周期TBを撮像部1のフレーム周期TFに一致させる。よって、バッファメモリ2には撮像部1から出力される全ての画像データが順番に記憶される。   Further, when receiving the position information of the face existing area from the face detection processing unit 5, the control unit 8 causes the image processing unit 3 to start tracking processing and adjustment processing. This tracking process is performed by a plurality of frames of images stored in the buffer memory 2 from the start of operation of the operation buttons 201 and 202 to the end of the face detection process of the face detection processing unit 5 (face detection process period TX). Start with data. However, the first stored frame is not used for the tracking process, but only for the face detection process. Furthermore, when the processing of the image data stored in the buffer memory 2 is completed during the face detection processing period TX, the image processing unit 3 subsequently uses the latest image data stored in the buffer memory 2 to perform the tracking process. Continue. Note that after the processing of the image data stored during the face detection processing period TX is completed, the control unit 8 makes the buffering cycle TB of the buffer memory 2 coincide with the frame cycle TF of the imaging unit 1. Therefore, all the image data output from the imaging unit 1 is stored in the buffer memory 2 in order.

そして画像処理部3は、追跡処理によって検出される移動体(来訪者)の画像上の位置に基づき、顔存在領域が画像(画角)から外れないように撮像部1の撮像範囲又は拡大処理における拡大領域を調整する(調整処理)。さらに画像処理部3は、制御部8からの指示に従って拡大処理及び追跡処理、調整処理を実行し、処理後の画像(映像信号)あるいは何れの処理も実行しなかったときは元の画像(映像信号)を変調処理して信号伝送部3に出力する。したがって、親機Mの表示部101には、来訪者の顔が適切な大きさで映っている画像(映像)が表示されることになる。   Then, based on the position of the moving object (visitor) on the image detected by the tracking process, the image processing unit 3 performs an imaging range or enlargement process of the imaging unit 1 so that the face existing area does not deviate from the image (view angle). The enlargement area at is adjusted (adjustment process). Further, the image processing unit 3 executes enlargement processing, tracking processing, and adjustment processing in accordance with instructions from the control unit 8, and when the processed image (video signal) or any processing is not executed, the original image (video Signal) is modulated and output to the signal transmission unit 3. Therefore, an image (video) in which the face of the visitor is shown in an appropriate size is displayed on the display unit 101 of the parent device M.

制御部8は、操作入力部7の操作釦202が押操作されると、それまでに操作入力部7から受け取った操作信号で示される数列を住戸番号として確定し、当該住戸番号が割り当てられている親機Mに対して信号伝送部3から制御信号(呼出信号)を伝送させる。さらに、制御部8は画像処理部3および信号伝送部4に指示して画像を伝送させる。   When the operation button 202 of the operation input unit 7 is pressed, the control unit 8 determines the number sequence indicated by the operation signal received from the operation input unit 7 so far as the dwelling unit number, and the dwelling unit number is assigned. The control signal (calling signal) is transmitted from the signal transmission unit 3 to the parent device M. Further, the control unit 8 instructs the image processing unit 3 and the signal transmission unit 4 to transmit an image.

一方、親機Mにおいては、自己に割り当てられている住戸番号に一致する制御信号(呼出信号)を信号伝送部100で受信すると、親機制御部102がスピーカから呼出音を鳴動させる。さらに、子機Sから伝送されてくる画像が信号伝送部100で受信され、親機Mの表示部101に当該画像が表示される。   On the other hand, when the base unit M receives a control signal (calling signal) matching the dwelling unit number assigned to itself at the signal transmission unit 100, the base unit control unit 102 sounds a ringing tone from the speaker. Further, the image transmitted from the slave unit S is received by the signal transmission unit 100 and the image is displayed on the display unit 101 of the master unit M.

上述のように子機Sにおいては、顔検出処理部5の顔検出処理実行中にバッファメモリ2に記憶される画像データに対して画像処理部3が調整処理を行っている。したがって、画像処理部3並びに顔検出処理部5を構成するハードウェアが高性能なものでなく且つ顔検出処理に比較的長い時間を要する場合であっても、人物の顔を確実に追跡して撮像することができるとともに、製造コストの上昇を抑えることができる。   As described above, in the slave unit S, the image processing unit 3 performs adjustment processing on the image data stored in the buffer memory 2 during the face detection processing of the face detection processing unit 5. Therefore, even if the hardware constituting the image processing unit 3 and the face detection processing unit 5 is not high-performance and it takes a relatively long time for the face detection processing, the face of the person is reliably tracked. An image can be taken and an increase in manufacturing cost can be suppressed.

ところで、顔検出処理部5が顔検出処理を行った画像には、子機Sの操作釦201,202を押操作している来訪者が映っている可能性が高い。なお、以下では説明を簡単にするため、上述のように顔検出処理が行われた短時間の画像を「イントロ画像」と呼ぶことにする。なお、イントロ画像はバッファメモリ2とは別のメモリ(図示せず)に記憶されている。   By the way, it is highly likely that a visitor who presses the operation buttons 201 and 202 of the handset S is reflected in the image subjected to the face detection processing by the face detection processing unit 5. In the following, for the sake of simplicity, a short-time image on which face detection processing has been performed as described above will be referred to as an “intro image”. The intro image is stored in a memory (not shown) different from the buffer memory 2.

従来のインターホンシステムでは、子機で呼出操作が行われた後に撮像されるリアルタイムの画像が親機のモニタに表示されていた。そのため、呼出操作を終了した来訪者が無意識又は故意に撮像部1の撮像範囲から外れてしまい、呼出音を聞いた住人(応対者)が観る時点で親機Mの表示部101に表示される画像に来訪者が映っていない場合があった。一方、本実施形態では、画像処理部3の追跡処理と調整処理により、ある程度までは移動する来訪者を撮像部1の撮像範囲内に収めることができる。   In the conventional intercom system, a real-time image captured after a call operation is performed on the slave unit is displayed on the monitor of the master unit. For this reason, the visitor who has finished the call operation is unconsciously or intentionally deviated from the imaging range of the imaging unit 1 and is displayed on the display unit 101 of the main unit M at the time when the resident (responder) who heard the ringing sound watches. There were cases where visitors were not shown in the image. On the other hand, in the present embodiment, visitors who move to some extent can be accommodated within the imaging range of the imaging unit 1 by the tracking process and the adjustment process of the image processing unit 3.

ここで、呼出音が鳴動されてから応答釦が操作されるまでの応答待ちの期間(以下、「イントロ期間」と呼ぶ。)において、イントロ画像とリアルタイムの画像を親画面と子画面に振り分けて親機Mの表示部101に同時に表示させてもよい。すなわち、子機Sの画像処理部3が親子画面処理を実行し、メモリに記憶されているイントロ画像とリアルタイムの画像(調整処理後の画像)とを合成し、一方の画像を親画面とし、他方の画像を子画面として同一画面内に同時に表示する画像を作成する。そして、画像処理部3で作成された親子画面の画像が信号伝送部4から親機Mに伝送され、親機Mの表示部101に2種類の画像(イントロ画像I2とリアルタイムの画像I1)が親子画面として表示される。また、親機Mの操作入力部103で親子画面を切り換える操作入力が受け付けられると、親機制御部102が信号伝送部100から親子画面の切換を指示する制御信号を送信させる。そして、当該制御信号を受け取った子機Sの制御部8は、画像処理部3に対して親画面に表示する画像と子画面に表示する画像の切換(入れ替え)を指示する。その結果、親機Mの表示部103に表示される親子画面の画像の位置が切り換えられることになる。つまり、本実施形態では画像処理部3が画像生成手段に相当し、制御部8が出力手段に相当する。但し、親画面と子画面の合成並びに入れ替えを親機Mの親機制御部102で行うことも可能である。   Here, in the response waiting period (hereinafter referred to as “intro period”) from when the ringing tone is sounded until the response button is operated, the intro image and the real-time image are distributed to the main screen and the sub screen. You may display on the display part 101 of the main | base station M simultaneously. That is, the image processing unit 3 of the child device S executes parent-child screen processing, combines the intro image stored in the memory and the real-time image (image after adjustment processing), and sets one image as the parent screen, An image that simultaneously displays the other image as a child screen in the same screen is created. Then, the image of the parent-child screen created by the image processing unit 3 is transmitted from the signal transmission unit 4 to the parent device M, and two types of images (intro image I2 and real-time image I1) are displayed on the display unit 101 of the parent device M. Displayed as a parent-child screen. When an operation input for switching the parent / child screen is received by the operation input unit 103 of the parent device M, the parent device control unit 102 causes the signal transmission unit 100 to transmit a control signal instructing switching of the parent / child screen. The control unit 8 of the child device S that has received the control signal instructs the image processing unit 3 to switch (replace) the image displayed on the parent screen and the image displayed on the child screen. As a result, the position of the image on the parent / child screen displayed on the display unit 103 of the parent device M is switched. That is, in this embodiment, the image processing unit 3 corresponds to an image generation unit, and the control unit 8 corresponds to an output unit. However, it is also possible for the master unit control unit 102 of the master unit M to combine and replace the master screen and the slave screen.

ここで、制御信号に応じて制御部8がイントロ画像のみを信号伝送部4から伝送させている間においても画像処理部3が追跡処理並びに調整処理を継続している。したがって、制御部8が信号伝送部4から伝送させる画像をイントロ画像からリアルタイム画像あるいはリアルタイム画像を含む親子画面の画像に切り換えた場合、直ちに調整処理がされたリアルタイム画像が伝送可能になる。   Here, even when the control unit 8 transmits only the intro image from the signal transmission unit 4 according to the control signal, the image processing unit 3 continues the tracking process and the adjustment process. Therefore, when the control unit 8 switches the image to be transmitted from the signal transmission unit 4 from the intro image to a real-time image or a parent-child image including a real-time image, the adjusted real-time image can be transmitted immediately.

M インターホン親機(インターホン装置)
S インターホン子機(撮像装置,インターホン装置)
1 撮像部(撮像手段)
2 バッファメモリ(記憶手段)
3 顔検出処理部(顔検出手段)
4 画像処理部(拡大手段,調整手段)
M Interphone main unit (interphone device)
S Interphone cordless handset (imaging device, intercom device)
1 Imaging unit (imaging means)
2 Buffer memory (memory means)
3 Face detection processing unit (face detection means)
4 Image processing unit (enlarging means, adjusting means)

Claims (7)

画像を撮像する撮像手段と、当該画像を記憶する記憶手段と、前記画像における人の顔の存在領域を検出する顔検出手段と、前記画像の一部の領域を拡大する拡大手段と、前記人が前記画像から外れないように前記撮像手段の撮像範囲又は前記拡大手段の拡大領域を調整する調整手段とを備え、前記顔検出手段の検出処理の実行中に前記記憶手段に記憶される前記画像に対して前記調整手段の調整処理が行われることを特徴とする撮像装置。   Imaging means for picking up an image, storage means for storing the image, face detection means for detecting a human face existing area in the image, enlargement means for enlarging a partial area of the image, and the person Adjustment means for adjusting an imaging range of the imaging means or an enlargement area of the enlargement means so as not to deviate from the image, and the image stored in the storage means during the detection process of the face detection means The image pickup apparatus is characterized in that adjustment processing of the adjustment means is performed. 前記記憶手段は、一定の周期で画像を記憶することを特徴とする請求項1記載の撮像装置。   The imaging apparatus according to claim 1, wherein the storage unit stores an image at a constant period. 前記記憶手段は、人が前記撮像手段の撮像範囲内に居る可能性が高いときは前記撮像手段のフレーム周期よりも長い第1周期で画像を記憶し、その他のときは前記第1周期よりも短く且つ前記フレーム周期よりも長くない第2周期で画像を記憶することを特徴とする請求項2記載の撮像装置。   The storage means stores an image with a first period longer than the frame period of the imaging means when a person is likely to be within the imaging range of the imaging means, and at other times than the first period. The imaging apparatus according to claim 2, wherein the image is stored in a second period that is shorter and not longer than the frame period. 前記調整手段で調整された画像を含む複数種類の画像を親画面と子画面に振り分けた画像を生成する画像生成手段を備えることを特徴とする請求項1〜3の何れか1項に記載の撮像装置。   The apparatus according to claim 1, further comprising an image generation unit configured to generate an image in which a plurality of types of images including images adjusted by the adjustment unit are distributed to a main screen and a sub screen. Imaging device. 前記調整手段で調整された画像と前記調整手段で調整されていない画像とを選択して出力する出力手段を備え、前記調整手段は、当該出力手段に選択されるか否かに関わりなく、画像の調整を行うことを特徴とする請求項1〜4の何れか1項に記載の撮像装置。   Output means for selecting and outputting an image adjusted by the adjustment means and an image not adjusted by the adjustment means, the adjustment means regardless of whether the output means is selected or not The imaging apparatus according to any one of claims 1 to 4, wherein the adjustment is performed. 請求項1〜5の撮像装置と、当該撮像装置で撮像される画像を伝送する伝送手段とを備えることを特徴とするインターホン装置。   An intercom apparatus comprising: the imaging apparatus according to claim 1; and a transmission unit that transmits an image captured by the imaging apparatus. 請求項6のインターホン装置と、前記インターホン装置から伝送される画像を表示する表示手段を具備するインターホン装置とを備えることを特徴とするインターホンシステム。   An intercom system comprising: the intercom apparatus according to claim 6; and an intercom apparatus including display means for displaying an image transmitted from the intercom apparatus.
JP2010283627A 2010-12-20 2010-12-20 Imaging device, intercom device, intercom system Active JP5750590B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010283627A JP5750590B2 (en) 2010-12-20 2010-12-20 Imaging device, intercom device, intercom system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010283627A JP5750590B2 (en) 2010-12-20 2010-12-20 Imaging device, intercom device, intercom system

Publications (2)

Publication Number Publication Date
JP2012134660A JP2012134660A (en) 2012-07-12
JP5750590B2 true JP5750590B2 (en) 2015-07-22

Family

ID=46649756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010283627A Active JP5750590B2 (en) 2010-12-20 2010-12-20 Imaging device, intercom device, intercom system

Country Status (1)

Country Link
JP (1) JP5750590B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6410344B2 (en) * 2014-07-17 2018-10-24 アイホン株式会社 Intercom system with zoom / scroll function
JP6426035B2 (en) * 2015-03-20 2018-11-21 アイホン株式会社 Intercom system
JP6883757B2 (en) * 2017-06-08 2021-06-09 パナソニックIpマネジメント株式会社 Intercom system, intercom slave unit, display terminal, control device and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008245095A (en) * 2007-03-28 2008-10-09 Aiphone Co Ltd Intercom system
JP2009010579A (en) * 2007-06-27 2009-01-15 Sharp Corp Video intercom device

Also Published As

Publication number Publication date
JP2012134660A (en) 2012-07-12

Similar Documents

Publication Publication Date Title
KR100749337B1 (en) Method for photography using a mobile terminal with plural lenses and apparatus therefor
US8120641B2 (en) Panoramic photography method and apparatus
JP6432130B2 (en) Display system, display device, photographing device, display method, and program
US11750915B2 (en) Mobile terminal
KR100689419B1 (en) Method and apparatus for compounding taken?image in mobile terminal having camera
JP2016213674A (en) Display control system, display control unit, display control method, and program
JP2007150452A (en) Video intercom device
JP2012015974A (en) Intercom system
JP5750590B2 (en) Imaging device, intercom device, intercom system
KR20080106668A (en) Method for taking pictures in a wireless terminal
JP6006945B2 (en) Intercom system
JP5971605B2 (en) Interphone system, interphone slave unit and interphone master unit
JP2011035644A (en) Intercom system
JP4917454B2 (en) Intercom device
JP2007060015A (en) Interphone system
JP5891391B2 (en) Imaging device
JP2013251617A (en) Camera
JP3218065B2 (en) TV door phone equipment
JP7113253B2 (en) CALLING DEVICE, INFORMATION TERMINAL, CONTROL METHOD FOR INFORMATION TERMINAL, AND PROGRAM
KR100697627B1 (en) Method and apparatus for photography using motion sensing
JP2004229090A (en) Video doorphone unit
JP6917563B2 (en) Intercom system, program, and handset
JP2010141429A (en) Monitoring system
KR20070115232A (en) Method and apparatus for stereoscopic image using mobile terminal with plural lenses and plural displaying panels
KR100835376B1 (en) Method and apparatus for recording moving images in mobile telecommunication terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140610

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150213

R151 Written notification of patent or utility model registration

Ref document number: 5750590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151