JP6155712B2 - Information processing apparatus, image processing apparatus, and program - Google Patents
Information processing apparatus, image processing apparatus, and program Download PDFInfo
- Publication number
- JP6155712B2 JP6155712B2 JP2013048503A JP2013048503A JP6155712B2 JP 6155712 B2 JP6155712 B2 JP 6155712B2 JP 2013048503 A JP2013048503 A JP 2013048503A JP 2013048503 A JP2013048503 A JP 2013048503A JP 6155712 B2 JP6155712 B2 JP 6155712B2
- Authority
- JP
- Japan
- Prior art keywords
- captured image
- image
- information processing
- image processing
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、情報処理装置、画像処理装置およびプログラムに関する。 The present invention relates to an information processing apparatus, an image processing apparatus, and a program.
インターネット等の通信ネットワークを利用して、異なる拠点(遠隔地)に設置された通信装置(情報処理装置の一例)間において画像や音声を送受信することにより、異なる拠点間において会議を行う会議システムが普及している。具体的には、会議システムは、会議に出席する出席者が居る一方の拠点に設置された通信装置を利用して、出席者などを含む会議室の撮像および出席者の発言等の音声の収集を行い、会議室の撮像により得られた撮像画像および収集した音声をデジタルデータに変換して他方の拠点に設置された通信装置に送信する。そして、当該他方の拠点に設置された通信装置が、受信した撮像画像を表示装置に表示させかつ受信した音声をスピーカから出力させる。これにより、会議システムは、一つの拠点において行われる会議に近い状態で、異なる拠点間での会議を行うことを可能にしている。 A conference system that performs a conference between different bases by transmitting and receiving images and sounds between communication devices (an example of an information processing device) installed at different bases (remote places) using a communication network such as the Internet. It is popular. Specifically, the conference system uses a communication device installed at one of the locations where attendees attend the conference to capture images of the conference room, including attendees, etc. The captured image obtained by imaging the conference room and the collected voice are converted into digital data and transmitted to the communication device installed at the other site. And the communication apparatus installed in the said other base displays the received captured image on a display apparatus, and outputs the received audio | voice from a speaker. Thereby, the conference system makes it possible to hold a conference between different sites in a state close to a conference held at one site.
この会議システムにおいては、会議に出席する複数の出席者の全員を撮像するために、当該複数の出席者の全員が通信装置の備える撮像部の画角に入るように、通信装置を配置する必要がある。しかしながら、通信装置の真横に近い位置は撮像部の画角に入らないため、出席者が位置することができないという問題があった。そこで、撮像部が備えるレンズに広角レンズ(例えば、画角が180度を超えるような広角レンズ)を採用して撮像部の画角を広げることにより、通信装置の真横に近い位置の出席者も撮像可能とする方法が提案されている。しかしながら、広角レンズの特性によって撮像部の撮像により得られた撮像画像が大きく歪み、実際の被写体と撮像画像とに大きな違いが生じてしまう。また、撮像部の撮像により得られた撮像画像に含まれる出席者は、通常のレンズを有する撮像部の撮像により得られた撮像画像に含まれる出席者と比べて小さく撮像されてしまう。 In this conference system, in order to image all of a plurality of attendees attending the conference, it is necessary to arrange the communication device so that all of the plurality of attendees fall within the angle of view of the imaging unit included in the communication device. There is. However, since the position close to the side of the communication device does not fall within the angle of view of the imaging unit, there is a problem that the attendee cannot be positioned. Therefore, by adopting a wide-angle lens (for example, a wide-angle lens with an angle of view exceeding 180 degrees) as a lens provided in the imaging unit, the attendant at a position close to the side of the communication device can also be used by expanding the imaging angle of the imaging unit. A method for enabling imaging has been proposed. However, the captured image obtained by the imaging of the imaging unit is greatly distorted due to the characteristics of the wide-angle lens, and a large difference occurs between the actual subject and the captured image. Moreover, the attendee included in the captured image obtained by the imaging of the imaging unit is captured smaller than the attendee included in the captured image obtained by the imaging of the imaging unit having a normal lens.
さらに、会議システムには、一方の拠点に設置された通信装置が備える撮像部により得られた撮像画像を所望の画像に変換した上で、他の拠点に設置された通信装置に送信したいという要望がある。そこで、一方の拠点に設置された通信装置が、撮像画像の歪み補正、撮像画像の変倍(例えば、複数の出席者全員が含まれるように撮像画像を縮小、複数の出席者のうち発言者のみが含まれるように撮像画像を拡大)などの画像処理を行って他の通信装置へ送信する方法が提案されている。しかし、この方法では、撮像画像に対して実行する画像処理の画像処理方法を他の拠点に設置された通信装置において選択できないため、例えば複数の出席者全員が含まれる撮像画像を表示させたいのに、発言者のみが含まれる撮像画像が表示されるなど、他の拠点の出席者が見たい撮像画像と、実際に表示される撮像画像とが一致しない場合がある。 Furthermore, in the conference system, a request to convert a captured image obtained by an imaging unit included in a communication device installed at one base to a desired image and transmit the image to a communication device installed at another base There is. Therefore, the communication device installed at one of the bases corrects the distortion of the captured image, scales the captured image (for example, reduces the captured image to include all of the plurality of attendees, and speaks out of the plurality of attendees). A method of performing image processing such as enlarging a captured image so as to include only the image and transmitting the image to another communication device has been proposed. However, in this method, since the image processing method of image processing to be performed on the captured image cannot be selected in the communication device installed at another base, for example, it is desired to display a captured image including all of a plurality of attendees. In addition, a captured image that includes only the speaker may be displayed, and a captured image that an attendee at another site wants to see may not match the captured image that is actually displayed.
本発明は、上記に鑑みてなされたものであって、一方の拠点を撮像して得られた撮像画像に画像処理を実行した上で他の拠点に設置された情報処理装置に送信する場合に、他の拠点のユーザが見たい撮像画像と実際に表示される画像とを一致させることができる情報処理装置、画像処理装置およびプログラムを提供することを目的とする。 The present invention has been made in view of the above, and when image processing is performed on a captured image obtained by imaging one site and then transmitted to an information processing apparatus installed at another site Another object of the present invention is to provide an information processing apparatus, an image processing apparatus, and a program that can match a captured image that a user at another site wants to see with an image that is actually displayed.
上述した課題を解決し、目的を達成するために、本発明は、自装置が設置された拠点とは異なる他の拠点に設置されかつ撮像部により他の拠点を撮像して得られた撮像画像に画像処理を実行する外部機器から、画像処理が実行された撮像画像を取得して拠点に設置された表示部に表示させる表示制御部と、外部機器に撮像画像の歪曲収差の補正を行う画像処理を実行させるための処理情報を送信して、当該画像処理を実行させる送信部と、を備える。 In order to solve the above-described problems and achieve the object, the present invention provides a captured image that is installed at another site different from the site where the device is installed and that is obtained by imaging the other site with the imaging unit. A display control unit that acquires a captured image on which image processing has been performed from an external device that performs image processing and displays the captured image on a display unit installed at the base, and an image that corrects distortion aberration of the captured image on the external device It transmits the processing information for executing the process, and a transmission unit that executes the image processing.
本発明によれば、一方の拠点を撮像して得られた撮像画像に画像処理を実行した上で他の拠点に設置された情報処理装置に送信する場合に、他の拠点のユーザが見たい撮像画像と実際に表示される画像とを一致させることができる、という効果を奏する。 According to the present invention, when image processing is performed on a captured image obtained by capturing an image at one site and the image is transmitted to an information processing apparatus installed at another site, a user at the other site wants to see There is an effect that the captured image and the actually displayed image can be matched.
以下に添付図面を参照して、情報処理装置、画像処理装置およびプログラムの実施の形態を詳細に説明する。 Hereinafter, embodiments of an information processing device, an image processing device, and a program will be described in detail with reference to the accompanying drawings.
図1は、本実施の形態にかかる表示制御システムの構成を示すブロック図である。本実施の形態にかかる表示制御システム1は、サーバ3と、それぞれ異なる拠点(場所)に設置された複数の情報処理装置2(2a,2b,2c,2d)とを備え、これらがインターネットなどのネットワークNを介して接続されている。サーバ3は、サーバコンピュータやワークステーション等である。情報処理装置2は、テレビ会議用の装置や、パーソナルコンピュータ、スマートフォン、タブレット装置等の汎用のコンピュータである。
FIG. 1 is a block diagram showing a configuration of a display control system according to the present embodiment. The display control system 1 according to the present embodiment includes a
サーバ3は、各情報処理装置2がサーバ3との通信を行っているか否かを検出する処理、異なる拠点に設置された情報処理装置2間において情報(画像、音声等)を送受信するビデオ会議等に参加する情報処理装置2を呼び出す処理、当該呼び出し処理に応じて通信を確立した情報処理装置2間において送受信する情報を転送する処理等を行う。
The
情報処理装置2は、遠隔地にある拠点の会議室等に設置され、ビデオ会議の会議出席者等によって操作される。各拠点の情報処理装置2は、自装置が設置された拠点(例えば、会議出席者、当該会議出席者が居る会議室等)をカメラ20(図2B参照)により撮像して得られた撮像画像、マイク22(図2B参照)により集音した音声(例えば、会議出席者の発言の音声等)を、サーバ3を介して他の拠点に設置された情報処理装置2に送信する。
The
また、情報処理装置2は、他の拠点に設置された情報処理装置2から送信されサーバ3によって転送されてきた撮像画像および音声を受信し、受信した撮像画像を表示部21(図2B参照)に表示させるとともに受信した音声をスピーカ23(図2B参照)から出力する。
Further, the
例えば、情報処理装置2aと情報処理装置2bと情報処理装置2cとの間においてビデオ会議を行う場合、情報処理装置2aから送信された撮像画像および音声は、サーバ3を介して情報処理装置2bおよび情報処理装置2cに送信されるが、ビデオ会議に参加していない情報処理装置2dには送信されない。
For example, when a video conference is performed among the
同様にして、情報処理装置2bから送信された撮像画像および音声は、サーバ3を介して情報処理装置2aおよび情報処理装置2cには送信されるが、ビデオ会議に参加していない情報処理装置2dには送信されない。また、情報処理装置2cから送信された撮像画像および音声は、サーバ3を介して情報処理装置2aおよび情報処理装置2bには送信されるが、ビデオ会議に参加していない情報処理装置2dには送信されない。以上の処理を行うことにより、異なる拠点に設置された複数の情報処理装置2の間において、撮像画像および音声を送受信することによりビデオ会議が行われる。
Similarly, the captured image and the sound transmitted from the
図2Aは、本実施の形態にかかるサーバのハードウェア構成を示すブロック図である。本実施の形態にかかるサーバ3は、表示部30、CPU(Central Processing Unit)31、記録装置32、メモリ33、操作部34およびLAN(Local Area Network)インターフェース(I/F)部35を備えている。
FIG. 2A is a block diagram illustrating a hardware configuration of the server according to the present embodiment. The
表示部30は、例えばLCD(Liquid Crystal Display)、EL(Electroluminescence)ディスプレイ、CRT(Cathode Ray Tube)ディスプレイ等で構成され、CPU31から入力される各種情報を表示する。
The
記録装置32は、例えば不揮発性メモリやHDD(Hard Disk Drive)等で構成され、CPU31が行うサーバ3が備える各部の制御やビデオ会議等が行われる際の撮像画像および音声の転送の制御などを実現するためのプログラムを記憶する。
The
メモリ33は、CPU31の作業用メモリとして用いられ、CPU31が実行するプログラムの展開またはCPU31がプログラムを実行中に使用するデータ等を一時的に記憶するメモリ領域を有する。
The
操作部34は、キーボード、マウス、タッチパネル、各種スイッチ等で構成され、ユーザ(例えば、サーバ3の管理者)による操作の入力に用いられる。そして、操作部34は、入力された操作をCPU31に通知する。
The
LANインターフェース(I/F)部35は、インターネット等のネットワークNを経由して外部機器(例えば、各拠点に設置された情報処理装置2など)と接続し、情報処理装置2間で送受信される撮像画像および音声の転送が可能である。本実施の形態では、LANインターフェース部35として、10Base−T,100Base−TX,1000Base−T等に対応しEthernet(登録商標)に接続する有線LAN、802.11a/b/g/nに対応した無線LAN等を用いる。
The LAN interface (I / F)
CPU31は、サーバ3が備える各部の制御やビデオ会議等が行われる際の撮像画像および音声の転送の制御などを行う制御部である。
The CPU 31 is a control unit that performs control of each unit included in the
図2Bは、本実施の形態にかかる情報処理装置のハードウェア構成を示すブロック図である。本実施の形態にかかる情報処理装置2は、カメラ20、表示部21、マイク22、スピーカ23、CPU(Central Processing Unit)24、記録装置25、メモリ26、LAN(Local Area Network)インターフェース(I/F)部27および操作部28を備えている。
FIG. 2B is a block diagram illustrating a hardware configuration of the information processing apparatus according to the present embodiment. The
カメラ20は、情報処理装置2(自装置)が設置された拠点(例えば、情報処理装置2が設置された拠点の会議出席者、当該会議出席者が居る会議室等)を撮像する撮像部である。また、カメラ20は、拠点の撮像により得られた撮像画像をCPU24に送信する。
The
本実施の形態では、カメラ20が備えるレンズには、その焦点距離が所定の焦点距離よりも長い広角レンズを用いる。これにより、カメラ20の画角を大きくすることができるので、一つの拠点に複数の会議出席者が居る場合に、複数の会議出席者全員が含まれる撮像画像を得ることができる。
In the present embodiment, a wide-angle lens whose focal length is longer than a predetermined focal length is used as the lens included in the
表示部21は、例えばLCD(Liquid Crystal Display)、EL(Electroluminescence)ディスプレイ、CRT(Cathode Ray Tube)ディスプレイ等で構成され、CPU24から入力される各種情報(例えば、自装置が設置された拠点とは異なる他の拠点に設置された情報処理装置2から受信した撮像画像等)を表示する。
The
マイク22は、情報処理装置2が設置された拠点の音声の入力に用いられ、入力された音声をCPU24に送信する。例えば、マイク22は、情報処理装置2が設置された拠点に居る会議出席者の発言による音声の入力に用いられる。
The
スピーカ23は、CPU24から入力される音声(例えば、他の拠点に設置された情報処理装置2から受信した音声等)を出力する。
The
記録装置25は、例えば不揮発性メモリやHDD(Hard Disk Drive)等で構成され、CPU24が行う情報処理装置2が備える各部の制御(以下、全体制御という)やビデオ会議等を行う際の撮像画像および音声の送受信の制御(以下、ビデオ会議制御という)などを実現するためのプログラムを記憶する。
The
メモリ26は、CPU24の作業用メモリとして用いられ、CPU24が実行するプログラムの展開またはCPU24がプログラムの実行中に使用するデータ等を一時的に記憶するメモリ領域を有する。
The
LANインターフェース部27は、インターネット等のネットワークを経由して外部機器(例えば、他の拠点に設置された情報処理装置2等)と接続し、撮像画像および音声の送信および受信が可能である。本実施の形態では、LANインターフェース部27として、10Base−T,100Base−TX,1000Base−T等に対応しEthernet(登録商標)に接続する有線LAN、802.11a/b/g/nに対応した無線LAN等を用いる。
The
操作部28は、キーボード、マウス、タッチパネル、各種スイッチ等で構成され、ユーザによる操作の入力に用いられる。そして、操作部28は、入力された操作をCPU24に通知する。
The
CPU24は、全体制御やビデオ会議制御等を行う制御部である。ここで、CPU24によるビデオ会議制御について簡単に説明する。まず、CPU24が、カメラ20の撮像により得られた撮像画像およびマイク22から入力された音声を、他の拠点の情報処理装置2に送信する処理について説明する。CPU24は、カメラ20から撮像画像を取得するとともに、マイク22から音声を取得する。次いで、CPU24は、取得した撮像画像に対して画像処理を実行する。そして、CPU24は、画像処理を実行した撮像画像および取得した音声を、LANインターフェース部27を介して、インターネット等のネットワークNを経由して他の拠点の情報処理装置2に対して送信する。
The
次に、CPU24が、他の拠点の情報処理装置2から撮像画像および音声を受信する処理について説明する。CPU24は、インターネット等のネットワークNを介して他の拠点の情報処理装置2から送信された撮像画像および音声を、LANインターフェース部27を介して受信する。次いで、CPU24は、受信した撮像画像を表示部21に出力するとともに、受信した音声をスピーカ23に出力することにより、当該受信した撮像画像の表示および当該受信した音声の出力を行う。CPU24は、上述の処理を繰り返すことにより、ビデオ会議制御を行う。
Next, processing in which the
図3は、本実施の形態にかかる情報処理装置2の機能構成を示すブロック図である。図3に示すように、情報処理装置2のCPU24は、記録装置25などに記憶されているプログラムをメモリ26に展開して実行することにより、画像処理部2401、受信部2402、表示制御部2403および送信部2404として機能する。
FIG. 3 is a block diagram illustrating a functional configuration of the
以下の説明では、第1拠点に設置された情報処理装置2a(自装置)が、第2拠点(他の拠点)に設置された情報処理装置2b(外部機器)とビデオ会議を行う場合について説明するが、その他の拠点に設置された情報処理装置2c,2dとビデオ会議を行う場合も同様である。また、以下の説明では、情報処理装置2aが、撮像画像の送信側および撮像画像の受信側の両方として機能する場合について説明するが、撮像画像の送信側(すなわち、画像処理装置の一例)となる場合には、少なくとも画像処理部2401および受信部2402として機能し、撮像画像の受信側となる場合には、少なくとも表示制御部2403および送信部2404として機能すれば良い。
In the following description, a case where the
画像処理部2401は、カメラ20により情報処理装置2aが設置された第1拠点を撮像して得られた撮像画像に所定の画像処理(または第2拠点に設置された情報処理装置2bにより指示された画像処理)を実行するとともに、第1拠点とは異なる第2拠点(他の拠点)に設置された情報処理装置2b(外部機器)に、画像処理を実行した撮像画像を送信する。ここで、情報処理装置2bにより指示された画像処理を実行する場合、画像処理部2401は、後述する受信部2402により受信した処理情報に従って、撮像画像に対して画像処理を実行することとなる。
The
受信部2402は、第2拠点に設置された情報処理装置2bから、撮像画像に対して実行する画像処理を指示する処理情報(例えば、画像処理方法等)を受信する。
The receiving
表示制御部2403は、自装置が設置された第1拠点とは異なる第2拠点(他の拠点)に設置されかつ第2拠点を撮像して得られた撮像画像に画像処理を実行する情報処理装置2b(外部機器)から、当該画像処理が実行された撮像画像を取得して、第1拠点に設置された情報処理装置2aが備える表示部21に表示させる。
The
送信部2404は、第2拠点の情報処理装置2bに、撮像画像に対して実行する画像処理を指示する処理情報(例えば、画像処理方法等)を送信して、処理情報に従った画像処理を第2拠点の情報処理装置2bに実行させる。
The
ここで、図4〜7を用いて、カメラ20の撮像により得られた撮像画像に対して実行する画像処理について説明する。図4は、本実施の形態にかかる情報処理装置が備えるカメラの撮像領域の一例を示す図である。図5は、本実施の形態にかかる情報処理装置が備えるカメラの撮像により得られた撮像画像の一例を示す図である。図6および図7は、本実施の形態にかかる情報処理装置により画像処理が実行された撮像画像の一例を示す図である。
Here, with reference to FIGS. 4 to 7, image processing to be performed on a captured image obtained by imaging with the
図4に示すように、情報処理装置2aが備えるカメラ20の撮像領域R(例えば、情報処理装置2aが備える表示部21の表示画面の前方)に、ビデオ会議への3名の会議出席者A,B,Cが並んでいた場合、カメラ20は、撮像領域Rを撮像することにより、3名の会議出席者A,B,Cを含む撮像画像G(図5に示す)を得る。カメラ20の撮像により得られた撮像画像Gは、カメラ20が備えるレンズ(広角レンズ)の特性が原因となって、図5に示すように、3名の会議出席者A,B,Cのうち真ん中の会議出席者Aが、両端の会議出席者B,Cよりも小さくなる等の歪み(例えば、歪曲収差など)を含むことがある。したがって、ビデオ会議を違和感なく行うためには、カメラ20の撮像により得られる撮像画像Gに対して当該撮像画像Gが含む歪みを補正する画像処理を実行し、図6および図7に示すように、実際の見た目に近づけることが好ましい。
As shown in FIG. 4, three conference attendees A attending a video conference are displayed in the imaging region R of the
そこで、本実施の形態では、画像処理部2401は、カメラ20の撮像により得られた撮像画像Gに対して画像処理を実行して、撮像画像Gを実際の見た目に近づける。例えば、画像処理部2401は、カメラ20の撮像により得られた撮像画像Gの中央部(会議出席者Aを含む領域)の周りの周辺部(会議出席者B,Cを含む領域)を縮小する画像処理を撮像画像Gに実行して、図6に示すように3人の会議出席者A,B,Cの大きさの関係を実際の見た目に近づけた撮像画像G1を得る。これにより、カメラ20の撮像に得られたそのままの撮像画像Gを第2拠点の情報処理装置2bに送信するよりも、より実際の見た目に近い撮像画像G1を第2拠点の情報処理装置2bに表示させて違和感を軽減できる。
Therefore, in the present embodiment, the
また、画像処理部2401は、例えば会議出席者Aが発言している場合、カメラ20の撮像により得られた撮像画像Gの中央部(会議出席者Aを含む領域)を拡大する画像処理を撮像画像Gに実行して、図7に示すように会議出席者Aのみを含みかつ会議出席者Aの表情等も視認可能な撮像画像G2を得る。これにより、カメラ20の撮像により得られたそのままの撮像画像Gを第2拠点の情報処理装置2bに送信するよりも、会議出席者Aの大きさや表情等が伝わりやすい撮像画像G2を第2拠点の情報処理装置2bに送信することができる。
Further, for example, when the conference attendee A speaks, the
図7に示す例は、画像処理部2401は、撮像画像Gに含まれる3人の会議出席者A,B,Cのうち会議出席者Aを拡大する画像処理を実行しているが、会議出席者Bまたは会議出席者Cが発言している場合には、撮像画像Gに対して会議出席者Bまたは会議出席者Cを拡大する画像処理を実行しても良い。
In the example illustrated in FIG. 7, the
また、本実施の形態では、情報処理装置2は、CPU24が記録装置25に記憶されたプログラムを実行することにより画像処理部2401を実現しているが、これに限定するものではなく、CPU24の外部に存在する専用の画像処理回路によって、撮像画像に対して画像処理を実行しても良い。その場合、CPU24は、UART−12Cブリッジなどの汎用的なインターフェースを用いて、専用の画像処理回路を制御する。
In the present embodiment, the
次に、図8を用いて、撮像画像の送信側としての情報処理装置2aにおけるビデオ会議制御の流れについて説明する。図8は、撮像画像の送信側としての情報処理装置におけるビデオ会議制御の流れを示すフローチャートである。
Next, the flow of video conference control in the
受信部2402は、撮像画像の受信側としての第2拠点の情報処理装置2bから処理情報を受信する(ステップS801)。本実施の形態では、受信部2402は、撮像画像の一部(例えば、撮像画像の中央部など)の拡大(以下、一部拡大という)を行う画像処理を実行させるための処理情報、撮像画像の歪みの補正(以下、歪曲収差の補正という)を行う画像処理を実行させるための処理情報を受信する。
The receiving
本実施の形態では、受信部2402は、自装置で実行する画像処理の画像処理方法である一部拡大または歪曲収差の補正を行う画像処理を実行させるための処理情報を受信しているが、自装置が実行可能な画像処理であれば、処理情報によりいずれの画像処理が指示されても実行可能である。例えば、受信部2402は、第1拠点に設置された情報処理装置2aのカメラ20の撮像により得られた撮像画像からの一部の画像の切り出し、当該撮像画像の画素毎のコントラストを最適化する明暗調整(所謂、ブライトフェイス機能)、逆光で暗くなった撮像画像を補正する逆光調整等を行う画像処理を実行させるための処理情報を、第2拠点に設置された情報処理装置2bから受信して、後述する画像処理部2401が、撮像画像からの一部の画像の切り出し、ブライトフェイス機能、逆光調整等の画像処理を実行しても良い。撮像画像の送信側の情報処理装置2は、自装置で実行可能な画像処理(例えば、一部拡大や歪曲収差の補正等)を、撮像画像の受信側の情報処理装置2に予め送信しておいて、自装置で実行可能な画像処理を指示する処理情報を受信するようにしても良い。若しくは、撮像画像の送信側の情報処理装置2は、自装置で実行可能か否かに関わらず、撮像画像の受信側の情報処理装置2のユーザ所望の画像処理を指示する処理情報を受信し、受信した処理情報に従った画像処理を実行することができない場合には、所定の画像処理を実行するようにしても良い。
In the present embodiment, the receiving
画像処理部2401は、カメラ20から、当該カメラ20の撮像により得られた撮像画像を取得する(ステップS802)。次いで、画像処理部2401は、取得した撮像画像に対して、受信部2402により受信した処理情報に従った画像処理を実行する(ステップS803)。例えば、画像処理部2401は、受信した処理情報が指示する画像処理の画像処理方法が一部拡大である場合には、図7に示すように、取得した撮像画像Gに対して、当該撮像画像Gに含まれる3人の会議出席者A,B,Cのうち発言している会議出席者Aを拡大する一部拡大を実行した撮像画像G2を得る。
The
一方、画像処理部2401は、受信した処理情報が歪曲収差の補正を指示している場合には、図6に示すように、取得した撮像画像Gに対して、当該撮像画像Gの周辺部(会議出席者B,Cを含む領域)を縮小する歪曲収差の補正を実行した撮像画像G1を得る。
On the other hand, when the received processing information indicates correction of distortion, the
そして、画像処理部2401は、画像処理を実行した撮像画像を、ネットワークNを経由して第2拠点に設置された情報処理装置2b(他の情報処理装置)に送信する(ステップS804)。これにより、第2拠点に設置された情報処理装置2bは、所望の画像処理が実行された撮像画像を、当該第2拠点に設置された情報処理装置2bが備える表示部21に表示させることができるので、第1拠点を撮像して得られた撮像画像に画像処理を実行した上で第2拠点に設置された情報処理装置2bに送信する場合に、第2拠点の会議出席者が見たい撮像画像と実際に表示される画像とを一致させることができ、ユーザの使い勝手が向上する。
Then, the
また、撮像画像の受信側である第2拠点に設置された情報処理装置2bが、自装置のユーザが見たい撮像画像となるように画像処理を実行しなくて良いので、撮像画像の送信側である第1拠点に設置された情報処理装置2aが備えるカメラ20の特性(例えば、カメラ20が備えるレンズの種類など)を記憶する必要がなくなる。さらに、撮像画像の受信側である第2拠点に設置された情報処理装置2bは、表示対象の撮像画像に対して画像処理を実行する必要がなくなるので、撮像画像に対する画像処理による処理負荷を軽減して、他の処理に対する処理能力を向上させることができる。
In addition, the
画像処理部2401および受信部2402は、第2拠点に設置された情報処理装置2bとのビデオ会議が終了するまで、ステップS802〜ステップS804に示す処理を繰り返す(ステップS805:No)。
The
次に、図9を用いて、撮像画像の受信側としての情報処理装置2aにおけるビデオ会議制御の流れについて説明する。図9は、撮像画像の受信側としての情報処理装置におけるビデオ会議制御の流れを示すフローチャートである。
Next, the flow of video conference control in the
送信部2404は、第1拠点に設置された情報処理装置2aのユーザ(例えば、会議出席者など)によって操作部28から入力された操作に従って、撮像画像の送信側の情報処理装置2bに処理情報を送信するか否かを判断する(ステップS901)。
The
撮像画像の送信側の情報処理装置2bに処理情報を送信する場合(ステップS901:Yes)、送信部2404は、操作部28を介して入力された画像処理方法を指示する処理情報を、ネットワークNを経由して第2拠点に設置された情報処理装置2bに送信する(ステップS902)。本実施の形態では、送信部2404は、一部拡大または歪曲収差の補正を行う画像処理を実行させるための処理情報を、第2拠点に設置された情報処理装置2bに送信する。また、本実施の形態では、送信部2404は、汎用のインターネットプロトコルを用いて、第2拠点に設置された情報処理装置2bへの処理情報の送信を行うものとする。
When processing information is transmitted to the
これにより、第2拠点に設置された情報処理装置2bに対して、第1拠点に設置された情報処理装置2aのユーザ(例えば、会議出席者)が希望する画像処理を、第2拠点での撮像により得られた撮像画像に対して実行させることができるので、第2拠点を撮像して得られた撮像画像に画像処理を実行した上で第1拠点に設置された情報処理装置2aに送信する場合に、第1拠点の会議出席者が見たい撮像画像と実際に表示される画像とを一致させることができ、ユーザの使い勝手が向上する。
As a result, the image processing desired by the user (for example, a meeting attendee) of the
また、撮像画像の受信側である第1拠点に設置された情報処理装置2aが、自装置のユーザが見たい撮像画像となるように画像処理を実行しなくて良いので、撮像画像の送信側である第2拠点に設置された情報処理装置2bが備えるカメラ20の特性(例えば、カメラ20が備えるレンズの種類など)を記憶する必要がなくなる。さらに、撮像画像の受信側である第1拠点に設置された情報処理装置2aは、表示対象の撮像画像に対して画像処理を実行する必要がなくなるので、撮像画像に対する画像処理による処理負荷を軽減して、他の処理に対する処理能力を向上させることができる。
In addition, the
本実施の形態では、送信部2404は、一部拡大または歪曲収差の補正を行う画像処理を実行させるための処理情報を送信しているが、第2拠点に設置された情報処理装置2bが実行可能な画像処理であれば、処理情報によりいずれの画像処理が指示しても良い。例えば、送信部2404は、第2拠点に設置された情報処理装置2bのカメラ20の撮像により得られた撮像画像からの一部の画像の切り出し、当該撮像画像の画素毎のコントラストを最適化する明暗調整(所謂、ブライトフェイス機能)、逆光で暗くなった撮像画像を補正する逆光調整等を行なう画像処理を実行させるための処理情報を、第2拠点に設置された情報処理装置2bに送信して、撮像画像からの一部の画像の切り出し、ブライトフェイス機能、逆光調整等の画像処理を実行させても良い。撮像画像の受信側の情報処理装置2は、撮像画像の送信側の情報処理装置2で実行可能な画像処理(例えば、一部拡大や歪曲収差の補正等)を、当該撮像画像の送信側の情報処理装置2から予め取得しておいて、当該撮像画像の送信側の情報処理装置2で実行可能な画像処理を指示する処理情報を送信するようにしても良い。若しくは、撮像画像の受信側の情報処理装置2は、撮像画像の送信側の情報処理装置2で実行可能か否かに関わらず、ユーザ所望の画像処理を指示する処理情報を送信し、送信した処理情報に従った画像処理を実行することができない場合には、所定の画像処理を実行した撮像画像を受信するようにしても良い。
In the present embodiment, the
処理情報が送信されると(ステップS902または後述するステップS906)若しくは処理情報の送信が指示されなかった場合(ステップS901:No)、表示制御部2403は、ネットワークNを経由して、撮像画像の送信側の情報処理装置2b(第2拠点に設置された情報処理装置2b)から、送信した処理情報が指示する画像処理が実行された撮像画像を受信する(ステップS903)。そして、表示制御部2403は、受信した撮像画像を、表示部21に表示させる。
When the processing information is transmitted (step S902 or step S906 described later) or when transmission of processing information is not instructed (step S901: No), the
次いで、送信部2404は、ビデオ会議が終了したか否かを判断する(ステップS904)。そして、ビデオ会議が終了していない場合(ステップS904:No)、送信部2404は、操作部28を介して、第2拠点に設置された情報処理装置2bで実行される画像処理の変更指示が入力されたか否かを判断する(ステップS905)。画像処理の変更指示が入力されていない場合(ステップS905:No)、表示制御部2403は、ビデオ会議が終了するまで、撮像画像の受信および当該撮像画像の表示を繰り返す。
Next, the
一方、画像処理の変更指示が入力された場合(ステップS905:Yes)、送信部2404は、再び、操作部28を介して入力された処理情報を、ネットワークNを経由して第2拠点に設置された情報処理装置2bに送信する(ステップS906)。例えば、ステップS902において送信した処理情報が指示する画像処理が歪曲収差の補正である場合に、送信部2404は、一部拡大を行う画像処理を実行させるための処理情報を、第2拠点に設置された情報処理装置2bに送信する。
On the other hand, when an image processing change instruction is input (step S905: Yes), the
次に、図10を用いて、ビデオ会議に参加する拠点に設置された情報処理装置2a,2bとサーバ3との間におけるデータ(撮像画像)の流れについて説明する。図10は、本実施の形態にかかる表示制御システムにおけるデータの流れを示すシーケンス図である。以下の説明では、第1拠点に設置された情報処理装置2aが撮像画像の送信側となり、第2拠点に設置された情報処理装置2bが撮像画像の受信側となって、第1拠点に設置された情報処理装置2aから第2拠点に設置された情報処理装置2bに向かって一方向に撮像画像が流れる例について説明するが、実際にビデオ会議が行われる場合には、第1拠点に設置された情報処理装置2aと第2拠点に設置された情報処理装置2bとの間で双方向に撮像画像が流れる。
Next, the flow of data (captured images) between the
第2拠点の情報処理装置2b(送信部2404)は、第2拠点の情報処理装置2bのユーザにより操作部28を介して画像処理方法など示す処理情報が入力されると、入力された画像処理方法を指示する処理情報をサーバ3に送信する(ステップS1001)。サーバ3は、第2拠点の情報処理装置2bから送信された処理情報を、第1拠点の情報処理装置2aに転送する(ステップS1002)。
The
第1拠点の情報処理装置2a(画像処理部2401)は、サーバ3から処理情報を受信すると、カメラ20の撮像により得られた撮像画像に対して、受信した処理情報が指示する画像処理方法(第2拠点においてテレビ会議に参加する会議出席者が所望の画像処理方法)の画像処理を実行する。そして、第1拠点の情報処理装置2aは、所望の画像処理方法の画像処理を実行した撮像画像(例えば、図6に示す撮像画像G1または図7に示す撮像画像G2)をサーバ3に送信する(ステップS1003)。サーバ3は、第1拠点の情報処理装置2aから送信された撮像画像を、第2拠点の情報処理装置2bに転送する(ステップS1004)。
When the
図10においては、2つの情報処理装置2間において撮像画像を送受信する例について説明したが、2以上の情報処理装置2間において撮像画像を送受信する場合も同様である。
In FIG. 10, the example in which the captured image is transmitted / received between the two
次に、図11を用いて、ビデオ会議が行われている間に画像処理方法の変更指示が入力された場合における、情報処理装置2a,2bとサーバ3との間におけるデータ(撮像画像)の流れについて説明する。図11は、本実施の形態にかかる表示制御システムにおけるデータの流れを示すシーケンス図である。
Next, referring to FIG. 11, data (captured images) between the
第2拠点の情報処理装置2b(送信部2404)は、ビデオ会議が行われている間に、操作部28を介して画像処理方法の変更指示が入力されると、変更後の画像処理方法を指示する処理情報をサーバ3に送信する(ステップS1101)。サーバ3は、第2拠点の情報処理装置2bから送信された処理情報を、第1拠点の情報処理装置2aに転送する(ステップS1102)。
When the
第1拠点の情報処理装置2a(画像処理部2401)は、サーバ3から処理情報を受信すると、カメラ20の撮像により得られた撮像画像に対して、受信した処理情報が指示する変更後の画像処理方法の画像処理を実行する。そして、第1拠点の情報処理装置2aは、変更後の画像処理方法の画像処理を実行した撮像画像(例えば、図6に示す撮像画像G1または図7に示す撮像画像G2)をサーバ3に送信する(ステップS1103)。サーバ3は、第1拠点の情報処理装置2aから送信された撮像画像を、第2拠点の情報処理装置2bに転送する(ステップS1104)。
When the
次に、図12を用いて、変更後の画像処理方法を指示する処理情報を受信した場合における、撮像画像の送信側としての情報処理装置2aにおけるビデオ会議制御の流れについて説明する。図12は、変更後の画像処理方法を指示する処理情報を受信した場合における、撮像画像の送信側としての情報処理装置におけるビデオ会議制御の流れを示すフローチャートである。
Next, the flow of video conference control in the
第1拠点の情報処理装置2aが備える受信部2402は、ビデオ会議が行われている間、撮像画像の受信側としての第2拠点の情報処理装置2bから、変更後の画像処理方法を指示する処理情報を受信する(ステップS1201)。
The receiving
画像処理部2401は、受信した処理情報が指示する変更後の画像処理方法が、前回受信した処理情報が指示する画像処理方法と同一であるか否か(言い換えると、変更後の画像処理方法の画像処理を現在実行しているか否かを判断する(ステップS1202)。変更後の画像処理方法を現在実行している場合(ステップS1202:Yes)、画像処理部2401は、現在実行している画像処理を、カメラ20から取得した撮像画像に対して実行して、第2拠点の情報処理装置2bに送信する(ステップS1203)。
The
一方、変更後の画像処理方法を現在実行していない場合(ステップS1202:No)、画像処理部2401は、受信した処理情報が示す変更後の画像処理方法の画像処理を、カメラ20から取得した撮像画像に対して実行して、第2拠点の情報処理装置2bに送信する(ステップS1204)。
On the other hand, when the changed image processing method is not currently executed (step S1202: No), the
このように本実施の形態にかかる情報処理装置2によれば、自装置が設置された拠点とは異なる他の拠点に設置されかつ他の拠点を撮像して得られた撮像画像に画像処理を実行する他の情報処理装置2から、当該画像処理が実行された撮像画像を取得して、自装置が備える表示部21に表示させる場合に、他の拠点の情報処理装置に、撮像画像に対して実行する画像処理を指示する処理情報を送信して、処理情報に従った画像処理を他の拠点の情報処理装置に実行させることにより、他の拠点の情報処理装置に対して、自装置が設置された拠点のユーザ(例えば、会議出席者)が希望する画像処理を、他の拠点での撮像により得られた撮像画像に対して実行させることができるので、会議出席者が見たい撮像画像と実際に表示される画像とを一致させることができ、ユーザの使い勝手を向上させることができる。
As described above, according to the
また、本実施の形態にかかる情報処理装置2によれば、撮像部により自装置が設置された拠点を撮像して得られた撮像画像に画像処理を実行するとともに、自装置が設置された拠点とは異なる他の拠点に設置されかつ他の拠点に設置された表示部21に撮像画像を表示させる他の情報処理装置に、画像処理を実行した撮像画像を送信する場合に、他の情報処理装置から、撮像画像に対して実行する画像処理を指示する処理情報を受信し受信した処理情報に従った画像処理を撮像画像に実行することにより、他の拠点に設置された情報処理装置は、所望の画像処理が実行された撮像画像を、当該他の拠点に設置された情報処理装置が備える表示部21に表示させることができるので、自装置が設置された拠点を撮像して得られた撮像画像に画像処理を実行した上で他の拠点に設置された他の情報処理装置に送信する場合に、他の拠点の会議出席者が見たい撮像画像と実際に表示される画像とを一致させることができ、ユーザの使い勝手を向上させることができる。
In addition, according to the
本実施形態では、第1拠点の情報処理装置2aと第2拠点の情報処理装置2bとの間においてビデオ会議を行った場合について説明したが、例えば、第1〜3拠点の情報処理装置2a,2b,2c間においてビデオ会議を行った場合、撮像画像の送信側の情報処理装置2(例えば、第1拠点の情報処理装置2a)は、サーバ3を介して、画像処理を実行した撮像画像を第2,3拠点の情報処理装置2b,2cに送信する。その際、第1拠点の情報処理装置2aは、異なる画像処理を行った複数の撮像画像それぞれをいずれの拠点の情報処理装置2に送信するのかを、サーバ3に指示するものとする。これにより、第1拠点の情報処理装置2aにおいて撮像画像の送信処理を行う必要がなくなり、処理負荷を軽減することができる。
In the present embodiment, the case where a video conference is performed between the
本実施形態の情報処理装置2で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
The program executed by the
また、本実施形態の情報処理装置2で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の情報処理装置2で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
Further, the program executed by the
また、本実施形態の情報処理装置2で実行されるプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
Further, the program executed by the
なお、上記実施の形態では、本発明の画像処理装置を、パーソナルコンピュータに適用した例を挙げて説明するが、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも2つの機能を有する複合機、複写機、プリンタ、スキャナ装置、ファクシミリ装置等の画像処理装置であればいずれにも適用することができる。 In the above embodiment, the image processing apparatus of the present invention is described as an example applied to a personal computer. However, a multifunction machine having at least two functions among a copy function, a printer function, a scanner function, and a facsimile function. The present invention can be applied to any image processing apparatus such as a copying machine, a printer, a scanner apparatus, and a facsimile apparatus.
2 情報処理装置
20 カメラ
21 表示部
24 CPU
25 記録装置
26 メモリ
27 LANインターフェース部
28 操作部
2401 画像処理部
2402 受信部
2403 表示制御部
2404 送信部
2
25
Claims (5)
前記外部機器に前記撮像画像の歪曲収差の補正を行う画像処理を実行させるための処理情報を送信して、当該画像処理を実行させる送信部と、
を備えた情報処理装置。 The image processing is performed from an external device that is installed in another site different from the site where the device is installed and that performs image processing on a captured image obtained by imaging the other site by an imaging unit. A display control unit for acquiring a captured image and displaying the captured image on a display unit installed at the base;
A transmitting unit that transmits processing information for causing the external device to perform image processing for correcting distortion of the captured image , and performs the image processing;
An information processing apparatus comprising:
前記外部機器から、前記撮像画像の歪曲収差の補正を行う画像処理を実行させるための処理情報を受信する受信部と、を備え、
前記画像処理部は、受信した前記処理情報に従って、前記撮像画像に対する画像処理を実行する画像処理装置。 The image processing unit executes image processing on a captured image obtained by imaging the base where the device is installed, and is installed in a different base other than the base and the display unit installed in the other base. An image processing unit that transmits the captured image that has undergone image processing to an external device that displays the captured image;
A receiving unit that receives processing information for executing image processing for correcting distortion of the captured image from the external device;
The image processing unit is an image processing device that performs image processing on the captured image in accordance with the received processing information.
自装置が設置された拠点とは異なる他の拠点に設置されかつ撮像部により前記他の拠点を撮像して得られた撮像画像に画像処理を実行する外部機器から、画像処理が実行された前記撮像画像を取得して前記拠点に設置された表示部に表示させる表示制御部と、
前記外部機器に前記撮像画像の歪曲収差の補正を行う画像処理を実行させるための処理情報を送信して、当該画像処理を実行させる送信部と、
として機能させるためのプログラム。 Computer
The image processing is performed from an external device that is installed in another site different from the site where the device is installed and that performs image processing on a captured image obtained by imaging the other site by an imaging unit. A display control unit for acquiring a captured image and displaying the captured image on a display unit installed at the base;
A transmitting unit that transmits processing information for causing the external device to perform image processing for correcting distortion of the captured image , and performs the image processing;
Program to function as.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013048503A JP6155712B2 (en) | 2013-03-11 | 2013-03-11 | Information processing apparatus, image processing apparatus, and program |
US14/022,772 US9185345B2 (en) | 2012-09-14 | 2013-09-10 | Video conference system and method for performing the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013048503A JP6155712B2 (en) | 2013-03-11 | 2013-03-11 | Information processing apparatus, image processing apparatus, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014175960A JP2014175960A (en) | 2014-09-22 |
JP6155712B2 true JP6155712B2 (en) | 2017-07-05 |
Family
ID=51696781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013048503A Expired - Fee Related JP6155712B2 (en) | 2012-09-14 | 2013-03-11 | Information processing apparatus, image processing apparatus, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6155712B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07298105A (en) * | 1994-04-22 | 1995-11-10 | Canon Inc | Camera system |
JPH09261522A (en) * | 1996-03-27 | 1997-10-03 | Nippon Telegr & Teleph Corp <Ntt> | Video image distribution method and system to obtain variable area |
JP2005286445A (en) * | 2004-03-29 | 2005-10-13 | Mitsubishi Electric Corp | Image transmission terminal, system thereof and terminal image transmitting method |
-
2013
- 2013-03-11 JP JP2013048503A patent/JP6155712B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014175960A (en) | 2014-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6171263B2 (en) | Remote conference system and remote conference terminal | |
US10523820B2 (en) | High-quality audio/visual conferencing | |
US9185345B2 (en) | Video conference system and method for performing the same | |
JP6172610B2 (en) | Video conferencing system | |
JP6398489B2 (en) | Information processing program, information processing method, and information processing apparatus | |
JP6455138B2 (en) | CONFERENCE SYSTEM AND CONTROL METHOD | |
JP6547349B2 (en) | Data transmission system, terminal device, program and method | |
TWI489419B (en) | Method, apparatus and computer program product for image registration and display | |
JP2013013150A (en) | Device and method to enhance call center support for mobile communication device | |
JP2013242357A (en) | Information processing apparatus, information processing method, and program | |
JP2010157906A (en) | Video display device | |
WO2016147538A1 (en) | Videoconference communication device | |
JP6155909B2 (en) | Conference terminal and server | |
JP6155712B2 (en) | Information processing apparatus, image processing apparatus, and program | |
JP2008098828A (en) | Portable terminal equipment | |
JP2013197740A (en) | Electronic apparatus, electronic apparatus control method, and electronic apparatus control program | |
JP2013182450A (en) | Location management program and location management device | |
JP2004140799A (en) | Method, apparatus, and program for controlling image pickup device | |
JP2014175958A (en) | Information processing device, display control method, and program | |
JP2016019204A (en) | Conference system, information processing apparatus, arrangement adjustment method, and program | |
JP6481937B2 (en) | Communication device for video conference | |
JP6492460B2 (en) | Transmission terminal, transmission method, and program | |
JP2006279440A (en) | Video communication method and terminal | |
JP2016040862A (en) | Communication system, server device, video adjusting method, and program | |
KR101740683B1 (en) | Layer sharing system enabling selective display of a layer shared from another device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170131 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170522 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6155712 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |