JP2009010455A - Transmission device, reception device, and program - Google Patents
Transmission device, reception device, and program Download PDFInfo
- Publication number
- JP2009010455A JP2009010455A JP2007167256A JP2007167256A JP2009010455A JP 2009010455 A JP2009010455 A JP 2009010455A JP 2007167256 A JP2007167256 A JP 2007167256A JP 2007167256 A JP2007167256 A JP 2007167256A JP 2009010455 A JP2009010455 A JP 2009010455A
- Authority
- JP
- Japan
- Prior art keywords
- data
- transmission
- screen
- packet
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Time-Division Multiplex Systems (AREA)
- Small-Scale Networks (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、複数の領域に分割された画面内の各領域にそれぞれ動画を表示するシステムに関する。本発明は特に、そのような分割表示に適した方法で動画のデータを送信する送信装置、および、その方法でデータが送信された複数の動画を、画面の各領域に表示させる受信装置に関する。 The present invention relates to a system for displaying a moving image in each area in a screen divided into a plurality of areas. In particular, the present invention relates to a transmitting apparatus that transmits moving image data by a method suitable for such divided display, and a receiving apparatus that displays a plurality of moving images to which data has been transmitted by the method in each area of a screen.
近年、車両の周囲にカメラを配置し、運転者(ドライバ)から見えにくい箇所の映像をフロント座席のモニタに映し出すシステムが一般化してきた。このようなシステムは、例えばカーナビゲーションシステムの機能の一部として提供される。現状のそのようなシステムでは、例えば、車の後方、および前方の左右両サイドの合計3方向を撮影する3台程度のカメラが配置されるのが一般的である。 In recent years, a system in which a camera is arranged around a vehicle and an image of a portion difficult to be seen by a driver (driver) is displayed on a front seat monitor has become common. Such a system is provided as part of the functions of a car navigation system, for example. In such a current system, for example, about three cameras for photographing a total of three directions of the rear side of the vehicle and the left and right sides of the front side are generally arranged.
ところで、車載用の各種機器を接続するLAN(以下、車載LANという;LANはLocal Area Networkの略)の規格には、高速シリアルバスの規格であるIEEE(Institute of Electrical and Electronics Engineers)1394規格を車載用に改変したIDB(ITS Data Bus Forum;ITSはIntelligent Transport Systemsの略)−1394等がある。今後は、IDB−1394のように高速な車載LANの普及にともない、より多くのカメラが配置されたシステムが一般化すると予想される。 By the way, the standard for a high-speed serial bus (IEEE of Institute of Electrical and Electronics Engineers) 1394 standard is used as a standard for a LAN (hereinafter referred to as an in-vehicle LAN; LAN is an abbreviation of Local Area Network) for connecting various in-vehicle devices. There are IDBs (ITS Data Bus Forum; ITS is an abbreviation of Intelligent Transport Systems) -1394 and the like modified for in-vehicle use. In the future, with the widespread use of high-speed in-vehicle LANs such as IDB-1394, it is expected that a system in which more cameras are arranged will be generalized.
図11は、車載用の多数のカメラを車両の周辺に設置したマルチカメラシステムの例である。図11では、監視用の6台のカメラ1003a〜1003fが車両1001に設置され、車両の周囲を撮影している。カメラ1003aと1003bと1003fは、いずれも車両1001の後方を向くように設置され、それぞれの設置位置は、車両1001の後尾部、左サイドミラー近傍、右サイドミラー近傍である。カメラ1003cは左向きに車体前面部左側に設置され、カメラ1003dは前向きに車体前面部中央に設置され、カメラ1003eは右向きに車体前面部右側に設置されている。また、右フロント座席である運転席にはモニタ1004aが設置され、中央の左側と右側の座席にはモニタ1004bと1004cがそれぞれ設置されている。 FIG. 11 shows an example of a multi-camera system in which a large number of in-vehicle cameras are installed around the vehicle. In FIG. 11, six cameras 1003a to 1003f for monitoring are installed in a vehicle 1001, and the surroundings of the vehicle are photographed. The cameras 1003a, 1003b, and 1003f are all installed so as to face the rear of the vehicle 1001, and their installation positions are the rear part of the vehicle 1001, the vicinity of the left side mirror, and the vicinity of the right side mirror. The camera 1003c is installed on the left side of the front part of the vehicle body facing left, the camera 1003d is installed on the center of the front part of the vehicle body facing forward, and the camera 1003e is installed on the right side of the front part of the vehicle body. A monitor 1004a is installed in the driver seat, which is the right front seat, and monitors 1004b and 1004c are installed in the left and right seats in the center, respectively.
カメラ1003a〜1003fにはそれぞれ送信コントローラ1005a〜1005fが取り付けられており、送信コントローラ1005a〜1005fを介してカメラ1003a〜1003fは車載LAN1002に接続されている。同様に、モニタ1004a〜1004cにはそれぞれ受信コントローラ1006a〜1006cが取り付けられており、受信コントローラ1006a〜1006cを介してモニタ1004a〜1004cも車載LAN1002に接続されている。このような構成により、カメラ1003a〜1003fが撮影した画像を、車載LAN1002を介してモニタ1004a〜1004cに送信することが可能となる。 Transmission controllers 1005a to 1005f are respectively attached to the cameras 1003a to 1003f, and the cameras 1003a to 1003f are connected to the in-vehicle LAN 1002 via the transmission controllers 1005a to 1005f. Similarly, reception controllers 1006a to 1006c are attached to the monitors 1004a to 1004c, respectively, and the monitors 1004a to 1004c are also connected to the in-vehicle LAN 1002 via the reception controllers 1006a to 1006c. With such a configuration, images taken by the cameras 1003a to 1003f can be transmitted to the monitors 1004a to 1004c via the in-vehicle LAN 1002.
図11のような車載マルチカメラシステムでは、安全運転を支援するために、運転席に設けられたモニタ1004aの画面に、複数のカメラが撮影した複数の画像を同時に表示し、運転者の死角をなくすことが求められている。 In the in-vehicle multi-camera system as shown in FIG. 11, in order to support safe driving, a plurality of images taken by a plurality of cameras are simultaneously displayed on the screen of a monitor 1004a provided in the driver's seat, and the driver's blind spot is displayed. There is a need to eliminate it.
複数のカメラのそれぞれが撮影した画像、すなわちマルチチャンネル画像を合成して1つの画面に表示することは、チャンネル数に応じた容量のフレームメモリを画像の受信側であるモニタ側に設けることによって、実現可能である。図12は、モニタ1004aの画面1011を4分割して、カメラ1003a〜1003dが撮影した画像を同時に表示するシステムの構成要素と、その4分割された画面1011を示す図である。なお、図12では、図11にあったカメラ1003eと1003f、およびこの2台のカメラに関連する部分を省略している。 An image taken by each of a plurality of cameras, that is, a multi-channel image is synthesized and displayed on one screen by providing a frame memory having a capacity corresponding to the number of channels on the monitor side which is the image receiving side. It is feasible. FIG. 12 is a diagram showing components of a system that divides the screen 1011 of the monitor 1004a into four and simultaneously displays images taken by the cameras 1003a to 1003d, and the four-divided screen 1011. In FIG. 12, the cameras 1003e and 1003f shown in FIG. 11 and the parts related to these two cameras are omitted.
カメラ1003a〜1003dは、安全運転の支援を目的とするので、動画像を撮影している。そのため、一般のビデオカメラと同様に、カメラ1003a〜1003dはそれぞれフレームメモリ1007a〜1007dを備えている。図12の例では、カメラ1003a〜1003dが撮影する画像の大きさは、いずれも水平方向320画素、垂直方向240画素である。以下では、この大きさを「320×240画素」と表記する。また、画面の大きさや、画面を分割した領域の大きさについても同様に表記する。 Since the cameras 1003a to 1003d are intended to support safe driving, they are capturing moving images. For this reason, as in a general video camera, the cameras 1003a to 1003d include frame memories 1007a to 1007d, respectively. In the example of FIG. 12, the sizes of images taken by the cameras 1003a to 1003d are 320 pixels in the horizontal direction and 240 pixels in the vertical direction. Hereinafter, this size is expressed as “320 × 240 pixels”. The screen size and the size of the area into which the screen is divided are also expressed in the same way.
図11においてカメラ1003a〜1003dに取り付けられている送信コントローラ1005a〜1005dは、それぞれ図12の伝送部1008a〜1008dの機能を有する。伝送部1008a〜1008dはそれぞれ、フレームメモリ1007a〜1007dに記憶されているフレーム画像のデータからパケットを生成し、車載LAN1002を介して、例えばモニタ1004aに取り付けられた合成部1009へパケットを送信する。 In FIG. 11, transmission controllers 1005a to 1005d attached to the cameras 1003a to 1003d have the functions of the transmission units 1008a to 1008d in FIG. Each of the transmission units 1008a to 1008d generates a packet from frame image data stored in the frame memories 1007a to 1007d, and transmits the packet to the combining unit 1009 attached to, for example, the monitor 1004a via the in-vehicle LAN 1002.
図12の合成部1009は、例えば図11のモニタ1004aに取り付けられた受信コントローラ1006aに含まれる。合成部1009は、車載LAN1002を介して伝送部1008a〜1008dから送られてきたそれぞれのパケットから、4台のカメラ1003a〜1003dがそれぞれ撮影した4枚のフレーム画像のデータを復元し、それぞれのデータをフレームメモリ1010a〜1010dに記憶する。なお、フレームメモリ1010a〜1010dは、理解しやすくするために4つのブロックに分けて図示してあるが、物理的には、4つのメモリモジュールであってもよく、4枚のフレーム画像のデータを記憶することが可能な容量を持った1つのメモリモジュールであってもよい。 12 is included in the reception controller 1006a attached to the monitor 1004a in FIG. 11, for example. The synthesizing unit 1009 restores the data of the four frame images captured by the four cameras 1003a to 1003d from the packets sent from the transmission units 1008a to 1008d via the in-vehicle LAN 1002, and the respective data Are stored in the frame memories 1010a to 1010d. The frame memories 1010a to 1010d are illustrated as being divided into four blocks for easy understanding. However, physically, the memory may be four memory modules. One memory module having a capacity that can be stored may be used.
図12においてモニタ1004aの画面1011は、640×480画素の大きさであり、水平方向と垂直方向にそれぞれ2等分してできる領域1012a〜1012dはいずれも320×240画素の大きさである。合成部1009は、フレームメモリ1010a〜1010dにそれぞれデータが記憶されたフレーム画像を、それぞれ領域1012a〜1012dに表示する。すなわち、合成部1009は4つのフレーム画像を合成した画像を画面1011に表示する。 In FIG. 12, the screen 1011 of the monitor 1004a has a size of 640 × 480 pixels, and the regions 1012a to 1012d that can be divided into two equally in the horizontal direction and the vertical direction have a size of 320 × 240 pixels. The synthesizing unit 1009 displays the frame images whose data are stored in the frame memories 1010a to 1010d in the areas 1012a to 1012d, respectively. That is, the synthesis unit 1009 displays an image obtained by synthesizing four frame images on the screen 1011.
図12のシステムは、動画を構成する各フレーム画像について以上の動作を繰り返すことで、画面1011の4つの領域1012a〜1012dにそれぞれ、カメラ1003a〜1003dが撮影した動画を表示する。 The system in FIG. 12 displays the moving images captured by the cameras 1003a to 1003d in the four areas 1012a to 1012d of the screen 1011 by repeating the above operation for each frame image constituting the moving image.
図13は、図12の車載LAN1002がIDB−1394プロトコルによるネットワークである場合に、図12に示した構成において行われるパケットの送信方法を示す図である。 FIG. 13 is a diagram illustrating a packet transmission method performed in the configuration illustrated in FIG. 12 when the in-vehicle LAN 1002 in FIG. 12 is a network based on the IDB-1394 protocol.
IDB−1394プロトコルは、元になったIEEE1394プロトコルと同様に、アイソクロナス転送とアシンクロナス転送という2種類のデータ転送方式をサポートしている。また、各転送方式によるパケットは、それぞれアイソクロナスパケット、アシンクロナスパケットと呼ばれる。 Similar to the original IEEE 1394 protocol, the IDB-1394 protocol supports two types of data transfer methods, isochronous transfer and asynchronous transfer. Packets according to each transfer method are called isochronous packets and asynchronous packets, respectively.
アイソクロナス転送は、データの転送レートを保証する転送方式であり、動画や音声などのリアルタイム性が要求されるデータの転送に好適である。一方、アシンクロナス転送は、アイソクロナス転送が行われておらず、バスが空いている時間に非同期にデータを転送する方式であり、データの転送先が転送元にアクノリッジ(応答)を返信することが定められている。 Isochronous transfer is a transfer method that guarantees the transfer rate of data, and is suitable for transfer of data that requires real-time properties such as moving images and audio. On the other hand, asynchronous transfer is a method in which isochronous transfer is not performed and data is transferred asynchronously when the bus is free, and it is determined that the data transfer destination returns an acknowledge (response) to the transfer source. It has been.
IDB−1394規格によるシリアルバス(以下、1394バスという)に接続された機器はノードと呼ばれ、例えば、図12では、伝送部1008a〜1008dと合成部1009がいずれもノードに該当する。バスの初期化の際には、アイソクロナス転送を行う各ノードに帯域が割り当てられるとともに、サイクルマスタと呼ばれるノードが1つ選ばれる。 A device connected to a serial bus (hereinafter referred to as a 1394 bus) according to the IDB-1394 standard is called a node. For example, in FIG. 12, the transmission units 1008a to 1008d and the combining unit 1009 correspond to nodes. When the bus is initialized, a band is allocated to each node that performs isochronous transfer, and one node called a cycle master is selected.
IDB−1394プロトコルにおけるアイソクロナス転送では、125μsという所定の周期(サイクル)で、サイクルマスタがサイクルスタートパケットを送信する。図12に示した125μsごとの矩形は、サイクルスタートパケットを表す。アイソクロナス転送を行いたいノードは、サイクルスタートパケットの受信後、アイソクロナスギャップと呼ばれる所定の時間待ってから、バスの使用権を得るためのアービトレーションを開始し、使用権が得られればアイソクロナスパケットを送信する。アイソクロナスギャップは、バスが使用されておらずアイドル状態であることを確認するために待つべき時間である。 In isochronous transfer in the IDB-1394 protocol, the cycle master transmits a cycle start packet at a predetermined cycle (cycle) of 125 μs. A rectangle every 125 μs shown in FIG. 12 represents a cycle start packet. After receiving the cycle start packet, the node that wishes to perform isochronous transfer waits for a predetermined time called an isochronous gap, and then starts arbitration to obtain the right to use the bus, and transmits the isochronous packet if the right to use is obtained. . The isochronous gap is the time to wait to confirm that the bus is not in use and idle.
なお、125μsの1サイクル内で複数回のアイソクロナスパケットの転送が可能である。すなわち、あるアイソクロナスパケットの送信終了後、バスのアイドル状態がアイソクロナスギャップだけ続くことを確認してからアービトレーションを開始し、そこでバスの使用権を得たノードが、当該サイクル内で次にアイソクロナスパケットを転送することができる。これを繰り返すことにより、125μsのサイクル内で複数のアイソクロナスパケットの送信が可能である。 Note that isochronous packets can be transferred a plurality of times within one cycle of 125 μs. In other words, after transmission of a certain isochronous packet is completed, it is confirmed that the bus idle state continues for an isochronous gap, and then arbitration is started, and the node that has obtained the right to use the bus transmits the next isochronous packet within the cycle. Can be transferred. By repeating this, a plurality of isochronous packets can be transmitted within a cycle of 125 μs.
図13の例では、4台のカメラ1003a〜1003dにそれぞれ取り付けられた4つの伝送部1008a〜1008dが、それぞれ1サイクルに1回、アイソクロナス転送のためのバスの使用権を取得し、それぞれフレーム画像から生成したパケットをアイソクロナス転送する。図13において125μsごとに並んだ4つの矩形とその下の符号a〜dは、各サイクルで伝送部1008a〜1008dからそれぞれ送信されるパケットを表す。 In the example of FIG. 13, the four transmission units 1008a to 1008d attached to the four cameras 1003a to 1003d each acquire the right to use the bus for isochronous transfer once per cycle, and each frame image The packet generated from is transferred isochronously. In FIG. 13, four rectangles arranged at intervals of 125 μs and the symbols a to d below the rectangles represent packets transmitted from the transmission units 1008 a to 1008 d in each cycle.
なお、アシンクロナス転送を行いたいノードは、アイソクロナスギャップよりも長い時間であるサブアクションギャップという時間、バスがアイドル状態であることを確認してから、バスの使用権を得るためのアービトレーションを開始し、使用権が得られればアシンクロナスパケットを送信する。これにより、125μsの1サイクルの中で、アイソクロナス転送とアシンクロナス転送が混在することも可能となる。一方で、サブアクションギャップはアイソクロナスギャップよりも長いため、アシンクロナス転送よりもアイソクロナス転送の方が優先される。したがって、アイソクロナス転送では、125μsごとに優先的にパケットを送信することができるため、データの転送レートが保証される。このように、1394バスは125μsの周期が繰り返されるため、同期式の伝送路であると言える。 The node that wants to perform asynchronous transfer confirms that the bus is idle for a time called a subaction gap, which is longer than the isochronous gap, and then starts arbitration to obtain the right to use the bus. If the right to use is obtained, an asynchronous packet is transmitted. As a result, isochronous transfer and asynchronous transfer can be mixed in one cycle of 125 μs. On the other hand, since the subaction gap is longer than the isochronous gap, isochronous transfer is given priority over asynchronous transfer. Therefore, in isochronous transfer, packets can be preferentially transmitted every 125 μs, so that the data transfer rate is guaranteed. In this way, the 1394 bus is a synchronous transmission line because the cycle of 125 μs is repeated.
データの転送レートが保証されるという前提が成立することを利用して、図13では、伝送部1008a〜1008dのそれぞれが式(1)のようにして、1サイクルに送信するパケットの大きさsを決定する。 Using the fact that the assumption that the data transfer rate is guaranteed is satisfied, in FIG. 13, each of the transmission units 1008a to 1008d has a size s of packets transmitted in one cycle as shown in equation (1). To decide.
s=h×v×f×p÷(1÷c) (1)
s:1サイクルに送信するパケットの大きさ(単位はバイト)
h:カメラが撮影した画像の水平方向の画素数
v:カメラが撮影した画像の垂直方向の画素数
f:動画のフレームレート(単位はfps)
p:1画素あたりのバイト数
c:1サイクルの長さ(単位は秒)
なお、ここでパケットの大きさsは、より正確には、パケットのペイロード部に含まれる動画データの大きさである。また、特にデータとフレーム画像との対応を明示する必要がない場合に、「フレーム画像のデータ」のかわりに「動画データ」と表現する場合がある。
s = h × v × f × p ÷ (1 ÷ c) (1)
s: Size of packet sent in one cycle (unit: bytes)
h: Number of pixels in the horizontal direction of the image captured by the camera v: Number of pixels in the vertical direction of the image captured by the camera f: Frame rate of the moving image (unit: fps)
p: number of bytes per pixel c: length of one cycle (unit: seconds)
Here, the packet size s is more precisely the size of the moving image data included in the payload portion of the packet. In addition, when there is no need to clearly indicate the correspondence between data and frame images, “moving image data” may be used instead of “frame image data”.
ここでは簡単のため、カメラ1003a〜1003dがいずれも320×240画素の大きさの動画を30fpsで撮影していると仮定する。また、これらの動画ではYUV表色系が採用されており、輝度信号(Y)と色差信号(UおよびV)がそれぞれ1バイトで表されると仮定する。この場合、Yは各画素に割り当てられ、UとVは隣接する2画素に対して1つの値が割り当てられるので、1画素あたりのバイト数pは式(2)より2である。 Here, for the sake of simplicity, it is assumed that the cameras 1003a to 1003d are shooting a moving image having a size of 320 × 240 pixels at 30 fps. Further, it is assumed that the YUV color system is adopted in these moving images, and the luminance signal (Y) and the color difference signals (U and V) are each represented by 1 byte. In this case, Y is assigned to each pixel, and U and V are assigned one value to two adjacent pixels. Therefore, the number of bytes p per pixel is 2 from Equation (2).
p=1+1/2+1/2=2 (2)
また、動画のデータは圧縮されていないと仮定して、式(1)に数値を代入すると、式(3)のとおり、576バイトという値が得られる。
p = 1 + 1/2 + 1/2 = 2 (2)
Also, assuming that the moving image data is not compressed, if a numerical value is substituted into Expression (1), a value of 576 bytes is obtained as shown in Expression (3).
320×240×30×2÷(1÷(125×10−6))=576 (3)
したがって、図13の例では、各サイクルで伝送部1008a〜1008dの各々が576バイトの動画データを含むアイソクロナスパケットを送信すればよい。
320 × 240 × 30 × 2 ÷ (1 ÷ (125 × 10 −6 )) = 576 (3)
Therefore, in the example of FIG. 13, it is only necessary that each of the transmission units 1008a to 1008d transmit an isochronous packet including 576-byte moving image data in each cycle.
より正確には、サイクルごとのパケットに含まれる動画データの平均が576バイト以上であればよく、実際には切りのよい数値に調整してもよい。例えば、フレームレートが30fpsのとき、1つのフレームの時間は約33msだが、これを125μsで割ろうとすると、266.6……となって割り切れない。そこで、例えば各サイクルで576バイトより多い動画データを送信するようにして、266以下の整数のサイクルで1つのフレーム画像のデータを送信し終えるように調整してもよい。 More precisely, the average of the moving image data included in the packet for each cycle may be 576 bytes or more, and may actually be adjusted to a good value. For example, when the frame rate is 30 fps, the time of one frame is about 33 ms. However, when this is divided by 125 μs, it becomes 266.6. Thus, for example, moving image data larger than 576 bytes may be transmitted in each cycle, and adjustment may be made so that transmission of one frame image data is completed in an integer cycle of 266 or less.
なお、IDB−1394規格で規定されているデータ転送レートには、S100(98.304Mbps)、S200(196.608Mbps)、S400(393.216Mbps)という種類がある。これらの転送レートは、各サイクルにおいて各ノードから送信されるパケットの大きさの和の上限を規定する。各サイクルで伝送部1008a〜1008dのそれぞれが576バイトずつの動画データを含むアイソクロナスパケットを送信しても、S200で十分転送可能である。 The data transfer rate defined in the IDB-1394 standard includes S100 (98.304 Mbps), S200 (196.608 Mbps), and S400 (393.216 Mbps). These transfer rates define the upper limit of the sum of the sizes of packets transmitted from each node in each cycle. Even if each of the transmission units 1008a to 1008d transmits an isochronous packet including moving image data of 576 bytes in each cycle, the transfer can be sufficiently performed in S200.
このように十分な帯域があるため、非圧縮の動画データを4台のカメラ1003a〜1003dから伝送部1008a〜1008dを介して同時並行的に送信することも可能であるが、動画データは圧縮されていてもよい。 Since there is sufficient bandwidth in this way, it is possible to transmit uncompressed video data from the four cameras 1003a to 1003d in parallel via the transmission units 1008a to 1008d, but the video data is compressed. It may be.
しかし、図13の方法を採用する場合、上記のように、今後、より多くのカメラが配置されるようになると、それに応じて図12のシステムにおいて合成部1009に必要なフレームメモリの容量が増し、コストも増大するという問題がある。しかし、車載用の装置あるいはその部品に、高価な大容量のフレームメモリを設けることは現実的ではなく、図12の構成ですら高コストである。そこで、1つの画面を複数の領域に分割して、各領域に異なる画像を表示する場合に必要なフレームメモリの容量をできるだけ削減することが求められている。 However, when the method of FIG. 13 is adopted, as described above, when more cameras are arranged in the future, the capacity of the frame memory required for the synthesis unit 1009 in the system of FIG. 12 increases accordingly. There is a problem that the cost also increases. However, it is not practical to provide an expensive large-capacity frame memory in a vehicle-mounted device or its components, and even the configuration of FIG. 12 is expensive. Therefore, it is required to reduce as much as possible the capacity of the frame memory when dividing one screen into a plurality of areas and displaying different images in each area.
例えば、図12のように画面1011を4分割する例において、必要なフレームメモリの容量を削減する方法の一例が、図14に示した方法である。
モニタが表示されるときのラスタ走査順は、一般的に、水平方向のラインを左から右へ走査することを上から下に向かって繰り返すという順番である。つまり、図12の画面1011に表示すべきある1つのフレーム(以下、注目フレームという)に注目すると、まず画面1011の左上にある領域1012aと右上にある領域1012bが同時並行的にラスタ走査により表示され、領域1012aと1012bのラスタ走査の終了後、画面1011の左下にある領域1012cと右下にある領域1012dが同時並行的にラスタ走査により表示され、以上によって注目フレームの合成されたフレーム画像が画面1011全体に表示される。
For example, in an example in which the screen 1011 is divided into four as shown in FIG. 12, an example of a method for reducing the necessary frame memory capacity is the method shown in FIG.
The raster scanning order when the monitor is displayed is generally an order in which scanning of horizontal lines from left to right is repeated from top to bottom. That is, when attention is paid to a certain frame to be displayed on the screen 1011 in FIG. 12 (hereinafter referred to as a frame of interest), the area 1012a at the upper left of the screen 1011 and the area 1012b at the upper right of the screen 1011 are simultaneously displayed by raster scanning. After the raster scanning of the areas 1012a and 1012b, the area 1012c at the lower left of the screen 1011 and the area 1012d at the lower right of the screen 1011 are simultaneously displayed by raster scanning. Displayed on the entire screen 1011.
このラスタ走査順に注目し、カメラ1003a〜1003dがフレーム画像のデータを伝送するタイミングをうまく制御すると、320×240画素の大きさのフレーム画像のデータを記憶することが可能な容量のFIFO(First In First Out)メモリを2組、フレームメモリとして利用することにより、図12と同様の画面1011の4分割表示が可能となる。以下、この2組のFIFOメモリが図12のフレームメモリ1010aと1010bであるとして説明する。 Focusing on this raster scanning order and controlling the timing at which the cameras 1003a to 1003d transmit frame image data well, a FIFO (First In) having a capacity capable of storing frame image data of 320 × 240 pixels in size. By using two sets of (First Out) memories as frame memories, the screen 1011 can be divided into four parts as shown in FIG. In the following description, it is assumed that the two sets of FIFO memories are the frame memories 1010a and 1010b in FIG.
図14に示すように、第1の期間では、カメラ1003aと1003bに対応する伝送部1008aと1008bだけが、動画データから生成したパケットを合成部1009に伝送(送信)する。合成部1009は、伝送部1008aと1008bのそれぞれからパケットを受信し、各パケットからカメラ1003aと1003bが撮影した動画のデータをそれぞれ復元して、フレームメモリ1010aと1010bにそれぞれ記憶する。 As shown in FIG. 14, in the first period, only the transmission units 1008a and 1008b corresponding to the cameras 1003a and 1003b transmit (send) packets generated from the moving image data to the synthesis unit 1009. The synthesizing unit 1009 receives packets from the transmission units 1008a and 1008b, restores moving image data captured by the cameras 1003a and 1003b from the packets, and stores them in the frame memories 1010a and 1010b, respectively.
続いて、第2の期間で、合成部1009がフレームメモリ1010aと1010bのデータに基づいて画面1011の上半分を表示(再生)する。これにより、カメラ1003aと1003bが撮影した画像が表示される。この表示と並行して、カメラ1003cと1003dに対応する伝送部1008cと1008dが、合成部1009にパケットを伝送する。 Subsequently, in the second period, the combining unit 1009 displays (reproduces) the upper half of the screen 1011 based on the data in the frame memories 1010a and 1010b. Thereby, images taken by the cameras 1003a and 1003b are displayed. In parallel with this display, the transmission units 1008c and 1008d corresponding to the cameras 1003c and 1003d transmit the packet to the combining unit 1009.
すなわち、第2の期間において合成部1009は、画面1011の上半分の表示と並行して、伝送部1008cと1008dのそれぞれからパケットを受信し、各パケットから、カメラ1003cと1003dが撮影した動画のデータをそれぞれ復元して、フレームメモリ1010aと1010bにそれぞれ記憶する。 That is, in the second period, the combining unit 1009 receives packets from the transmission units 1008c and 1008d in parallel with the display of the upper half of the screen 1011, and from each packet, the moving images captured by the cameras 1003c and 1003d are received. The data is restored and stored in the frame memories 1010a and 1010b, respectively.
次の第3の期間では、合成部1009がフレームメモリ1010aと1010bのデータに基づいて画面1011の下半分を表示する。これにより、カメラ1003cと1003dが撮影した画像が表示される。図14では省略されているが、この表示動作と並行して、注目フレームの次のフレームについて、伝送部1008aと1008bから動画データを含むパケットが伝送され、それぞれフレームメモリ1010aと1010bに記憶される。 In the next third period, the combining unit 1009 displays the lower half of the screen 1011 based on the data in the frame memories 1010a and 1010b. As a result, images taken by the cameras 1003c and 1003d are displayed. Although omitted in FIG. 14, in parallel with this display operation, packets including moving image data are transmitted from the transmission units 1008a and 1008b for the next frame of the frame of interest, and stored in the frame memories 1010a and 1010b, respectively. .
このように、注目フレームは第2の期間と第3の期間にわたってラスタ走査され、再生される。以上を繰り返すことにより、動画を構成する個々のフレーム画像が再生され、4台のカメラ1003a〜1003dが撮影した4組の動画が、分割された画面1011上で再生される。つまり、図14の方法によれば、フレームメモリ1010aと1010bという2組のフレームメモリのみで4分割表示を実現することが可能であり、図12のフレームメモリ1010cと1010dは削減可能である。しかし、この方法では、垂直方向に複数の領域が並んでいないとフレームメモリを削減することができず、また、水平方向に多くの領域が並ぶような分割では、必要なフレームメモリの容量は大きいままである。 Thus, the frame of interest is raster scanned over the second period and the third period and reproduced. By repeating the above, individual frame images constituting the moving image are reproduced, and four sets of moving images taken by the four cameras 1003a to 1003d are reproduced on the divided screen 1011. In other words, according to the method of FIG. 14, it is possible to realize a quadrant display using only two sets of frame memories 1010a and 1010b, and the frame memories 1010c and 1010d of FIG. 12 can be reduced. However, with this method, the frame memory cannot be reduced unless a plurality of areas are arranged in the vertical direction, and the required frame memory capacity is large in the division where many areas are arranged in the horizontal direction. It remains.
なお、フレームメモリの削減に関しては、以下のような技術も知られている。
特許文献1は、圧縮されている画像データを復号処理して表示するビデオ表示システムにおいて、フレームメモリを削減し、かわりに容量の小さなラインバッファを使うことでシステムの規模を小さくする技術を記載している。具体的には、画面全体の走査時間ではなく、圧縮されている画像データの復号処理に必要な時間に走査するラインに相当するデータ分の記憶容量を有し復号処理後のデータを順次記憶するラインバッファを設け、このラインバッファに記憶されたデータを順次読み出して1ラインずつ走査する構成が採用されている。しかし、複数の装置からそれぞれ画像データを受信して、1つの画面に複数の画像を合成して表示する場合について特許文献1にはまったく記載がない。
Regarding the reduction of the frame memory, the following techniques are also known.
Patent Document 1 describes a technique for reducing the size of a system by reducing the frame memory and using a small-capacity line buffer instead in a video display system that decodes and displays compressed image data. ing. Specifically, it has a storage capacity corresponding to the line to be scanned at the time required for decoding the compressed image data, not the scanning time of the entire screen, and sequentially stores the data after decoding. A configuration is adopted in which a line buffer is provided, and data stored in the line buffer is sequentially read and scanned line by line. However, Patent Document 1 does not describe at all the case where image data is received from a plurality of devices and a plurality of images are combined and displayed on one screen.
特許文献2は、1つの画面に複数の画像を表示する場合のフレームメモリの容量を抑える技術を記載している。特許文献2に記載の分割マルチ画面表示装置は、例えば複数の監視カメラから出力される複数の非同期なカラー映像信号を、複数の領域に分割された1つの画面に表示する装置である。 Patent Document 2 describes a technique for suppressing the capacity of a frame memory when a plurality of images are displayed on one screen. The divided multi-screen display device described in Patent Literature 2 is a device that displays a plurality of asynchronous color video signals output from a plurality of surveillance cameras, for example, on a single screen divided into a plurality of regions.
この分割マルチ画面表示装置は、複数の入力映像信号に対応してそれぞれ設けられた入力映像信号処理回路ごとに、入力映像信号を、A/D変換回路のドットクロックを1/Nに分周した周波数で、かつNラインに1回に間引いて、当該入力映像信号処理回路に設けられた2組以上のラインメモリに書き込む。そして、複数の入力映像信号処理回路に共通の同期発生回路に基づく、ドットクロックの2倍以上の周波数で、複数の入力映像信号処理回路それぞれのラインメモリからデータを読み出し、1つの共通のフレームメモリに書き込む。 This divided multi-screen display device divides the input video signal by dividing the dot clock of the A / D conversion circuit by 1 / N for each input video signal processing circuit provided corresponding to a plurality of input video signals. The frequency is thinned out once for N lines and written to two or more sets of line memories provided in the input video signal processing circuit. Then, based on the synchronization generation circuit common to the plurality of input video signal processing circuits, the data is read from the line memories of each of the plurality of input video signal processing circuits at a frequency more than twice the dot clock, and one common frame memory Write to.
特許文献2に記載の技術によれば、カメラの台数によらず、1画面分の共通のフレームメモリがあれば、分割表示が実現可能である。しかし、分割表示を行いたい場合に、特許文献2で前提とされている条件が成立するとは限らない。特許文献2では、例えば4分割表示の場合に各画像の水平方向と垂直方向をそれぞれ1/2に縮小して表示することを前提としているため、分周やラインの間引きをしている。しかし、カメラの画素数とモニタの画素数の関係によっては、分割表示が縮小表示を意味するとは限らない。また、特許文献2は、映像入力信号がアナログ信号であることを前提としているが、デジタルカメラなどから出力されたデジタル信号を入力としたい場合も多い。
本発明の課題は、1つの画面を分割した複数の領域のそれぞれに異なる動画を表示させる場合に、動画のデータを受信して表示する側の装置において必要となる記憶手段の容量を削減することである。 An object of the present invention is to reduce the capacity of storage means required in a device that receives and displays moving image data when different moving images are displayed in each of a plurality of areas obtained by dividing one screen. It is.
本発明による送信装置は、複数の領域に分割された画面内の1つの領域である特定領域に表示すべき動画のデータを、データの転送レートを保証するプロトコルによって送信する送信装置であり、データパケット生成手段と、判断手段と、送信手段とを備える。前記データパケット生成手段は、前記動画の前記データのうち、前記特定領域を構成するn本の水平ラインに相当する部分からデータパケットを生成する。前記判断手段は、前記特定領域のn本の前記水平ラインを含む、前記画面の全幅にわたるn本の全幅水平ラインの走査のタイミングに対応する期間のうち、前記特定領域の前記画面内での水平方向における位置に対応する期間である送信期間か否かを判断する。前記送信手段は、前記送信期間であると前記判断手段が判断したとき、前記データパケットを送信する。 A transmission apparatus according to the present invention is a transmission apparatus that transmits moving image data to be displayed in a specific area, which is one area in a screen divided into a plurality of areas, using a protocol that guarantees a data transfer rate. A packet generation unit, a determination unit, and a transmission unit are provided. The data packet generating unit generates a data packet from a portion corresponding to n horizontal lines constituting the specific area in the data of the moving image. The determination means includes a horizontal area within the screen of the specific area in a period corresponding to the scanning timing of the n horizontal lines across the entire width of the screen including the n horizontal lines of the specific area. It is determined whether or not the transmission period is a period corresponding to the position in the direction. The transmission unit transmits the data packet when the determination unit determines that the transmission period is reached.
本発明による受信装置は、複数の領域に分割された画面内のそれぞれの前記領域に表示すべき複数の動画のデータを、データの転送レートを保証するプロトコルによって、複数の送信装置のそれぞれから受信する受信装置であり、通知手段と受信手段と復元手段と記憶手段と表示手段を備える。前記通知手段は、前記複数の送信装置と前記複数の領域との対応関係を、前記複数の送信装置に通知する。前記受信手段は、前記動画の前記データから生成され、前記対応関係により示される前記領域の前記画面内での位置と前記画面の走査順とに基づくタイミングで前記複数の送信装置からそれぞれ送信された、データパケットを受信する。前記復元手段は、1つの前記送信装置から受信した1つ以上の前記データパケットから、前記動画の前記データのうち、前記1つの送信装置に対応する1つの前記領域を構成するn本の水平ラインに相当する部分を復元する。前記記憶手段は、復元された前記動画の前記データを記憶する。前記表示手段は、前記記憶手段に記憶された前記動画の前記データに基づいて、前記画面の全幅にわたるn本の全幅水平ラインを、走査により表示するよう命令する。そして、前記受信装置は、前記データパケットの受信と、前記動画の前記データの復元および記憶と、前記表示手段による命令とを繰り返すことによって前記画面全体の表示を実現させる。 The receiving device according to the present invention receives a plurality of moving image data to be displayed in each of the regions divided into a plurality of regions from each of the plurality of transmitting devices according to a protocol that guarantees a data transfer rate. The receiving apparatus includes a notification unit, a reception unit, a restoration unit, a storage unit, and a display unit. The notification means notifies the plurality of transmission devices of the correspondence relationship between the plurality of transmission devices and the plurality of regions. The receiving unit is generated from the data of the moving image, and is transmitted from each of the plurality of transmitting devices at a timing based on a position in the screen of the region indicated by the correspondence relationship and a scanning order of the screen. Receive data packets. The restoration means includes n horizontal lines constituting one area corresponding to the one transmission device among the data of the moving image from one or more data packets received from the one transmission device. Restore the part corresponding to. The storage means stores the data of the restored moving image. The display means instructs to display n full width horizontal lines over the full width of the screen by scanning based on the data of the moving image stored in the storage means. The receiving apparatus realizes display of the entire screen by repeating reception of the data packet, restoration and storage of the data of the moving image, and an instruction by the display means.
上記の送信装置と受信装置のうち記憶手段以外の各手段の機能は、プログラムによって実現することも可能であり、本発明の1つの態様によればそのようなプログラムが提供される。 The functions of each means other than the storage means in the transmission device and the reception device can be realized by a program, and according to one aspect of the present invention, such a program is provided.
上記の送信装置と受信装置を組み合わせると、画面上で水平方向に並んだ複数(以下、この数をdhとして説明する)の領域を通る、あるn本の全幅水平ラインに対応するデータは、このn本の全幅水平ラインの走査のタイミングに対応する期間にすべて送信され、受信される。その理由は次のとおりである。上記dh個の領域のそれぞれは、当該領域を特定領域とする送信装置と対応する。よって、上記n本の全幅水平ラインの走査のタイミングに対応する期間は、dh個の領域に対応するdh個の送信装置それぞれにとっての送信期間を含む。すなわち、n本の全幅水平ラインの走査のタイミングに対応する期間において、dh個の送信装置のそれぞれが、当該送信装置にとっての特定領域を構成するn本の水平ラインに相当する部分からデータパケットを生成し、送信する。受信装置は、dh個の送信装置それぞれからデータパケットを受信する。 When the above transmitting device and receiving device are combined, data corresponding to a certain number n of full width horizontal lines passing through a plurality of regions (hereinafter, this number will be described as d h ) arranged in the horizontal direction on the screen is: All are transmitted and received during a period corresponding to the scanning timing of the n full width horizontal lines. The reason is as follows. Each of the d h number of regions, corresponding to the transmitting device for the area and specific area. Therefore, the period corresponding to the timing of the scanning of the n number of full-width horizontal line includes a transmission period for the respective d h number of transmitting devices corresponding to the d h number of areas. That is, during the period corresponding to the timing of the scanning of n lines of the full width horizontal line, d each h pieces of transmission equipment, data packets from the n portion corresponding to the horizontal lines of the constituting a specified region for the said transmission device Generate and send. Receiving device receives a data packet from each d h number of transmitting devices.
ここで、n本の全幅水平ラインは、水平方向に並んだdh個の領域を通っており、これらdh個の領域それぞれにおけるn本の水平ラインを水平方向に並べたものと見なせる。つまり、n本の全幅水平ラインの走査のタイミングに対応する期間において、受信装置は、n本の全幅水平ラインを構成する全部分に対応するデータパケットを受信することになる。 Here, the n full width horizontal line is through the d h number of regions arranged in the horizontal direction, can be regarded as an ordered horizontal line of the n in each of these d h number of regions in the horizontal direction. That is, in a period corresponding to the scanning timing of n full width horizontal lines, the receiving apparatus receives data packets corresponding to all the parts constituting n full width horizontal lines.
このように、本発明によれば、n本の全幅水平ラインに対応するデータは当該n本の全幅水平ラインの走査のタイミングに対応する期間に送信および受信される。換言すれば、走査のタイミングに合わせて、走査に使われるデータが送信および受信される。 Thus, according to the present invention, data corresponding to n full width horizontal lines is transmitted and received during a period corresponding to the scanning timing of the n full width horizontal lines. In other words, data used for scanning is transmitted and received in accordance with the scanning timing.
つまり、本発明によれば、まだ走査すべきタイミングにならないうちに、走査すべき箇所とは無関係な箇所のデータが先に送信および受信されるということがない。よって、先に受信したそのような無関係な箇所のデータを走査のタイミングが訪れるまで記憶しておくという必要もない。したがって、先に受信したデータを走査のタイミングが訪れるまで記憶しておく必要があった従来の装置に比べて、本発明の受信装置では、記憶手段に必要な容量が削減されている。 In other words, according to the present invention, data at a location irrelevant to the location to be scanned is not transmitted and received before the timing for scanning is reached. Therefore, it is not necessary to store the data of such an irrelevant part received previously until the scanning timing comes. Therefore, compared with the conventional apparatus that needs to store the previously received data until the scanning timing arrives, the receiving apparatus of the present invention reduces the capacity required for the storage means.
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、同様の構成要素には同じ符号または添え字のみ異なる符号を付し、適宜説明を省略する。
まず、図1と図2を参照して第1実施形態を説明する。第1実施形態は、後述の第2実施形態および第3実施形態の共通点を含む。図1は、第1実施形態による送信装置および受信装置の機能ブロック図であり、図2は、第1実施形態において動画を分割表示する全体の流れを示すフローチャートである。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In addition, the same code | symbol or a different code | symbol is attached to the same component, and description is abbreviate | omitted suitably.
First, the first embodiment will be described with reference to FIGS. 1 and 2. The first embodiment includes common points of a second embodiment and a third embodiment described later. FIG. 1 is a functional block diagram of a transmission device and a reception device according to the first embodiment, and FIG. 2 is a flowchart showing an overall flow of dividing and displaying a moving image in the first embodiment.
送信装置は3つ以上でもかまわないが、図1には、2つの送信装置101aと101bのみを示した。図1に示すように、1つの受信装置に複数の送信装置が対応する。送信装置101aは、データパケット生成部102a、判断部103a、および送信部104aを備え、送信装置101bも同様の構成である。受信装置105は、通知部106、受信部107、復元部108、記憶部109、および表示部110を備える。送信装置101aと101bはいずれも、ネットワークを介して受信装置105と接続されている。送信装置101aと101bは、図11の送信コントローラ1005a〜1005fと同様に車載用のカメラに取り付けられ、受信装置105は図11の受信コントローラ1006a〜1006cと同様に車載用のモニタに取り付けられる。なお、以下では説明の便宜上、受信装置105が運転席のモニタに取り付けられているという前提で説明する。 Although three or more transmitting devices may be used, only two transmitting devices 101a and 101b are shown in FIG. As shown in FIG. 1, a plurality of transmission devices correspond to one reception device. The transmission device 101a includes a data packet generation unit 102a, a determination unit 103a, and a transmission unit 104a, and the transmission device 101b has the same configuration. The reception device 105 includes a notification unit 106, a reception unit 107, a restoration unit 108, a storage unit 109, and a display unit 110. Both of the transmission apparatuses 101a and 101b are connected to the reception apparatus 105 via a network. The transmission devices 101a and 101b are attached to a vehicle-mounted camera similarly to the transmission controllers 1005a to 1005f in FIG. 11, and the reception device 105 is attached to a vehicle-mounted monitor similarly to the reception controllers 1006a to 1006c in FIG. In the following description, for the convenience of explanation, the description will be made on the assumption that the receiving device 105 is attached to the driver's seat monitor.
次に、図2を参照して図1の各部の動作を説明する。まず、ステップS11で、受信装置105の通知部106が、画面の分割の仕方と、分割された各領域と各送信装置との対応関係を、複数の送信装置101aと101bにそれぞれに通知する。例えば、上記「画面の分割の仕方」は「640×240画素の画面を水平方向に2等分して、320×240画素の2つの領域に分割する」といったものであり、上記「対応関係」は「左側の領域は送信装置101aに対応し、右側の領域は送信装置101bに対応する」といったものである。 Next, the operation of each part in FIG. 1 will be described with reference to FIG. First, in step S11, the notification unit 106 of the reception device 105 notifies the plurality of transmission devices 101a and 101b of how to divide the screen and the correspondence between each divided area and each transmission device. For example, the “how to divide the screen” is “divide the screen of 640 × 240 pixels into two equal parts in the horizontal direction and divide into two regions of 320 × 240 pixels”. "The left area corresponds to the transmission apparatus 101a, and the right area corresponds to the transmission apparatus 101b".
例えば、受信装置105がボタン等の入力装置を備えており、入力装置を介して、画面の分割の仕方と対応関係に関する運転者からの指示を受け付けてもよい。あるいは、運転者からの指示を受け付けるための入力装置がモニタに備えられ、受け付けられた指示がモニタから受信装置105に送られてもよい。または、カメラの台数が固定されているシステムなどでは、画面の分割の仕方と対応関係がデフォルトで決められており、通知部106に記憶されていてもよい。いずれにしろ、画面の分割の仕方と対応関係は、予め何らかの方法で決められ、ステップS11で通知部106によりネットワークを介して送信装置101aと101bに通知される。 For example, the receiving device 105 may include an input device such as a button, and an instruction from the driver regarding how to divide the screen and the correspondence relationship may be received via the input device. Alternatively, an input device for accepting an instruction from the driver may be provided in the monitor, and the accepted instruction may be sent from the monitor to the receiving device 105. Alternatively, in a system in which the number of cameras is fixed, the screen division method and the correspondence relationship are determined by default and may be stored in the notification unit 106. In any case, how to divide the screen and the correspondence relationship are determined in advance by some method, and in step S11, the notification unit 106 notifies the transmitting apparatuses 101a and 101b via the network.
すると、ステップS21で送信装置101aと101bがそれぞれこの通知を受け取る。この通知から、送信装置101aの判断部103aは、送信装置101aに対応する領域が画面内のどの位置であるかということを認識する。同様に、送信装置101bの判断部103bは、送信装置101bに対応する領域が画面内のどの位置であるかということを認識する。 Then, in step S21, the transmission devices 101a and 101b each receive this notification. From this notification, the determination unit 103a of the transmission apparatus 101a recognizes where the area corresponding to the transmission apparatus 101a is in the screen. Similarly, the determination unit 103b of the transmission apparatus 101b recognizes where the area corresponding to the transmission apparatus 101b is on the screen.
以下では、ステップS21で認識した自送信装置に対応する領域を、当該送信装置にとっての「特定領域」という。送信装置は、1台のカメラに対して1台が対応するので、特定領域は、換言すれば、自送信装置が取り付けられたカメラが撮影した画像を表示すべき領域のことである。つまり、領域と送信装置との対応関係は、領域とカメラとの対応を示すものでもある。また、異なる送信装置にとっての特定領域は互いに異なる。ステップS11で述べた例の場合、ステップS21で判断部103aは「左側の領域が特定領域である」と認識し、判断部103bは「右側の領域が特定領域である」と認識する。 Hereinafter, the area corresponding to the own transmission apparatus recognized in step S21 is referred to as a “specific area” for the transmission apparatus. Since one transmission device corresponds to one camera, in other words, the specific region is a region where an image taken by a camera to which the own transmission device is attached is to be displayed. That is, the correspondence between the area and the transmission device also indicates the correspondence between the area and the camera. In addition, the specific areas for different transmission apparatuses are different from each other. In the case of the example described in step S11, in step S21, the determination unit 103a recognizes that “the left region is a specific region”, and the determination unit 103b recognizes that “the right region is a specific region”.
ステップS21で判断部103aが送信装置101aに対応する特定領域を認識すると、それ以降、送信装置101aではステップS22とS23からなるループが繰り返し実行される。送信装置101aのこの動作と並行して、同様に、ステップS21で判断部103bが送信装置101bに対応する特定領域を認識すると、それ以降、送信装置101bではステップS22とS23からなるループが繰り返される。 When the determination unit 103a recognizes a specific area corresponding to the transmission device 101a in step S21, the transmission device 101a thereafter repeatedly executes a loop including steps S22 and S23. In parallel with this operation of the transmission apparatus 101a, similarly, when the determination unit 103b recognizes a specific area corresponding to the transmission apparatus 101b in step S21, the transmission apparatus 101b thereafter repeats the loop including steps S22 and S23. .
ステップS22では、まず、送信装置101aが取り付けられたカメラが撮影したフレーム画像のデータから、データパケット生成部102aが複数のパケットを生成する。以下では、フレーム画像のデータから生成されるパケットを「データパケット」という。データパケットの生成は、フレーム画像を構成する水平ラインのn本分を単位として行われる。 In step S22, first, the data packet generation unit 102a generates a plurality of packets from frame image data captured by the camera to which the transmission apparatus 101a is attached. Hereinafter, a packet generated from frame image data is referred to as a “data packet”. Data packets are generated in units of n horizontal lines constituting a frame image.
ここで、「水平ライン」とは、カメラが撮影した画像、または画面内の1つの領域において、当該画像または当該領域の全幅に渡って画素が水平方向に連なったラインである。水平ラインの垂直方向の大きさは1画素である。また、nはフレーム画像の垂直方向の大きさと比べて十分に小さな値であり、例えばフレーム画像が320×240画素のとき、n=8などの値が採用される。 Here, the “horizontal line” is an image captured by the camera or a line in which pixels are connected in the horizontal direction over the entire width of the image or the area in one area in the screen. The size of the horizontal line in the vertical direction is one pixel. Also, n is a sufficiently small value compared to the size of the frame image in the vertical direction. For example, when the frame image is 320 × 240 pixels, a value such as n = 8 is adopted.
データパケットはステップS22で送信部104aにより送信されるが、送信は、その1フレームに対応する期間のうちで特定領域に応じた一部の期間でのみ行われる。以下では、データパケットを送信すべき期間のことを「送信期間」といい、それ以外の期間を「非送信期間」という。送信期間であるか否かは判断部103aが判断する。また、データパケットの生成がn本の水平ラインを単位として繰り返し行われるのに合わせ、データパケットの送信もn本の水平ラインを単位として繰り返し行われる。送信装置101bもステップS22では送信装置101aと同様に動作する。 The data packet is transmitted by the transmission unit 104a in step S22, but transmission is performed only in a part of the period corresponding to the specific region in the period corresponding to the one frame. Hereinafter, a period during which a data packet is to be transmitted is referred to as a “transmission period”, and the other period is referred to as a “non-transmission period”. The determination unit 103a determines whether it is the transmission period. In addition, the generation of data packets is repeatedly performed in units of n horizontal lines, and the transmission of data packets is also repeatedly performed in units of n horizontal lines. The transmission apparatus 101b operates in the same manner as the transmission apparatus 101a in step S22.
送信期間は、ステップS21で認識した画面の分割の仕方と対応関係から定められる。例えば、送信装置101aにとっての送信期間は、送信装置101aにとっての特定領域を構成するあるn本の水平ラインを含むn本の全幅水平ラインの走査のタイミングに対応する期間のうち、特定領域の画面内での水平方向における位置に対応する期間である。ここで、「全幅水平ライン」とは、複数の領域に分割される画面において、当該画面の全幅に渡って画素が水平方向に連なったラインである。全幅水平ラインの垂直方向の大きさは1画素である。 The transmission period is determined from the way of dividing the screen recognized in step S21 and the correspondence relationship. For example, the transmission period for the transmission apparatus 101a is the screen of the specific area in a period corresponding to the scanning timing of n full-width horizontal lines including n horizontal lines constituting the specific area for the transmission apparatus 101a. It is a period corresponding to the position in the horizontal direction. Here, the “full width horizontal line” is a line in which pixels are continuously arranged in the horizontal direction over the full width of the screen on a screen divided into a plurality of regions. The vertical size of the full width horizontal line is 1 pixel.
ステップS11で述べた例の場合、640×240画素の画面が水平方向に2等分されているので、画面の全幅である640画素に渡るn本の全幅水平ラインの走査のタイミングに対応する期間は、左側の領域に対応する期間と右側の領域に対応する期間に分けられる。前者は送信装置101aにとっての送信期間であって送信装置101bにとっての非送信期間であり、後者は、送信装置101bにとっての送信期間であって送信装置101aにとっての非送信期間である。 In the case of the example described in step S11, since the screen of 640 × 240 pixels is divided into two equal parts in the horizontal direction, the period corresponding to the scanning timing of n full-width horizontal lines over 640 pixels, which is the full width of the screen. Are divided into a period corresponding to the left area and a period corresponding to the right area. The former is a transmission period for the transmission apparatus 101a and a non-transmission period for the transmission apparatus 101b, and the latter is a transmission period for the transmission apparatus 101b and a non-transmission period for the transmission apparatus 101a.
以上のようにしてステップS22では、n本の水平ラインを単位として、データパケットの生成および送信が繰り返され、繰り返しのたびに、送信期間と非送信期間からなるパターンが現れる。なお、ステップS22に相当するより詳細なフローチャートは、第2および第3実施形態と合わせて後に示す。 As described above, in step S22, generation and transmission of data packets are repeated in units of n horizontal lines, and a pattern composed of a transmission period and a non-transmission period appears each time it is repeated. A more detailed flowchart corresponding to step S22 will be described later together with the second and third embodiments.
ステップS22に続くステップS23では、動画の撮影およびデータパケットの送信を終了するよう受信装置105から通知されたか否かを判断部103aが判定する。通知があれば図1の処理を終了し、なければステップS22に戻る。また、送信装置101bもステップS23において同様に動作する。 In step S23 following step S22, the determination unit 103a determines whether or not the receiving apparatus 105 has notified the end of moving image shooting and data packet transmission. If there is a notification, the processing of FIG. In addition, the transmitting apparatus 101b operates in the same manner in step S23.
ステップS22とS23からなるループの繰り返しによって、個々のフレーム画像のデータが、データパケットの形で受信装置105に順次送信される。この送信に対応して、受信装置105は、複数の送信装置から送られるデータパケットに基づいて、ステップS11で通知した画面の分割の仕方で、モニタに複数の動画を分割表示するよう命令する。 By repeating the loop consisting of steps S22 and S23, the data of each frame image is sequentially transmitted to the receiving apparatus 105 in the form of a data packet. Corresponding to this transmission, the receiving apparatus 105 instructs the monitor to divide and display a plurality of moving images in the manner of dividing the screen notified in step S11 based on the data packets sent from the plurality of transmitting apparatuses.
すなわち、ステップS12では、受信部107が送信装置101aと101bからのデータパケットを受信し、それぞれのデータパケットから復元部108がフレーム画像のデータを復元して記憶部109に記憶し、表示部110が記憶部109に記憶されたデータに基づいて、分割表示されたフレーム画像をモニタに表示するよう命令する。ステップS22の動作がn本の水平ラインを単位として繰り返されるのに対応して、ステップS12の動作はn本の全幅水平ラインを単位として繰り返される。なお、ステップS12に相当するより詳細なフローチャートは、第2および第3実施形態と合わせて後に示す。 That is, in step S12, the reception unit 107 receives data packets from the transmission apparatuses 101a and 101b, the restoration unit 108 restores the frame image data from each data packet, stores the frame image data in the storage unit 109, and the display unit 110. Is instructed to display the divided and displayed frame image on the monitor based on the data stored in the storage unit 109. Corresponding to the operation of step S22 being repeated in units of n horizontal lines, the operation of step S12 is repeated in units of n full width horizontal lines. A more detailed flowchart corresponding to step S12 will be described later together with the second and third embodiments.
また、受信側から見ると、データパケットは、ステップS11で通知した対応関係により示される、各送信装置にとっての特定領域の画面内での位置と、画面の走査順とに基づくタイミングで送信されたものだが、対応関係も走査順も受信装置105にとっては既知である。つまり、受信装置105にとって、データパケットは、既知の情報から決定されるタイミングで送信されてくるものである。 Further, when viewed from the receiving side, the data packet is transmitted at a timing based on the position in the screen of the specific area for each transmitting device indicated by the correspondence notified in step S11 and the scanning order of the screen. However, the correspondence and the scanning order are known to the receiving apparatus 105. That is, for the receiving apparatus 105, the data packet is transmitted at a timing determined from known information.
ステップS12において、送信装置101aにとっての送信期間と送信装置101bにとっての送信期間は互いに異なるので、送信装置101aからのデータパケットの受信と送信装置101bからのデータパケットの受信は、異なる期間に行われる。それに合わせて、送信装置101aと101bに対応するフレーム画像の復元が行われる期間もずれる。 In step S12, since the transmission period for the transmission apparatus 101a and the transmission period for the transmission apparatus 101b are different from each other, the reception of the data packet from the transmission apparatus 101a and the reception of the data packet from the transmission apparatus 101b are performed in different periods. . Accordingly, the period during which the frame images corresponding to the transmission apparatuses 101a and 101b are restored is also shifted.
ステップS11で示した2分割の例を用いて説明すると、ステップS22で説明したとおり、n本の全幅水平ラインの走査のタイミングに対応する期間のうち、左側の領域に対応する期間には、当該n本の全幅水平ラインのうち左側の領域に含まれる部分、すなわち左側の領域のn本の水平ラインに相当するデータパケットが送信装置101aの送信部104aから送信される。一方、n本の全幅水平ラインの走査のタイミングに対応する期間のうち、右側の領域に対応する期間には、当該n本の全幅水平ラインのうち右側の領域に含まれる部分、すなわち右側の領域のn本の水平ラインに相当するデータパケットが送信装置101bの送信部104bから送信される。 To explain using the two-division example shown in step S11, as described in step S22, among the periods corresponding to the scanning timing of n full-width horizontal lines, Of the n full width horizontal lines, a portion included in the left region, that is, a data packet corresponding to n horizontal lines in the left region is transmitted from the transmission unit 104a of the transmission device 101a. On the other hand, in the period corresponding to the right region among the periods corresponding to the scanning timing of n full width horizontal lines, the portion included in the right region of the n full width horizontal lines, that is, the right region. The data packet corresponding to the n horizontal lines is transmitted from the transmission unit 104b of the transmission apparatus 101b.
つまり、n本の全幅水平ラインの走査のタイミングに対応する期間で、当該n本の全幅水平ラインに相当するすべてのデータが送信され、受信され、復元され、記憶され、表示のために使われ、当該n本の全幅水平ラインに関する処理が完結する。したがって、受信装置105の記憶部109は、n本の全幅水平ラインの走査のタイミングに対応する期間を超えてデータを記憶し続ける必要がないため、高々n本の全幅水平ライン分のデータを記憶する容量があれば十分である。上記のとおり、nは画面の垂直方向に比べて十分に小さな値が選ばれるので、例えば図12や図14で説明した従来の方法と比べて、本実施形態では必要な記憶容量が十分に少ない。記憶部109に必要な記憶容量が小さいため、受信装置105は比較的安価に製造することが可能であり、装置規模も小さくて済む。 That is, in a period corresponding to the scanning timing of n full width horizontal lines, all data corresponding to the full width horizontal lines are transmitted, received, restored, stored, and used for display. Then, the processing for the n full width horizontal lines is completed. Therefore, the storage unit 109 of the receiving apparatus 105 does not need to continue to store data beyond the period corresponding to the scanning timing of n full width horizontal lines, and therefore stores data for at most n full width horizontal lines. It is enough if there is capacity to do. As described above, a sufficiently small value is selected for n as compared to the vertical direction of the screen. Therefore, for example, the storage capacity required in this embodiment is sufficiently small as compared with the conventional method described with reference to FIGS. . Since the storage capacity required for the storage unit 109 is small, the receiving apparatus 105 can be manufactured at a relatively low cost, and the apparatus scale can be small.
ステップS12で、n本の全幅水平ラインを単位とした繰り返しにより、モニタに1フレーム分の分割表示を命令すると、続くステップS13で受信装置105は、動画の分割表示を終了する旨の指示を受け取ったか否かを判断する。例えば、ステップS11で説明した入力装置が、運転者から終了の指示を受け取るのにも用いられ、入力装置を介して終了の指示が入力されていればステップS13からステップS14に進み、そうでなければステップS12に戻る。 In step S12, when the monitor is instructed to be divided by one full width horizontal line, the receiving apparatus 105 receives an instruction to end the divided display of the moving image in step S13. It is determined whether or not. For example, the input device described in step S11 is also used to receive an end instruction from the driver. If an end instruction is input via the input device, the process proceeds from step S13 to step S14. Return to step S12.
こうしてステップS12とS13からなるループを繰り返すことにより、複数のカメラが撮影したそれぞれの動画を1つのモニタの1つの画面上に分割表示することができる。また、ステップS13からステップS14に進んだ場合は、受信装置105は、送信装置101aと101bにそれぞれ、動画の撮影およびデータパケットの送信を終了するよう通知し、図2の処理を終了する。この通知を受けた場合の送信装置101aと101bの動作は、ステップS23に関して説明したとおりである。 In this way, by repeating the loop composed of steps S12 and S13, it is possible to divide and display the moving images taken by the plurality of cameras on one screen of one monitor. When the process proceeds from step S13 to step S14, the reception apparatus 105 notifies the transmission apparatuses 101a and 101b to end the shooting of the moving image and the transmission of the data packet, and ends the process of FIG. The operations of the transmission apparatuses 101a and 101b upon receiving this notification are as described for step S23.
なお、図1の各構成要素のうち、記憶部109は専用のラインメモリあるいは汎用のRAM(Random Access Memory;ランダムアクセスメモリ)などのハードウェアにより実現されるが、それ以外の構成要素は、ハードウェア、ファームウェア、ソフトウェア、あるいはそれらの任意の組み合わせにより実現してもよい。また、各構成要素をそれぞれ別個のハードウェアにより実現してもよく、複数の構成要素を、それらに共通のハードウェアと、それらの構成要素の機能を実現するソフトウェアとによって実現してもよい。 1 is realized by hardware such as a dedicated line memory or a general-purpose RAM (Random Access Memory), but the other components are hardware. Hardware, firmware, software, or any combination thereof. In addition, each component may be realized by separate hardware, and the plurality of components may be realized by hardware common to them and software that realizes the function of these components.
例えば、ROM(Read Only Memory;読み出し専用メモリ)などの不揮発性メモリと、RAMなどの揮発性メモリと、CPU(Central Processing Unit;中央処理装置)と、通信インタフェイスとを備え、これらが内部バスで互いに接続されたコンピュータを使うことで、ソフトウェアを使って送信装置101a、101b、および受信装置105の機能をそれぞれ実現することができる。すなわち、不揮発性メモリが各構成要素の機能を実現するプログラムを格納し、CPUがそのプログラムを読み出して揮発性メモリをワーク用に用いながら該プログラムを実行することにより、各構成要素の機能が実現される。また、上記RAMの一部を記憶部109として利用してもよく、プログラムがネットワークあるいはコンピュータ読み取り可能な記憶媒体を介して提供され、RAMに読み込まれて実行されるのでもよい。 For example, a nonvolatile memory such as a ROM (Read Only Memory), a volatile memory such as a RAM, a CPU (Central Processing Unit), and a communication interface are provided, and these are internal buses. By using computers connected to each other, the functions of the transmission apparatuses 101a and 101b and the reception apparatus 105 can be realized using software. That is, the nonvolatile memory stores a program that realizes the function of each component, and the CPU reads the program and executes the program while using the volatile memory for work, thereby realizing the function of each component. Is done. Further, a part of the RAM may be used as the storage unit 109, and the program may be provided via a network or a computer-readable storage medium, read into the RAM, and executed.
次に、図3〜6を参照して、本発明の第2実施形態について、説明する。第2実施形態は、2台のカメラ1003aと1003bで撮影した同じ大きさの2つの動画を水平方向に並べて表示する例である。なお、後述の第3実施形態でも図3を参照するため、図3には第2実施形態とは直接関係しない構成要素も含まれるが、それらの構成要素についてもまとめて説明する。 Next, a second embodiment of the present invention will be described with reference to FIGS. The second embodiment is an example in which two moving images of the same size captured by two cameras 1003a and 1003b are displayed side by side in the horizontal direction. In addition, in order to refer FIG. 3 also in 3rd Embodiment mentioned later, although the component which is not directly related to 2nd Embodiment is also included in FIG. 3, those components are also demonstrated collectively.
図3は、第2および第3実施形態に共通のシステム構成図である。このシステムは、320×240画素の大きさの動画を撮影する、図12と同様の4台のカメラ1003a〜1003dを含む。カメラ1003a〜1003dはそれぞれ、図12と同様にフレームメモリ1007a〜1007dを備えている。また、図3においては、共通の垂直同期信号(VSYNC)がカメラ1003a〜1003dに与えられ、カメラ1003a〜1003dが同期されている。 FIG. 3 is a system configuration diagram common to the second and third embodiments. This system includes four cameras 1003a to 1003d similar to FIG. 12, which shoot a moving image having a size of 320 × 240 pixels. Each of the cameras 1003a to 1003d includes frame memories 1007a to 1007d as in FIG. In FIG. 3, a common vertical synchronization signal (VSYNC) is given to the cameras 1003a to 1003d, and the cameras 1003a to 1003d are synchronized.
カメラ1003a〜1003dにはそれぞれ送信装置101a〜101dが取り付けられている。送信装置101aは圧縮部201aとパケット生成部202bを備える。パケット生成部202bは、図1の送信装置101a中のデータパケット生成部102a、判断部103a、および送信部104aの機能を備える。図3の他の送信装置101b〜101dも、図3の送信装置101aと同様の構成である。これらのうち、カメラ1003cと1003d、および送信装置101cと101dは、第2実施形態では使われない。 Transmitters 101a to 101d are attached to the cameras 1003a to 1003d, respectively. The transmission apparatus 101a includes a compression unit 201a and a packet generation unit 202b. The packet generation unit 202b includes the functions of the data packet generation unit 102a, the determination unit 103a, and the transmission unit 104a in the transmission device 101a of FIG. The other transmission apparatuses 101b to 101d in FIG. 3 have the same configuration as the transmission apparatus 101a in FIG. Among these, the cameras 1003c and 1003d and the transmission devices 101c and 101d are not used in the second embodiment.
図3において、フレームメモリ1007a〜1007dに記憶されたフレーム画像のデータは、それぞれ圧縮部201a〜201dによって読み込まれ、圧縮される。圧縮部201a〜201dは、n本の水平ラインを単位として、この単位ごとに圧縮後のデータが固定長となるように圧縮する。このような圧縮の方法には、例えば本願の発明者が特願2006−96035号で提案した方法がある。特願2006−96035号に記載の方法は、可変長符号化されたデータを圧縮して、圧縮した結果が、n本の水平ラインを単位としたときに固定長となるようにするものである。 In FIG. 3, frame image data stored in the frame memories 1007a to 1007d are read and compressed by the compression units 201a to 201d, respectively. The compression units 201a to 201d use n horizontal lines as a unit, and compress the compressed data so as to have a fixed length for each unit. As such a compression method, for example, there is a method proposed by the inventors of the present application in Japanese Patent Application No. 2006-96035. The method described in Japanese Patent Application No. 2006-96035 compresses variable-length encoded data so that the compressed result has a fixed length when n horizontal lines are used as a unit. .
以下では説明の便宜上、圧縮前のフレーム画像のデータが、1画素あたりpバイトという固定長に符号化されており、これが固定の圧縮率r(0<r≦1)で圧縮されるものとして計算例を示す。例えば、式(2)と同様に1画素あたりp=2バイトで表される動画データにおいて、フレーム画像のうちn=8本の水平ラインを圧縮の単位とする場合、フレーム画像の横幅がh=320画素であれば、式(4)より、5120バイトごとに固定の圧縮率rで圧縮部201a〜201dが動画データを圧縮するものとして、以下では説明する。 In the following, for the convenience of explanation, calculation is made on the assumption that the data of the frame image before compression is encoded at a fixed length of p bytes per pixel and is compressed at a fixed compression ratio r (0 <r ≦ 1). An example is shown. For example, in the moving image data represented by p = 2 bytes per pixel as in Expression (2), when n = 8 horizontal lines of the frame image are used as a unit of compression, the horizontal width of the frame image is h = In the case of 320 pixels, the following description is based on the assumption that the compression units 201a to 201d compress moving image data at a fixed compression rate r every 5120 bytes from Expression (4).
h×n×p=320×8×2=5120 (4)
上記のように、可変長符号化されたデータを圧縮して、圧縮した結果が、n本の水平ラインを単位としたときに固定長となるようにする圧縮方法を圧縮部201a〜201dが採用する場合であっても、データ量の計算においては、この5120バイトを単位として固定の圧縮率rで圧縮していると見なして計算することが可能である。
h × n × p = 320 × 8 × 2 = 5120 (4)
As described above, the compression units 201a to 201d adopt a compression method that compresses the variable-length encoded data so that the compression result has a fixed length when the unit is n horizontal lines. Even in this case, in calculating the data amount, it is possible to calculate the data amount by regarding the 5120 bytes as a unit and compressing at a fixed compression ratio r.
以下の実施形態では、n本の水平ラインを単位としたときに圧縮されたデータが固定長であるという性質を利用するが、具体的な圧縮方法は任意であり、また、圧縮前のフレーム画像のデータが固定長符号化されたものか可変長符号化されたものかは問わない。そこで、以下では説明の簡単化のため、n本の水平ラインに対応するデータが式(4)のような固定長であり、その固定長のデータが固定の圧縮率rで圧縮されることにより、固定長の圧縮データになるものとして説明し、計算例を示す。 In the following embodiments, the property that the compressed data has a fixed length when n horizontal lines are used as a unit is used. However, a specific compression method is arbitrary, and a frame image before compression is used. It does not matter whether the data is fixed-length encoded or variable-length encoded. Therefore, for simplification of description below, data corresponding to n horizontal lines has a fixed length as shown in Expression (4), and the fixed length data is compressed at a fixed compression ratio r. A description will be given assuming that the compressed data has a fixed length, and a calculation example will be shown.
圧縮部201a〜201dによって圧縮されたフレーム画像のデータは、各圧縮部201a〜201dから各パケット生成部202a〜202dに出力される。パケット生成部202a〜202dはいずれも、1394バス203に接続されている。 The frame image data compressed by the compression units 201a to 201d is output from the compression units 201a to 201d to the packet generation units 202a to 202d. All of the packet generators 202 a to 202 d are connected to the 1394 bus 203.
パケット生成部202aは、圧縮部201aから出力された圧縮データからデータパケットを生成し、送信装置101aにとっての特定領域の位置に基づいて送信装置101aにとっての送信期間か否かを判断し、送信期間ならば1394バス203を介してデータパケットを送信する。パケット生成部202aはさらに、後述のダミーパケットを生成し、非送信期間に1394バス203を介してダミーパケットを送信する。他のパケット生成部202b〜202dも同様である。データパケットとダミーパケットはいずれもアイソクロナスパケットの形式であり、1394バス203を介してアイソクロナス方式で送信される。 The packet generation unit 202a generates a data packet from the compressed data output from the compression unit 201a, determines whether the transmission period for the transmission apparatus 101a is based on the position of the specific area for the transmission apparatus 101a, and transmits the transmission period. If so, the data packet is transmitted via the 1394 bus 203. The packet generator 202a further generates a dummy packet described later, and transmits the dummy packet via the 1394 bus 203 during the non-transmission period. The same applies to the other packet generators 202b to 202d. Both the data packet and the dummy packet are in the form of an isochronous packet and are transmitted via the 1394 bus 203 in an isochronous manner.
図3のシステムにおいて、図1の受信装置105に相当する受信装置105が1394バス203に接続されており、パケット復元部204、復号部205、および表示部206を含む。 In the system of FIG. 3, a receiving device 105 corresponding to the receiving device 105 of FIG. 1 is connected to the 1394 bus 203 and includes a packet restoration unit 204, a decoding unit 205, and a display unit 206.
パケット復元部204は、1394バス203に接続されており、パケット生成部202a〜202dから送られたデータパケットを受信し、データパケットからパケットヘッダを取り除くなどの処理を行い、圧縮データを復元する。図3のパケット復元部204は、図1の受信部107と、復元部108の一部に相当する。 The packet restoration unit 204 is connected to the 1394 bus 203, receives data packets sent from the packet generation units 202a to 202d, performs processing such as removing a packet header from the data packets, and restores the compressed data. The packet restoration unit 204 in FIG. 3 corresponds to a part of the reception unit 107 and the restoration unit 108 in FIG.
パケット復元部204により復元された圧縮データは復号部205に出力される。復号部205は圧縮データを復号(すなわち解凍)し、復号部205に含まれる不図示のラインメモリに記憶する。図3の復号部205は、図1の復元部108の一部に相当するとともに、復号部205の内部の不図示のラインメモリが図1の記憶部109に相当する。 The compressed data restored by the packet restoration unit 204 is output to the decoding unit 205. The decoding unit 205 decodes (that is, decompresses) the compressed data and stores it in a line memory (not shown) included in the decoding unit 205. The decoding unit 205 in FIG. 3 corresponds to a part of the restoration unit 108 in FIG. 1, and a line memory (not shown) inside the decoding unit 205 corresponds to the storage unit 109 in FIG.
表示部206は、図1の表示部110に相当し、ラインメモリに記憶されたデータにもとづき、モニタの画面に動画の分割表示を行うよう命令する。具体的には、表示部206は、ラスタ走査順で画面を走査するよう命令する。その命令により、画面に、複数のカメラが撮影した動画それぞれのフレーム画像を合成したフレーム画像が表示される。第2実施形態では、画面1011aの2分割表示が行われ、第3実施形態では画面1011bの4分割表示が行われる。 The display unit 206 corresponds to the display unit 110 in FIG. 1 and instructs the monitor screen to divide and display moving images based on the data stored in the line memory. Specifically, the display unit 206 instructs the screen to be scanned in the raster scan order. By the command, a frame image obtained by combining the frame images of the moving images taken by the plurality of cameras is displayed on the screen. In the second embodiment, the screen 1011a is divided into two parts, and in the third embodiment, the screen 1011b is divided into four parts.
なお、図1の通知部106に相当する部分は図3では図示を省略したが、図3の受信装置105にも含まれている。また、IDB−1394プロトコルについて図13を参照して説明したが、図3においては、送信装置101a〜101dと受信装置105がいずれも、IDB−1394プロトコル上のノードに該当し、これらのノードのうちの1つがサイクルマスタとしてバスの初期化の際に選ばれる。 A portion corresponding to the notification unit 106 in FIG. 1 is omitted in FIG. 3, but is also included in the receiving device 105 in FIG. Further, although the IDB-1394 protocol has been described with reference to FIG. 13, in FIG. 3, both the transmission apparatuses 101 a to 101 d and the reception apparatus 105 correspond to nodes on the IDB-1394 protocol. One of them is selected as the cycle master during bus initialization.
次に、第2実施形態での前提条件を説明する。図3のカメラのうち、カメラ1003aと1003bで撮影した動画のみが第2実施形態での表示の対象である。例えば運転者による指示を、入力装置を介して受け付けることによって、受信装置105は予め表示の対象を認識している。表示の対象となるこの2つの動画の大きさはいずれも320×240画素であり、モニタの画面1011aの大きさは640×240画素である。第2実施形態での目的は、画面1011aを水平方向に2等分し、左側の領域1012aにはカメラ1003aが撮影した動画を表示し、右側の領域1012bにはカメラ1003bが撮影した動画を表示することである。また、カメラ1003aとカメラ1003bが撮影した動画は、n=8本の水平ラインを単位として、図3の圧縮部201aと201bによってそれぞれ圧縮され、パケット生成部202aと202bにそれぞれ出力される。 Next, preconditions in the second embodiment will be described. Of the cameras shown in FIG. 3, only the moving images taken by the cameras 1003a and 1003b are the targets of display in the second embodiment. For example, the receiving device 105 recognizes a display target in advance by receiving an instruction from the driver via the input device. The size of the two moving images to be displayed is 320 × 240 pixels, and the size of the monitor screen 1011a is 640 × 240 pixels. The purpose of the second embodiment is to divide the screen 1011a into two equal parts in the horizontal direction, to display the video taken by the camera 1003a in the left area 1012a and to display the video taken by the camera 1003b in the right area 1012b. It is to be. Also, the moving images taken by the cameras 1003a and 1003b are compressed by the compression units 201a and 201b in FIG. 3 in units of n = 8 horizontal lines, and output to the packet generation units 202a and 202b, respectively.
次に、図4を参照して第2実施形態におけるパケットの送信方法について説明する。
図4の上段の2つの矩形は、320×240画素の大きさのフレーム画像のデータが、カメラ1003aと1003bからそれぞれ送信装置101aと101bを介して受信装置105へと送信されることと、そのデータが8ラインを単位として処理されることを示す。
Next, a packet transmission method in the second embodiment will be described with reference to FIG.
The upper two rectangles in FIG. 4 indicate that frame image data of 320 × 240 pixels is transmitted from the cameras 1003a and 1003b to the receiving device 105 via the transmitting devices 101a and 101b, respectively. Indicates that the data is processed in units of 8 lines.
図4の(a)〜(c)は、いずれも横軸が時間軸であり、小さな矩形がパケットを示している。パケットの種類は、(a)ではサイクルスタートパケット、(b)と(c)ではアイソクロナスパケットである。また、(b)と(c)においては、矩形の横幅がそのパケットの送信にかかる時間を示し、矩形の縦幅がそのパケットの大きさを示している。つまり、(c)では(b)の2倍の帯域幅を各ノードに割り当てることによって、同じ量のデータを1/2の時間で集中的に送信している。図4の(a)〜(c)を詳細に説明すれば以下のとおりである。 In each of FIGS. 4A to 4C, the horizontal axis is the time axis, and the small rectangle indicates the packet. The packet types are cycle start packets in (a) and isochronous packets in (b) and (c). In (b) and (c), the horizontal width of the rectangle indicates the time taken for transmission of the packet, and the vertical width of the rectangle indicates the size of the packet. That is, in (c), the same amount of data is intensively transmitted in 1/2 time by allocating twice the bandwidth of (b) to each node. 4A to 4C are described in detail as follows.
図4の(a)は、125μsごとにサイクルマスタからサイクルスタートパケットが送信される様子を示し、図13と同様である。
図4の(b)は、図3のように画面1011aを領域1012aと1012bに分割してカメラ1003aと1003bで撮影した動画をそれぞれ表示するために、図13と同様の従来の方法を採用した場合のパケットの送信の仕方を示す図である。動画のデータが非圧縮なら式(3)のように、576バイトの動画データを含むアイソクロナスパケットが各サイクルで送信される。動画のデータが圧縮されていれば、パケットの大きさは圧縮率rに応じて576バイトよりも小さくなる。なお、パケットを表す矩形の下の符号aとbは、それぞれカメラ1003aと1003bの動画データを含むパケットであることを表す。
FIG. 4A shows a state in which a cycle start packet is transmitted from the cycle master every 125 μs, which is the same as FIG.
FIG. 4B employs the same conventional method as FIG. 13 in order to display the moving images taken by the cameras 1003a and 1003b by dividing the screen 1011a into areas 1012a and 1012b as shown in FIG. It is a figure which shows the method of transmission of the packet in a case. If the moving image data is uncompressed, an isochronous packet including 576 bytes of moving image data is transmitted in each cycle as shown in Equation (3). If the moving image data is compressed, the packet size becomes smaller than 576 bytes in accordance with the compression ratio r. Note that the symbols “a” and “b” below the rectangle representing the packet indicate that the packets include moving image data of the cameras 1003a and 1003b, respectively.
図4の(c)は、第2実施形態におけるパケットの送信方法を示す。第2実施形態では、ダミーデータから生成された、データパケットと同じ大きさのパケットであるダミーパケットも使用される。ダミーデータは無効なデータであって、例えばビット値“0”のみからなるデータであり、ダミーパケットはダミーデータの前後にアイソクロナスパケットヘッダとCRC(Cyclic Redundancy Check;巡回冗長検査)をそれぞれ付加してアイソクロナスパケットの形式に整えたものである。なお、パケットを表す矩形の下の符号aとbは、それぞれ送信装置101aと101bから送信されたパケットであることを表す。 FIG. 4C shows a packet transmission method in the second embodiment. In the second embodiment, a dummy packet generated from dummy data and having the same size as the data packet is also used. The dummy data is invalid data, for example, data consisting only of a bit value “0”. The dummy packet has an isochronous packet header and a CRC (Cyclic Redundancy Check) added before and after the dummy data, respectively. It is arranged in the form of an isochronous packet. Note that the symbols “a” and “b” below the rectangle representing the packet indicate that the packets are transmitted from the transmission apparatuses 101a and 101b, respectively.
ダミーパケットを送信する理由は次のとおりである。第2実施形態で利用するIDB−1394プロトコルのアイソクロナス転送では、各ノードが、割り当てられた帯域幅に応じた大きさのアイソクロナスパケットを各サイクルで定期的に送信することによって、一定の転送レートでのデータの転送を実現している。つまり、アイソクロナス転送を行うノードは、均等な大きさのパケットを定期的に送信する。 The reason for transmitting the dummy packet is as follows. In the IDB-1394 protocol isochronous transfer used in the second embodiment, each node periodically transmits an isochronous packet having a size corresponding to the allocated bandwidth in each cycle, so that the transfer rate is constant. Data transfer is realized. That is, a node that performs isochronous transfer periodically transmits packets of equal size.
このアイソクロナス転送の方法を変更せずにそのまま利用するために、本実施形態では、パケット生成部202aと202bが、非送信期間に相当するサイクルにおいても、割り当てられた帯域幅に応じた大きさのアイソクロナスパケットであるダミーパケットを送信している。また、IDB−1394プロトコルは非常に高速なデータ転送をサポートしており、比較的帯域に余裕があることから、ダミーパケットを採用しても特に害は生じない。 In order to use this isochronous transfer method without change, in this embodiment, the packet generators 202a and 202b have a size corresponding to the allocated bandwidth even in a cycle corresponding to a non-transmission period. A dummy packet that is an isochronous packet is transmitted. In addition, the IDB-1394 protocol supports very high-speed data transfer and has a relatively large bandwidth, so even if a dummy packet is used, no particular harm is caused.
図4の(b)では、いずれのサイクルにおいても、カメラ1003aが撮影した動画に対応するデータパケットと、カメラ1003bが撮影した動画に対応するデータパケットとが送信されていることが特徴的である。一方、図4の(c)では、期間によって、送信されるパケットの種類が異なる。また、図4の(b)と(c)を比較すると、パケットの大きさが異なる。 In FIG. 4B, in any cycle, a data packet corresponding to a moving image shot by the camera 1003a and a data packet corresponding to a moving image shot by the camera 1003b are transmitted. . On the other hand, in FIG. 4C, the type of transmitted packet differs depending on the period. Further, when (b) and (c) in FIG. 4 are compared, the sizes of the packets are different.
すなわち、送信装置101aにとっての送信期間である一連の数サイクルの間は、送信装置101aのパケット生成部202aがデータパケットを送信する一方で、送信装置101bのパケット生成部202bはダミーパケットを送信する。逆に、送信装置101bにとっての送信期間である一連の数サイクルの間は、送信装置101aのパケット生成部202aがダミーパケットを送信する一方で、送信装置101bのパケット生成部202bはデータパケットを送信する。そして、送信装置101aにとっての送信期間と送信装置101bにとっての送信期間とが交互に繰り返される。 That is, during a series of several cycles that are the transmission period for the transmission apparatus 101a, the packet generation unit 202a of the transmission apparatus 101a transmits a data packet, while the packet generation unit 202b of the transmission apparatus 101b transmits a dummy packet. . Conversely, during a series of several cycles that are the transmission period for the transmission apparatus 101b, the packet generation unit 202a of the transmission apparatus 101a transmits a dummy packet, while the packet generation unit 202b of the transmission apparatus 101b transmits a data packet. To do. Then, the transmission period for the transmission apparatus 101a and the transmission period for the transmission apparatus 101b are alternately repeated.
また、図4の(b)と(c)で圧縮率rが同じだという前提で比較すると、図4の(c)では、図4の(b)の2倍の大きさのパケットが送信される。したがって、カメラ1003aが撮影した動画のデータだけに注目すると、図4の(b)と比べて1/2の長さの時間に集中的に送信される。同様に、カメラ1003bが撮影した動画のデータだけに注目すると、図4の(b)と比べて1/2の長さの時間に集中的に送信される。なお、後述の切り捨てなどの影響があるため、正確には2倍(あるいは1/2)とならないこともある。また、パケットの大きさの比較は、ヘッダやCRCを無視した、ペイロード部のデータの量で比較している。 Also, comparing (b) and (c) in FIG. 4 on the assumption that the compression ratio r is the same, in FIG. 4 (c), a packet twice as large as in FIG. 4 (b) is transmitted. The Therefore, if attention is paid only to the data of the moving image captured by the camera 1003a, the data is transmitted intensively in a time half as long as that in FIG. 4B. Similarly, when attention is paid only to moving image data taken by the camera 1003b, the data is transmitted intensively in a time half as long as that in FIG. 4B. In addition, since there is an influence such as truncation described later, it may not be doubled (or ½) accurately. The packet size is compared based on the amount of data in the payload portion ignoring the header and CRC.
次に、図5を参照して、第2実施形態におけるデータの転送順についてより詳細に説明する。図5は、受信側で表示される640×240画素の画面1011aに含まれる各部分のデータがどの順番で送信されて合成されるのかを説明する図である。 Next, the data transfer order in the second embodiment will be described in more detail with reference to FIG. FIG. 5 is a diagram for explaining in which order the data of each part included in the 640 × 240 pixel screen 1011a displayed on the receiving side is transmitted and combined.
第2実施形態では、n=8本の水平ラインをまとめた320×8画素の単位で、各フレーム画像が圧縮され、送信される。この圧縮および送信の単位は、受信および復元の単位ともなる。また、以下では水平ラインを上から順に0ライン目、1ライン目、……と数えることにする。 In the second embodiment, each frame image is compressed and transmitted in units of 320 × 8 pixels in which n = 8 horizontal lines are combined. This unit of compression and transmission is also a unit of reception and decompression. In the following description, the horizontal lines are counted as the 0th line, the 1st line,.
ある特定のフレームに注目すると、図5に示すように、まずカメラ1003aが撮影したフレーム画像のうち0〜7ライン目のデータを圧縮部201aが圧縮し、パケット生成部202aが圧縮データからデータパケットを生成して送信する。この期間は、送信装置101aにとっての送信期間であり、送信装置101bにとっての非送信期間なので、パケット生成部202bはダミーパケットを送信する。 Focusing on a specific frame, as shown in FIG. 5, first, the compression unit 201a compresses the data of the 0th to 7th lines in the frame image captured by the camera 1003a, and the packet generation unit 202a converts the data packet from the compressed data to the data packet. Generate and send. Since this period is a transmission period for the transmission apparatus 101a and a non-transmission period for the transmission apparatus 101b, the packet generation unit 202b transmits a dummy packet.
次に、送信装置101bにとっての送信期間となり、カメラ1003bが撮影したフレーム画像のうち0〜7ライン目のデータを圧縮部201bが圧縮し、パケット生成部202bが圧縮データからデータパケットを生成して送信する。この期間は、送信装置101aにとっての非送信期間なので、パケット生成部202aはダミーパケットを送信する。 Next, it becomes a transmission period for the transmission apparatus 101b, the compression unit 201b compresses the data of the 0th to 7th lines in the frame image captured by the camera 1003b, and the packet generation unit 202b generates a data packet from the compressed data. Send. Since this period is a non-transmission period for the transmission apparatus 101a, the packet generation unit 202a transmits a dummy packet.
この2つの期間を合わせた期間が、0〜7ライン目の全幅水平ラインの走査のタイミングに対応する期間である。この2つの期間で受信装置105により受信され、復元、復号、および記憶されたデータにもとづき、画面1011aの0〜7ライン目の全幅水平ラインが表示される。 A period obtained by combining these two periods is a period corresponding to the scanning timing of the full width horizontal lines of the 0th to 7th lines. Based on the data received, restored, decoded, and stored by the receiving apparatus 105 in these two periods, the 0 to 7th full width horizontal lines of the screen 1011a are displayed.
続いて、再度送信装置101aにとっての送信期間となり、カメラ1003aが撮影したフレーム画像のうち8〜15ライン目のデータを圧縮部201aが圧縮し、パケット生成部202aが圧縮データからデータパケットを生成して送信する。この期間は、送信装置101bにとっての非送信期間なので、パケット生成部202bはダミーパケットを送信する。 Subsequently, it becomes a transmission period for the transmission apparatus 101a again, the compression unit 201a compresses data on the 8th to 15th lines in the frame image captured by the camera 1003a, and the packet generation unit 202a generates a data packet from the compressed data. To send. Since this period is a non-transmission period for the transmission apparatus 101b, the packet generation unit 202b transmits a dummy packet.
そして、再度送信装置101bにとっての送信期間となり、カメラ1003bが撮影したフレーム画像のうち8〜15ライン目のデータを圧縮部201bが圧縮し、パケット生成部202bが圧縮データからデータパケットを生成して送信する。この期間は、送信装置101aにとっての非送信期間なので、パケット生成部202aはダミーパケットを送信する。 Then, the transmission period for the transmission apparatus 101b again occurs, and the compression unit 201b compresses data on the 8th to 15th lines in the frame image captured by the camera 1003b, and the packet generation unit 202b generates a data packet from the compressed data. Send. Since this period is a non-transmission period for the transmission apparatus 101a, the packet generation unit 202a transmits a dummy packet.
この2つの期間を合わせた期間が、8〜15ライン目の全幅水平ラインの走査のタイミングに対応する期間である。この2つの期間で受信装置105に受信され、復元、復号、および記憶されたデータにもとづき、画面1011aの8〜15ライン目の全幅水平ラインが表示される。 A period obtained by combining these two periods is a period corresponding to the scanning timing of the 8th to 15th full width horizontal lines. Based on the data received, restored, decoded, and stored in the receiving device 105 in these two periods, the 8th to 15th full width horizontal lines of the screen 1011a are displayed.
以下同様にして、送信装置101aと101bそれぞれにとっての送信期間が交互に繰り返されて、239ライン目までの全てのデータが送信され、1つのフレームにおいて2台のカメラが撮影した2つのフレーム画像の送信が完了する。また、受信装置105の側では、カメラ1003aと1003bが撮影したフレーム画像を合成した画面1011aの表示が完成する。 Similarly, the transmission periods for the transmitting apparatuses 101a and 101b are alternately repeated, all the data up to the 239th line are transmitted, and two frame images taken by two cameras in one frame are transmitted. Transmission is complete. On the receiving device 105 side, the display of the screen 1011a in which the frame images taken by the cameras 1003a and 1003b are combined is completed.
次に、図6のフローチャートを参照して、第2実施形態におけるフレーム画像の送信から表示までの流れを説明する。図6の左側に示したステップS101〜S103のフローチャートは、図2のステップS22に対応し、図6の右側に示したステップS201〜S204のフローチャートは、図2のステップS12に対応する。 Next, a flow from transmission of frame images to display in the second embodiment will be described with reference to the flowchart of FIG. The flowchart of steps S101 to S103 shown on the left side of FIG. 6 corresponds to step S22 of FIG. 2, and the flowchart of steps S201 to S204 shown on the right side of FIG. 6 corresponds to step S12 of FIG.
つまり、図6のフローチャートの処理が実行される前に、第2実施形態においては、図2のステップS11で、「640×240画素の画面1011aをそれぞれ320×240画素の領域1012aと1012bに分割する」という画面の分割の仕方と、「領域1012aには送信装置101aが対応し、領域1012bには送信装置101bが対応する」という対応関係が通知され、通知された内容がステップS21で送信装置101aと101bに認識されている。ステップS11の通知は、例えばアシンクロナスパケットの送信により行われてもよい。 That is, before the processing of the flowchart of FIG. 6 is executed, in the second embodiment, in step S11 of FIG. 2, “the screen 1011a of 640 × 240 pixels is divided into regions 1012a and 1012b of 320 × 240 pixels, respectively. "How to divide the screen" and a correspondence relationship that "the transmission apparatus 101a corresponds to the area 1012a and the transmission apparatus 101b corresponds to the area 1012b" are notified, and the notified contents are transmitted in step S21. 101a and 101b. The notification in step S11 may be performed, for example, by transmitting an asynchronous packet.
図6の左側に示したフローチャートは、送信装置101aおよび101bにより実行される。まず、ステップS101において、カメラ1003aが撮影した動画のフレーム画像のうち、(j×8)ライン目から((j+1)×8−1)ライン目までの8ライン分のデータを、圧縮部201aが圧縮する。そして、パケット生成部202aが、圧縮データからデータパケットを生成し、1394バス203を介して受信装置105へ送信する。ここでjは0以上の整数であり、初期値は0である。また、ステップS101でパケット生成部202bはダミーパケットを受信装置105へ送信する。ステップS101は、送信装置101aにとっての送信期間であり、送信装置101bにとっての非送信期間である。 The flowchart shown on the left side of FIG. 6 is executed by the transmission apparatuses 101a and 101b. First, in step S101, the compression unit 201a generates data for eight lines from the (j × 8) line to the ((j + 1) × 8-1) line in the moving image frame image captured by the camera 1003a. Compress. Then, the packet generation unit 202 a generates a data packet from the compressed data and transmits it to the reception device 105 via the 1394 bus 203. Here, j is an integer greater than or equal to 0, and the initial value is 0. In step S <b> 101, the packet generation unit 202 b transmits a dummy packet to the reception device 105. Step S101 is a transmission period for the transmission apparatus 101a and a non-transmission period for the transmission apparatus 101b.
なお、上記のとおり、圧縮部201aにより圧縮された8本の水平ライン分の圧縮データは固定長である。すなわち、ステップS101〜S103からなるループが繰り返されるたびに、毎回ステップS101では固定長の圧縮データから、固定長のデータパケットが生成される。8ライン分のデータは、複数に分割されて、複数のデータパケットが生成されてもよい。生成するデータパケットの数は、後述の計算例に示すように、画面の分割の仕方から決めることができる。 As described above, the compressed data for eight horizontal lines compressed by the compression unit 201a has a fixed length. That is, each time the loop consisting of steps S101 to S103 is repeated, a fixed-length data packet is generated from the fixed-length compressed data in step S101 each time. The data for 8 lines may be divided into a plurality of data packets to generate a plurality of data packets. The number of data packets to be generated can be determined based on how the screen is divided, as shown in a calculation example described later.
次に、ステップS102において、カメラ1003bが撮影した動画のフレーム画像のうち、(j×8)ライン目から((j+1)×8−1)ライン目までの8ライン分のデータを、圧縮部201bが圧縮する。そして、パケット生成部202bが、圧縮データからデータパケットを生成し、1394バス203を介して受信装置105へ送信する。また、ステップS102でパケット生成部202aはダミーパケットを受信装置105へ送信する。ステップS102は、送信装置101aにとっての非送信期間であり、送信装置101bにとっての送信期間である。 Next, in step S102, data for 8 lines from the (j × 8) line to the ((j + 1) × 8-1) line in the frame image of the moving image captured by the camera 1003b is compressed by the compression unit 201b. Compresses. Then, the packet generation unit 202 b generates a data packet from the compressed data and transmits the data packet to the reception apparatus 105 via the 1394 bus 203. In step S102, the packet generation unit 202a transmits the dummy packet to the reception device 105. Step S102 is a non-transmission period for the transmission apparatus 101a and a transmission period for the transmission apparatus 101b.
続いて、ステップS103において、縦幅分の全部の水平ラインが送信済みか否かを、パケット生成部202aと202bがそれぞれ判断する。第2実施形態では、カメラが撮影した動画の垂直方向の大きさが240画素なので、ステップS103では、239ライン目まで送信済みか否かが判断される。パケット生成部202aと202bによる判断は一致する。 Subsequently, in step S103, the packet generators 202a and 202b determine whether all horizontal lines corresponding to the vertical width have been transmitted. In the second embodiment, the vertical size of the moving image captured by the camera is 240 pixels, so in step S103, it is determined whether or not transmission up to the 239th line has been completed. The determinations by the packet generators 202a and 202b are the same.
ステップS103において送信済みと判断されれば、現在のフレームのフレーム画像は、カメラ1003aが撮影したものもカメラ1003bが撮影したものも送信済みであるから図6の処理を終了し、送信済みでないと判断されれば、送信装置101aと101bのそれぞれにおいて上記のjの値を1増やして、ステップS101に戻る。 If it is determined in step S103 that the transmission has been completed, since the frame image of the current frame has been transmitted, both the image captured by the camera 1003a and the image captured by the camera 1003b have been transmitted, the processing in FIG. If it is determined, the value of j is increased by 1 in each of the transmission apparatuses 101a and 101b, and the process returns to step S101.
一方、図6の右側のフローチャートは、受信装置105により実行される。まず、ステップS201で、カメラ1003aが撮影したフレーム画像のうち(j×8)ライン目から((j+1)×8−1)ライン目までの8ライン分のデータから生成されたデータパケットを、パケット復元部204が受信し、ヘッダ等を取り除いて圧縮データを復元する。右側のフローチャートでも、jは初期値を0とする整数である。そして、復号部205が圧縮データを復号してラインメモリに記憶する。ステップS201で受信されるデータパケットは、ステップS101でパケット生成部202aが送信したものである。 On the other hand, the flowchart on the right side of FIG. First, in step S201, a data packet generated from data for eight lines from the (j × 8) line to the ((j + 1) × 8-1) line in the frame image captured by the camera 1003a is packetized. The restoration unit 204 receives and removes the header and the like to restore the compressed data. In the flowchart on the right side, j is an integer with an initial value of 0. Then, the decoding unit 205 decodes the compressed data and stores it in the line memory. The data packet received in step S201 is the packet transmitted by the packet generation unit 202a in step S101.
また、ステップS201でパケット復元部204は、ステップS101でパケット生成部202bが送信したダミーパケットも受信するが、ダミーパケットは後段の復号部205へは出力せずに廃棄する。データパケットかダミーパケットかの判別には、例えばアイソクロナスパケットヘッダに含まれるチャンネルIDを用いてもよい。 In step S201, the packet restoration unit 204 also receives the dummy packet transmitted by the packet generation unit 202b in step S101, but discards the dummy packet without outputting it to the subsequent decoding unit 205. For example, a channel ID included in an isochronous packet header may be used to determine whether the packet is a data packet or a dummy packet.
次にステップS202で、カメラ1003bが撮影したフレーム画像のうち(j×8)ライン目から((j+1)×8−1)ライン目までの8ライン分のデータから生成されたデータパケットを、パケット復元部204が受信し、ヘッダ等を取り除いて圧縮データを復元する。そして、復号部205が圧縮データを復号してラインメモリに記憶する。ステップS202で受信されるデータパケットは、ステップS102でパケット生成部202bが送信したものである。また、ステップS202でパケット復元部204は、ステップS102でパケット生成部202aが送信したダミーパケットも受信するが、ダミーパケットは廃棄する。 Next, in step S202, a data packet generated from data for eight lines from the (j × 8) line to the ((j + 1) × 8-1) line in the frame image photographed by the camera 1003b is a packet. The restoration unit 204 receives the data and removes the header and the like to restore the compressed data. Then, the decoding unit 205 decodes the compressed data and stores it in the line memory. The data packet received in step S202 is the packet transmitted by the packet generation unit 202b in step S102. In step S202, the packet restoration unit 204 also receives the dummy packet transmitted by the packet generation unit 202a in step S102, but discards the dummy packet.
続いてステップS203で、ラインメモリに記憶されたデータに基づいて、表示部206が、モニタの画面1011aに画像を表示するための命令、つまり、ラスタ走査の命令を発行する。以下では、ラスタ走査順が、画面の左上隅から始まり、1つの全幅水平ラインを左から右へと走査し、全幅水平ラインの右端に達したら、1つ下の全幅水平ラインに移ることを繰り返して、画面の右下隅に至るという順序であるとする。 In step S203, the display unit 206 issues a command for displaying an image on the monitor screen 1011a, that is, a raster scanning command, based on the data stored in the line memory. In the following, the raster scanning order starts from the upper left corner of the screen, scans one full-width horizontal line from left to right, and when it reaches the right end of the full-width horizontal line, it repeats moving to the next full-width horizontal line Suppose that the order reaches the lower right corner of the screen.
第2実施形態では、図5から分かるように、画面1011aの全幅水平ラインは水平方向において640画素に渡るラインであり、領域1012aと1012bそれぞれの水平ラインは、いずれも水平方向において320画素に渡るラインである。そして、画面1011aのkライン目の全幅水平ラインは、領域1012aのkライン目と領域1012bのkライン目とからなる。すなわち、ステップS203では、上記のラスタ走査順で、(j×8)ライン目から((j+1)×8−1)ライン目までの全幅水平ラインを描画するよう、表示部206がモニタに命令する。なお、ここで「描画」とはラスタ走査により表示することを表す。 In the second embodiment, as can be seen from FIG. 5, the full width horizontal line of the screen 1011a is a line extending over 640 pixels in the horizontal direction, and each horizontal line of the regions 1012a and 1012b extends over 320 pixels in the horizontal direction. Line. The full width horizontal line of the kth line of the screen 1011a is composed of the kth line of the area 1012a and the kth line of the area 1012b. That is, in step S203, the display unit 206 instructs the monitor to draw a full horizontal line from the (j × 8) line to the ((j + 1) × 8-1) line in the raster scanning order. . Here, “drawing” means displaying by raster scanning.
そして、続くステップS204において、縦幅分、すなわち0〜239ライン目の全部の全幅水平ラインの描画を命令し終えたか否かを表示部206が判断し、終了していれば図6の処理を終了し、そうでなければ上記のjの値を1増やしてステップS201に戻る。 In the next step S204, the display unit 206 determines whether or not the drawing of the full width horizontal lines for the vertical width, that is, all the 0th to 239th lines has been instructed. If not, the value of j is incremented by 1, and the process returns to step S201.
以上が図6の説明だが、送信装置101aと送信装置101bと受信装置105は個別に図6の動作を行っており、互いに同期するための処理などは行っていない。このように同期処理が不要なのは、IDB−1394プロトコルによるアイソクロナス転送を使用しているためである。このことについて具体的な数値の例を挙げて次に説明する。 The transmission apparatus 101a, the transmission apparatus 101b, and the reception apparatus 105 perform the operation of FIG. 6 individually, and do not perform processing for synchronizing with each other. The reason why the synchronization processing is unnecessary is because isochronous transfer using the IDB-1394 protocol is used. This will be described below with specific numerical examples.
式(5)は、n本の全幅水平ラインの走査のタイミングに対応する期間の長さを示すサイクル数xを計算する式の一例である。
x=floor(floor(1÷c÷f)÷(ve÷n)) (5)
floor(m):数mを切り捨てた整数
ve:画面全体の垂直方向の画素数
n:圧縮および送信の単位となる水平ラインのライン数(veの約数とする)
第2実施形態では、式(5)のサイクル数xが、図6の左側と右側のそれぞれのフローチャートにおける1回のループにかかるサイクル数である。式(5)に具体的な数値を当てはめて説明すると、次のとおりである。1秒あたりのサイクル数は(1÷c)回であるから、1つのフレームあたりのサイクル数は、(1÷c÷f)回である。c=125μsでf=30fpsのとき、
1÷c÷f=266.6……サイクル
となり割り切れない。したがって、これを切り捨てて、1フレームあたり266サイクルを使うことができる。
Expression (5) is an example of an expression for calculating the cycle number x indicating the length of a period corresponding to the scanning timing of n full width horizontal lines.
x = floor (floor (1 ÷ c ÷ f) ÷ (v e ÷ n)) (5)
floor (m): The number integer truncating the m v e: the number of pixels of the entire screen vertical n: (a sub-multiple of v e) compression and the number of lines of horizontal lines as a unit of transmission
In the second embodiment, the number of cycles x in Expression (5) is the number of cycles required for one loop in the left and right flowcharts of FIG. The formula (5) will be described below by applying specific numerical values. Since the number of cycles per second is (1 ÷ c) times, the number of cycles per frame is (1 ÷ c ÷ f) times. When c = 125 μs and f = 30 fps,
1 ÷ c ÷ f = 266.6 …… It is a cycle and cannot be divided. Therefore, this can be truncated and 266 cycles per frame can be used.
一方、フレーム画像のデータは、n=8ラインを単位として、
ve÷n=240÷8=30回
繰り返して処理される。つまり、図6の左側と右側のそれぞれのフローチャートにおいて
ループが30回繰り返される。
On the other hand, the frame image data has n = 8 lines as a unit.
v e ÷ n = 240 ÷ 8 = repeated 30 times. That is, the loop is repeated 30 times in the left and right flowcharts of FIG.
すなわち、1フレームにおいて使えるのは266サイクルであり、それを30回に分配することになるから、1回のループに割り当てられるのは、
266÷30=8.8……サイクル
である。これを切り捨てて、1回のループに8サイクルを割り当てる。つまり、x=8である。
In other words, 266 cycles can be used in one frame, and it is distributed to 30 times.
266/30 = 8.8 ... cycle. This is rounded down and 8 cycles are assigned to one loop. That is, x = 8.
ここで、x=8サイクルは、ステップS101とS102で使われるサイクル数の合計であり、第2実施形態では、カメラ1003aと1003bの撮影する動画の大きさはいずれも320×240画素で等しいから、8サイクルを2等分した4サイクルが、それぞれステップS101とステップS102に割り当てられる。これを式に表せば、式(6)のようになる。 Here, x = 8 cycles is the total number of cycles used in steps S101 and S102, and in the second embodiment, the size of the moving images taken by the cameras 1003a and 1003b is equal to 320 × 240 pixels. , 8 cycles divided into two equal parts are assigned to step S101 and step S102, respectively. If this is expressed in an expression, it becomes as shown in Expression (6).
y=floor(x÷dh) (6)
dh:水平方向の画面分割数
つまり、ステップS101の動作の詳細は次のとおりである。まず、カメラ1003aが撮影したフレーム画像の8ライン分のデータを圧縮部201aが圧縮する。そして、パケット生成部202aは圧縮データを4等分し、その4等分されたデータから4つのデータパケットを生成し、1サイクルに1つずつ、4サイクルかけて、4つのデータパケットを送信する。一方、パケット生成部202bは、この4サイクルの間、毎回ダミーパケットを送信する。
y = floor (x ÷ d h ) (6)
d h : Number of screen divisions in the horizontal direction That is, details of the operation in step S101 are as follows. First, the compression unit 201a compresses data for eight lines of a frame image captured by the camera 1003a. Then, the packet generation unit 202a divides the compressed data into four equal parts, generates four data packets from the divided data, and transmits four data packets, one for each cycle, over four cycles. . On the other hand, the packet generator 202b transmits a dummy packet every time during the four cycles.
なお、圧縮率rが一定であり、圧縮前のデータは例えば式(2)に示すように1画素あたりのバイト数pが2と固定されているので、この4つのデータパケットに含まれる動画データの大きさはそれぞれ、式(7)に示す固定長sである。 Since the compression rate r is constant and the data before compression is fixed at 2 as the number of bytes p per pixel, for example, as shown in equation (2), the moving image data included in these four data packets Is a fixed length s shown in Equation (7).
s=h×n×p×r÷y (7)
h,p:式(1)と同様
ステップS102も同様に4サイクルかかり、この4サイクルの間、パケット生成部202aは毎回ダミーパケットを送信し、パケット生成部202bはデータパケットを送信する。
s = h × n × p × r ÷ y (7)
h, p: Similar to Expression (1) Step S102 similarly takes four cycles. During these four cycles, the packet generator 202a transmits a dummy packet every time, and the packet generator 202b transmits a data packet.
したがって、例えばステップS101からステップS102への移行に際して、送信装置101aのパケット生成部202aが8ラインに相当するデータパケットを送信し終わったことを送信装置101bに認識させるために、送信装置101aが送信装置101bに通知を行うなどの同期処理は不要である。送信装置101aと101bが独立に、単にサイクル数を数えるだけで、ステップS101からステップS102へ移行すべきか否かという判定も、ステップS102からステップS103へ移行すべきか否かという判定も、行うことが可能である。さらに、ステップS103の判定を、サイクル数のカウントに基づいて行うことも可能である。 Therefore, for example, when the process proceeds from step S101 to step S102, the transmission apparatus 101a transmits the data so that the transmission apparatus 101b recognizes that the packet generation unit 202a of the transmission apparatus 101a has transmitted a data packet corresponding to 8 lines. Synchronization processing such as notification to the device 101b is unnecessary. The transmission devices 101a and 101b can independently determine whether to shift from step S101 to step S102 or whether to shift from step S102 to step S103 simply by counting the number of cycles. Is possible. Furthermore, the determination in step S103 can be performed based on the count of the number of cycles.
同様に、受信側でも上記の式(5)と(6)から、ステップS201とS202にはそれぞれ4サイクルずつかかることが予め判明しているので、ステップS201からステップS202へ移行すべきか否かという判定も、ステップS202からステップS203へ移行をすべきか否かという判定も、単にサイクル数を数えるだけで行うことができる。 Similarly, since it is known in advance from the above formulas (5) and (6) that steps S201 and S202 each take four cycles, whether or not the process should be shifted from step S201 to step S202. The determination as well as the determination of whether or not to move from step S202 to step S203 can be made simply by counting the number of cycles.
また、1〜4サイクル目、9〜12サイクル目、17〜20サイクル目……がステップS101とS201に該当し、5〜8サイクル目、13〜16サイクル目、21〜24サイクル目……がステップS102とS202に該当するということは、図2のステップS11で通知される対応関係から、送信装置101a、101b、および受信装置105のそれぞれが、計算によって認識することが可能である。 The 1st to 4th cycles, the 9th to 12th cycles, the 17th to 20th cycles, etc. correspond to Steps S101 and S201, and the 5th to 8th cycles, the 13th to 16th cycles, the 21st to 24th cycles, and so on. The fact that it corresponds to steps S102 and S202 can be recognized by the transmission devices 101a and 101b and the reception device 105 by calculation from the correspondence notified in step S11 of FIG.
ただし、どのサイクルを1サイクル目として数えるべきかについては、送信装置101a、101b、および受信装置105が予め共通に認識している必要がある。そのような共通の認識を実現する方法は任意である。例えば、バスの初期化の際にサイクルマスタ(送信装置101a、101b、および受信装置105のうちのいずれか)が全ノードに対して、サイクル数のカウントをクリアするよう指示するクリア指示パケットをブロードキャストしてもよい。あるいは、受信装置105が図2のステップS11においてさらに、クリア指示パケットのブロードキャストを行ってもよい。 However, it is necessary for the transmitting apparatuses 101a and 101b and the receiving apparatus 105 to recognize in advance which cycle should be counted as the first cycle. A method for realizing such common recognition is arbitrary. For example, when the bus is initialized, the cycle master (any one of the transmission devices 101a and 101b and the reception device 105) broadcasts a clear instruction packet instructing all nodes to clear the cycle count. May be. Alternatively, the receiving apparatus 105 may further broadcast a clear instruction packet in step S11 of FIG.
このように予め何らかの方法によって、どのサイクルを1サイクル目として数えるべきかについての同期をとっておけば、その後はサイクルマスタがサイクルスタートパケットを送信する以外に、同期のための特段の処理は不要である。つまり、各ノード(送信装置101a、101b、および受信装置105)は、独立にサイクル数、すなわち送信されたサイクルスタートパケットの数を数えるだけで、ノード間の同期が保たれる。 In this way, if synchronization is made in advance with respect to which cycle should be counted as the first cycle, no special processing for synchronization is required other than the cycle master sending a cycle start packet thereafter. It is. That is, each node (transmitting apparatuses 101a and 101b and receiving apparatus 105) can maintain synchronization between nodes only by counting the number of cycles independently, that is, the number of transmitted cycle start packets.
なお、より正確には、図6では省略されているステップがある。式(5)と(6)は切り捨てを含むため、1つのフレームに対応するデータが、そのフレームの時間より短い時間で送信し終わることがある。上記の例だと、x=8サイクルを
ve÷n=240÷8=30回
繰り返すことで、1つのフレームに関する処理が完了する。また、フレームレートはf=30fpsである。したがって、式(8)に示すサイクル数zで、1秒に相当する全データの送信が完了する。
More precisely, some steps are omitted in FIG. Since Expressions (5) and (6) include truncation, data corresponding to one frame may finish being transmitted in a time shorter than the time of the frame. In the above example, x = 8 cycles are repeated v e ÷ n = 240 ÷ 8 = 30 times to complete the process for one frame. The frame rate is f = 30 fps. Therefore, transmission of all data corresponding to 1 second is completed with the number of cycles z shown in Expression (8).
z=x×(ve÷n)×f (8)
つまり、この例では、
z=8×30×30=7200サイクル (9)
で1秒に相当する全データ、すなわち30フレーム分の全データの送信が完了する。
z = x × (v e ÷ n) × f (8)
In other words, in this example,
z = 8 × 30 × 30 = 7200 cycles (9)
Thus, transmission of all data corresponding to 1 second, that is, all data for 30 frames is completed.
一方で、1サイクルは125μsなので、1秒のサイクル数は8000である。よって、8000と7200の差の800サイクル分だけ、1秒ごとにずれが生じる。
ずれをなくす調整のために、この800サイクルは、例えば、8000サイクルの中に均等に分散させて、送信装置101aと101b双方にとっての非送信期間と定めてもよい。図6では、このようなずれの調整のためのサイクルなのか、一方の送信装置にとってのみ送信期間となる通常のサイクルなのか、という判別処理等は省略している。しかし、800サイクルを8000サイクルの中に分散させるパターンを予め定めておき、例えばパケット生成部202aや202bのうち図1の判断部103aや103bに相当する部分がそのパターンを記憶していれば、図6の処理中に、送信装置101aと送信装置101bと受信装置105が、通信をともなうような同期処理を行うことなく、それぞれ独立して単にサイクル数を数えるだけで、図6の処理が同期されて行われることは明らかである。
On the other hand, since one cycle is 125 μs, the number of cycles per second is 8000. Therefore, a deviation occurs every second by 800 cycles, which is the difference between 8000 and 7200.
In order to eliminate the deviation, the 800 cycles may be evenly distributed in, for example, 8000 cycles to define a non-transmission period for both the transmission apparatuses 101a and 101b. In FIG. 6, the determination processing such as whether the cycle is for adjusting the deviation or the normal cycle that is a transmission period for only one transmission apparatus is omitted. However, if a pattern for distributing 800 cycles into 8000 cycles is determined in advance, for example, a portion corresponding to the determination unit 103a or 103b in FIG. 1 in the packet generation unit 202a or 202b stores the pattern. During the processing of FIG. 6, the transmission device 101a, the transmission device 101b, and the reception device 105 do not perform synchronization processing that involves communication, but simply count the number of cycles independently, and the processing of FIG. It is clear that this is done.
このように、所定の大きさのパケットを125μsという所定の間隔で送信することを可能にすることで帯域を保証するIDB−1394プロトコルのアイソクロナス転送を使うことによって、送信装置が、画面の分割の仕方から一意に決まるタイミングで、一定の大きさのパケットを送信するだけで、同期処理を行うことなく画面の分割表示を行うことが可能である。また、図6のステップS201〜S204から分かるように、全幅水平ラインに換算して高々8ライン分のラインメモリ(図1の記憶部109に相当)を復号部205が含むだけで、画面1011aの2分割表示が可能となる。従来の手法では320×240画素のフレーム画像2枚分のフレームメモリが必要だったことと比較すると、第2実施形態で必要なラインメモリに対応する画素数は640×8画素なので、大幅なコストダウンが可能である。 In this way, by using the isochronous transfer of the IDB-1394 protocol that guarantees the bandwidth by allowing packets of a predetermined size to be transmitted at a predetermined interval of 125 μs, the transmission device can perform screen division. Only by transmitting a packet of a certain size at a timing uniquely determined from the way, it is possible to perform split display of the screen without performing synchronization processing. Further, as can be seen from steps S201 to S204 in FIG. 6, the decoding unit 205 only includes a line memory (corresponding to the storage unit 109 in FIG. 1) for at most eight lines in terms of the full width horizontal line. Two-segment display is possible. Compared with the fact that the frame memory for two 320 × 240 pixel frame images is necessary in the conventional method, the number of pixels corresponding to the line memory required in the second embodiment is 640 × 8 pixels, which means a significant cost. Down is possible.
なお、1画素あたりのバイト数pが2で、圧縮率rが0.5の場合について、データパケットの大きさを、図4の(b)に示した従来の方式と、図4の(c)に示した本発明の第2実施形態とで比較すると、従来は、式(3)に圧縮率rをかけて、
576×0.5=288バイト
である。一方、第2実施形態では、式(4)から5120バイトと分かる8ライン分のデータが、圧縮されて0.5倍になり、4サイクルに分けて送信されるので、式(7)にも示したとおり
5120×0.5÷4=640バイト
である。ただし、上記の288バイトは、乗算と除算のみから単純に求めたものであって、式(5)や(6)のような切り捨ての影響を含まないのに対し、上記の640バイトは式(5)や(6)の切り捨ての影響を含む。
When the number of bytes p per pixel is 2 and the compression ratio r is 0.5, the size of the data packet is changed from the conventional method shown in FIG. In comparison with the second embodiment of the present invention shown in FIG.
576 × 0.5 = 288 bytes. On the other hand, in the second embodiment, the data for 8 lines, which is known to be 5120 bytes from Expression (4), is compressed to 0.5 times and transmitted in 4 cycles. As shown, 5120 × 0.5 ÷ 4 = 640 bytes. However, the above 288 bytes are obtained simply from multiplication and division, and do not include the influence of truncation as in the equations (5) and (6), whereas the above 640 bytes are in the equation ( Includes the effects of truncation in 5) and (6).
そこで、この影響を調整してから両者を比較する。式(9)のとおり、1秒間の8000サイクル中、データパケットの送信は7200サイクルで済んでしまう。よって、1サイクルあたりの平均をとれば、
640×7200÷8000=576バイト
となる。これを従来の288バイトと比較すると、ちょうど2倍である。すなわち、切り捨てなどの細かい影響を無視して比較すると、本発明の第2実施形態では、画面の分割数である2に合わせて1つのデータパケットの大きさを従来の2倍とし、その分、各領域のデータが従来の1/2の長さの時間で集中して送信されるようにしている。
Then, after adjusting this influence, both are compared. As shown in equation (9), the transmission of the data packet is completed in 7200 cycles during 8000 cycles per second. So if you take the average per cycle,
640 × 7200 ÷ 8000 = 576 bytes. Compared with the conventional 288 bytes, this is exactly twice. That is, when comparing by ignoring fine influences such as truncation, in the second embodiment of the present invention, the size of one data packet is doubled compared to the conventional one in accordance with the number of divisions of the screen. The data in each area is transmitted in a concentrated manner in a time that is ½ the conventional time.
次に、図3および図7〜9を参照して、本発明の第3実施形態について説明する。第3実施形態では、水平方向および垂直方向にそれぞれ画面を2分割して、合計4つの領域に画面を分割する。 Next, a third embodiment of the present invention will be described with reference to FIG. 3 and FIGS. In the third embodiment, the screen is divided into two parts in the horizontal direction and the vertical direction, respectively, and the screen is divided into a total of four areas.
第3実施形態におけるシステム構成は、図3に示したとおりである。第3実施形態では、カメラ1003cと1003dおよび、送信装置101cと101dも使われる。
図7は、第3実施形態におけるパケットの送信方法を説明する図である。
The system configuration in the third embodiment is as shown in FIG. In the third embodiment, cameras 1003c and 1003d and transmission apparatuses 101c and 101d are also used.
FIG. 7 is a diagram for explaining a packet transmission method according to the third embodiment.
図7の上段の4つの矩形は、320×240画素の大きさのフレーム画像のデータが、カメラ1003a〜1003dのそれぞれから送信装置101a〜101dを介して受信装置105へと送信されることと、そのデータが8ラインを単位として処理されることを示す。 The four rectangles in the upper part of FIG. 7 indicate that frame image data having a size of 320 × 240 pixels is transmitted from each of the cameras 1003a to 1003d to the receiving device 105 via the transmitting devices 101a to 101d. Indicates that the data is processed in units of 8 lines.
図7の(a)は、125μsごとにサイクルマスタからサイクルスタートパケットが送信される様子を示し、図13や図4と同様である。
図7の(b)は、図3のように画面1011bを領域1012a〜1012dに分割して、カメラ1003a〜1003dで撮影した動画をそれぞれ表示するために、図13と同様の従来の方法を採用した場合のパケットの送信の仕方を示す図である。動画のデータが非圧縮なら式(3)のように、576バイトの動画データを含むアイソクロナスパケットが各サイクルで送信される。動画のデータが圧縮されていれば、パケットの大きさは圧縮率rに応じて576バイトよりも小さくなる。すなわち、図7の(b)は、図13とまったく同様であり、各サイクルでパケットの数が増えた以外は図4の(b)とも同様である。また、パケットを表す矩形の下の符号a〜dは、それぞれカメラ1003a〜1003dの動画データを含むパケットであることを表す。
FIG. 7A shows a state in which a cycle start packet is transmitted from the cycle master every 125 μs, which is the same as FIG. 13 and FIG.
7B, the screen 1011b is divided into areas 1012a to 1012d as shown in FIG. 3, and the conventional method similar to FIG. 13 is used to display the moving images shot by the cameras 1003a to 1003d. It is a figure which shows the transmission method of the packet in the case of having done. If the moving image data is uncompressed, an isochronous packet including 576 bytes of moving image data is transmitted in each cycle as shown in Equation (3). If the moving image data is compressed, the packet size becomes smaller than 576 bytes in accordance with the compression ratio r. That is, (b) of FIG. 7 is exactly the same as FIG. 13, and is the same as (b) of FIG. 4 except that the number of packets increases in each cycle. Further, the symbols “a” to “d” below the rectangles representing the packets represent the packets including the moving image data of the cameras 1003a to 1003d, respectively.
図7の(c)は、第3実施形態におけるパケットの送信方法を示す。図7の(b)ではいずれのサイクルにおいてもカメラ1003a〜1003dが撮影した動画にそれぞれ対応する4つのデータパケットが送信されるのに対し、図7の(c)では、期間によって、送信されるパケットの種類が異なる。また、図7の(b)と(c)を比較すると、パケットの大きさが異なる。なお、パケットを表す矩形の下の符号a〜dは、それぞれ送信装置101a〜101dから送信されたパケットであることを表す。 FIG. 7C shows a packet transmission method according to the third embodiment. In FIG. 7B, four data packets respectively corresponding to the moving images taken by the cameras 1003a to 1003d are transmitted in any cycle, whereas in FIG. 7C, they are transmitted according to the period. The packet type is different. Further, when (b) and (c) in FIG. 7 are compared, the sizes of the packets are different. Note that symbols a to d below the rectangles representing the packets represent packets transmitted from the transmission apparatuses 101a to 101d, respectively.
すなわち、送信装置101aにとっての送信期間である一連の数サイクルの間は、送信装置101aのパケット生成部202aがデータパケットを送信する一方で、他の送信装置101b〜101dのパケット生成部202b〜202dはダミーパケットを送信する。また、送信装置101bにとっての送信期間である一連の数サイクルの間は、送信装置101bのパケット生成部202bがデータパケットを送信する一方で、他の送信装置101a、101c、101dのパケット生成部202a、202c、202dはダミーパケットを送信する。同様に、送信装置101cにとっての送信期間である一連の数サイクルの間は、送信装置101cのパケット生成部202cがデータパケットを送信する一方で、他の送信装置101a、101b、101dのパケット生成部202a、202b、202dはダミーパケットを送信する。そして、送信装置101dにとっての送信期間である一連の数サイクルの間は、送信装置101dのパケット生成部202dがデータパケットを送信する一方で、他の送信装置101a〜101cのパケット生成部202a〜202cはダミーパケットを送信する。 That is, during a series of several cycles that is a transmission period for the transmission apparatus 101a, the packet generation unit 202a of the transmission apparatus 101a transmits a data packet, while the packet generation units 202b to 202d of the other transmission apparatuses 101b to 101d. Transmits a dummy packet. In addition, during a series of several cycles that is a transmission period for the transmission apparatus 101b, the packet generation unit 202b of the transmission apparatus 101b transmits a data packet, while the packet generation units 202a of the other transmission apparatuses 101a, 101c, and 101d. 202c and 202d transmit dummy packets. Similarly, during a series of several cycles that is a transmission period for the transmission apparatus 101c, the packet generation unit 202c of the transmission apparatus 101c transmits a data packet, while the packet generation units of the other transmission apparatuses 101a, 101b, and 101d 202a, 202b, and 202d transmit dummy packets. During a series of several cycles that are the transmission period for the transmission apparatus 101d, the packet generation unit 202d of the transmission apparatus 101d transmits the data packet, while the packet generation units 202a to 202c of the other transmission apparatuses 101a to 101c. Transmits a dummy packet.
こうして、送信装置101a〜101dのそれぞれにとっての送信期間が順番に繰り返される。ある1つの送信装置にとっての送信期間は、他の3つの送信装置にとっての非送信期間である。 Thus, the transmission period for each of the transmission apparatuses 101a to 101d is repeated in order. A transmission period for a certain one transmission apparatus is a non-transmission period for the other three transmission apparatuses.
また、図7の(b)と(c)で圧縮率rが同じだという前提で比較すると、図7の(c)では、図7の(b)の4倍の大きさでパケットが送信される。したがって、カメラ1003aが撮影した動画のデータだけに注目すると、図7の(b)と比べて1/4の長さの時間に集中的に送信される。カメラ1003b〜1003dについても同様である。なお、第2実施形態の場合と同じく、式(5)や(6)の切り捨ての影響で正確には4倍(あるいは1/4)とならないこともある。 Also, comparing (b) and (c) in FIG. 7 on the assumption that the compression ratio r is the same, in FIG. 7 (c), a packet is transmitted with a size four times that in FIG. 7 (b). The Therefore, if attention is paid only to the data of the moving image taken by the camera 1003a, the data is intensively transmitted in a time of ¼ length compared to (b) of FIG. The same applies to the cameras 1003b to 1003d. As in the case of the second embodiment, there is a case where it is not exactly four times (or ¼) due to the influence of the truncation of the expressions (5) and (6).
図8は、受信側で表示される640×480画素の画面1011bに含まれる各部分のデータがどの順番で送信されて合成されるのかを説明する図である。画面1011bは、上下および左右にそれぞれ2等分されており、4つの領域1012a〜1012dはいずれも320×240画素の大きさである。なお、左上の領域1012aはカメラ1003aが撮影した動画を表示すべき領域であり、右上の領域1012bはカメラ1003bが撮影した動画を表示すべき領域であり、左下の領域1012cはカメラ1003cが撮影した動画を表示すべき領域であり、右下の領域1012dはカメラ1003dが撮影した動画を表示すべき領域である。 FIG. 8 is a diagram for explaining in which order the data of each part included in the 640 × 480 pixel screen 1011b displayed on the receiving side is transmitted and combined. The screen 1011b is divided into two equal parts in the vertical and horizontal directions, and each of the four areas 1012a to 1012d has a size of 320 × 240 pixels. Note that the upper left area 1012a is an area where a moving picture taken by the camera 1003a is to be displayed, the upper right area 1012b is an area where a moving picture taken by the camera 1003b is to be displayed, and the lower left area 1012c is taken by the camera 1003c. A moving image is to be displayed, and a lower right region 1012d is a region to display a moving image captured by the camera 1003d.
第3実施形態でも、第2実施形態と同様に、n=8本の水平ラインをまとめた320×8画素を単位として、各フレーム画像が圧縮され、送信される。
ある特定のフレームに注目すると、図8に示すように、まずカメラ1003aが撮影したフレーム画像のうち0〜7ライン目のデータを圧縮部201aが圧縮し、パケット生成部202aが圧縮データからデータパケットを生成して送信する。この期間は、送信装置101aにとっての送信期間であり、送信装置101b〜101dにとっての非送信期間なので、パケット生成部202b〜202dはダミーパケットを送信する。
Also in the third embodiment, as in the second embodiment, each frame image is compressed and transmitted in units of 320 × 8 pixels in which n = 8 horizontal lines are combined.
Focusing on a specific frame, as shown in FIG. 8, first, the compression unit 201a compresses the data of the 0th to 7th lines in the frame image captured by the camera 1003a, and the packet generation unit 202a converts the data packet from the compressed data. Generate and send. Since this period is a transmission period for the transmission apparatus 101a and a non-transmission period for the transmission apparatuses 101b to 101d, the packet generation units 202b to 202d transmit dummy packets.
次に、送信装置101bにとっての送信期間となり、カメラ1003bが撮影したフレーム画像のうち0〜7ライン目のデータを圧縮部201bが圧縮し、パケット生成部202bが圧縮データからデータパケットを生成して送信する。この期間は、送信装置101a、101c、101dにとっての非送信期間なので、パケット生成部202a、202c、202dはダミーパケットを送信する。 Next, it becomes a transmission period for the transmission apparatus 101b, the compression unit 201b compresses the data of the 0th to 7th lines in the frame image captured by the camera 1003b, and the packet generation unit 202b generates a data packet from the compressed data. Send. Since this period is a non-transmission period for the transmission apparatuses 101a, 101c, and 101d, the packet generation units 202a, 202c, and 202d transmit dummy packets.
続いて、再度送信装置101aにとっての送信期間となり、カメラ1003aが撮影したフレーム画像のうち8〜15ライン目のデータを圧縮部201aが圧縮し、パケット生成部202aが圧縮データからデータパケットを生成して送信する。この期間は、送信装置101b〜101dにとっての非送信期間なので、パケット生成部202b〜202dはダミーパケットを送信する。 Subsequently, it becomes a transmission period for the transmission apparatus 101a again, the compression unit 201a compresses data on the 8th to 15th lines in the frame image captured by the camera 1003a, and the packet generation unit 202a generates a data packet from the compressed data. To send. Since this period is a non-transmission period for the transmission apparatuses 101b to 101d, the packet generators 202b to 202d transmit dummy packets.
そして、再度送信装置101bにとっての送信期間となり、カメラ1003bが撮影したフレーム画像のうち8〜15ライン目のデータを圧縮部201bが圧縮し、パケット生成部202bが圧縮データからデータパケットを生成して送信する。この期間は、送信装置101a、101c、101dにとっての非送信期間なので、パケット生成部202a、202c、202dはダミーパケットを送信する。 Then, the transmission period for the transmission apparatus 101b again occurs, and the compression unit 201b compresses data on the 8th to 15th lines in the frame image captured by the camera 1003b, and the packet generation unit 202b generates a data packet from the compressed data. Send. Since this period is a non-transmission period for the transmission apparatuses 101a, 101c, and 101d, the packet generation units 202a, 202c, and 202d transmit dummy packets.
以下同様にして、送信装置101aと101bそれぞれにとっての送信期間が交互に繰り返されて、画面1011bの上半分にある領域1012aと1012bのそれぞれ239ライン目までの全てのデータが送信され、画面1011bの上半分が表示される。その後、画面1011bの下半分にある領域1012cと1012dのデータの送信が始まる。 Similarly, the transmission periods for the transmission apparatuses 101a and 101b are alternately repeated, and all the data up to the 239th line of the areas 1012a and 1012b in the upper half of the screen 1011b are transmitted. The upper half is displayed. Thereafter, transmission of data in the areas 1012c and 1012d in the lower half of the screen 1011b starts.
すなわち、送信装置101cにとっての送信期間となり、カメラ1003cが撮影したフレーム画像のうち0〜7ライン目のデータを圧縮部201cが圧縮し、パケット生成部202cが圧縮データからデータパケットを生成して送信する。ここで圧縮の対象となるデータは、画面1011bの240〜247ライン目の全幅水平ラインのうち、左半分の部分に対応するデータである。また、この期間は、送信装置101a、101b、101dにとっての非送信期間なので、パケット生成部202a、202b、202dはダミーパケットを送信する。 That is, it is a transmission period for the transmission apparatus 101c, the compression unit 201c compresses the data of the 0th to 7th lines in the frame image captured by the camera 1003c, and the packet generation unit 202c generates and transmits the data packet from the compressed data. To do. Here, the data to be compressed is data corresponding to the left half portion of the full width horizontal lines of the 240th to 247th lines of the screen 1011b. Further, since this period is a non-transmission period for the transmission apparatuses 101a, 101b, and 101d, the packet generation units 202a, 202b, and 202d transmit dummy packets.
次に、送信装置101dにとっての送信期間となり、カメラ1003dが撮影したフレーム画像のうち0〜7ライン目のデータを圧縮部201dが圧縮し、パケット生成部202dが圧縮データからデータパケットを生成して送信する。ここで圧縮の対象となるデータは、画面1011bの240〜247ライン目の全幅水平ラインのうち、右半分の部分に対応するデータである。また、この期間は、送信装置101a〜101cにとっての非送信期間なので、パケット生成部202a〜202cはダミーパケットを送信する。 Next, it becomes a transmission period for the transmission apparatus 101d, the compression unit 201d compresses data of the 0th to 7th lines in the frame image captured by the camera 1003d, and the packet generation unit 202d generates a data packet from the compressed data. Send. Here, the data to be compressed is data corresponding to the right half of the full width horizontal lines of the 240th to 247th lines of the screen 1011b. Further, since this period is a non-transmission period for the transmission apparatuses 101a to 101c, the packet generation units 202a to 202c transmit dummy packets.
以下同様にして、送信装置101cと101dそれぞれにとっての送信期間が交互に繰り返されて、カメラ1003cと1003dが撮影したフレーム画像の0〜239ライン目のデータが、画面1011bの240〜479ライン目に表示すべき部分のデータとして順次送信される。そして、画面1011bの240〜479ライン目が表示され、1つのフレームの送信と表示が完了する。 Similarly, the transmission periods for the transmission apparatuses 101c and 101d are alternately repeated, and the data on the 0th to 239th lines of the frame images taken by the cameras 1003c and 1003d are displayed on the 240th to 479th lines of the screen 1011b. Sequentially transmitted as data of a portion to be displayed. Then, the 240th to 479th lines of the screen 1011b are displayed, and transmission and display of one frame is completed.
次に、図9のフローチャートを参照して、第3実施形態におけるフレーム画像の送信から表示までの流れを説明する。図9の左側に示したステップS301〜S306のフローチャートは、図2のステップS22に対応し、図9の右側に示したステップS401〜S408のフローチャートは、図2のステップS12に対応する。 Next, a flow from transmission of frame images to display in the third embodiment will be described with reference to the flowchart of FIG. The flowchart of steps S301 to S306 shown on the left side of FIG. 9 corresponds to step S22 of FIG. 2, and the flowchart of steps S401 to S408 shown on the right side of FIG. 9 corresponds to step S12 of FIG.
つまり、図9のフローチャートの処理が実行される前に、第3実施形態においては、図2のステップS11で、「640×480画素の画面1011bをそれぞれ320×240画素の領域1012a〜1012dに分割する」という分割の仕方と、「領域1012a〜1012dにはそれぞれカメラ1003a〜1003dが対応する」という対応関係が通知され、通知された内容がステップS21で送信装置101a〜101dにそれぞれ認識されている。 That is, before the processing of the flowchart of FIG. 9 is executed, in the third embodiment, in step S11 of FIG. 2, the “640 × 480 pixel screen 1011b is divided into 320 × 240 pixel regions 1012a to 1012d, respectively. "How to divide" and a correspondence relationship that "the cameras 1003a to 1003d correspond to the regions 1012a to 1012d" are notified, and the notified contents are recognized by the transmitting devices 101a to 101d in step S21, respectively. .
図9の左側に示した送信側のフローチャートにおいて、ステップS301〜S303は、データパケットおよびダミーパケットの大きさが異なり、後述するように何サイクルかけて実行するかも異なるが、図6のステップS101〜S103とほぼ同様である。ただし、ステップS303では、領域1012aと1012bからなる画面1011bの上半分の領域の縦幅分の送信が終了している場合、図9では、ステップS304に進む。 In the flowchart on the transmission side shown on the left side of FIG. 9, steps S301 to S303 are different in the size of the data packet and the dummy packet and differ in how many cycles are executed as will be described later, but steps S101 to S303 in FIG. It is almost the same as S103. However, in step S303, if transmission for the vertical width of the upper half area of the screen 1011b composed of the areas 1012a and 1012b has been completed, the process proceeds to step S304 in FIG.
ステップS304〜S306は、ステップS301〜S303と類似のステップである。
すなわち、ステップS304では、カメラ1003cが撮影した動画のデータを圧縮部201cが圧縮し、その圧縮データからパケット生成部202cがデータパケットを生成して受信装置105へ送信する。一方、パケット生成部202dはダミーパケットを受信装置105へ送信する。
Steps S304 to S306 are similar to steps S301 to S303.
That is, in step S304, the compression unit 201c compresses the moving image data captured by the camera 1003c, and the packet generation unit 202c generates a data packet from the compressed data and transmits the data packet to the reception device 105. On the other hand, the packet generation unit 202 d transmits a dummy packet to the reception device 105.
ステップS305では、カメラ1003dが撮影した動画のデータを圧縮部201dが圧縮し、その圧縮データからパケット生成部202dがデータパケットを生成して受信装置105へ送信する。一方、パケット生成部202cはダミーパケットを受信装置105へ送信する。ステップS306では、領域1012cと1012dからなる画面1011bの下半分の領域の縦幅分の送信が終了しているか否かが判断され、送信が終了していれば図9の処理を終了する。 In step S305, the compression unit 201d compresses the moving image data captured by the camera 1003d, and the packet generation unit 202d generates a data packet from the compressed data and transmits the data packet to the reception device 105. On the other hand, the packet generation unit 202 c transmits a dummy packet to the reception device 105. In step S306, it is determined whether or not transmission for the vertical width of the lower half area of the screen 1011b composed of the areas 1012c and 1012d has been completed. If the transmission has been completed, the process in FIG.
なお、図9に示すとおり、1フレームに相当する時間のうち、前半に相当するステップS301〜S303の部分では、送信装置101cおよび101dからのデータパケットの送信が行われない。つまり、その間、カメラ1003cと1003dが撮影したフレーム画像は、どこかに記憶され、保持されている必要がある。しかし、そのために新たなフレームメモリを追加する必要はない。なぜなら、図3に示すように、もともとカメラ1003a〜1003dはそれぞれフレームメモリ1007a〜1007dを備えているからである。 In addition, as shown in FIG. 9, in the time corresponding to the first half of the time corresponding to one frame, the data packets are not transmitted from the transmission apparatuses 101c and 101d in the part of steps S301 to S303. That is, during that time, the frame images taken by the cameras 1003c and 1003d need to be stored and held somewhere. However, it is not necessary to add a new frame memory for this purpose. This is because the cameras 1003a to 1003d originally have frame memories 1007a to 1007d, respectively, as shown in FIG.
次に、受信装置105の動作を示す図9の右側のフローチャートについて説明する。このフローチャートにおいて、ステップS401〜S404は、図6のステップS201〜S204とほぼ同様である。多少異なるのはステップS404での判断である。ステップS404では、画面1011bの上半分の描画を命令済みか否か、すなわち、画面1011bの0〜239ライン目の全幅水平ラインの描画を命令済みか否かが、表示部206により判断される。そして、命令済みであればステップS405に進み、そうでなければ図6に関して説明したのと同様にjの値を1増やしてステップS401に戻る。 Next, a flowchart on the right side of FIG. 9 showing the operation of the receiving apparatus 105 will be described. In this flowchart, steps S401 to S404 are substantially the same as steps S201 to S204 in FIG. A slight difference is the determination in step S404. In step S404, the display unit 206 determines whether or not drawing of the upper half of the screen 1011b has been commanded, that is, whether or not drawing of the full-width horizontal lines of the 0th to 239th lines of the screen 1011b has been commanded. If the command has been issued, the process proceeds to step S405. Otherwise, the value of j is incremented by 1 as described with reference to FIG. 6, and the process returns to step S401.
ステップS405〜S408は、ステップS401〜S404と類似の処理である。ステップS401〜S404は、パケット生成部202aと202bから送信されたデータパケットに基づいて、画面1011bの上半分の領域1012aと1012bを描画するための処理である。一方、ステップS405〜S408は、パケット生成部202cと202dから送信されたデータパケットに基づいて、画面1011bの下半分の領域1012cと1012dを描画するための処理である。 Steps S405 to S408 are similar to steps S401 to S404. Steps S401 to S404 are processes for drawing the upper half areas 1012a and 1012b of the screen 1011b based on the data packets transmitted from the packet generators 202a and 202b. On the other hand, steps S405 to S408 are processes for drawing the lower half areas 1012c and 1012d of the screen 1011b based on the data packets transmitted from the packet generators 202c and 202d.
すなわち、ステップS405では、カメラ1003cが撮影したフレーム画像のうち(j×8)ライン目から((j+1)×8−1)ライン目までの8ライン分のデータから生成されたデータパケットを、パケット復元部204が受信する。パケット復元部204は受信したデータパケットから圧縮データを復元し、復号部205が圧縮データを復号してラインメモリに記憶する。ステップS405で受信されるデータパケットは、ステップS304でパケット生成部202cが送信したものである。また、ステップS405でパケット復元部204が受信したダミーパケットはすべて廃棄される。 That is, in step S405, a data packet generated from data for eight lines from the (j × 8) line to the ((j + 1) × 8-1) line in the frame image captured by the camera 1003c is packetized. The restoration unit 204 receives it. The packet restoration unit 204 restores the compressed data from the received data packet, and the decoding unit 205 decodes the compressed data and stores it in the line memory. The data packet received in step S405 is the packet transmitted by the packet generation unit 202c in step S304. Further, all dummy packets received by the packet restoration unit 204 in step S405 are discarded.
次に、ステップS406では、カメラ1003dが撮影したフレーム画像のうち(j×8)ライン目から((j+1)×8−1)ライン目までの8ライン分のデータから生成されたデータパケットを、パケット復元部204が受信する。パケット復元部204は受信したデータパケットから圧縮データを復元し、復号部205が圧縮データを復号してラインメモリに記憶する。ステップS406で受信されるデータパケットは、ステップS305でパケット生成部202dが送信したものである。また、ステップS406でパケット復元部204が受信したダミーパケットはすべて廃棄される。 Next, in step S406, a data packet generated from the data for eight lines from the (j × 8) line to the ((j + 1) × 8-1) line in the frame image captured by the camera 1003d, The packet restoration unit 204 receives the packet. The packet restoration unit 204 restores the compressed data from the received data packet, and the decoding unit 205 decodes the compressed data and stores it in the line memory. The data packet received in step S406 is the one transmitted by the packet generation unit 202d in step S305. In addition, all dummy packets received by the packet restoration unit 204 in step S406 are discarded.
続いてステップS407で、ラインメモリに記憶されたデータに基づいて、表示部206が、モニタの画面1011bへの描画を命令する。ここで描画の対象となる領域1012cと1012dは、画面1011bの下半分にある。よって、元のカメラ1003cや1003dが撮影したフレーム画像中の(j×8)ライン目から((j+1)×8−1)ライン目までの水平ラインは、画面1011b中の(240+(j×8))ライン目から(240+(j+1)×8−1)ライン目までの全幅水平ラインに対応する。 Subsequently, in step S407, based on the data stored in the line memory, the display unit 206 commands drawing on the monitor screen 1011b. Here, the regions 1012c and 1012d to be drawn are in the lower half of the screen 1011b. Therefore, the horizontal lines from the (j × 8) line to the ((j + 1) × 8-1) line in the frame image captured by the original cameras 1003c and 1003d are (240+ (j × 8) in the screen 1011b. )) It corresponds to the full width horizontal line from the line to the (240+ (j + 1) × 8-1) line.
そして、ステップS408では、領域1012cおよび1012dの縦幅分の240本の全幅水平ラインの描画を命令し終えたか否かを表示部206が判断する。すなわち、ステップS408では、画面1011bの479ライン目までのすべての全幅水平ラインの描画を命令し終えたか否かを表示部206が判断し、終了していれば図9の処理を終了し、そうでなければ上記のjの値を1増やしてステップS405に戻る。 In step S408, the display unit 206 determines whether or not the drawing of 240 full-width horizontal lines corresponding to the vertical widths of the areas 1012c and 1012d has been instructed. That is, in step S408, the display unit 206 determines whether or not the drawing of all the full-width horizontal lines up to the 479th line of the screen 1011b has been instructed, and if completed, the process of FIG. Otherwise, the value of j is incremented by 1, and the process returns to step S405.
以上のとおり、第3実施形態でも、第2実施形態と同様に、送信装置101a〜101dおよび受信装置105は個別に動作を行っており、互いに同期するための通信をともなう処理などは行っていない。しかし、第2実施形態と同様の理由で、送信装置101a〜101dおよび受信装置105は、単にサイクル数を数えていれば、他の装置とタイミングを合わせて動作することが可能である。第2実施形態と同様に、数値の具体例により説明すれば、下記のごとくである。 As described above, also in the third embodiment, as in the second embodiment, the transmission apparatuses 101a to 101d and the reception apparatus 105 operate individually, and do not perform processing involving communication for synchronization with each other. . However, for the same reason as in the second embodiment, the transmission apparatuses 101a to 101d and the reception apparatus 105 can operate in synchronism with other apparatuses as long as the number of cycles is simply counted. Similar to the second embodiment, it will be described as follows using a specific example of numerical values.
第3実施形態に式(5)を当てはめると、c=125μs、f=30fps、ve=480、n=8より、
x=floor(266÷60)=4
である。つまり、n=8本の水平ラインの走査のタイミングに対応する期間の長さは4サイクルである。また、dh=2なので、式(6)からy=2である。したがって、ステップS301、S302、S304、およびS305は、それぞれ2サイクルかけて実行される。同様に、ステップS401、S402、S405、およびS406もそれぞれ2サイクルかけて実行される。例えば、ステップS301では、カメラ1003aが撮影した動画の8ライン分のデータは、圧縮部201aによって圧縮され、2等分される。そして、2等分されたデータを使って、パケット生成部202aが2つのデータパケットを生成し、1サイクルに1つずつ送信する。
When Expression (5) is applied to the third embodiment, c = 125 μs, f = 30 fps, v e = 480, and n = 8,
x = floor (266 ÷ 60) = 4
It is. That is, the length of the period corresponding to the scanning timing of n = 8 horizontal lines is 4 cycles. Also, since d h = 2, y = 2 from equation (6). Therefore, steps S301, S302, S304, and S305 are each performed over two cycles. Similarly, steps S401, S402, S405, and S406 are also executed over two cycles. For example, in step S301, the data for eight lines of the moving image photographed by the camera 1003a is compressed by the compression unit 201a and divided into two equal parts. Then, the packet generation unit 202a generates two data packets using the bisected data and transmits them one by one in one cycle.
この2つのデータパケットに含まれる動画データの大きさはそれぞれ、式(7)のsである。例えば、第2実施形態の計算例と同様に圧縮率rを0.5とすれば、
s=5120×0.5÷2=1280バイト
であり、第2実施形態において計算された640バイトの2倍である。また、式(5)における切り捨ての影響の分、多少のずれはあるが、従来方式による288バイトと比べると、第3実施形態において各サイクルで送信されるデータパケットの大きさは、約4倍である。この約4倍という数値は、画面1011bが4分割されていることに対応する。すなわち、切り捨ての影響を無視すれば、同じ大きさの複数の領域に画面を分割した場合、各サイクルで送信すべきデータパケットの大きさは、領域の数に比例する。また、データパケットの大きさの増大に反比例して、当該領域のデータの送信にかかるサイクル数は少なくなる。
The size of the moving image data included in the two data packets is s in Expression (7). For example, if the compression ratio r is 0.5 as in the calculation example of the second embodiment,
s = 5120 × 0.5 ÷ 2 = 1280 bytes, which is twice the 640 bytes calculated in the second embodiment. Further, although there is a slight deviation due to the influence of the truncation in Expression (5), the size of the data packet transmitted in each cycle in the third embodiment is about four times as compared with 288 bytes according to the conventional method. It is. This numerical value of about 4 times corresponds to the screen 1011b being divided into four. That is, if the influence of truncation is ignored, when the screen is divided into a plurality of areas of the same size, the size of the data packet to be transmitted in each cycle is proportional to the number of areas. Further, in inverse proportion to the increase in the size of the data packet, the number of cycles required for transmission of data in the area decreases.
次に、第2および第3の実施形態で説明した具体例と、第1実施形態との対応について説明する。
第1実施形態で説明したように、例えば送信装置101aにとっての送信期間は、送信装置101aにとっての特定領域を構成するn本の水平ラインを含むn本の全幅水平ラインの走査のタイミングに対応する期間のうち、特定領域の画面内での水平方向における位置に対応する期間である。ここで、「n本の全幅水平ラインの走査のタイミングに対応する期間」とは、次の期間を指す。
Next, the correspondence between the specific examples described in the second and third embodiments and the first embodiment will be described.
As described in the first embodiment, for example, the transmission period for the transmission apparatus 101a corresponds to the scanning timing of n full-width horizontal lines including n horizontal lines constituting a specific area for the transmission apparatus 101a. This is a period corresponding to the position of the specific area in the horizontal direction within the screen. Here, the “period corresponding to the scanning timing of n full width horizontal lines” refers to the next period.
(a)第2実施形態では、図6のステップS101とS102からなる8サイクル
(b)第3実施形態で、現在注目しているn本の全幅水平ラインが画面1011bの上半分に含まれる場合は、図9のステップS301とS302からなる4サイクル
(c)第3実施形態で、現在注目しているn本の全幅水平ラインが画面1011bの下半分に含まれる場合は、図9のステップS304とS305からなる4サイクル
また、「特定領域の画面内での水平方向における位置」とは、第2および第3実施形態の場合、画面の右半分か左半分かということである。特定領域が画面の右半分と左半分のどちらであるかということに対応する以下のいずれかの期間が、送信期間である。
(A) In the second embodiment, 8 cycles comprising steps S101 and S102 in FIG. 6 (b) In the third embodiment, the n full width horizontal lines of interest are currently included in the upper half of the screen 1011b. 4 cycles consisting of steps S301 and S302 of FIG. 9 (c) In the third embodiment, when n full width horizontal lines of interest are included in the lower half of the screen 1011b, step S304 of FIG. The “position of the specific area in the horizontal direction within the screen” means whether the right half or the left half of the screen in the second and third embodiments. One of the following periods corresponding to whether the specific area is the right half or the left half of the screen is a transmission period.
(d)第2実施形態では、上記(a)の8サイクルの前半または後半の4サイクル
(e)第3実施形態では、上記(b)または(c)の4サイクルの前半または後半の2サイクル
例えば、第3実施形態で送信装置101cに注目すると、特定領域は左下の領域1012cである。よって、上半分の領域1012aと1012bの走査のタイミングに対応する期間である図9のステップS301〜S303のループが実行されている間は、非送信期間が続く。そして、下半分の領域1012cと1012dの走査のタイミングに対応する期間である図9のステップS304〜S306の繰り返しにおいては、領域1012cが水平方向に並ぶ2つの領域のうち左側であることに対応して、上記(c)の4サイクルの前半の2サイクル、すなわちステップS304が送信期間となる。そして、ステップS304とS305からなる、2サイクルの送信期間と2サイクルの非送信期間というパターンが繰り返される。
(D) In the second embodiment, four cycles in the first half or the latter half of the eight cycles of (a) above (e) In the third embodiment, two cycles in the first half or the latter half of the four cycles of (b) or (c) above For example, when attention is paid to the transmission apparatus 101c in the third embodiment, the specific area is the lower left area 1012c. Therefore, the non-transmission period continues while the loop of steps S301 to S303 in FIG. 9 which is a period corresponding to the scanning timing of the upper half areas 1012a and 1012b is executed. In the repetition of steps S304 to S306 in FIG. 9, which is a period corresponding to the scanning timing of the lower half regions 1012c and 1012d, this corresponds to the region 1012c being on the left side of the two regions arranged in the horizontal direction. Thus, the first two cycles of the above four cycles (c), that is, step S304 is the transmission period. Then, the pattern consisting of steps S304 and S305, which is a two-cycle transmission period and a two-cycle non-transmission period, is repeated.
また、第1実施形態で説明したように、受信側から見ると、データパケットは、対応関係により示される各送信装置にとっての特定領域の画面内での位置と、画面の走査順とに基づくタイミング、すなわち既知の情報から決定されるタイミングで送信されてくるものである。例えば、第3実施形態において送信装置101cからデータパケットが送信されるタイミングは、次の点において、特定領域1012cの画面1011b内での位置と、画面1011bの走査順とに基づいている。 Further, as described in the first embodiment, when viewed from the reception side, the data packet is a timing based on the position of the specific area in the screen for each transmitting device indicated by the correspondence relationship and the scanning order of the screen. That is, it is transmitted at a timing determined from known information. For example, in the third embodiment, the timing at which a data packet is transmitted from the transmission apparatus 101c is based on the position of the specific area 1012c in the screen 1011b and the scanning order of the screen 1011b in the following points.
・送信装置101cの特定領域1012cが画面1011bの下半分に属し、画面1011bは上から下へ走査されることから、送信装置101cからデータパケットを受信するのは、図9の右側のフローにおいて後半部にあたるステップS405〜S408のループが実行される期間内に限られる。 Since the specific area 1012c of the transmission device 101c belongs to the lower half of the screen 1011b and the screen 1011b is scanned from the top to the bottom, the data packet is received from the transmission device 101c in the latter half of the flow on the right side of FIG. This is limited to a period in which the loop of steps S405 to S408 corresponding to the section is executed.
・フローの後半部にあたるステップS405〜S408のループが実行される期間内では、画面1011bが上から下へ走査されるという順序に合わせて、上から下へ順番にn=8本の水平ラインを単位として、送信装置101cからデータパケットが送信され、受信装置105がそのデータパケットを受信する。 In the period in which the loop of steps S405 to S408 corresponding to the latter half of the flow is executed, n = 8 horizontal lines are sequentially arranged from top to bottom in accordance with the order in which the screen 1011b is scanned from top to bottom. As a unit, a data packet is transmitted from the transmission device 101c, and the reception device 105 receives the data packet.
・特定領域1012cが画面1011bの左半分にあることから、ステップS405〜S408からなるループの前半の2サイクルにあたるステップS405で、送信装置101cからデータパケットを受信する。 Since the specific area 1012c is in the left half of the screen 1011b, the data packet is received from the transmission device 101c in step S405 corresponding to the first two cycles of the loop composed of steps S405 to S408.
以上、本発明の実施の形態について詳細に説明してきたが、本発明は上記の実施形態に限られるものではなく、様々に変形可能である。以下にその例をいくつか述べる。
画像の形式は、上記の実施形態で例示したものに限らない。上記の実施形態では、1画素あたり2バイトで表されるYUV表色系を例に説明したが、1画素あたり3バイトで表されるRGB表色系を採用してもよく、表示すべき画像がグレースケール画像であってもよい。
As mentioned above, although embodiment of this invention has been described in detail, this invention is not limited to said embodiment, It can deform | transform variously. Some examples are described below.
The format of the image is not limited to that exemplified in the above embodiment. In the above embodiment, the YUV color system represented by 2 bytes per pixel has been described as an example. However, an RGB color system represented by 3 bytes per pixel may be adopted, and an image to be displayed. May be a grayscale image.
また、上記の実施形態では、プログレッシブ画像であることを暗黙の前提として説明したが、インターレース画像に対しても同様に本発明を適用することができる。インターレース画像を対象とする場合は、フレームではなくフィールドを単位として処理するようにしたり、偶数フィールドに対しては例えば0、2、……、14本目の水平ラインを処理の単位とする一方で、奇数フィールドに対しては例えば1、3、……、15本目の水平ラインを処理の単位とするようにしたり、必要な変形を行えばよい。 In the above-described embodiment, a progressive image has been described as an implicit premise, but the present invention can be similarly applied to an interlaced image. When processing an interlaced image, processing is performed in units of fields instead of frames, and for even fields, for example, 0, 2,..., 14th horizontal line is used as a unit of processing. For the odd field, for example, the first, third,..., Fifteenth horizontal line may be used as a unit of processing, or a necessary modification may be performed.
また、図3には圧縮部201a〜201dがあり、動画のデータを圧縮しているが、動画のデータを圧縮せずに伝送してもよい。
IDB−1394プロトコルによるアイソクロナス転送を利用するためには、各サイクルで同じ大きさのパケットを送信するという前提を成立させる必要がある。この前提は、例えば固定長符号化された非圧縮の画像データ、あるいはn本の水平ラインごとに固定長になるように圧縮された画像データを利用することによって成立する。そして、この条件が成立することにより、上記の計算例のようにどのパケットも同じ大きさとすることができる。
3 includes the compression units 201a to 201d, which compress the moving image data. However, the moving image data may be transmitted without being compressed.
In order to use isochronous transfer according to the IDB-1394 protocol, it is necessary to establish a premise that packets of the same size are transmitted in each cycle. This premise is established by using, for example, uncompressed image data that has been fixed-length encoded or image data that has been compressed to have a fixed length every n horizontal lines. When this condition is satisfied, all the packets can have the same size as in the above calculation example.
また、図1の説明において、送信装置はカメラに取り付けられ、受信装置はモニタに取り付けられると説明したが、送信装置と受信装置は、外付けの装置でなくてもよい。すなわち、送信装置がカメラに内蔵されていても、受信装置がモニタに内蔵されていてもよい。 In the description of FIG. 1, it has been described that the transmission device is attached to the camera and the reception device is attached to the monitor. However, the transmission device and the reception device may not be external devices. That is, even if the transmission device is built in the camera, the reception device may be built in the monitor.
さらに、送信装置が取り付けられ、あるいは内蔵される対象の装置は、カメラに限らない。上記の説明におけるカメラは、テレビチューナー、DVD(Digital Versatile Disk)プレーヤ、またはカーナビゲーション装置など、画像を出力することができる任意の機器に置き換えることが可能である。例えば、3台のカメラにそれぞれ取り付けられた3台の送信装置101a〜101cと、カーナビゲーション装置に内蔵された送信装置101dが、それぞれ動画のデータを受信装置105に送信するようシステムを構成することも可能である。この場合、受信装置105は、4分割されたモニタの画面上の1つの領域にカーナビゲーションのための動画を、残りの3つの領域にカメラが撮影した画像を表示させる。 Furthermore, the target device to which the transmission device is attached or incorporated is not limited to the camera. The camera in the above description can be replaced with any device that can output an image, such as a TV tuner, a DVD (Digital Versatile Disk) player, or a car navigation device. For example, the system is configured such that three transmission devices 101 a to 101 c attached to three cameras and a transmission device 101 d built in the car navigation device respectively transmit moving image data to the reception device 105. Is also possible. In this case, the receiving apparatus 105 displays a moving image for car navigation in one area on the screen of the monitor divided into four, and images taken by the camera in the remaining three areas.
画面の分割の仕方および各領域とカメラとの対応関係は、図2のステップS11に示したように受信側から通知するのでもよく、デフォルトで決められて、送信装置と受信装置の双方に予め記憶されていてもよい。デフォルトで決められている場合、図2のステップS11とS21は不要である。 The method of dividing the screen and the correspondence between each area and the camera may be notified from the receiving side as shown in step S11 of FIG. 2, and is determined by default, and is previously determined by both the transmitting apparatus and the receiving apparatus. It may be stored. If determined by default, steps S11 and S21 in FIG. 2 are not necessary.
また、バスはIDB−1394に限らず、転送レートを保証するアイソクロナス転送の仕組みを備えたプロトコルのバスであればよく、例えばUSB(Universal Serial Bus;ユニバーサルシリアルバス)を使うこともできる。第2および第3実施形態では、パケット生成部202a〜202dが非送信期間にダミーパケットを送信しているが、割り当てられた帯域を必ず使うことが前提となっていないプロトコルの場合は、ダミーパケットを送信しなくてもよい。 The bus is not limited to IDB-1394, and may be any protocol bus having an isochronous transfer mechanism that guarantees the transfer rate. For example, a USB (Universal Serial Bus) may be used. In the second and third embodiments, the packet generators 202a to 202d transmit dummy packets during the non-transmission period, but in the case of a protocol that does not necessarily use the allocated bandwidth, the dummy packet Does not have to be sent.
上記実施形態では、カメラが撮影した画像を拡大も縮小もせずにモニタの画面に表示する例を示した。しかし、例えば、復元部108が復元したデータを適宜間引いてから記憶部109に記憶するか、記憶部109に記憶されたデータを表示部110が適宜間引くように上記実施形態を変形すれば、縮小した分割表示も可能である。拡大表示も同様に、例えば表示部110の動作を適宜変更することによって可能となる。 In the above-described embodiment, an example in which an image captured by a camera is displayed on a monitor screen without being enlarged or reduced has been described. However, for example, if the data restored by the restoration unit 108 is appropriately thinned out and then stored in the storage unit 109, or if the display unit 110 appropriately thins out the data stored in the storage unit 109, the above embodiment is reduced. Split display is also possible. Similarly, enlarged display is possible, for example, by appropriately changing the operation of the display unit 110.
また、画面の分割の仕方は、例示した2分割と4分割に限らず、各領域の大きさが同じである必要もない。例えば、第2実施形態を変形して、水平方向に3分割あるいは4分割して表示することも可能である。その場合、第2実施形態では従来と比べてパケットの大きさが2倍になったのと同様に、パケットの大きさは3倍あるいは4倍となる。 Further, the method of dividing the screen is not limited to the illustrated two divisions and four divisions, and the size of each area does not need to be the same. For example, the second embodiment can be modified to display the image in three or four divisions in the horizontal direction. In that case, in the second embodiment, the size of the packet is tripled or quadrupled in the same manner as the packet size is doubled compared to the conventional case.
また、図10に示すように、画面1011cを上下に分割し、上半分を水平方向に2分割して領域1012a〜1012bとし、下半分を水平方向に3分割して領域1012c〜1012eとするなど、垂直方向の位置によって水平方向の分割数が異なるような分割であってもよい。図10のような複雑な分割を行った場合でも、次のようにして、送信期間の長さを示すサイクル数を計算し、そのサイクル数に基づいてデータパケットのサイズを決定することが可能である。 Also, as shown in FIG. 10, the screen 1011c is divided into upper and lower parts, the upper half is horizontally divided into two areas 1012a to 1012b, and the lower half is horizontally divided into three areas 1012c to 1012e. The division may be such that the number of divisions in the horizontal direction differs depending on the position in the vertical direction. Even when complicated division as shown in FIG. 10 is performed, the number of cycles indicating the length of the transmission period can be calculated as follows, and the size of the data packet can be determined based on the number of cycles. is there.
まず、式(5)により、n本の全幅水平ラインの走査のタイミングに対応する期間に割り当てられるサイクル数xを求める。図10の例では、画面1011cの垂直方向の画素数veが176なので、c=125μs、f=30fps、n=8とすると、式(5)より、
x=floor(266÷22)=12
である。図10のような分割の場合、こうして算出したサイクル数xを、式(6)のように等分にするかわりに、水平方向に並んだdh個の領域の水平方向の画素数で比例分配する。図10の例では、画面1011cの上段は、水平方向の画素数がそれぞれ75と225の領域1012aおよび領域1012bに分割されており、この2つの領域の水平方向の画素数の比は1:3である。よって、画面1011cの上段ではx=12を1:3に比例配分して、領域1012aには3サイクル、領域1012bには9サイクルを分配する。一方、画面1011cの下段は、水平方向の画素数が100で等しい3つの領域1012c〜1012eに分割されている。よって、画面1011cの下段ではx=12を1:1:1に比例配分して、領域1012c〜1012eに4サイクルずつ分配する。なお、正確に比例分配すると整数にならない場合は、適宜切り上げまたは切り捨てを行って分配すればよい。
First, the number of cycles x assigned to a period corresponding to the scanning timing of n full width horizontal lines is obtained by Expression (5). In the example of FIG. 10, since the pixel number v e in the vertical direction of the screen 1011c is 176, c = 125μs, f = 30fps, When n = 8, from the equation (5),
x = floor (266 ÷ 22) = 12
It is. If the split as shown in FIG. 10, thus the calculated number of cycles x, instead of equally as Equation (6), the proportional distribution in the number of pixels in the horizontal direction of the d h number of regions arranged in the horizontal direction To do. In the example of FIG. 10, the upper stage of the screen 1011c is divided into a region 1012a and a region 1012b whose horizontal pixel numbers are 75 and 225, respectively, and the ratio of the horizontal pixel numbers of these two regions is 1: 3. It is. Therefore, in the upper part of the screen 1011c, x = 12 is proportionally distributed 1: 3, and 3 cycles are distributed to the area 1012a and 9 cycles are distributed to the area 1012b. On the other hand, the lower part of the screen 1011c is divided into three regions 1012c to 1012e having the same number of horizontal pixels of 100. Therefore, in the lower part of the screen 1011c, x = 12 is proportionally distributed 1: 1: 1 and distributed to the areas 1012c to 1012e by four cycles. In addition, when it is not an integer when the proportional distribution is accurately performed, distribution may be performed by appropriately rounding up or down.
こうしてdh個の領域に対応するdh個の送信装置にそれぞれ分配されたサイクル数が、当該送信装置にとっての送信期間の長さを表すサイクル数である。n本の水平ラインのデータ量を、この分配されたサイクル数で割れば、1サイクルあたりに当該送信装置から送信すべきデータパケットの大きさとなる。例えば、動画データが1画素あたり2バイトに固定長符号化されたものである場合、領域1012aに対応する送信装置(送信装置101aとする)から1サイクルあたりに送信されるデータパケットの大きさは、
75×8×2÷3=400バイト
である。同様に、領域1012bに対応する送信装置(送信装置101bとする)から1サイクルあたりに送信されるデータパケットの大きさは、
225×8×2÷9=400バイト
である。また、領域1012c〜1012eに対応する送信装置(送信装置101c〜101eとする)からそれぞれ1サイクルあたりに送信されるデータパケットの大きさは、
100×8×2÷4=400バイト
で等しい。つまり、n本の水平ラインのデータ量は、各領域の水平方向の画素数に比例するので、上記のようにサイクル数xを比例分配すると、各領域から1サイクルあたりに送信されるデータパケットの大きさは等しくなる。なお、ここで「等しい」とは、整数への切り捨て等があった場合は、その影響を無視すればデータパケットの大きさが等しいという意味である。
Thus d h number of cycles that are distributed respectively to the transmission device corresponding to the d h number of regions, the number of cycles representing the length of the transmission period for the relevant transmission system. If the data amount of n horizontal lines is divided by the number of distributed cycles, the size of the data packet to be transmitted from the transmission apparatus per cycle is obtained. For example, when the moving image data is fixed-length encoded at 2 bytes per pixel, the size of the data packet transmitted per cycle from the transmission device (referred to as the transmission device 101a) corresponding to the area 1012a is ,
75 × 8 × 2 ÷ 3 = 400 bytes. Similarly, the size of the data packet transmitted per cycle from the transmission device (referred to as the transmission device 101b) corresponding to the area 1012b is:
225 × 8 × 2 ÷ 9 = 400 bytes. In addition, the size of the data packet transmitted per cycle from each of the transmission apparatuses (transmission apparatuses 101c to 101e) corresponding to the areas 1012c to 1012e is:
100 × 8 × 2 ÷ 4 = 400 bytes are equal. In other words, the data amount of n horizontal lines is proportional to the number of pixels in the horizontal direction of each area. Therefore, when the cycle number x is proportionally distributed as described above, the data packet transmitted from each area per cycle is transmitted. The size will be equal. Here, “equal” means that if the data is rounded down to an integer, the size of the data packets is equal if the influence is ignored.
このようにしてデータパケットの大きさが決まると、ダミーパケットの大きさも定まる。図10の例ではどのサイクルにおいても、送信装置101a〜101eが400バイトデータパケットか400バイトのダミーパケットを送信することから、1サイクルあたり
400×5=2000バイト
の転送が保証されていなくてはならないが、これはIDB−1394のS200で十分まかなえる転送レートである。
When the size of the data packet is determined in this way, the size of the dummy packet is also determined. In the example of FIG. 10, since the transmission apparatuses 101a to 101e transmit 400-byte data packets or 400-byte dummy packets in any cycle, it is necessary to guarantee a transfer of 400 × 5 = 2000 bytes per cycle. However, this is a transfer rate that can be sufficiently covered by S200 of IDB-1394.
つまり、図10の例では、送信装置101aが400バイトのデータパケットを送信し、送信装置101b〜101eがそれぞれ400バイトのダミーパケットを送信することが3サイクル続いた後、送信装置101bが400バイトのデータパケットを送信し、送信装置101a、101c〜101eが400バイトのダミーパケットを送信することが9サイクル続く。そして、この12サイクルを8回繰り返すことで、画面1011cの上段のデータの送信および描画が完成する。 That is, in the example of FIG. 10, after three cycles of transmission device 101a transmitting a 400-byte data packet and transmission devices 101b to 101e each transmitting a 400-byte dummy packet, transmission device 101b transmits 400 bytes. The transmission apparatus 101a, 101c to 101e transmits a 400-byte dummy packet for 9 cycles. Then, by repeating these 12 cycles 8 times, transmission and drawing of the upper data of the screen 1011c are completed.
同様に、送信装置101cが400バイトのデータパケットを送信し、送信装置101a、101b、101d、101eが400バイトのダミーパケットを送信することが4サイクル続いた後、送信装置101dが400バイトのデータパケットを送信し、送信装置101a〜101c、101eが400バイトのダミーパケットを送信することが4サイクル続き、さらにその後、送信装置101eが400バイトのデータパケットを送信し、送信装置101a〜101dが400バイトのデータパケットを送信することが4サイクル続く。そして、この12サイクルを14回繰り返すことで、画面1011cの下段のデータの送信および描画が完成する。 Similarly, after the transmission apparatus 101c transmits a 400-byte data packet and the transmission apparatuses 101a, 101b, 101d, and 101e transmit a 400-byte dummy packet for four cycles, the transmission apparatus 101d transmits the 400-byte data. Transmitting the packet, the transmission apparatuses 101a to 101c and 101e transmit the 400-byte dummy packet lasts for 4 cycles, and then the transmission apparatus 101e transmits the 400-byte data packet, and the transmission apparatuses 101a to 101d are 400 Sending a byte data packet lasts 4 cycles. Then, by repeating these 12 cycles 14 times, transmission and drawing of data in the lower part of the screen 1011c are completed.
さらに別の変形例について説明すると、上記の第1〜第3実施形態では、モニタが1つであると仮定して説明したが、IDB−1394のアイソクロナス転送では、パケットがブロードキャストされるので、複数のモニタにそれぞれ受信装置105を取り付け、複数のモニタにおいて同様の画面分割表示を行うようにしてもよい。あるいは、複数のモニタで異なる分割の仕方の分割表示を行うことも可能である。 In the first to third embodiments described above, it is assumed that there is one monitor. However, in IDB-1394 isochronous transfer, a packet is broadcast. The receiving device 105 may be attached to each of the monitors, and the same screen division display may be performed on a plurality of monitors. Alternatively, it is possible to perform division display in different division manners on a plurality of monitors.
例えば、複数のモニタが受信装置105を介して1394バスに接続されている場合、第1のモニタでは、カメラ1003a〜1003dが撮影した動画を、第3実施形態のように4分割表示し、第2のモニタでは、カメラ1003aと1003bが撮影した動画を、第2実施形態のように2分割表示することも可能である。この場合、第2のモニタに接続された受信装置は、ダミーパケットを廃棄するだけではなく、カメラ1003cと1003dにそれぞれ取り付けられた送信装置から送られるデータパケットも廃棄する。廃棄すべきデータパケットなのか、画面の表示に用いるべきデータパケットなのかは、例えば、アイソクロナスパケットヘッダのチャンネルIDに基づいて判別することが可能である。この場合、第2のモニタに接続された受信装置に必要なラインメモリの容量も、第2実施形態と同様に、全幅水平ラインに換算してn本分である。 For example, when a plurality of monitors are connected to the 1394 bus via the receiving device 105, the first monitor displays the moving images taken by the cameras 1003a to 1003d in four divisions as in the third embodiment. With the second monitor, the moving images captured by the cameras 1003a and 1003b can be displayed in two parts as in the second embodiment. In this case, the receiving device connected to the second monitor not only discards the dummy packet but also discards the data packet sent from the transmitting device attached to each of the cameras 1003c and 1003d. Whether it is a data packet to be discarded or a data packet to be used for display on the screen can be determined based on, for example, the channel ID of the isochronous packet header. In this case, the capacity of the line memory necessary for the receiving device connected to the second monitor is also equivalent to n lines in the same manner as in the second embodiment in terms of the full width horizontal line.
なお、このように複数のモニタで異なる分割の仕方の分割表示を行う場合は、最も分割数の多いモニタに取り付けられた受信装置が、予め、送信装置だけではなく他のモニタに取り付けられた受信装置にも、自モニタの画面の分割の仕方および分割された各領域とカメラとの対応関係を通知する必要がある。各送信装置は、最も分割数の多いモニタに合わせたタイミングおよび大きさでパケットを送信し、他のモニタに接続された受信装置は、受信したデータパケットのうち不要なものを廃棄する。 In addition, when performing split display of different division methods on a plurality of monitors as described above, a reception device attached to a monitor having the largest number of divisions is previously received by a reception device attached not only to the transmission device but also to another monitor. It is also necessary to notify the apparatus of how to divide the screen of the own monitor and the correspondence between each divided area and the camera. Each transmitting device transmits a packet at a timing and size according to the monitor having the largest number of divisions, and receiving devices connected to other monitors discard unnecessary data packets.
また、上記の例における、4分割表示を行う第1のモニタを前提とした場合、第2のモニタで可能な分割の仕方はある程度限定される。例えば、カメラ1003aで撮影した動画を画面左半分に表示し、カメラ1003cで撮影した動画を画面右半分に表示するような2分割表示はできない。なぜなら、図9から分かるように、カメラ1003aで撮影したフレーム画像のデータがすべて送信され終わってから、カメラ1003cで撮影したフレーム画像のデータの送信が始まるため、全幅水平ラインに換算してn本分のラインメモリでは足りないからである。 Further, in the above example, assuming that the first monitor that performs quadrant display is used, the possible divisions on the second monitor are limited to some extent. For example, it is not possible to perform a two-part display in which a moving image shot by the camera 1003a is displayed on the left half of the screen and a moving image shot by the camera 1003c is displayed on the right half of the screen. This is because, as can be seen from FIG. 9, since transmission of the frame image data captured by the camera 1003c starts after transmission of all the frame image data captured by the camera 1003a, n frames are converted into full width horizontal lines. This is because the minute line memory is not enough.
第2のモニタで可能な分割の仕方の例は、第2のモニタの画面の大きさにもよるが、例えば、第1のモニタの画面上で水平方向に並ぶ2つの領域の左右を入れ替えること、第1のモニタの画面の上段または下段の一方にある2つの領域だけを水平方向に並べて2分割表示をすること、第1のモニタの画面の上段と下段から1つずつ領域を選んでその2つの領域を垂直方向に並べて2分割表示をすること、などである。 An example of a division method that can be performed on the second monitor depends on the size of the screen of the second monitor. For example, the left and right of the two regions arranged in the horizontal direction on the screen of the first monitor are switched. , Only two areas in the upper or lower part of the screen of the first monitor are arranged horizontally and divided into two parts, and one area is selected from the upper part and the lower part of the screen of the first monitor. For example, two regions are arranged in the vertical direction and displayed in two parts.
ところで、上記の実施形態では、n=8と仮定し、8ラインを処理の単位としていたが、nは任意である。nは1でもよく、nが整数でなくても本発明を実施することは可能である。また、上記の実施形態では簡単のため、nが画面全体の垂直方向の画素数veの約数であると仮定していたが、そうでなくてもよい。 In the above embodiment, it is assumed that n = 8 and the unit of processing is 8 lines, but n is arbitrary. n may be 1. Even if n is not an integer, the present invention can be implemented. Also, for simplicity in the above embodiment, but n was assumed to be a divisor of the number of pixels v e in the vertical direction of the whole screen or not.
ただし、nが小さすぎると、第2および第3実施形態のように動画データを圧縮する場合に、所望の圧縮率を達成することができない場合がある。一方、nが大きすぎると、受信装置105の記憶部109の容量がそれに応じて増してしまい、本発明の利点が薄くなる。これらの観点から、nの値を検討し、実施形態に応じて最適な値を実験により求め、それをnの値として採用することが望ましい。あるいは、例えば受信装置105が備える入力装置を介して、nの値を人間が指定することを可能としてもよい。 However, if n is too small, a desired compression rate may not be achieved when moving image data is compressed as in the second and third embodiments. On the other hand, if n is too large, the capacity of the storage unit 109 of the receiving apparatus 105 increases accordingly, and the advantages of the present invention are diminished. From these viewpoints, it is desirable to examine the value of n, obtain an optimal value by experiment according to the embodiment, and adopt it as the value of n. Alternatively, for example, the value of n may be specified by a person via an input device included in the reception device 105.
なお、上記のいくつかの式は例示である。例えば、図6のフローチャートの1回のループあたりのサイクル数を、8.8……を切り捨てて8サイクルとする場合を例示したが、このように切り捨てなくてもよい。例えば、ループごとに、8サイクルで実行する場合と9サイクルで実行する場合を所定のパターンで混在させて、平均すると1回のループあたりのサイクル数が整数にならないように調整してもよい。その所定のパターンを予め送信装置と受信装置の双方が認識していれば、同期のための通信をともなう処理を必要とせず、各装置が単にサイクル数を数えるだけで、タイミングを合わせて動作することが可能である。 In addition, the above-mentioned several formulas are examples. For example, the number of cycles per loop in the flowchart of FIG. 6 has been illustrated as being 8 cycles by rounding down 8.8... For example, for each loop, a case where the execution is performed in 8 cycles and a case where the execution is performed in 9 cycles may be mixed in a predetermined pattern so that the average number of cycles per loop does not become an integer. If both the transmitting device and the receiving device recognize the predetermined pattern in advance, processing with synchronization communication is not necessary, and each device operates in synchronism by simply counting the number of cycles. It is possible.
以上説明したことを概観すれば本発明は以下のような構成を備えるものである。
(付記1)
複数の領域に分割された画面内の1つの領域である特定領域に表示すべき動画のデータを、データの転送レートを保証するプロトコルによって送信する送信装置であって、
前記動画の前記データのうち、前記特定領域を構成するn本の水平ラインに相当する部分からデータパケットを生成するデータパケット生成手段と、
前記特定領域のn本の前記水平ラインを含む、前記画面の全幅にわたるn本の全幅水平ラインの走査のタイミングに対応する期間のうち、前記特定領域の前記画面内での水平方向における位置に対応する期間である送信期間か否かを判断する判断手段と、
前記送信期間であると前記判断手段が判断したとき、前記データパケットを送信する送信手段と、
を備えることを特徴とする送信装置。
(付記2)
前記データパケット生成手段は、前記画面の垂直方向の走査順と同じ方向に順に、n本の前記水平ラインを繰り返しの単位として、前記データパケットを生成することを繰り返し、
前記判断手段は、水平方向に並ぶdh個の前記領域について、水平方向の位置に応じて、前記特定領域に対応する前記送信期間であるか、または前記特定領域以外の領域に対応する非送信期間であるかを判断し、
前記dh個の領域に対応する前記送信期間と前記非送信期間とからなる判断のパターンが、前記データパケット生成手段による前記繰り返しの単位ごとに繰り返される、
ことを特徴とする付記1に記載の送信装置。
(付記3)
前記画面は水平方向と垂直方向の分割をともに含み、
前記画面の走査順において、前記特定領域の上または下にある他の領域の走査のタイミングに対応する期間では、前記判断手段が前記送信期間ではないと判断する、
ことを特徴とする付記1に記載の送信装置。
(付記4)
前記画面の分割の仕方と、前記画面内での前記特定領域の前記位置は、前記データパケットの送信先である受信装置から予め通知されたものであることを特徴とする付記1に記載の送信装置。
(付記5)
ダミーデータからダミーパケットを生成するダミーパケット生成手段をさらに備え、
前記送信期間ではないと前記判断手段が判断したとき、前記送信手段は前記ダミーパケットを送信する、
ことを特徴とする付記1に記載の送信装置。
(付記6)
前記動画の前記データのうちn本の前記水平ラインに相当する前記部分の大きさは固定であることを特徴とする付記1に記載の送信装置。
(付記7)
前記動画の前記データは圧縮されていることを特徴とする付記6に記載の送信装置。
(付記8)
複数の領域に分割された画面内のそれぞれの前記領域に表示すべき複数の動画のデータを、データの転送レートを保証するプロトコルによって、複数の送信装置のそれぞれから受信する受信装置であって、
前記複数の送信装置と前記複数の領域との対応関係を、前記複数の送信装置に通知する通知手段と、
前記動画の前記データから生成され、前記対応関係により示される前記領域の前記画面内での位置と前記画面の走査順とに基づくタイミングで前記複数の送信装置からそれぞれ送信された、データパケットを受信する受信手段と、
1つの前記送信装置から受信した1つ以上の前記データパケットから、前記動画の前記データのうち、前記1つの送信装置に対応する1つの前記領域を構成するn本の水平ラインに相当する部分を復元する復元手段と、
復元された前記動画の前記データを記憶する記憶手段と、
前記記憶手段に記憶された前記動画の前記データに基づいて、前記画面の全幅にわたるn本の全幅水平ラインを、走査により表示するよう命令する表示手段とを備え、
前記データパケットの受信と、前記動画の前記データの復元および記憶と、前記表示手段による命令とを繰り返すことによって前記画面全体の表示を実現させることを特徴とする受信装置。
(付記9)
前記受信手段は、少なくとも1つの前記送信装置から、ダミーデータから生成されて前記データパケットを送信すべきタイミングではないときに送信されたダミーパケットを受信し、受信した該ダミーパケットを廃棄することを特徴とする付記8に記載の受信装置。
(付記10)
前記受信手段が、水平方向に並ぶdh個の前記領域に対応するdh個の前記送信装置から順にそれぞれ前記データパケットを受信し、前記記憶手段が、dh個の前記送信装置から受信した前記データパケットからそれぞれ復元されたdh個の前記動画それぞれの前記データを記憶した後で、前記表示手段がn本の前記全幅水平ラインの表示を命令することを特徴とする付記8に記載の受信装置。
(付記11)
前記動画の前記データのうちn本の前記水平ラインに相当する前記部分の大きさは固定であることを特徴とする付記10に記載の受信装置。
(付記12)
コンピュータに、複数の領域に分割された画面内の1つの領域である特定領域に表示すべき動画のデータを、データの転送レートを保証するプロトコルによって送信させるプログラムであって、
前記動画の前記データのうち、前記特定領域を構成するn本の水平ラインに相当する部分からデータパケットを生成するステップと、
前記特定領域のn本の前記水平ラインを含む、前記画面の全幅にわたるn本の全幅水平ラインの走査のタイミングに対応する期間のうち、前記特定領域の前記画面内での水平方向における位置に対応する期間である送信期間か否かを判断するステップと、
前記送信期間であると判断したとき、前記データパケットを送信するステップと、
を前記コンピュータに実行させることを特徴とするプログラム。
(付記13)
コンピュータに、複数の領域に分割された画面内のそれぞれの前記領域に表示すべき複数の動画のデータを、データの転送レートを保証するプロトコルによって、複数の送信装置のそれぞれから受信させるプログラムであって、
前記複数の送信装置と前記複数の領域との対応関係を、前記複数の送信装置に通知する通知ステップと、
前記動画の前記データから生成され、前記対応関係により示される前記領域の前記画面内での位置と前記画面の走査順とに基づくタイミングで前記複数の送信装置からそれぞれ送信された、データパケットを受信する受信ステップと、
1つの前記送信装置から受信した1つ以上の前記データパケットから、前記動画の前記データのうち、前記1つの送信装置に対応する1つの前記領域を構成するn本の水平ラインに相当する部分を復元する復元ステップと、
復元された前記動画の前記データを記憶手段に記憶する記憶ステップと、
前記記憶手段に記憶された前記動画の前記データに基づいて、前記画面の全幅にわたるn本の全幅水平ラインを、走査により表示するよう命令する表示ステップと、
を前記コンピュータに実行させ、
前記受信ステップ、前記復元ステップ、前記記憶ステップ、および前記表示ステップを前記コンピュータに繰り返させることによって前記画面全体の表示を実現させることを特徴とするプログラム。
In summary, the present invention has the following configuration.
(Appendix 1)
A transmission device that transmits video data to be displayed in a specific area, which is one area in a screen divided into a plurality of areas, using a protocol that guarantees a data transfer rate,
Data packet generating means for generating a data packet from a portion corresponding to n horizontal lines constituting the specific area of the data of the moving image;
Corresponds to the position of the specific region in the horizontal direction within the screen in the period corresponding to the scanning timing of the n full width horizontal lines across the entire width of the screen, including the n horizontal lines of the specific region. Determining means for determining whether or not the transmission period is a period to
A transmission means for transmitting the data packet when the determination means determines that it is the transmission period;
A transmission device comprising:
(Appendix 2)
The data packet generating means repeatedly generates the data packet in the same direction as the vertical scanning order of the screen, with the n horizontal lines as a repeating unit,
The judgment unit may, for d h pieces of the regions arranged in the horizontal direction, depending on the horizontal position, or is the transmission period corresponding to the specific region, or a non-transmission corresponding to a region other than the specific region Determine if it ’s a period,
A pattern of determination consisting of the transmission period and the non-transmission period corresponding to the d h regions is repeated for each repetition unit by the data packet generation unit.
The transmitting apparatus according to supplementary note 1, wherein:
(Appendix 3)
The screen includes both horizontal and vertical divisions;
In the period corresponding to the scanning timing of the other area above or below the specific area in the scanning order of the screen, the determination unit determines that it is not the transmission period.
The transmitting apparatus according to supplementary note 1, wherein:
(Appendix 4)
The transmission according to appendix 1, wherein the method of dividing the screen and the position of the specific area in the screen are notified in advance from a receiving device that is a transmission destination of the data packet. apparatus.
(Appendix 5)
A dummy packet generating means for generating a dummy packet from the dummy data;
When the determination unit determines that it is not the transmission period, the transmission unit transmits the dummy packet.
The transmitting apparatus according to supplementary note 1, wherein:
(Appendix 6)
The transmitting apparatus according to claim 1, wherein a size of the portion corresponding to the n horizontal lines in the data of the moving image is fixed.
(Appendix 7)
The transmitting apparatus according to appendix 6, wherein the data of the moving image is compressed.
(Appendix 8)
A receiving device that receives data of a plurality of moving images to be displayed in each of the regions within a screen divided into a plurality of regions from each of a plurality of transmitting devices according to a protocol that guarantees a data transfer rate,
Notification means for notifying the plurality of transmission devices of the correspondence between the plurality of transmission devices and the plurality of areas;
A data packet generated from the data of the moving image and transmitted from each of the plurality of transmitting devices at a timing based on the position in the screen of the area indicated by the correspondence relationship and the scanning order of the screen is received. Receiving means for
From one or more data packets received from one transmission device, a portion corresponding to n horizontal lines constituting one area corresponding to the one transmission device in the data of the moving image. Restore means to restore,
Storage means for storing the data of the restored moving image;
Display means for instructing to display, by scanning, n full-width horizontal lines extending over the full width of the screen based on the data of the moving image stored in the storage means;
A receiving apparatus that realizes display of the entire screen by repeating reception of the data packet, restoration and storage of the data of the moving image, and a command by the display means.
(Appendix 9)
The receiving means receives from the at least one transmitting device a dummy packet that is generated from dummy data and transmitted when it is not time to transmit the data packet, and discards the received dummy packet. 9. The receiving device according to appendix 8, which is characterized.
(Appendix 10)
The receiving means receives the order each of the data packets from the d h pieces of the transmission device corresponding to the d h pieces of the regions arranged in the horizontal direction, the storage means has received from the d h pieces of the transmission device after storing the d h pieces of the data of the moving image respectively restored respectively from the data packets, according to appendix 8, characterized in that said display means commands the display of the full width horizontal line of the n Receiver device.
(Appendix 11)
The receiving apparatus according to appendix 10, wherein a size of the portion corresponding to the n horizontal lines in the data of the moving image is fixed.
(Appendix 12)
A program that causes a computer to transmit video data to be displayed in a specific area, which is one area in a screen divided into a plurality of areas, using a protocol that guarantees a data transfer rate,
Generating a data packet from a portion corresponding to n horizontal lines constituting the specific area in the data of the moving image;
Corresponds to the position of the specific region in the horizontal direction within the screen in the period corresponding to the scanning timing of the n full width horizontal lines across the entire width of the screen, including the n horizontal lines of the specific region. Determining whether it is a transmission period that is a period to perform,
Transmitting the data packet when determined to be the transmission period;
That causes the computer to execute the program.
(Appendix 13)
A program that causes a computer to receive data of a plurality of moving images to be displayed in each of the areas in a screen divided into a plurality of areas from each of a plurality of transmitting devices according to a protocol that guarantees a data transfer rate. And
A notification step of notifying the plurality of transmission devices of the correspondence between the plurality of transmission devices and the plurality of areas;
A data packet generated from the data of the moving image and transmitted from each of the plurality of transmitting devices at a timing based on the position in the screen of the area indicated by the correspondence relationship and the scanning order of the screen is received. Receiving step to
From one or more data packets received from one transmission device, a portion corresponding to n horizontal lines constituting one area corresponding to the one transmission device in the data of the moving image. A restore step to restore,
A storage step of storing in the storage means the data of the restored moving image;
A display step for instructing to display, by scanning, n full width horizontal lines extending over the full width of the screen based on the data of the moving image stored in the storage means;
To the computer,
A program for realizing display of the entire screen by causing the computer to repeat the reception step, the restoration step, the storage step, and the display step.
101a〜101e 送信装置
102a、102b データパケット生成部
103a、103b 判断部
104a、104b 送信部
105 受信装置
106 通知部
107 受信部
108 復元部
109 記憶部
110 表示部
201a〜201d 圧縮部
202a〜202d パケット生成部
203 1394バス
204 パケット復元部
205 復号部
206 表示部
1001 車両
1002 車載LAN
1003a〜1003d カメラ
1007a〜1007d フレームメモリ
1011a〜1011c 画面
1012a〜1012e 領域
101a to 101e Transmitters 102a and 102b Data packet generators 103a and 103b Judgment units 104a and 104b Transmitters 105 Receivers 106 Notification units 107 Receivers 108 Restoring units 109 Storage units 110 Display units 201a to 201d Compression units 202a to 202d Packet generation Unit 203 1394 bus 204 packet restoration unit 205 decoding unit 206 display unit 1001 vehicle 1002 vehicle-mounted LAN
1003a to 1003d Camera 1007a to 1007d Frame memory 1011a to 1011c Screen 1012a to 1012e Area
Claims (8)
前記動画の前記データのうち、前記特定領域を構成するn本の水平ラインに相当する部分からデータパケットを生成するデータパケット生成手段と、
前記特定領域のn本の前記水平ラインを含む、前記画面の全幅にわたるn本の全幅水平ラインの走査のタイミングに対応する期間のうち、前記特定領域の前記画面内での水平方向における位置に対応する期間である送信期間か否かを判断する判断手段と、
前記送信期間であると前記判断手段が判断したとき、前記データパケットを送信する送信手段と、
を備えることを特徴とする送信装置。 A transmission device that transmits video data to be displayed in a specific area, which is one area in a screen divided into a plurality of areas, using a protocol that guarantees a data transfer rate,
Data packet generating means for generating a data packet from a portion corresponding to n horizontal lines constituting the specific area of the data of the moving image;
Corresponds to the position of the specific region in the horizontal direction within the screen in the period corresponding to the scanning timing of the n full width horizontal lines across the entire width of the screen, including the n horizontal lines of the specific region. Determining means for determining whether or not the transmission period is a period to
A transmission means for transmitting the data packet when the determination means determines that it is the transmission period;
A transmission device comprising:
前記判断手段は、水平方向に並ぶdh個の前記領域について、水平方向の位置に応じて、前記特定領域に対応する前記送信期間であると判断するか、または前記特定領域以外の領域に対応する非送信期間であると判断し、
前記dh個の領域に対応する前記送信期間と前記非送信期間とからなる判断のパターンが、前記データパケット生成手段による前記繰り返しの単位ごとに繰り返される、
ことを特徴とする請求項1に記載の送信装置。 The data packet generating means repeats generating the data packet in the same direction as the vertical scanning order of the screen in order from the top or bottom, with n horizontal lines as a unit of repetition,
The judgment unit may, for d h pieces of the regions arranged in the horizontal direction, corresponding to the horizontal in accordance with the position, the or determines that the transmission period or region other than the specific area corresponding to the specific region It ’s a non-transmission period,
A pattern of determination consisting of the transmission period and the non-transmission period corresponding to the d h regions is repeated for each repetition unit by the data packet generation unit.
The transmission apparatus according to claim 1, wherein:
前記画面の走査順において、前記特定領域の上または下にある他の領域の走査のタイミングに対応する期間では、前記判断手段が前記送信期間ではないと判断する、
ことを特徴とする請求項1に記載の送信装置。 The screen includes both horizontal and vertical divisions;
In the period corresponding to the scanning timing of the other area above or below the specific area in the scanning order of the screen, the determination unit determines that it is not the transmission period.
The transmission apparatus according to claim 1, wherein:
前記複数の送信装置と前記複数の領域との対応関係を、前記複数の送信装置に通知する通知手段と、
前記動画の前記データから生成され、前記対応関係により示される前記領域の前記画面内での位置と前記画面の走査順とに基づくタイミングで前記複数の送信装置からそれぞれ送信された、データパケットを受信する受信手段と、
1つの前記送信装置から受信した1つ以上の前記データパケットから、前記動画の前記データのうち、前記1つの送信装置に対応する1つの前記領域を構成するn本の水平ラインに相当する部分を復元する復元手段と、
復元された前記動画の前記データを記憶する記憶手段と、
前記記憶手段に記憶された前記動画の前記データに基づいて、前記画面の全幅にわたるn本の全幅水平ラインを、走査により表示するよう命令する表示手段とを備え、
前記データパケットの受信と、前記動画の前記データの復元および記憶と、前記表示手段による命令とを繰り返すことによって前記画面全体の表示を実現させることを特徴とする受信装置。 A receiving device that receives data of a plurality of moving images to be displayed in each of the regions within a screen divided into a plurality of regions from each of a plurality of transmitting devices according to a protocol that guarantees a data transfer rate,
Notification means for notifying the plurality of transmission devices of the correspondence between the plurality of transmission devices and the plurality of areas;
A data packet generated from the data of the moving image and transmitted from each of the plurality of transmitting devices at a timing based on the position in the screen of the area indicated by the correspondence relationship and the scanning order of the screen is received. Receiving means for
From one or more data packets received from one transmission device, a portion corresponding to n horizontal lines constituting one area corresponding to the one transmission device in the data of the moving image. Restore means to restore,
Storage means for storing the data of the restored moving image;
Display means for instructing to display, by scanning, n full-width horizontal lines extending over the full width of the screen based on the data of the moving image stored in the storage means;
A receiving apparatus that realizes display of the entire screen by repeating reception of the data packet, restoration and storage of the data of the moving image, and a command by the display means.
前記動画の前記データのうち、前記特定領域を構成するn本の水平ラインに相当する部分からデータパケットを生成するステップと、
前記特定領域のn本の前記水平ラインを含む、前記画面の全幅にわたるn本の全幅水平ラインの走査のタイミングに対応する期間のうち、前記特定領域の前記画面内での水平方向における位置に対応する期間である送信期間か否かを判断するステップと、
前記送信期間であると判断したとき、前記データパケットを送信するステップと、
を前記コンピュータに実行させることを特徴とするプログラム。 A program that causes a computer to transmit video data to be displayed in a specific area, which is one area in a screen divided into a plurality of areas, using a protocol that guarantees a data transfer rate,
Generating a data packet from a portion corresponding to n horizontal lines constituting the specific area in the data of the moving image;
Corresponds to the position of the specific region in the horizontal direction within the screen in the period corresponding to the scanning timing of the n full width horizontal lines across the entire width of the screen, including the n horizontal lines of the specific region. Determining whether it is a transmission period that is a period to perform,
Transmitting the data packet when determined to be the transmission period;
That causes the computer to execute the program.
前記複数の送信装置と前記複数の領域との対応関係を、前記複数の送信装置に通知する通知ステップと、
前記動画の前記データから生成され、前記対応関係により示される前記領域の前記画面内での位置と前記画面の走査順とに基づくタイミングで前記複数の送信装置からそれぞれ送信された、データパケットを受信する受信ステップと、
1つの前記送信装置から受信した1つ以上の前記データパケットから、前記動画の前記データのうち、前記1つの送信装置に対応する1つの前記領域を構成するn本の水平ラインに相当する部分を復元する復元ステップと、
復元された前記動画の前記データを記憶手段に記憶する記憶ステップと、
前記記憶手段に記憶された前記動画の前記データに基づいて、前記画面の全幅にわたるn本の全幅水平ラインを、走査により表示するよう命令する表示ステップと、
を前記コンピュータに実行させ、
前記受信ステップ、前記復元ステップ、前記記憶ステップ、および前記表示ステップを前記コンピュータに繰り返させることによって前記画面全体の表示を実現させることを特徴とするプログラム。 A program for causing a computer to receive data of a plurality of moving images to be displayed in each of the areas divided into a plurality of areas from a plurality of transmitting apparatuses according to a protocol that guarantees a data transfer rate. And
A notification step of notifying the plurality of transmission devices of the correspondence between the plurality of transmission devices and the plurality of areas;
A data packet generated from the data of the moving image and transmitted from each of the plurality of transmitting devices at a timing based on the position in the screen of the area indicated by the correspondence and the scanning order of the screen is received. Receiving step to
From one or more data packets received from one transmission device, a portion corresponding to n horizontal lines constituting one area corresponding to the one transmission device in the data of the moving image. A restore step to restore,
A storage step of storing in the storage means the data of the restored moving image;
A display step for instructing to display, by scanning, n full width horizontal lines extending over the full width of the screen, based on the data of the moving image stored in the storage means;
To the computer,
A program for realizing display of the entire screen by causing the computer to repeat the reception step, the restoration step, the storage step, and the display step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007167256A JP4940030B2 (en) | 2007-06-26 | 2007-06-26 | Transmission device, reception device, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007167256A JP4940030B2 (en) | 2007-06-26 | 2007-06-26 | Transmission device, reception device, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009010455A true JP2009010455A (en) | 2009-01-15 |
JP4940030B2 JP4940030B2 (en) | 2012-05-30 |
Family
ID=40325139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007167256A Expired - Fee Related JP4940030B2 (en) | 2007-06-26 | 2007-06-26 | Transmission device, reception device, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4940030B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010092957A1 (en) * | 2009-02-16 | 2010-08-19 | 東芝テリー株式会社 | Camera system |
JP2012049918A (en) * | 2010-08-27 | 2012-03-08 | Sony Corp | Imaging device, imaging system, and imaging method |
JP2013229911A (en) * | 2013-06-20 | 2013-11-07 | Mega Chips Corp | Data transmission system |
JP2014003438A (en) * | 2012-06-18 | 2014-01-09 | Sharp Corp | Video display device, video system, and video display method |
WO2017183706A1 (en) * | 2016-04-22 | 2017-10-26 | 興和株式会社 | Multiplexer and image capturing device provided with said multiplexer |
CN109672857A (en) * | 2018-11-14 | 2019-04-23 | 视联动力信息技术股份有限公司 | Monitor the treating method and apparatus of resource |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002171528A (en) * | 2000-09-19 | 2002-06-14 | Matsushita Electric Ind Co Ltd | Image transmitter |
JP2002247408A (en) * | 2001-02-13 | 2002-08-30 | Canon Inc | Image pickup system, image pickup device and control method |
JP2003110961A (en) * | 2001-09-27 | 2003-04-11 | Sony Corp | Video display control method and video device |
-
2007
- 2007-06-26 JP JP2007167256A patent/JP4940030B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002171528A (en) * | 2000-09-19 | 2002-06-14 | Matsushita Electric Ind Co Ltd | Image transmitter |
JP2002247408A (en) * | 2001-02-13 | 2002-08-30 | Canon Inc | Image pickup system, image pickup device and control method |
JP2003110961A (en) * | 2001-09-27 | 2003-04-11 | Sony Corp | Video display control method and video device |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010092957A1 (en) * | 2009-02-16 | 2010-08-19 | 東芝テリー株式会社 | Camera system |
JP2010193005A (en) * | 2009-02-16 | 2010-09-02 | Toshiba Teli Corp | Camera system |
JP4564093B2 (en) * | 2009-02-16 | 2010-10-20 | 東芝テリー株式会社 | Camera system |
US9088702B2 (en) | 2010-08-27 | 2015-07-21 | Sony Corporation | Imaging device, imaging system, and imaging method |
JP2012049918A (en) * | 2010-08-27 | 2012-03-08 | Sony Corp | Imaging device, imaging system, and imaging method |
US10110820B2 (en) | 2010-08-27 | 2018-10-23 | Sony Corporation | Imaging device, imaging system, and imaging method |
US10462372B2 (en) | 2010-08-27 | 2019-10-29 | Sony Corporation | Imaging device, imaging system, and imaging method |
JP2014003438A (en) * | 2012-06-18 | 2014-01-09 | Sharp Corp | Video display device, video system, and video display method |
JP2013229911A (en) * | 2013-06-20 | 2013-11-07 | Mega Chips Corp | Data transmission system |
WO2017183706A1 (en) * | 2016-04-22 | 2017-10-26 | 興和株式会社 | Multiplexer and image capturing device provided with said multiplexer |
JPWO2017183706A1 (en) * | 2016-04-22 | 2019-02-28 | 興和株式会社 | Multiplexer and photographing apparatus including the multiplexer |
JP6993323B2 (en) | 2016-04-22 | 2022-01-13 | 興和株式会社 | A multiplexer and a photographing device equipped with the multiplexer. |
CN109672857A (en) * | 2018-11-14 | 2019-04-23 | 视联动力信息技术股份有限公司 | Monitor the treating method and apparatus of resource |
Also Published As
Publication number | Publication date |
---|---|
JP4940030B2 (en) | 2012-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101994599B1 (en) | Method and apparatus for controlling transmission of compressed picture according to transmission synchronization events | |
CN1697490B (en) | Video apparatus and image pickup apparatus | |
EP0651578B1 (en) | Image processing apparatus that can provide image data of high quality without deterioration in picture quality | |
US20040085447A1 (en) | On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus | |
US20100177161A1 (en) | Multiplexed stereoscopic video transmission | |
JP4940030B2 (en) | Transmission device, reception device, and program | |
JP2006519521A (en) | High frame rate and high quality imaging system and method | |
JP3791904B2 (en) | Multi display device | |
AU2014339383A1 (en) | Method and apparatus for controlling transmission of compressed picture according to transmission synchronization events | |
JP3499302B2 (en) | Television receiver | |
US7646929B2 (en) | Signal-transmitting system, data-transmitting apparatus and data-receiving apparatus | |
JP2594750B2 (en) | Memory address control and display control device for high definition television | |
GB2333414A (en) | Video decoder and decoding method for digital TV system using skip and wait functions to control decoder | |
JP2005192199A (en) | Real time data stream processor | |
JPH10174064A (en) | Digital broadcast system | |
US7187417B2 (en) | Video signal processing apparatus that performs frame rate conversion of a video signal | |
JP5061925B2 (en) | Image compression distribution apparatus and image compression distribution method | |
JP2003037823A (en) | Image display processing system | |
CN1058592C (en) | Independent horizontal panning for side-by-side pictures | |
KR101012585B1 (en) | Multi-channelImage registration system and the Method | |
JP2000083193A (en) | Image transmission system, image transmitter and image pickup device | |
KR100385975B1 (en) | Apparatus for converting video format and method thereof | |
WO2009098763A1 (en) | Video processor, video processing method and video processing program | |
KR100704664B1 (en) | Frame Transmitting Apparatus And Frame Receiving Apparatus | |
JP2003348620A (en) | Compression device for video signal and its method, and restoring device for video signal and its method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120221 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120227 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |