CN112788311A - 信息获取方法、信息获取装置 - Google Patents

信息获取方法、信息获取装置 Download PDF

Info

Publication number
CN112788311A
CN112788311A CN202011093485.5A CN202011093485A CN112788311A CN 112788311 A CN112788311 A CN 112788311A CN 202011093485 A CN202011093485 A CN 202011093485A CN 112788311 A CN112788311 A CN 112788311A
Authority
CN
China
Prior art keywords
filter
color
information
information acquisition
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011093485.5A
Other languages
English (en)
Other versions
CN112788311B (zh
Inventor
宫本直知
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN112788311A publication Critical patent/CN112788311A/zh
Application granted granted Critical
Publication of CN112788311B publication Critical patent/CN112788311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00Colour photography, other than mere exposure or projection of a colour film
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00Colour photography, other than mere exposure or projection of a colour film
    • G03B33/10Simultaneous recording or projection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Communication System (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

信息获取方法包括:信息获取装置从具备光接收面被彩色滤光器覆盖的多个光接收元件的光接收装置,逐帧地获取对应于各滤光器的位置的亮度值,该彩色滤光器包括透过对应于第1颜色的波段的滤光器和透过对应于第2颜色的波段的滤光器(S101);以及,基于被获取的所述逐帧的所述亮度值和对应于各滤光器的阈值,获取移动设备的信息(S106)。

Description

信息获取方法、信息获取装置
技术领域
本发明涉及信息获取方法、信息获取装置。
背景技术
以往,在可见光通信技术中,提出了一种可见光通信***,该可见光通信***包括:发送设备,该发送设备是信号源,该信号源将红色(R)、绿色(G)、蓝色(B)这三原色(RGB)的组合置换为应当传输的信息,使这些颜色随时间变化而发光;照相机,对包括该发送设备的空间逐次进行拍摄,并根据发送设备的发光颜色随时间的变化(时间方向的变化)对信息进行解码。
在该可见光通信***中,为了以帧单位判别发送设备的发光颜色是三原色的哪一种,进行从表示逐次在摄像传感器成像的像素单位的光接收量的模拟数据变换为数字化的彩色图像的处理、所谓的显像处理,根据彩色图像确定发送设备的影像,并从该被确定的发送设备的影像中的颜色的时间方向的变化解码为信息(日本特开2014-183567号公报)。
然而,近年来,由于推进了摄像传感器的大型化,因而推进了摄像处理中的高分辨率化,如果出于根据彩色图像整体来确定发送设备的位置的目的而进行显像处理,则处理负担变重。
发明内容
本发明能够不给处理造成过重的负担而优异地确定以特定颜色发光的物体的位置。
本发明的一个实施例的信息获取方法包括:
从具备光接收面被彩色滤光器覆盖的多个光接收元件的光接收装置逐帧地获取对应于各滤光器的位置的亮度值(S101),该彩色滤光器包括透过对应于第1颜色的波段的滤光器和透过对应于第2颜色的波段的滤光器;以及
基于被获取的所述逐帧的所述亮度值和对应于各滤光器的阈值,获取移动设备的信息(S106)。
附图说明
图1是示出本发明的实施方式涉及的可见光通信***的一个例子的图。
图2是示出该实施方式涉及的移动设备的结构的一个例子的图。
图3是示出该实施方式涉及的照相机和服务器的结构的一个例子的图。
图4是示出该实施方式涉及的彩色滤光器的拜耳排列的一个例子的图。
图5的(a)是示出该实施方式涉及的红色的拜耳图像的一个例子的图。
图5的(b)是示出该实施方式涉及的红色的RGB图像的一个例子的图。
图6的(a)是示出该实施方式涉及的绿色的拜耳图像的一个例子的图。
图6的(b)是示出该实施方式涉及的绿色的RGB图像的一个例子的图。
图7的(a)是示出该实施方式涉及的蓝色的拜耳图像的一个例子的图。
图7的(b)是示出该实施方式涉及的蓝色的RGB图像的一个例子的图。
图8的(a)是示出该实施方式涉及的蓝色的点亮时的状态的一个例子的图。
图8的(b)是示出该实施方式涉及的蓝色的熄灭时的状态的一个例子的图。
图9是示出该实施方式涉及的蓝色和周围的颜色的状态的一个例子的图。
图10是示出由该实施方式涉及的服务器所进行的信息获取的动作的一个例子的流程图。
图11是示出由该实施方式涉及的服务器所进行的根据时间方向的亮度值之差判定发光颜色的处理的动作的一个例子的流程图。
图12是示出由该实施方式涉及的服务器所进行的根据空间方向的亮度值之差判定发光颜色的处理的动作的一个例子的流程图。
图13是示出由该实施方式涉及的服务器所进行的候选信号区域的检测处理的动作的一个例子的流程图。
具体实施方式
以下,参照附图,对作为本发明的实施方式涉及的信息处理***的可见光通信***进行说明。
图1是示出可见光通信***的结构的一个例子的图。如图1所示,可见光通信***1包括移动设备100a、100b、100c(以下,在不限定移动设备100a、100b、100c的每一个的情况下,适当称为“移动设备100”)、照相机200和服务器300。移动设备100a包括作为标记的LED(Light Emitting Diode,发光二极管)102a,移动设备100b包括LED 102b,移动设备100c包括LED 102c(以下,在不限定LED 102a、102b、102c的每一个的情况下,适当称为“LED102”)。服务器300连接照相机200。
在本实施方式中,移动设备100内的LED 102通过发光来发送信息,该光是通过色相的时间方向的变化来对作为发送对象的信息的移动设备100的ID(Identification,标识)进了调制的光。另一方面,照相机200进行包括LED的空间的拍摄。服务器300根据通过照相机200的拍摄而获得的光的图像,获取移动设备100的ID等信息。
图2是示出移动设备100的结构的一个例子的图。如图2所示,移动设备100包括LED102、控制部103、存储器104、通信部108、驱动部112以及电池150。
控制部103例如包括CPU(Central Processing Unit,中央处理单元)。控制部103根据存储在存储器104的程序执行软件处理,由此对移动设备100具备的各种功能进行控制。
存储器104例如是RAM(Random Access Memory,随机存取存储器)、ROM(Read OnlyMemory,只读存储器)。存储器104存储在移动设备100中的控制等中使用的各种信息(程序等)。通信部108例如是LAN(Local Area Network,局域网)网卡。通信部108在与其他通信装置之间进行通信。电池150向各部分供给移动设备100的工作所需要的功率。
在控制部103,构成发光控制部124。发光控制部124根据移动设备100的ID等决定发出的给定光的发光图案,该给定光包括调制成LED 102所发的光的色相的时间方向的变化的任意的信息。
进一步地,发光控制部124向驱动部112输出对应于ID等的发光图案的信息。驱动部112根据来自发光控制部124的发光图案的信息,生成用于使LED 102所发的光的色相、亮度随时间变化的驱动信号。LED 102根据从驱动部112输出的驱动信号,发出色相、亮度随时间变化的光。发光颜色为3原色,是作为在可见光通信中的调色中使用的波段的颜色的红色(R)、绿色(G)、蓝色(B)的任意一种。
图3是示出照相机200和服务器300的结构的一个例子的图。如图3所示,照相机200包括拍摄部202以及镜头203。服务器300包括控制部302、图像处理部304、存储器305、操作部306、显示部307以及通信部308。
照相机200内的镜头203由变焦镜头等构成。镜头203通过来自服务器300内的操作部306的变焦控制操作以及由控制部302所进行的合焦控制而移动。通过镜头203的移动,控制拍摄部202拍摄的拍摄角度、光学图像。
拍摄部202通过规则地二维排列的多个光接收元件,构成包括摄像面的光接收面。光接收元件例如是CCD(Charge Coupled Device,电荷耦合器件)、CMOS(ComplementaryMetal Oxide Semiconductor,互补金属氧化物半导体)等拍摄器件。拍摄部202基于来自服务器300内的控制部302的控制信号,以给定范围的拍摄角度对经由镜头203而入光的光学图像进行拍摄(光接收),将该拍摄角度内的图像信号变换成数字数据,并生成帧。此外,拍摄部202在时间上连续地进行拍摄和帧的生成,并向图像处理部304输出连续的帧。
在光接收面构成有拜耳排列的彩色滤光器。如图4所示,拜耳排列的彩色滤光器对应于一个像素,对红色滤光器402、绿色滤光器404、蓝色滤光器406进行排列而构成,红色滤光器402是以对应于红色(第1颜色)的波段为透过的峰值的滤光器,绿色滤光器404是以对应于绿色(第2颜色)的波段为透过的峰值的滤光器,蓝色滤光器406是以对应于蓝色(第3色)的波段为透过的峰值的滤光器。具体地,作为拜耳排列的彩色滤光器,在横方向上红色滤光器402和绿色滤光器404交错地配置的第1列与在横方向上绿色滤光器404和蓝色滤光器406交错地排列的第2列,在上下方向上交错地配置而构成。
如图4所示,如果定义X轴以及Y轴,在X轴方向上从0起赋予编号,并且在Y轴方向上从0起赋予编号,则设n、m为整数,红色滤光器402的坐标成为(2n,2m),绿色滤光器404的坐标成为(2n,2m+1)以及(2n+1,2m),蓝色滤光器406的坐标成为(2n+1,2m+1)。
图像处理部304基于来自控制部302的控制信号,向控制部302输出从拍摄部202输出的帧的数字数据。在帧的数字数据中,包括构成该帧的各像素的亮度值。
控制部302例如包括CPU。控制部302根据存储在存储器305的程序执行软件处理,由此对进行后述的图10~图13所示的动作等服务器300具备的各种功能进行控制。
存储器305例如是RAM、ROM。存储器305存储服务器300中的控制等中使用的各种信息(程序等)。
操作部306由数字键、功能键等构成,是为了输入用户的操作内容而使用的接口。显示部307例如由LCD(Liquid Crystal Display,液晶显示器)、PDP(Plasma DisplayPanel,等离子显示面板)、EL(Electro Luminescence,电发光)显示器等构成。显示部307根据从控制部302输出的图像信号显示图像。通信部308例如是LAN网卡。通信部308在与外部的通信装置之间进行通信。
在控制部302中,构成亮度值获取部332、位置获取部334、候选信号区域检测部336、信息获取部338、显像部340。
亮度值获取部332针对拍摄部202输出的多个帧的每一个,获取构成该帧的各像素的亮度值。在此,在LED 102以红色点亮的情况下,对应于红色滤光器402的像素的亮度值变高,可获得图5的(a)所示的拜耳图像。在LED 102以绿色点亮的情况下,对应于绿色滤光器404的像素的亮度值变高,可获得图6的(a)所示的拜耳图像。在LED 102以蓝色点亮的情况下,对应于蓝色滤光器406的像素的亮度值变高,可获得图7的(a)所示的拜耳图像。
位置获取部334在对应于多个帧的时间中,获取由亮度值获取部332获取的各像素的亮度值。在此,摄像部202以与LED 102的发光颜色的变化定时同步的更新定时输出帧(摄像图像)。位置获取部334能够获取伴随LED 102的发光颜色的变化的亮度值。另外,在本实施方式中,设为对帧速率与发光颜色的变化定时一致的情形进行描述的实施方式,但在相对于帧速率发光颜色的变化定时较长的情况下,变为以连续的帧来检测以相同发光颜色发光的LED 102。在这样的情况下,如后述那样由于不能通过当前帧和前一帧获取亮度值之差,因而例如设定为通过当前帧和前两帧获取亮度值之差。即,用于检测亮度值之差的帧的选择根据发光颜色的变化定时和对摄像部202设定的帧速率决定,只要是与当前帧相比在过去被摄像的帧即可,不限定于前一帧。
接下来,位置获取部334逐个地关注于构成帧的各像素,并利用多个帧中的关注像素的亮度值之差来进行处理(根据时间方向的亮度值之差判定发光颜色的处理)。
具体地,首先,位置获取部334确定对应于所关注的像素(关注像素)的位置的彩色滤光器的颜色。存储器305作为图4所示的拜耳排列的彩色滤光器的信息,存储对彩色滤光器的各颜色的位置和该颜色进行了关联的信息。位置获取部334基于存储在存储器305的拜耳排列的彩色滤光器的信息和关注像素的位置,确定对应于关注像素的位置的彩色滤光器的颜色。
接下来,位置获取部334针对关注像素,判定获取的当前帧与其前一帧的亮度值之差是否为阈值以上。
例如,如图8的(a)所示,在当前帧中LED 102以蓝色点亮时,对应于蓝色滤光器406的像素412a的亮度值较高,如图8的(b)所示,在前一帧中LED 102未以蓝色点亮时,对应于蓝色滤光器406的像素412b的亮度值较低,着眼于此,位置获取部334针对关注像素,判定帧间的亮度值之差是否大于阈值(时间方向差阈值)。
然后,只要差大于时间方向差阈值,则位置获取部334视为关注像素可能是LED102的位置(候选信号)的像素(时间方向候选信号像素)。
时间方向差阈值存储在存储器305。时间方向差阈值对于每种滤光器的颜色是不同的值,例如,在0~255的亮度值的范围内,红色的情况下为30,绿色的情况下为50,蓝色的情况下为25。位置获取部334从存储器305读取对应于关注像素的位置的滤光器的颜色的时间方向差阈值。进一步地,位置获取部334针对关注像素,计算帧间的亮度值之差,并判定其是否大于时间方向差阈值。
针对关注像素,在帧间的亮度值之差大于时间方向差阈值,且关注像素为时间方向候选信号像素的情况下,接下来,位置获取部334进行利用时间方向候选信号像素与周围的像素的亮度值之差的处理(根据空间方向的亮度值之差判定发光颜色的处理)。
具体地,首先,位置获取部334确定对应于时间方向候选信号像素的位置的滤光器的颜色。接下来,位置获取部334判定时间方向候选信号像素的亮度值与该时间方向候选信号像素的周围的像素(周围像素)的亮度值之差是否为阈值以上。在此,所谓周围像素,是存在于时间方向候选信号像素的周围,并且对应的滤光器的颜色与时间方向候选信号像素不同的像素。进行这样的判定是因为以下的理由。即,在时间方向候选信号像素为LED 102的位置的情况下,在LED 102以对应于时间方向候选信号像素的彩色滤光器的颜色点亮时,时间方向候选信号像素的亮度值变高,但周围像素的亮度值变低。
因此,在LED 102以对应于时间方向候选信号像素的彩色滤光器的颜色点亮时的时间方向候选信号像素与周围像素间在亮度值上存在差,例如,如图9所示,LED 102以蓝色点亮时,对应于蓝色滤光器406的像素422的亮度较高,对应于周围的绿色滤光器404的像素424a、424b、424c、424d的亮度较低,着眼于此,位置获取部334判定从针对时间方向候选信号像素的高亮度值减去检测定时与该高亮度值相同换言之检测该高亮度值的相同的帧中的周围像素的亮度值而得到的差是否大于阈值(空间方向差阈值)。而且,只要差大于空间方向差阈值,则位置获取部334确定时间方向候选信号像素为LED 102的位置换言之候选信号的像素(候选信号像素)。
空间方向差阈值存储在存储器305。空间方向差阈值对于每个滤光器的颜色是不同的值,例如,在0~255的亮度值的范围内,红色的情况下为50,绿色的情况下为80,蓝色的情况下为60。位置获取部334从存储器305读取与时间方向候选信号像素的位置的对应的滤光器的颜色的空间方向差阈值。进一步地,位置获取部334计算时间方向候选信号像素的亮度值与检测该时间方向候选信号像素的相同的帧中的周围像素的亮度值之差,并判定是否大于空间方向差阈值。
在确定针对时间方向候选信号像素的高亮度值与检测该高亮度值的相同的帧中的周围像素的亮度值之差大于时间方向差阈值,并且时间方向候选信号像素为候选信号像素的情况下,接下来,候选信号区域检测部336进行最终的候选信号的区域的检测处理。
具体地,首先,候选信号区域检测部336针对候选信号像素,将亮度值置换为固定值。具体地,从亮度值中的0~255的值中分配任意的值,并将候选信号像素置换为该被分配的亮度值,进一步地将存在于候选信号像素的周围的周围像素的亮度值置换为检测定时与该周围像素的亮度值相同换言之检测该周围像素的亮度值的相同的帧中的候选信号像素的亮度值。
接下来,候选信号区域检测部336将亮度值与候选信号像素的亮度值相同的像素的集合中、1个像素的量的宽度的最外部所包含的像素的亮度值设为低于当前的亮度值的值。接下来,候选信号区域检测部336将亮度值与候选信号像素的亮度值相同的像素的集合确定为例如:红色的候选信号区域4021为图5的(b)、绿色的候选信号区域4041为图6的(b)、蓝色的候选信号区域4061为图7的(b),并检测该候选信号的区域的轮廓。
信息获取部338判定通过上述的处理确定的候选信号区域4021、4041、4061内的色相,并基于该色相的时间方向的变化,对移动设备100的ID等信息进行解码。
根据需要,显像部340基于来自亮度值获取部332的信号,并根据帧的模拟数据生成彩色图像(RGB图像)。进一步地,显像部340将生成的RGB图像显示在显示部307。另外,也可以设为与RGB图像一起,对由信息获取部338获取的移动设备100的ID等信息进行关联,输出到显示部307以进行显示。
以下,一边参照流程图,一边对颜色推定的动作进行说明。图10是示出由服务器300所进行的信息获取的动作的一个例子流程图。
针对服务器300的控制部302内的拍摄部202输出的多个帧的每一个,获取构成该帧的各像素的亮度值。进一步地,位置获取部334获取在对应于多个帧的时间中,由亮度值获取部332获取的各像素的亮度值(步骤S101)。
即,控制部103从具备光接收面被彩色滤光器(例如拜耳滤光器)覆盖的多个光接收元件的光接收装置,逐帧地获取对应于各滤光器的位置的亮度值,该彩色滤光器包括透过对应于第1颜色(例如红色)的波段的滤光器(例如红色)和透过对应于第2颜色的波段的滤光器。
接下来,位置获取部334逐个地关注于构成帧的各像素,并进行利用多个帧中的关注像素的亮度值之差的处理(根据时间方向的亮度值之差判定发光颜色的处理)(步骤S102)。
即,控制部103基于被获取的所述逐帧的所述亮度值,判定发光颜色。
图11是示出由服务器300所进行的根据时间方向的亮度值之差判定发光颜色的处理的动作的一个例子的流程图。位置获取部334基于存储在存储器305的拜耳排列的彩色滤光器的信息和关注像素的位置,确定对应于关注像素的位置的彩色滤光器的颜色(步骤S201)。
接下来,位置获取部334从存储器305获取对应于确定的彩色滤光器的颜色的时间方向差阈值(步骤S202)。
接下来,位置获取部334针对关注像素,判定从当前帧的亮度值减去前一帧的亮度值而得到的亮度值之差是否大于时间方向差阈值(步骤S203)。
针对关注像素,在从当前帧的亮度值减去前一帧的亮度值而得到的差大于时间方向差阈值的情况下(步骤S203;是),位置获取部334确定关注像素可能是LED 102的位置的像素(时间方向候选信号像素)(步骤S204)。另一方面,针对关注像素,在从当前帧的亮度值减去前一帧的亮度值而得到的差为时间方向差阈值以下的情况下(步骤S203;否),位置获取部334确定关注像素不是候选信号像素(步骤S205)。
重新回到图10而进行说明。在步骤S102中的根据时间方向的亮度值之差判定发光颜色的处理之后,位置获取部334进行利用时间方向候选信号像素与周围像素的亮度值的差的处理(根据空间方向的亮度值之差判定发光颜色的处理)(步骤S103)。
即,控制部103基于某个滤光器的位置的亮度值与所述某个滤光器的位置的周围位置的亮度值之差,判定发光颜色。
图12是示出由服务器300所进行的根据空间方向的亮度值之差判定发光颜色的处理的动作的一个例子的流程图。位置获取部334确定对应于时间方向候选信号像素的位置的彩色滤光器的颜色。进一步地,位置获取部334获取对应于确定的彩色滤光器的颜色的空间方向差阈值(步骤S301)。
接下来,位置获取部334判定从时间方向候选信号像素的亮度值减去检测该亮度值的相同的帧中的周围像素的亮度值而得到的差是否大于空间方向差阈值(步骤S302)。
位置获取部334在计算得到的差大于空间方向差阈值的情况下(步骤S302;YES),确定时间方向候选信号像素为候选信号像素(步骤S303)。例如,设候选信号像素的上下左右的合计4个像素为周围像素,位置获取部334计算从时间方向候选信号像素的亮度值减去该4像素的亮度值而得到的差。然后,位置获取部334,判定是否计算得到的4个差中、3个以上的差大于空间方向差阈值,在3个以上的差大于空间方向差阈值的情况下,确定时间方向候选信号像素为候选信号像素。另一方面,在计算得到的差为空间方向差阈值以下的情况下(步骤S302;否),位置获取部334确定时间方向候选信号像素不是候选信号像素(步骤S304)。
重新回到图10而进行说明。在步骤S103中的根据空间方向的亮度值之差判定发光颜色的处理之后,候选信号区域检测部336进行最终的候选信号的区域的检测处理(步骤S104)。
图13是示出由服务器300所进行的候选信号区域的检测处理的动作的一个例子的流程图。候选信号区域检测部336将候选信号像素置换为预先分配的亮度值,进而将存在于候选信号像素的周围的周围像素的亮度值置换为分配给与该周围像素相同的帧中的候选信号像素的亮度值(步骤S401)。例如,设候选信号像素的上下左右的合计4个像素为周围像素,候选信号区域检测部336将该周围像素的亮度值置换为分配给与该周围像素相同的帧中的候选信号像素的亮度值。
接下来,候选信号区域检测部336将亮度值与候选信号像素的亮度值相同的像素的集合中、1个像素的量的宽度的最外部所包含的像素的亮度值置换为低于当前的亮度值的亮度值(步骤S402)。
接下来,候选信号区域检测部336将亮度值与候选信号像素的亮度值相同的像素的集合确定为候选信号区域,并检测该候选信号区域的轮廓(步骤S403)。
重新回到图10而进行说明。在步骤S104中的候选信号的检测处理之后,信息获取部338决定候选信号区域是RGB的哪一个,并判定该候选信号区域的色相的时间方向的变化(步骤S105)。进而,信息获取部338基于色相的变化,对移动设备100的ID等信息进行解码,以获取信息(步骤S106)。
之后,控制部302判定关于信息获取的所有处理是否已结束(步骤S107)。具体地,控制部302针对构成帧的所有像素,判定步骤S101~步骤S106的动作是否已结束。在关于信息获取的所有处理已结束的情况下(步骤S107;是),控制部302结束一系列的动作。在关于信息获取的所有处理未结束的情况下(步骤S107;否),控制部302重复步骤S101之后的动作。例如,在构成帧的所有像素中存在步骤S101~步骤S106的动作未结束的像素的情况下,控制部302以该像素为关注像素重复步骤S101之后动作。
像这样,在本实施方式中,移动设备100根据自身的ID等,使作为标记的LED 102发光。另一方面,服务器300获取通过照相机200的拍摄而获得的帧,对构成该帧的各像素逐个关注,来进行利用多个帧中的关注像素的亮度值之差的处理(根据时间方向的亮度值之差判定发光颜色的处理),并判定关注像素是否有可能是候选信号。进而,服务器300在关注像素有可能是候选信号像素的情况下(是时间方向候选信号像素的情况下),进行利用时间方向候选信号像素与周围的像素的亮度值之差的处理(根据空间方向的亮度值之差判定发光颜色的处理),确定候选信号像素,并进一步确定候选信号的区域。
以往,在生成图5的(b)等所示的RGB图像之后,确定候选信号的区域。而在本实施方式中,服务器300只要获取多个帧中的各像素的亮度值,就能够确定候选信号的区域,并进一步进行信息获取,因而即使分辨率较高,也能够减少对信号源的光接收位置(候选信号的区域)的确定的影响。
即,在本实施方式中,控制部103即使不将从多个光接收元件获得的光接收像显像为彩色图像,也可获取移动设备的信息。
此外,服务器300进行利用多个帧中的关注像素的亮度值之差的处理(根据时间方向的亮度值之差判定发光颜色的处理),针对关注像素,在帧间的亮度值之差大于时间方向差阈值的情况下,将关注像素确定为可能是候选信号像素的时间方向候选信号像素,由此在空间较亮的情况下等,即使关注像素不是LED 102的位置,也可在亮度值变高的情况下,防止错误地确定关注像素为候选信号像素。
此外,服务器300进行利用时间方向候选信号像素与周围的像素的亮度值之差的处理(根据空间方向的亮度值之差判定发光颜色的处理),在时间方向候选信号像素与周围像素的亮度值之差大于空间方向差阈值的情况下,将时间方向候选信号像素确定为候选信号像素,由此能够进行对在LED 102以对应于时间方向候选信号像素的彩色滤光器的颜色点亮时,时间方向候选信号像素的亮度值变高而周围像素的亮度值变低的情况进行了考虑的准确的候选信号像素的确定。
此外,服务器300将存在于候选信号像素的周围的周围像素的亮度值置换为检测该周围像素的亮度值的相同的帧中的候选信号像素的亮度值,并扩大单一颜色的区域,由此能够防止对候选信号像素逐个进行信息的解码。
此外,服务器300将亮度值与候选信号像素的亮度值相同的像素的集合中、1个像素的量的宽度的最外部所包含的像素的亮度值置换为低于当前的亮度值的亮度值,由此能够将候选信号区域设为正确地确定LED 102的位置的候选信号区域,并且能够减少由反射光等所导致的噪声的影响。
另外,本发明不由上述实施方式的说明以及附图限定,能够对上述实施方式以及附图加以适当变更等。
例如,在上述的实施方式中,针对周围像素,举出了候选信号像素的上下左右的合计4个像素作为例子,但周围像素的像素数不限定于此,例如,也可以是1个像素,还可以设候选信号像素的周围的8个像素为周围像素,还可以设该8个像素的一部分为周围像素。
此外,在上述的实施方式中,举出了设时间方向候选信号像素的上下左右的合计4个像素为周围像素,并且位置获取部334计算从时间方向候选信号像素的亮度值减去该4个像素的亮度值而得到的差,并判定是否计算得到的4个差中、3个以上的差大于空间方向差阈值作为例子,但在判定中使用的大于空间方向差阈值的差的数量不限定于此。例如,也可以判定从时间方向候选信号像素的亮度值减去各周围像素的亮度值而得到的差的全部是否大于空间方向差阈值,在大于的情况下,将时间方向候选信号像素确定为候选信号像素。
此外,在上述的实施方式中,对将作为可见光的红色、绿色、蓝色的光使用于通信的情况进行了说明,但也可以使用其他颜色的可见光。此外,即使在仅通过亮度的时间方向的变化来对信息进行调制的可见光通信中,也能够应用本发明。
此外,彩色滤光器的排列不限定于拜耳排列,也可以是其他排列。根据彩色滤光器的排列,将对彩色滤光器的各颜色的位置和其颜色进行了关联的信息存储在存储器305。
此外,在上述的实施方式中,基于移动设备100的发送对象的信息是该移动设备100的ID,但不限定于此,也可以是移动设备100的位置信息、移动设备100中产生的障碍等信息。
此外,移动设备100内的光源不限定于LED。例如,也可以在构成显示装置的LCD、PDP、EL显示器等的一部分构成光源。
此外,服务器300也可以内置有照相机200。
此外,在上述实施方式中,也可以将执行的程序容纳于软盘、CD-ROM(CompactDisc Read-Only Memory,光盘只读存储器)、DVD(Digital Versatile Disc,数字多功能光盘),MO(Magneto-Optical disc,磁光盘)等计算机可读存储介质而进行分发,以对该程序进行配置,由此构成执行上述的处理的***。
此外,也可以预先将程序容纳于因特网等网络上的给定服务器具有的盘装置等,并且例如使其叠加于载波而进行下载等。
另外,在OS(Operating System,操作***)分担而实现上述的功能的情况下或通过OS与应用程序的互动实现上述的功能的情况下等,也可以仅将除OS以外的部分容纳于介质而进行分发,此外,也可以进行下载等。

Claims (16)

1.一种信息获取方法,其中,
信息获取装置:
从具备光接收面被彩色滤光器覆盖的多个光接收元件的光接收装置逐帧地获取对应于各滤光器的位置的亮度值,所述彩色滤光器包括透过对应于第1颜色的波段的滤光器和透过对应于第2颜色的波段的滤光器;以及
基于被获取的所述逐帧的所述亮度值和对应于各滤光器的阈值,获取移动设备的信息。
2.根据权利要求1所述的方法,其中,
所述信息获取装置即使不将从所述多个光接收元件获得的光接收图像显像为彩色图像,也获取所述移动设备的信息。
3.根据权利要求1或2所述的方法,其中,
所述彩色滤光器包括红色的滤光器、绿色的滤光器、蓝色的滤光器,
所述阈值分别针对所述红色的滤光器、所述绿色的滤光器、所述蓝色的滤光器而设定。
4.根据权利要求3所述的方法,其中,
关于所述阈值,对于每个所述红色的滤光器、所述绿色的滤光器、所述蓝色的滤光器,设定不同的值。
5.根据权利要求1至4的任一项所述的信息获取方法,其中,
所述信息获取装置:
基于所述逐帧的所述亮度值的差值和所述阈值,判定发光颜色;以及
基于被判定的所述发光颜色,获取所述移动设备的信息。
6.根据权利要求5所述的方法,其中,
所述信息获取装置基于某个滤光器的位置的亮度值与所述某个滤光器的位置的周围位置的亮度值之差,判定所述发光颜色。
7.根据权利要求5或6所述的方法,其中,
所述信息获取装置基于被判定的所述发光颜色的发光图案,获取所述移动设备的识别信息。
8.一种信息获取方法,其中,
信息获取装置:
获取对光进行光接收的多个第1光接收元件的位置;
将存在于被获取的所述多个第1光接收元件的位置之间的第2光接收元件的位置的亮度值,置换为基于所述多个第1光接收元件的位置的亮度值,从而检测出应当获取信息的区域;以及
基于被检测出的所述区域的随时间经过而变化的亮度值,获取信息。
9.一种信息获取装置,其中,
从具备光接收面被彩色滤光器覆盖的多个光接收元件的光接收装置,逐帧地获取对应于各滤光器的位置的亮度值,所述彩色滤光器包括透过对应于第1颜色的波段的滤光器和透过对应于第2颜色的波段的滤光器;
基于被获取的所述逐帧的所述亮度值和对应于各滤光器的阈值,获取移动设备的信息。
10.根据权利要求9所述的信息获取装置,其中,
即使不将从所述多个光接收元件获得的光接收像显像为彩色图像,也获取所述移动设备的信息。
11.根据权利要求9或10所述的信息获取装置,其中,
所述彩色滤光器包括红色的滤光器、绿色的滤光器、蓝色的滤光器,
所述阈值分别针对所述红色的滤光器、所述绿色的滤光器、所述蓝色的滤光器而设定。
12.根据权利要求11所述的信息获取装置,其中,
关于所述阈值,对于每个所述红色的滤光器、所述绿色的滤光器、所述蓝色的滤光器,设定不同的值。
13.根据权利要求9至12的任意一者所述的信息获取装置,其中,
基于所述逐帧的所述亮度值的差值和所述阈值,判定发光颜色;
基于被判定的所述发光颜色,获取所述移动设备的信息。
14.根据权利要求13所述的信息获取装置,其中,
基于某个滤光器的位置的亮度值与所述某个滤光器的位置的周围位置的亮度值之差,判定所述发光颜色。
15.根据权利要求13或14所述的信息获取装置,其中,
基于被判定的所述发光颜色的发光图案,获取所述移动设备的识别信息。
16.一种信息获取装置,其中,
获取对光进行光接收的多个第1光接收元件的位置;
将存在于被获取的所述多个第1光接收元件的位置之间的第2光接收元件的位置的亮度值,置换为基于所述多个第1光接收元件的位置的亮度值,检测出应当获取信息的区域;
基于被检测出的所述区域的随时间经过而变化的亮度值,获取信息。
CN202011093485.5A 2019-11-01 2020-10-13 信息获取方法、信息获取装置 Active CN112788311B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019199765A JP7070530B2 (ja) 2019-11-01 2019-11-01 情報取得装置、情報取得方法及びプログラム
JP2019-199765 2019-11-01

Publications (2)

Publication Number Publication Date
CN112788311A true CN112788311A (zh) 2021-05-11
CN112788311B CN112788311B (zh) 2023-01-20

Family

ID=75688138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011093485.5A Active CN112788311B (zh) 2019-11-01 2020-10-13 信息获取方法、信息获取装置

Country Status (3)

Country Link
US (1) US11758248B2 (zh)
JP (2) JP7070530B2 (zh)
CN (1) CN112788311B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079239A (zh) * 2006-05-26 2007-11-28 精工爱普生株式会社 电光装置、图像处理装置以及电子设备
CN102106150A (zh) * 2009-02-05 2011-06-22 松下电器产业株式会社 摄像处理装置
CN105100586A (zh) * 2014-05-21 2015-11-25 卡西欧计算机株式会社 检测装置及检测方法
JP2016139998A (ja) * 2015-01-28 2016-08-04 カシオ計算機株式会社 光通信装置、光推定装置、光通信方法、及び、プログラム
JP2017108309A (ja) * 2015-12-10 2017-06-15 オリンパス株式会社 撮像装置および撮像方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5259207B2 (ja) 2008-02-05 2013-08-07 オリンパス株式会社 細胞画像解析装置及びその方法並びにそのソフトウェア
JP2012014668A (ja) 2010-06-04 2012-01-19 Sony Corp 画像処理装置、画像処理方法、プログラム、および電子装置
JP5928382B2 (ja) 2013-03-21 2016-06-01 カシオ計算機株式会社 撮像装置、可視光通信制御システム、出力制御方法、可視光通信制御方法及びプログラム
JP6579069B2 (ja) 2016-09-20 2019-09-25 カシオ計算機株式会社 光通信装置、光通信方法、及び、プログラム
JP7069691B2 (ja) 2017-12-20 2022-05-18 カシオ計算機株式会社 位置算出システム、位置算出装置、位置算出方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079239A (zh) * 2006-05-26 2007-11-28 精工爱普生株式会社 电光装置、图像处理装置以及电子设备
CN102106150A (zh) * 2009-02-05 2011-06-22 松下电器产业株式会社 摄像处理装置
CN105100586A (zh) * 2014-05-21 2015-11-25 卡西欧计算机株式会社 检测装置及检测方法
JP2016139998A (ja) * 2015-01-28 2016-08-04 カシオ計算機株式会社 光通信装置、光推定装置、光通信方法、及び、プログラム
JP2017108309A (ja) * 2015-12-10 2017-06-15 オリンパス株式会社 撮像装置および撮像方法

Also Published As

Publication number Publication date
JP7484961B2 (ja) 2024-05-16
US20210136331A1 (en) 2021-05-06
JP7070530B2 (ja) 2022-05-18
JP2022115940A (ja) 2022-08-09
JP2021072591A (ja) 2021-05-06
US11758248B2 (en) 2023-09-12
CN112788311B (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
JP6236356B2 (ja) 可視光通信信号表示方法及び表示装置
US10419693B2 (en) Imaging apparatus, endoscope apparatus, and microscope apparatus
US10085002B2 (en) RGB-IR sensor, and method and apparatus for obtaining 3D image by using same
JP7091326B2 (ja) 情報処理装置および方法
JP7409425B2 (ja) 位置算出システム、位置算出装置、位置算出方法及びプログラム
US10638916B2 (en) Endoscope device
WO2021020355A1 (ja) 色推定装置、色推定方法及びプログラム
CN109756667B (zh) 位置取得***、位置取得装置、位置取得方法以及记录介质
CN112788311B (zh) 信息获取方法、信息获取装置
US20160037075A1 (en) Display device, display control method, and non-transitory recording medium
US10778948B2 (en) Imaging apparatus and endoscope apparatus
CN112118045B (zh) 位置取得装置、位置取得方法以及记录介质
JP2015075628A (ja) 発光制御装置及び撮像装置
JP2021183990A (ja) 位置情報取得システム、位置情報取得装置、位置情報取得方法及びプログラム
JP7472541B2 (ja) 色推定装置、色推定方法及びプログラム
CN108810404B (zh) 信息处理装置、信息处理方法以及记录介质
CN113450406B (zh) 信息处理装置、信息处理方法以及记录介质
JP7056495B2 (ja) 位置算出システム、位置算出装置、位置算出方法及びプログラム
JP2016002374A (ja) 画像処理装置及び画像処理装置の作動方法
JP6011146B2 (ja) 画像処理装置、撮像装置、および画像処理プログラム
WO2015178079A1 (ja) 撮像装置、撮像装置の制御方法、および、撮像装置の制御プログラム
JP2018117302A (ja) 表示装置、情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant