CN111954024A - 录课直播方法及*** - Google Patents

录课直播方法及*** Download PDF

Info

Publication number
CN111954024A
CN111954024A CN202010879727.7A CN202010879727A CN111954024A CN 111954024 A CN111954024 A CN 111954024A CN 202010879727 A CN202010879727 A CN 202010879727A CN 111954024 A CN111954024 A CN 111954024A
Authority
CN
China
Prior art keywords
green film
atomized
camera
video
film
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010879727.7A
Other languages
English (en)
Inventor
顾建亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010879727.7A priority Critical patent/CN111954024A/zh
Publication of CN111954024A publication Critical patent/CN111954024A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/1334Constructional arrangements; Manufacturing methods based on polymer dispersed liquid crystals, e.g. microencapsulated liquid crystals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Nonlinear Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Dispersion Chemistry (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及录课直播方法及***,包括雾化绿膜、投影装置、触控装置、摄像装置和数据处理装置,投影装置将教学内容投影至雾化绿膜,摄像装置将拍摄的雾化绿膜背景及讲课人视频发送至数据处理装置;数据处理装置将拍摄的视频实时提取前景,即人像,并与所述教学内容、触控信号合成为录课直播视频。本发明的装置采用绿色半透明PDLC液晶膜作为绿幕,在饱和的灯光条件,能够实现清晰、实时的视频推送,且可以结合红外触控装置和Kinect体感摄影机实现教学互动。

Description

录课直播方法及***
技术领域
本发明涉及互联网和图像处理技术领域,具体涉及一种录课直播方法及***。
背景技术
随着互联网的发展,网络课堂作为一种新兴的教学形式,应用越来越广泛。2020年,全国各地学校因新型冠状病毒疫情推迟开学,网络课堂的再一次成为研究热点。随着“互联网+教育”的发展,各类优课、微课、MOOC、精品课、网络课程、培训教学的课程制作需求量增加,但符合要求的教学资源不足,且耗费教学者和制作者大量精力,难以实现标准化、精品化、个性化定制的统一。
现有的在线教学包括预先录制好的录播教学视频和在线直播教学,不管是录课视频或是直播视频,对视频的质量要求都很高。网络课堂发展至今,录课视频、直播视频发展出如下几种形式:
1、教学者站在幕布前,通过电脑操控投影内容,借助激光笔之类标记讲解内容,摄像机对投影图像、教学者进行摄像。这是最传统的模式,这种方式录制视频,教学者需要经常操作电脑,且拍摄的投影内容清晰度低。
2、交互式投影***,例如CN102063618A。教学者站在幕布前,利用手势互动操作投影内容,摄像机对投影图像、教学者进行摄像。采用这种方式,教学者不需要再经常性的低头操作电脑,减少了一个操作对象,便利了教学者。但这种模式仍然属于传统录制形式,拍摄的投影内容受光线影响,导致触控不够准确,并且无法在绿幕上实现触控;此外,视频中投影图像清晰度低。
现有技术中已有利用红外激光笔形成标注内容,来实现与投影视频的互动,但红外激光笔标注也仅是实现在教学内容上增加标注互动,并不能使教学者脱离对计算机的操作。如果要让教学者能直接对投影内容进行操作,就可以解决这一问题,但对于绿幕抠像视频,操作投影内容意味着绿幕投影画面可***作,同时拍摄的视频还要实时抠除绿幕,这形成了一道技术门槛,目前尚无有效的解决方法。
发明内容
本发明的目的在于克服现有技术存在的缺陷,提供一种可通过触控操作投影内容,同时基于绿幕抠像合成高清教学视频的录课直播***及方法。
为实现上述目的,本发明采用如下技术方案:
一种录课直播***,包括:
雾化绿膜;所述雾化绿膜为呈绿色半透明状态的PDLC液晶膜;
投影装置,将教学内容投影至雾化绿膜;
触控装置,所述触控装置为红外触控装置,其形成的红外探测网覆盖所述雾化绿膜;触控装置将红外探测网采集的触控信号发送至数据处理装置;
摄像装置,拍摄范围包括雾化绿膜及讲课人,拍摄的视频发送至数据处理装置;
数据处理装置,将拍摄的视频实时提取前景,即人像,并与所述教学内容、触控信号合成为录课直播视频。
本发明的雾化绿膜为“绿色半透明”状态的PDLC液晶膜,PDLC液晶膜通电透明,断电呈乳白色的不透明状态。当切断电源时,调光膜内的液晶分子呈不规则的散布状态,使液晶分子颗粒和聚合物产生的反射光散射,使其呈现不透明的状态。当通电时,这些液晶分子颗粒会呈有序排列,使得平等光透明而呈现透明状态。
进一步的,所述雾化绿膜RGB通道数值满足:G-R>20,G-B>20,且RGB各通道数值均<160。在这一范围下,可满足所述的“绿色半透明”状态。更优选的是G-R>30,G-B>30,且RGB各通道数值均<130。
进一步的,所述雾化绿膜G通道数值为90~130。饱和的灯光条件下G通道数值90~130时抠像效果更好,更优的是100~110。
进一步的,所述数据处理装置为计算机,所述摄像装置为计算机自带摄像头。
进一步的,还包括Kinect体感摄影机,所述Kinect体感摄影机捕捉教学者的手势动作,基于自定义的手势命令操作投影内容。
进一步的,所述触控装置为若干红外发射元件、接收元件组成的红外发射管和红外接收管,将其分别组装在雾化绿膜四周形成边框。
进一步的,所述摄像装置的拍摄范围内仅为雾化绿膜及讲课人,排除其他背景干扰。
本发明的第三目的在于提供一种录课直播方法,包括:
将教学内容投影至雾化绿膜,所述雾化绿膜为呈绿色半透明状态的PDLC液晶膜;
教学者触控雾化绿膜,触控装置采集触控信号;
摄像机拍摄视频,拍摄范围包括雾化绿膜及教学者;
将摄像机拍摄的视频提取前景,即人像;
将提取的人像与所述教学内容、触控信号合成为录课直播视频。
进一步的,还包括,应用Kinect体感摄影机捕获教学者手势动作,通过自定义的手势命令进行投影内容操作。
本发明的方法及***具有如下效果:
(1)雾化绿膜可在透明和半透明状态间切换,雾化前呈透明状态,不影响美观,雾化后可用于抠像视频制作,且雾化后的绿膜呈绿色半透明状态,可展示投影机背投影像。
(2)雾化绿膜的硬度、透光性使其能够利用任何硬质环境,如墙面,透明玻璃等。
(3)触控要求硬质的绿幕,透光性和成像性的结合点非常重要。本发明利用雾化绿膜,即绿色半透明状态下的PDLC液晶膜作为绿幕背景应用至绿幕抠像合成视频中,背景易于抠除,且可结合红外触控和Kinect体感摄影机实现触控投影屏幕和手势互动,实现视频的高质量实时抠像与合成。配合饱和的灯光条件,使用免费开源的OBS软件即可轻松做到绿幕实时抠像合成及各大直播平台的推流直播。教学者可选择合适的环境进行录课及直播,释放双手,所见即所得,从演课回归讲课,简易独立地创作精品化课程。
附图说明
图1是本发明实施例1***结构示意图。
图2是本发明实施例2***结构示意图。
图3是本发明实施例3***演示状态示意图。
具体实施方式
实施例1
本实施例提供一种可触控投影内容的录课直播***。所述***包括雾化绿膜、投影装置、触控装置、摄像装置、数据处理装置。
触控装置包括若干红外线发射与接收元件,其形成的红外探测网覆盖所述雾化绿膜。本实施例中触控装置为红外发射元件、接收元件组成的发射管和接收管,将其分别组装在雾化绿膜四周形成边框,使红外探测网覆盖雾化绿膜。触控装置将红外探测网采集的触控信号发送至数据处理装置。
本实施例的数据处理装置为计算机,如图1所示,计算机自带的摄像头作为摄像装置。将计算机连接投影装置,向雾化绿膜投影教学内容,教学者站在雾化绿膜前触控屏幕,计算机摄像头拍摄教学者及雾化绿膜,计算机的数据处理模块,即OBS软件对视频进行实时抠像,提取带透明通道的人像视频,与教学内容、触控信号、人像视频进行合成,获得录课或直播视频。
本实施例的***配置简单,硬件仅包括一块1.0m×1.0m的雾化绿膜、一台自带摄像头的计算机(笔记本电脑)、一台投影仪、4根触控条(红外发射元件组成的发射管2条和红外接收元件组成的接收管2条)。绿膜可卷起触控条方便携带,在录课场所内进行简单悬挂和张贴,可以实现移动教学直播。
本实施例中雾化绿膜的RGB通道数值为R0,G106,B0,在饱和灯光条件下进行录课/直播,教学人员能够通过触控雾化绿膜进行翻页操作,使用OBS软件对视频进行实时抠像,扣除效率高,且前景(人像)边缘清晰,可实现高质量的视频实时推送。
计算机在使用时,可以连接多台显示器实现多屏显示,多台显示器可以各司其职,也可共同显示同一界面,本***中投影触控的界面的信号则来源于同一计算机。其他显示器界面则可用来进行实时抠像合成和直播监控。
实施例2
本实施例与实施例1的不同之处在于,摄像装置为独立的摄像机,***结构如图2所示。摄像机可以是高清及4K摄像机,在计算机上选装SDI和HDMI视频采集卡,可应对兼容市面上所有高清及4K摄像机。
实施例3
本实施例与实施例1的不同之处在于,还包括Kinect体感摄影机,***结构如图3所示。Kinect体感摄影机可以实现即时动态捕捉,通过Kinect体感摄影机捕获教学者手势命令,并预先基于编程语言开发自定义手势命令,可以实现利用手势命令操控投影屏幕。采用Kinect体感结合自定义的手势命令,可以实现利用手势命令操控投影屏幕。Kinect forWindows SDK可以利用C++、C#或VisualBasic等语言开发手势命令,如:放大、缩小、翻页、返回、选择等电脑使用常见命令。
实施例4
本实施例提供一种可触控投影内容的录课直播方法,包括:
将教学内容投影至雾化绿膜,所述雾化绿膜为PDLC液晶膜在绿色单通道下形成的绿幕;
教学者触控雾化绿膜,触控装置采集触控信号;
摄像机拍摄视频,拍摄范围包括雾化绿膜及教学者;
将摄像机拍摄的视频提取前景,即人像;
将提取的人像与所述教学内容、触控信号合成为录课直播视频。
实施例5
本实施例和实施例4的不同之处在于,应用Kinect体感摄影机捕获教学者手势动作,通过自定义的手势命令进行投影内容操作。

Claims (10)

1.一种录课直播***,其特征在于,包括:
雾化绿膜;所述雾化绿膜为呈绿色半透明状态的PDLC液晶膜;
投影装置,将教学内容投影至雾化绿膜;
触控装置,所述触控装置为红外触控装置,其形成红外探测网覆盖所述雾化绿膜;触控装置将红外探测网采集的触控信号发送至数据处理装置;
摄像装置,拍摄范围包括雾化绿膜及讲课人,拍摄的视频发送至数据处理装置;
数据处理装置,将拍摄的视频实时提取前景,即人像,并与所述教学内容、触控信号合成为录课直播视频。
2.根据权利要求1所述的***,其特征在于,所述雾化绿膜RGB通道数值满足:G-R>20,G-B>20,且RGB各通道数值均<160。
3.根据权利要求2所述的***,其特征在于,所述雾化绿膜RGB通道数值满足:G-R>30,G-B>30,且RGB各通道数值均<130。
4.根据权利要求1所述的录课直播***,其特征在于,还包括Kinect体感摄影机,所述Kinect体感摄影机捕捉教学者的手势动作,基于自定义的手势命令操作投影内容。
5.根据权利要求1-4任一项所述的***,其特征在于,所述雾化绿膜G通道数值为90~130。
6.根据权利要求1所述的录课直播***,其特征在于,所述数据处理装置为计算机,所述摄像装置为计算机自带摄像头。
7.根据权利要求1所述的录课直播***,其特征在于,所述触控装置为若干红外发射元件、接收元件组成的红外发射管和红外接收管,将其分别组装在雾化绿膜四周形成边框。
8.根据权利要求1所述的录课直播***,其特征在于,所述摄像装置的拍摄范围内仅为雾化绿膜及讲课人。
9.一种录课直播方法,其特征在于,包括:
将教学内容投影至雾化绿膜,所述雾化绿膜为呈绿色半透明状态的PDLC液晶膜;
教学者触控雾化绿膜,触控装置采集触控信号;
摄像机拍摄视频,拍摄范围包括雾化绿膜及教学者;
将摄像机拍摄的视频提取前景,即人像;
将提取的人像与所述教学内容、触控信号合成为录课直播视频。
10.根据权利要求9所述的方法,其特征在于,还包括,应用Kinect体感摄影机捕获教学者手势动作,通过自定义的手势命令进行投影内容操作。
CN202010879727.7A 2020-08-27 2020-08-27 录课直播方法及*** Pending CN111954024A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010879727.7A CN111954024A (zh) 2020-08-27 2020-08-27 录课直播方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010879727.7A CN111954024A (zh) 2020-08-27 2020-08-27 录课直播方法及***

Publications (1)

Publication Number Publication Date
CN111954024A true CN111954024A (zh) 2020-11-17

Family

ID=73367098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010879727.7A Pending CN111954024A (zh) 2020-08-27 2020-08-27 录课直播方法及***

Country Status (1)

Country Link
CN (1) CN111954024A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191184A (zh) * 2021-03-02 2021-07-30 深兰科技(上海)有限公司 实时视频处理方法、装置、电子设备及存储介质
CN113259543A (zh) * 2021-05-17 2021-08-13 广东彼雍德云教育科技有限公司 一种便捷式半幅抠像黑板
CN115052114A (zh) * 2022-08-12 2022-09-13 北京对啊网教育科技有限公司 一种电子半透明绿幕抠像录课***及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050151850A1 (en) * 2004-01-14 2005-07-14 Korea Institute Of Science And Technology Interactive presentation system
CN204129723U (zh) * 2014-09-25 2015-01-28 广州大学 一种基于Kinect体感交互的课堂多媒体教学装置
CN104486604A (zh) * 2014-12-30 2015-04-01 湖南巨手科技发展有限公司 触控屏投影显示设备
CN105259679A (zh) * 2015-09-11 2016-01-20 京东方科技集团股份有限公司 电控调光薄膜、其制备方法及显示器件
CN107093337A (zh) * 2017-06-07 2017-08-25 珠海思课技术有限公司 实景课堂的管理***及其制作方法
CN108536302A (zh) * 2018-04-17 2018-09-14 中国矿业大学 一种基于人体手势和语音的教学方法及***
US20180321578A1 (en) * 2015-06-30 2018-11-08 Gauzy Ltd Advanced polymer dispersed liquid crystal (pdlc) for display projection screens
CN208156364U (zh) * 2018-03-30 2018-11-27 张家港康得新光电材料有限公司 一种pdlc背投影屏幕及投影***
CN111242962A (zh) * 2020-01-15 2020-06-05 中国平安人寿保险股份有限公司 远程培训视频的生成方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050151850A1 (en) * 2004-01-14 2005-07-14 Korea Institute Of Science And Technology Interactive presentation system
CN204129723U (zh) * 2014-09-25 2015-01-28 广州大学 一种基于Kinect体感交互的课堂多媒体教学装置
CN104486604A (zh) * 2014-12-30 2015-04-01 湖南巨手科技发展有限公司 触控屏投影显示设备
US20180321578A1 (en) * 2015-06-30 2018-11-08 Gauzy Ltd Advanced polymer dispersed liquid crystal (pdlc) for display projection screens
CN105259679A (zh) * 2015-09-11 2016-01-20 京东方科技集团股份有限公司 电控调光薄膜、其制备方法及显示器件
CN107093337A (zh) * 2017-06-07 2017-08-25 珠海思课技术有限公司 实景课堂的管理***及其制作方法
CN208156364U (zh) * 2018-03-30 2018-11-27 张家港康得新光电材料有限公司 一种pdlc背投影屏幕及投影***
CN108536302A (zh) * 2018-04-17 2018-09-14 中国矿业大学 一种基于人体手势和语音的教学方法及***
CN111242962A (zh) * 2020-01-15 2020-06-05 中国平安人寿保险股份有限公司 远程培训视频的生成方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191184A (zh) * 2021-03-02 2021-07-30 深兰科技(上海)有限公司 实时视频处理方法、装置、电子设备及存储介质
CN113259543A (zh) * 2021-05-17 2021-08-13 广东彼雍德云教育科技有限公司 一种便捷式半幅抠像黑板
CN115052114A (zh) * 2022-08-12 2022-09-13 北京对啊网教育科技有限公司 一种电子半透明绿幕抠像录课***及方法
CN115052114B (zh) * 2022-08-12 2022-11-15 北京对啊网教育科技有限公司 一种电子半透明绿幕抠像录课***

Similar Documents

Publication Publication Date Title
CN111954024A (zh) 录课直播方法及***
CN105306862B (zh) 一种基于3d虚拟合成技术的情景视频录制***、方法及情景实训学习方法
CN106945433B (zh) 纳米触控黑板及交互式智能黑板
CN106371593A (zh) 一种投影交互式书法练习***及其实现方法
CN105549725A (zh) 一种三维场景互动展示装置及方法
CN203608274U (zh) 一种基于电视语言的智能导播跟踪***
CN208208118U (zh) 一种同步互助课堂教学***
CN201063755Y (zh) 用于教学与会场的录制***
CN208985412U (zh) 智慧教育物理环境***
CN108391077A (zh) 一种简易精品课程视频自动拍摄录制装置
CN111179650A (zh) 一种纸写板书和讲解自动文档化的讲台***
CN106448475A (zh) 具有立体交互功能的3d广告机及其操作方法
CN103680225A (zh) 教学一体机及其多输入显示方法
CN209118529U (zh) 智慧教育环境生态***
CN205563070U (zh) 一种基于三维模型的交互式全息投影***
CN105590106A (zh) 一种新型人脸3d表情动作识别***
CN103996317A (zh) 一种新型的无线多媒体互动教学***
CN103996315A (zh) 一种新型的无线多媒体互动教学***的***安全设置方法
US20230282186A1 (en) Systems and methods for improved production and presentation of video content
CN209785287U (zh) 一种智能书写云联一体机电控教学***
CN203085064U (zh) 一种虚拟星空教学设备
CN116778121A (zh) 一种虚拟屏幕书写操控合成***及方法
CN106991848A (zh) 一种全能型智慧教室
CN103810932A (zh) 一种虚拟星空教学设备
CN205620668U (zh) 触摸式摄影投影装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201117

RJ01 Rejection of invention patent application after publication