马尔可夫生成对抗网络超分辨结构光显微成像技术
李浩宇
哈尔滨工业大学
摘要
传统荧光超分辨结构光显微镜,通过九帧原始衍射极限图像,重建一帧超分辨率图像,这限制了超分辨成像的速度。这里,我们提出深度学习结构光显微镜,基于马尔科夫生成对抗网络的超分辨率荧光成像的训练框架,通过多角度结构光照明,实现单帧超分辨成像。采用马尔科夫鉴别器和傅立叶约束项,使得网络重建的细胞器具有精细结构,实现远高于传统重建方式的鲁棒性。此外,进一步结合贝叶斯理论,得到神经网络预测不确定度,帮助生物学家辨识,即使在没有真实超分辨图像的情况下,量化评价在对深度学习产生的结果的信任程度。
个人简介
李浩宇,男,1986年8月出生,哈尔滨工业大学仪器科学与工程学院副教授,博士生导师。2009年和2011年在哈尔滨工业大学电子信息与工程学院取得学士和硕士学位;2015年在爱尔兰都柏林大学电子工程系取得博士学位;2015年11月至2017年11月在美国纽约州立大学石溪分校任博士后。研究方向包括:光场显微镜;超分辨活细胞荧光显微成像;基于超材料晶格透镜微型化显微镜;深度学习生物显微成像技术等。近5年,在国际光学期刊和会议上共发表学术论文40多篇,被引次数超过450次、H因子14。参加国内外学术会议邀请报告4次。主持中国科协青年托举计划人才项目、国家自然科学基金青年项目、哈工大青年拔尖人才启动项目。2019年8月入选黑龙江省“头雁计划”谭久彬院士团队骨干成员;2019年11月入选中国仪器仪表学会“金国藩青年学子奖”;2018年入选中国科协“青年人才托举工程”;2017年入选哈工大“青年拔尖人才选聘计划”。
摘要
本次报告将介绍光学超构透镜的设计、进展及在成像技术上的应用。考虑扫描成像及宽场成像各自的关键成像特征,并由此介绍超构透镜在不同成像需求上的设计要点与应用前景。报告内容主要包括成像原理、超构透镜的协调设计关系及应用场景。
个人简介
梁浩文,中山大学物理学院副教授,获中山大学光学工程博士学位。长期从事先进成像与显示技术研究,包括光学纳米成像、散射光学成像、三维显示等。发表SCI研究论文20余篇;申请国家发明专利20余项,授权11项。在国内外会议受邀报告20余次。作为负责人承担国家自然科学基金、广东省重点领域研发计划(课题)、广东省基础与应用基础研究等多个项目。现为科技委重点专项专家组成员,中国图象图形学学会会员。超大数值孔径超构透镜成果入选美国光学学会2018年度重要成果(OPTICS 2018)。
摘要
光学显微成像技术和光遗传学刺激技术在神经科学中扮演极其重要的角色。然而,由于脑组织的高散射特性,脑深部非侵入高分辨聚焦或成像仍然是一个主要的挑战。传统光学显微镜面临穿透深度浅、荧光信号弱和深处成像视场小等诸多难题,在这里,我们将在光学系统设计层面给出潜在的解决方案,将从增强入射光的穿透能力、提高弱信号探测能力和增强大视场高分辨显微能力等三方面出发,开发的几种具有深部组织成像和聚焦能力的光学系统,如基于自适应光学的深度成像方案、基于深度学习的深穿透成像方案等。
个人简介
斯科,浙江大学教授,博导。教育部脑与脑际融合前沿科学中心副主任。主要研究生物光子学,包括脑功能信息的光学获取、脑功能精准光学调控和医学人工智能。主持国家自然科学基金会重点项目等。相关研究成果发表在Nature Photonics、PNAS等,其中1项成果获Science综述文章好评,2项成果获Nature Reviews Physics [1-18 (2020)]报道,1项成果2019年入选F1000并获得杰出评价。申请国家发明专利30余项,累计专利转让3000多万元。担任中国光学学会生物医学光子学专业委员会副秘书长、中国生物医学工程学会生物医学光子学分会委员、中国仪器仪表学会显微仪器分会理事等。
北航单像素与单光子成像进展
孙鸣捷
北京航空航天大学
摘要
单像素成像(鬼成像)最初提出时被冠以“量子成像”,但之后研究发现单像素成像可由经典的光场二阶关联或空间采样来解释,“量子”性并非其必要条件;与此同时,探测器件的进步使单光子的探测成为现实,虽然尚未达到利用纠缠特性进行量子成像,但仍有着巨大的应用潜力。本报告主要从单像素与单光子成像两个方面,向大家汇报北航近年在相关领域的工作,与大家共同讨论其技术优劣和未来发展潜力。
个人简介
孙鸣捷,国家优秀青年科学基金获得者,北京航空航天大学仪器科学与光电工程学院副教授,博导,院长助理和光电工程系主任。主要从事先进光电成像技术研究,发表有《Nature Communications》、《Science Advances》等ESI高被引论文,并被“麻省理工技术评论”重点报道为相关领域里程碑成果,有潜力改变未来成像系统的工作模式。主持承担国家自然科学基金、国家863、国家973子课题、军科委创新特区重点探索等10余项国家级项目。
摘要
对动态场景进行高空间分辨率高帧率采集,可以有效记录场景的空域结构和时域变化细节,在工业产线检测、体育赛事录制、飞行平台对地观测等具有重要作用。受限于成像系统的采集通量,视频采集面临一系列记录、存储、传输的带宽瓶颈,须在空间分辨率与时间分辨率之间折中。编码摄像通过设计新的成像机制,在成像过程通过光电器件对高速高分辨视频进行编码记录,继而开发对应算法进行解码重建,实现低带宽下的高通量成像。本报告拟介绍课题组近期在高速高分辨编码摄像方向的两个工作:时空联合编码的高速高分辨计算成像方法,以及即插即用深度网络架构下的高效解码重建算法。
个人简介
索津莉,清华大学自动化系,长聘副教授、博士生导师。近年来主要从事计算摄像学理论与关键技术研究,包括高通量计算摄像与计算显微、单像素压缩成像等,在领域国际期刊与会议上发表高质量学术论文60余篇,包括领域顶级期刊Nature Photonics、IEEE TPAMI等。先后承担国家自然科学基金面上项目(已结题)、重大仪器研制专项子课题、重点项目、优青项目等。关键技术获授权国家发明专利20余项、国际发明专利3项。相关成果获2016年国家科技进步二等奖(第3完成人)、2015年度电子学会科学技术奖一等奖(第2完成人)。
环形编码孔径非相干数字全息单次曝光成像
万玉红
北京工业大学
摘要
编码孔径相关全息(Coded Aperture Correlation Holography, COACH)提供了一种非相干光源照明情形下记录物体全息图的方法,结合数值算法对全息图进行重建,可实现三维成像。本文综述了孔径编码成像到孔径编码数字全息成像研究进展,介绍本课题组在结合压缩感知的孔径编码数字全息成像、系统点扩散函数稀疏性对成像质量的影响、单次曝光重建像质量的提升等方面的研究工作。重点阐述了环形编码孔径的环宽对成像分辨率、成像质量的影响以及实现单次曝光快速成像的方法。
个人简介
万玉红,女,教授,博士生导师。北京工业大学优秀青年主讲教师,十佳青年。入选北京市人才强教青年骨干教师,北京市委组织部优秀人才,北京工业大学青年百人计划、青年教师国际化等人才项目。主要从事全息与光信息处理领域的研究工作,聚焦于非相干数字全息显微成像、自适应荧光超分辨三维显微等方向的研究。主持国家自然科学基金、北京市自然科学基金、北京市教委科研计划等多个科研项目。目前担任北京市光学学会理事、青年工作委员主任,中国光学学会全息与光信息处理专业委员会委员。
远距离百万像素激光雷达相机
王新伟
中国科学院半导体研究所
摘要
激光雷达可获取三维空间点云数据,近年来在车载辅助驾驶、水下成像、生态监测等应用日趋广泛,但是,这些应用中的激光雷达目前仍主要是扫描激光雷达,往往需与高清摄像机复用,以便同时获得点云数据和强度图像,但是存在异源数据同化等问题。本报告介绍了一种三角形选通距离能量相关三维成像技术,基于该技术研制的激光雷达相机,利用一个系统可实现并超越激光雷达与摄像机复合效果,即能获得抑制传输介质散射的高清二维纹理图像,又能同时获取远距离场景的稠密点云数据,并介绍了激光雷达相机在夜视、水下成像、生态监测等领域的典型应用情况。
个人简介
王新伟,博士,中科院半导体所研究员,中科院“青促会”会员,香江学者。先后于南开大学及中科院研究生院获得学士及博士学位。2013-2015年香港城市大学机器人视觉研究室工作。长期致力于激光夜视、水下成像、荧光寿命成像等领域的研究,提出了三角形选通距离能量相关三维成像、水下矢量光视觉导引等技术,主持研制了5公里级激光三维夜视仪,无人航行器用水下高分辨率三维闪光成像系统“绿瞳”、“凤眼”、“龙睛”等,服务于多项重大工程。发表论文70余篇,授权发明专利30余项,软件著作权9项,获北京市技术发明奖1项。先后主持国家自然基金、国家重点研发计划、中科院重点部署、中科院先导C等项目及课题20余项。
X射线傅里叶关联成像显微技术研究
喻虹
中国科学院上海光学精密机械研究所
摘要
X射线关联成像显微是基于光场高阶关联的无透镜计算成像技术,其极限分辨率仅受限于X射线波长,从而为人类在纳米尺度上探究微观世界奥秘提供了全新的技术途径,同时也使得实验室小型化X射线纳米显微仪器成为可能。利用光场的高阶关联特性可以对物体进行非局域编码,由计算获取物体的衍射谱、振幅、相位等信息,将傅里叶变换关联成像与压缩感知和深度学习等数据处理技术相结合,可以提高图像获取效率,减小曝光剂量,获取高质量图像,在纳米显微、生命科学、芯片检测等领域具有广阔的应用前景。
个人简介
中科院上海光学精密机械研究所量子光学重点实验室副研究员,国家自然科学基金重大科研仪器项目负责人、国家重点研发计划课题负责人,研究方向主要是X射线计算成像技术及其在纳米显微、深空自主导航等领域中的应用。完成了国际上首次X射线波段关联成像衍射显微实验演示,相关成果被APS、AIP、IOP、RSC等欧美学术媒体广泛追踪报道,在Phys. Rev. Lett, Opt. Express等期刊发表论文30余篇,授权发明专利10余项,获得中科院重大科技基础设施重要成果、中国光学重要成果等奖项,担任Nat. Commun.等期刊审稿人。
深度学习在数字全息重建中的研究
袁操今
南京师范大学
摘要
数字全息技术是一种可以数字重现物体振幅和相位的照相技术,可以用于透明样品的实时观测。传统数字全息重建的相位容易受到参考光载频以及成像系统和参考光路中二次相位的影响,导致无法直接获得真实相位。重构的振幅信息也易受到噪声的影响。报告将介绍一种基于非配对数据端到端的深度学习框架,以消除成像系统产生的相位畸变。同时,还介绍一种基于深度学习算法来抑制数字全息再现图像中散斑噪声的方法,通过计算成对的、具有随机噪声分布的图像,即可获得降噪模型。基于以上的研究,我们利用深度学习算法从生物样品的强度信息恢复无噪声和畸变的相位信息。
个人简介
袁操今,南京师范大学,教授,博士生导师。2009年10月-2011年,洪堡基金支持在德国斯图加特大学应用光学研究所博士后。感兴趣的研究方向包括数字全息术、显微成像技术以及光场调控技术。主持完成2项国家自然基金项目,主持在研国家自然基金面上项目1项,主持完成省、部级项目2项,完成一项江苏省教育厅重大项目1项。发表SCI论文50余篇,获得授权发明专利5项。
摘要
视觉成像已从胶片摄像过渡到数字摄像,涉及相机采集(光源,光学系统和传感器)与传感图像后期增强处理,在生命科学、精准医学、工业制造、交通安全、消费电子等领域起着日益重要的作用。但是,由于传统光学成像模型和物理设备功能的固有局限性,视觉成像与处理面临许多巨大的技术挑战,例如光学成像瓶颈和数字图像处理限制。针对上述挑战难题,我们对光照信息进行编码调制,并将计算机的处理能力融入光学成像过程,实现成像系统空间分辨率、视场范围和聚焦速度的提升。进一步,我们利用深度学习技术显著提升图像重建的质量和效率。
个人简介
张永兵,清华大学深圳国际研究生院副研究员,国家优秀青年科学基金获得者。长期从事计算摄像、视频编码研究,通过深度学习、信号处理、傅立叶光学等方向的深度交叉,探索新型的图像获取与处理方法和设备。在计算机视觉、视频图像处理、光学成像等领域发表期刊/会议论文100余篇。获国际会议论文奖2项,所提深度信息重建方法在由美国自然科学基金委、微软研究院等组织的Middlebury (v2)双目立体匹配公开测试平台排名第一。负责或参与承担了国家863项目、国家自然科学基金(重点)项目、广东省科技计划项目等10余项,获50余项发明专利授权。曾获国家科技进步二等奖、广东省科技创新领军人才等多项科技奖励。
近红外二区荧光拓展光学成像能力
郑炜
中国科学院深圳先进技术研究院
摘要
由于近红外二区荧光(1000 - 1700 nm)相对于可见光具有更长的波长,所以具备了更深的光学穿透深度,从而近红外二区荧光被认为是生物深层成像的理想选择。但是,由于造影剂和成像手段的缺乏,限制了近红外二区荧光在生命科学领域的广泛应用。近年来造影剂方面的研究已经取得了重大进展,但是成像手段的进展却比较有限。在本次报告中,我将介绍我们实验室在近红外二区荧光成像技术方面的最新进展。重点介绍我们研发的两款新型近红外二区荧光成像系统:近红外二区共聚焦荧光寿命成像系统和近红外二区荧光介观成像系统。利用该系统我们能轻松实现近红外二区的三维高分辨荧光成像及荧光多寿命成像,可以在活体不开颅前提下高分辨观测小鼠颅内毛细血管的三维分布。该技术有望为生命科学领域研究提供崭新的工具。
个人简介
郑炜,研究员,博士生导师,中科院深圳先进技术研究院生物医学光学与分子影像研究室主任,广东省生物医学光学影像技术重点实验室主任,国家自然科学基金优秀青年基金获得者,广东省特支计划科技创新领军人才,深圳市孔雀计划海外高层次人才。2003年本科毕业于浙江大学光电信息工程专业,2011年博士毕业于香港科技大学电机及电子工程专业,同年加入中科院深圳先进技术研究院任副研究员,2016年晋升研究员。主要研究方向为生物医学光子学及光学显微成像技术研究。
摘要
深度学习为光学测量技术的新一轮革新创造了新的机会。在这个报告中,我们介绍了我们最近将深度学习方法应用于条纹投影轮廓术的一系列工作。我们展示了与传统的傅里叶变换和加窗傅里叶变换法相比,深度学习的条纹分析方法可以显著提高相位重建的准确性和质量。深度学习还可以被用来进行时域相位解包裹,并且在解包可靠性和鲁棒性方面都优于传统的多频时域相位解包裹方法。在深度学习的帮助下,我们可以使用更少甚至单帧条纹图像实现绝对相位获取,这使得条纹投影轮廓术在高速、高精度甚至瞬态三维成像方面应用得以更进一步。
个人简介
左超,南京理工大学电子工程与光电技术学院教授、博士生导师。南京理工大学智能计算成像实验室(SCILab: www.scilaboratory.com)学术带头人与南京理工大学智能计算成像研究院(SCIRI: www.njust-sci.com)执行董事(PI)。研究方向为计算光学成像与光信息处理技术。近年来已在SCI源刊上发表论文130余篇,包括JCR一区论文80余篇。6篇论文入选ESI高被引论文,2篇论文入选ESI热点论文,论文Google Scholar引用逾4000次。研究成果12次被选作Adv. Photon., Opt. Lett.与Opt. Express等期刊的封面文章,并多次被SPIE Newsroom、OSA Image of the Week等报道。研究成果获国家发明专利57项,PCT国际专利11项,美国专利5项。国家“优秀青年科学基金”、江苏省“杰出青年基金”获得者。现任PhotoniX Topical Editor, Microwave and Optical Technology Letters、IEEE Access、Associate Editor,《光学学报》、《激光与光电子学报》专题编辑,《红外与激光工程》、中国激光杂志杂志社青年编委等。