报告五:大数据“双实时”处理
报告摘要:
大数据处理是从大量数据的背后发掘其价值,而数据源本身往往是在持续产生数据。时效性对于发掘数据价值至关重要,因此,理想的数据处理是针对实时产生的数据及存量数据,可以实时进行处理。目前,数据处理流程通常是数据收集、整理,再以一定的时间间隔导入数据分析系统进行处理,即分为数据注入和数据分析两个阶段,同时二者间存在较大的时间差。大数据处理系统Ginkgo,实现了实时注入和实时处理的准“双实时”,从数据注入时延和数据分析时延两方面最大程度降低数据处理时间,以最大程度提升数据处理价值。报告将介绍Ginkgo系统 (https://github.com/daseECNU/Ginkgo ),及在数据查询优化和数据注入的研究工作。
报告人简介:
翁楚良,教授、博士生导师。2004年上海交通大学计算机系博士毕业留校工作,期间于2011-2012年至美国哥伦比亚大学计算机系作访问研究;2013年应邀加入华为研究院担任主任研究员及技术总监,负责新型内存与存储系统、虚拟化与云计算、大数据处理技术等相关研究工作,创建新型存储研究团队,并在云计算领域获得高价值谈判专利奖;2016年加入华东师范大学。研究兴趣包括并行与分布式系统、存储系统、系统虚拟化、操作系统与系统安全。