>科技>>正文

Blink开源、众多「技术王牌」亮相,阿里云的新技术正乘风破浪

原标题:Blink开源、众多「技术王牌」亮相,阿里云的新技术正乘风破浪

在阿里巴巴发展历史上,2009 年绝对是一个值得铭记的年份。

这年春节后,当阿里云一位工程师写下飞天系统的第一行代码时,或许不会有人想到,这将开启一个属于阿里巴巴技术赋能的新时代。过去十年既是阿里巴巴商业成功的十年,也是阿里云从无到有、从支撑内部业务到赋能各行各业的十年。

如果说十年前押注自主研发的飞天系统是一场「豪赌」的开始,那么随后的时间里,不管是「跨界」的神龙服务器还是云原生数据库 POLARDB 以及 ET 城市大脑等,这场一开始几乎无人看好的「豪赌」俨然已经成为对于技术潮流的引领,而这些技术也构成了阿里云面向未来的「技术王牌」。

本周,随着阿里云实时计算平台 Blink 正式开源正式开源,阿里云「技术王牌」已渐趋成型。

公开资料显示,Blink 是阿里巴巴基于 Apache Flink 开源流处理框架所开发的实时计算引擎。自 2015 年开始,阿里云对 Flink 进行改造,并将 Flink 的计算能力扩大数倍,推出内部版 Blink。

过去四年多时间里,从双11 DMV 大屏幕、 ET 城市大脑实时计算城市信息再到淘宝、天猫实时的用户页面,实时计算平台 Blink 都是重要的技术支撑。

业界最强实时计算是如何炼成的?

信息革命的每一次跨越式的发展几乎都离不开计算技术的革新。

2004 年,Google 三篇讨论计算架构的论文,开启了一个大数据的计算时代。而在过去的 数年里,高速发展的互联网、移动互联网、物联网,则将人类带入到一个「实时计算」的新时代。

Flink 正是这样一个实时计算引擎。公开资料显示,Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。2014 年,Flink 成为一款 Apache 基金会旗下的开源产品,其诞生之初功能并不完善,应用场景也只局限在小流量的互联网数据处理。

但这远不能满足阿里巴巴对于实时计算的需求。

在电商领域,用户在不同时间、空间可能有完全不同的消费需求;另一方面,用户需求的变化实时且随机,单纯依靠过往消费记录无法预测用户的下一个消费行为。

最典型的双11时,很多用户会由于丰富的促销活动和环境而临时产生更多的购物需求,这些用户的消费需求与其日常消费习惯模型的匹配度非常低,而且单个购物需求的有效时间非常短。因此,就要求阿里巴巴的搜索和推荐系统及时发现用户的需求变化,在数据有效期内完成模型更新,推荐用户当前感兴趣的商品。

2015 年,阿里巴巴作为最早布局 Flink 的科技公司之一,开始基于开源版本进行改造和创新,推出内部版本Blink,将 Flink 的计算能力推向一个新高度。根据阿里巴巴官方透露的数字,仅在 2018双11 期间,Blink 就实现了每秒处理 17 亿次事件的能力。

如此大的技术提升,不仅是阿里巴巴业务场景的现实需要,也充分展现了阿里的技术实力。

比如对于 Flink 的分布式架构,阿里的工程师们实现 Flink 自身 Job 调度和资源管理的全新分层和解耦。这使得 Flink 可以更好地兼容各种开源资源管理器,比如 Hadoop Yarn 以及 Kubernetes;另一方面,在将Flink 的任务调度从集中式调度改为分布式调度后,Flink 也具备了支持更大规模集群的能力,可以更好地应对大规模的数据处理场景。

另一个巨大提升则体现在 Flink SQL 上,Blink拥有全新的 Flink SQL 技术栈。从功能上看,支持现在标准 SQL 几乎所有的语法和语义;而性能上,无论是在流式 SQL 还是批 SQL,特别是在批 SQL 的性能方面,当前 Blink 版本是社区版本性能的 10 倍以上。

通过这些略显枯燥的技术名词,呈现给消费者、客户的则是实时计算带给阿里巴巴各个业务线的巨大价值。

在双11期间,GMV大屏幕的背后技术也来自 Blink 实时计算引擎。每一条交易信息都是一个数据,从数据写入数据开始,到被实时处理并最终显现到大屏幕,都要求数据计算的精确性、可用性以及低延时(延迟在亚秒级别)。双11全天的活动里,每秒几十万的交易和支付的实时聚合统计操作全部是由Blink计算完成,从而最大限度地保证了双十一的稳定运行。

如果说选择 Flink 是对开源社区的认可,那么是否选择开源 Blink,既是一家技术公司的技术实力体现,也是拥抱开源社区的责任担当。事实上,过去两年的时间里,阿里巴巴在 Blink 上的改进也不断回馈到 Flink 开源社区。

在这个「二选一」的命题里,阿里云给出了一个明确的回答:开源 Blink。将阿里巴巴复杂业务考验的技术和经验,普惠到更多的开发者和企业。

随着 AI、物联网以及边缘计算的持续发展,实时计算的需求也将愈发明显,以 Flink 为代表的一系列实时计算技术会得到更多关注,而从开源的 Flink 到开源的 Blink,也使得阿里巴巴引领了实时计算的开源接力赛。

这种引领行业的基因,早已浸入到阿里云产品的方方面面。

「技术王牌集团军」

如果去翻看阿里云的历史,几乎也是飞天系统的演化历史。正如阿里云缔造者王坚博士所言:「阿里云想做的事情实际上可以解读为 Amazon+Google 并有所超越」,阿里云一开始就走了一条「与众不同」的道路——通过自主研发的分布式系统构建云计算的基础能力。

现在,基于飞天系统,阿里云可以将遍布全球的数百万台服务器连接成一台超级计算机,单集群可达1万台规模,10万个进程达毫秒级响应,十亿级文件数,EB级别存储空间,而阿里云也成功了。2018年1月,飞天获得了2017年中国电子学会科学技术特等奖,这是该奖项设立15年来首次颁发的特等奖。

与之相呼应的,还有阿里云在公有云领域的高速成长。在中国市场,根据 IDC 的数据显示,阿里云市场份额位居中国第一,相当于二至九名总和。在全球市场,阿里云位列 IDC 全球公有云 laaS 厂商市场份额第三,仅次于 AWS 和 Azure。

据今天最新发布的阿里巴巴 2019 财年第三季度财报,2018 自然年里,阿里云营收突破 200 亿人民币,成为亚洲最大云服务商。

飞天系统还在进化,而飞天之上的新技术和新产品也层出不穷。

2017 年 9 月,阿里云发布自研的云原生数据 POLARDB,于 2018年4月正式商用。POLARDB 采用自主研发的分布式存储引擎,将计算服务器和存储数据分离。根据阿里云透露的数字,POLARDB 在 100TB 的数据容量上提供了 10 倍于传统商业数据库的性价比,性能也达到 AWS Aurora 数据库的 2 倍。

2017年10月,阿里云在全球率先推出「跨界」云服务器——弹性裸金属服务器神龙X-Dragon,利用自主研发的虚拟化 2.0 技术,打破了虚拟机性能于物理机灵活不可兼得的行业困境,也被认为是云计算领域的新物种。

2018 年杭州云栖大会上,杭州 ET 城市大脑 2.0 正式亮相。这个被誉为「人工智能的登月计划」的项目,历时两年的进化,目前已具备信号灯优化、交通事件实时识别、应急车辆优先调度、社会治理和公共安全保障、消防应急等功能,落地到海内外杭州、澳门、吉隆坡等十多个城市。

除此之外,还包括聚焦高性能计算的云超算、瞄准自动驾驶的车路协同等。这些技术与产品的创新所展现的协同效应已经初现。POLARDB 与神龙云服务器为云计算客户提供了更多产品选择,满足了不同客户的计算需求。

而在 ET 城市大脑的实践里,实时计算平台 Blink 肩负着实时计算城市交通状况的重任,通过计算杭州 1300 个信号灯路口、4500路视频的数据,可以计算出杭州每时每刻跑在路上的车辆数,改变了传统用静态的机动车保有量来制定交通政策的方式。

写在最后

阿里云智能总裁张建锋曾说过这么一番话:「阿里巴巴是一家商业成功掩饰了技术成功的公司」。这句话并不为过,倘若没有在技术的投入与积累,仅仅依靠「小米加步枪」和人力,如何能支撑起阿里巴巴如此庞大的业务和生态体系?

值得一提的是,阿里巴巴的技术能力,更多源自于其在真实业务场景积累的经验和教训,如果说应对全年不打烊的天猫、淘宝是一次小考,那么双 11 的高并发、大流量更像是一场「大考」。过去十年的双 11,从数据库、支付、计算到物流,阿里巴巴的技术实力逐步展现。

如今,借助阿里云的平台,越来越多经历过真刀真枪场景考验的技术,也成为赋能各行各业的「技术王牌」。

面向弹性计算的神龙服务器,帮助企业同时获得了服务器的极致性能与灵活部署能力;自主研发的云原生数据库 POLARDB,为百万级企业提供云端的数据库能力;而在实时计算需求愈发旺盛的当下,阿里云开源 Blink 也势必加速实时计算在中小企业的普及力度,让各行各业都能分享到阿里巴巴的技术红利,从而加速这些企业的数字化转型。

某种意义上说,当下也是技术的「大航海时代」,只有最勇敢的舵手,才能在无人区里闯出一番天地,十年的技术探索成就了阿里巴巴与阿里云的当下,而新的探索之旅已然开始。(完)返回搜狐,查看更多

责任编辑:

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
阅读 ()
投诉
免费获取
今日搜狐热点
今日推荐