海量数据处理,汇量科技面临挑战

在数字化飞速发展的今天,广告相关业务无时无刻地伴随着我们左右,但你有没有想过,各种APP中的广告管理是什么样的呢?

在这海量广告的背后,是巨大的计算量和复杂的管理程序。我们来看一组数据,汇量科技主营APP开发者相关广告服务,主要采用程序化广告交易的方式,当用户上线时,根据用户兴趣及时推荐广告主的APP。其客户包括7000多个APP开发团队,覆盖全球251个国家和地区的用户,超过35亿活跃设备。

汇量科技副总裁 奚原

如此海量的业务,让汇量科技的运维面临着巨大的挑战。据汇量科技副总裁奚原介绍,要以超低延迟的方式满足实时预测和个性化推荐,每天需要通过复杂的算法预测处理超过2000亿个广告请求,这一需求的背后,是每天数十PB的数据处理规模、每小时数十亿个特征规模的模型训练,这对解决方案的高存储吞吐量与弹性提出了很高要求。每个广告请求背后的复杂算法预测,其端到端的数据延迟要求必须少于50毫秒。

基于以上严苛的要求,汇量科技选择通过亚马逊云科技打造自己的大数据机器学习平台,轻松应对日均10亿台独立移动设备在线数据请求,高效处理超2000亿次线上预测,使收入和净利润得到大幅提升。

系统方面,奚原表示:汇量科技的移动广告业务遍布全球,如何以最快速度响应全球各地用户请求,进行系统的全球化部署,是一个非常大的挑战。而且,对系统的稳定性要求极高,因为流量高峰时常出现,瞬间的点击量会急剧上升,这就要求系统能快速处理,并具备非常好的可扩展性。受益于亚马逊云科技遍布全球、广泛深入的服务,汇量科技的系统能够自如应对全球客户的请求,并且简化了系统运维的复杂度、相应地降低了运维成本。

技术转化方面,正如前文所述,汇量科技大规模使用亚马逊云科技的低成本算力资源构建起了云原生弹性计算平台SpotMax,借鉴混沌工程的最佳实践,无需担心资源容易中断回收而影响稳定性,让单位广告请求成本降低65%。同时,汇量科技还将这一技术做成SaaS工具包,通过亚马逊云科技Marketplace覆盖全球客户的数字化产品目录,提供给同样希望大规模使用云上低成本算力的客户。

用户需求升级,广告服务迎来新纪元

作为一直耕耘在出海一线的企业,汇量科技对客户需求的把握也处于领先位置。奚原在演讲中表示,中国开发者的产品开发和运营方式与2013年有了明显不同,产品导向从原来简单的流量产品变成了现在的用户产品。

流量产品获取成本比较低,但用户留存率表现不佳,面对现在这种市场形势,竞争力明显不足。所以,现在几乎每家企业都开始构建自己的技术中台,不断分析用户获取以及所有环节各项数据指导他们运营。它们投入更多的资金,做对用户来说更有价值的产品。

基于客户需求的变化,反应到汇量科技方面,则更愿意用云原生的架构搭建基础设施。并充分利用亚马逊云科技上各种新的和丰富的服务,支撑每天几乎是一千亿到两千亿的广告请求,以及大量的PB级的模型的建模和校验的工作。

在计算效率提升方面,汇量科技与亚马逊云科技合作,通过微服务包括容器化、无服务架构演进,提高了资源系统效率。其次,亚马逊云科技提供了灵活的架构模型,针对不同的用户场景可以自由选择。

另外,值得一提的是,汇量科技工程师团队基于自己的应用实践,开发出的SpotMax弹性集群管理工具,在保证稳定性的同时,更好地使用低成本资源。节省下来的云计算成本重新投入到产品创新中去,这也是汇量科技是赢得竞争的关键因素之一。

AI帮助企业撑起未来

谈到AI的应用,奚原表示:汇量科技自主开发了一个名为MindAlpha的智能推荐引擎,目前已经应用到广告请求中,每次都会被实时调用,对广告候选进行预估,选择并推送最适合的广告给用户。

MindAlpha每天处理的数据量现在已达数十个PB,使用的模型特征、参数也超过了数百亿,在线的推理量每天是超过10万亿次。

目前Mintegral平台已经具备程序化广告交易链路上每一个环节的全栈能力,每天处理的广告请求在一千亿到两千亿次,而且随着数据的累积不断进行自我的训练和迭代。

算法层面,汇量科技很早就布局了在没有IDFA情况下的用户兴趣建模算法。区别于现在整个行业的通用IDFA算法,汇量科技更多是从两个方面进行创新。一方面是基于用户的上下文去实时获取用户的兴趣建模。另一方面,数据隐私越来越是一个全球关注的话题,汇量科技搭建了一个用户簇,不倚靠单个用户数据,而是一群用户的共同特征,从而提高广告的精准度。

像汇量科技这样的海量业务,如果没有云计算和AI的帮助,这在以前是难以想象的。也正是因为IT技术的飞速发展,让更多复杂的工作变得更加简单,把一切交给AI就够了。