弥合AI大规模落地的巨大缺口！阿里、腾讯、百度等联合推出互联网服务AI基准

作者评估了 16 节点 CPU 集群上的在线服务器性能。产品数据库包含 10 万个具有 32 个属性字段的产品。查询生成器用 30 秒的预热时间模拟 1000 个用户。用户在每个思考时间间隔内连续发送查询请求，遵循泊松分布。当 20000 个查询请求完成时，收集性能数据。

图 3：在线服务器延迟

延迟是衡量服务质量的重要指标。图 3 给出了在线服务器的延迟。如图 3（a）所示，当前基准实现的整个执行路径的总延迟的平均值、第 90 百分位和 99 百分位对应分别为 161.13 毫秒、392 毫秒和 956 毫秒。作者进一步深入分析了每个模块的延迟（图 3b），推荐器占据了最大的延迟：平均延迟 75.7 毫秒， 90 百分位延迟 209.4 毫秒，99 百分位延迟 557.7 毫秒。相比之下，搜索器和推荐求的延迟都在 4 毫秒之内。

此外，图 3（c）给出了推荐器在查询解析、用户数据库访问、类别预测和 TensorFlow 服务方面的延迟分解。作者发现数据库访问和 TensorFlow 服务延迟是影响服务性能的前两个因素。复杂的数据结构和频繁的垃圾收集对数据访问速度有很大的影响。而 TensorFlow 服务则需要使用推荐模型进行前向推理，从而产生较大的延迟。为了衡量 AI 组件对服务性能的影响，找出瓶颈，作者从以下几个方面进行了讨论。

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!