腾讯云文件存储CFS如何以40GB/s高吞吐应对新基建挑战？

采用CFS优势在于它可以提供高吞吐、低延时用于视频渲染，同时可以将用户希望长期保存的数据沉淀在COS中进行持久化存储，降低成本。最终的方案在腾讯云的云总机上部署媒资管理系统，同时使用CFS作为渲染存储库，通过COS进行分发。

第三个案例，动画电影制作。需要执行高吞吐、高并发计算任务，客户现行的方案是使用IDC机房计算节点加上商用文件存储形式，痛点是动画后期渲染IDC计算节点不足、存储性能不足，导致渲染耗时很长，无法满足电影按时上线的需求。采用CFS的优势，腾讯云能够提供弹性伸缩高吞吐的文件存储，而且也支持标准的NFS协议，并且可以方便地协同低成本的计算实例。最终的方案，客户原始素材通过专线上传到CFS，同时超过1000+云主机进行渲染作业，客户峰值吞吐达到160Gbps，整体时长降低了28%，保证了电影按时上线。

第四个案例，教育行业AI训练，教育场景是小文件、低延时。客户现行方案是CVM+自建HDFS+COS。现行方案的一个痛点是转码平台原对接云上自建HDFS，其延时性能不佳、维护耗时。使用CFS的优势在于CFS可以提供低延时、高吞吐的云服务，同时可以很大程度上提升转的码平台的效率。加速模型优化，最终的方案也是使用CFS，是无缝替换CFS的集群。

第五个案例，短视频训练和推理。该客户直接采用CFS加COS文案，训练的流程是COS读取后，在TKE上训练分析，并发挂载量是几十个Node，单文件大小是几百KB到2MB左右文件，数量百万到千万级。为了满足写吞吐的需求，采用异步操作的模型，从COS预拉取进行系统。读吞吐峰值可以打满10GB/s，因此训练模型30分钟，因此训练过程+模型发布最短要求为30分钟。客户端是GPU，而发布的流程则是训练完成后将最终的模型存储到CFS上，业务的Pod就需要在最短的时间内完成，并发挂载量是100以内的Pod，文件大小是10GB到30GB之间，读吞吐的分级是实际运营的，需要10分钟以内做完，而数据的更新频率是在最短30分钟时间内发布模型。

CFS如何在新基建中发挥作用?

首先是客户业务场景的分析。广告推荐顾名思义，我们在使用期间会看到各种消费的小弹窗、小视频等等，结合用户模型为用户提供最精准的广告，从而提高营销资金的利用率。CFS参与应用广告推荐的具体业务流程主要分为三步。第一步模型发布，广告客户模型在训练中心完成，训练完成之后将模型文件发布到腾讯云。第二部分是业务应用获取模型，客户在腾讯云上使用了三个T的云系集群，共计超过4000node，或者超过8000个，以分担业务的压力。这些Pod将几十GB的数据模型全部加载后应用才能启动。

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!