当前位置：首页 > news >正文

鹰角：EMR Serverless Spark 在《明日方舟》游戏业务的应用

news 来源：原创 2025/8/27 19:16:02

作者：鹰角网络高级大数据研发茅旭辉

背景介绍

鹰角网络是一家年轻且富有创新的游戏公司，致力于开发充满挑战性和艺术价值的游戏产品。公司目前涵盖了游戏开发、运营和发行的全生命周期业务。随着业务的扩展，鹰角网络从单一爆款游戏发展到多赛道、多平台、全球化的战略布局，在数据业务上进行了全面的优化和升级。

从业务上看，以《明日方舟》为代表的长线运营游戏，具有相对高频的活动周期和丰富多样的活动玩法，反映到数据层面则是数据需求量高、潮汐现象显著，需要高效的开发模式支持和灵活的弹性资源供给。我们的数据支持不仅仅有传统的BI报表形式，更是深入集成到游戏玩法和运营层面透出，对于引擎稳定性有强烈诉求。另外，内部面向业务的分析跑数场景，存在基于Thrift Server等能力扩展支持的诉求。

为什么选择阿里云EMR Serverless Spark

原有架构痛点

在业务发展过程中，原有架构逐渐暴露出了如下痛点：

产品功能上，缺少外部Catalog支持和DolphinScheduler等流行调度引擎集成支持
引擎性能上，社区兼容性相对较低产生稳定性问题，且不支持Remote Shuffle Service服务导致性能问题
服务保障上，技术支持力度较弱，在用户痛点发掘和产品迭代方面做的不足

EMR Serverless Spark优势

我们期待的云原生大数据架构是基于开放生态、资源弹性、可插拔集成理念下的半托管+全托管灵活组合架构，而EMR Serverless Spark正是完美匹配这套理念的重要一环。它是一款兼容开源 Spark 的高性能 Lakehouse 产品，为用户提供任务开发、调试、发布、调度和运维等全方位的产品化服务，显著简化了大数据计算的工作流程，使用户能更专注于数据分析和价值提炼，具备如下核心优势：

丰富的功能支持
- 元数据管理：支持管理Paimon Catalog，并且支持对接外部Hive MetaStore元数据服务。
- 调度引擎支持：提供了Airflow、DolphinScheduler等多种调度引擎无缝集成。
- 资源管理模型：提供了易于理解的三级资源管理模型（工作空间、队列、会话）和细粒度的队列资源监控。
- 生态能力：提供了Spark Thrift Server、Notebook等多种生态功能，便于业务灵活使用。
优秀的引擎性能
- Shuffle性能：内置Celeborn服务，解决了大Shuffle场景下的磁盘限制问题。
- SQL执行引擎：内置的高性能Fusion引擎，为计算加速提供支持。
- 稳定性：100%保持社区兼容性，并积极修复潜在Bug。
- 版本支持：持续追踪Spark社区版本，提供多版本迭代支持和完整的引擎特性使用。
完善的服务保障
- 问题响应：提供了专业的技术咨询和解决方案支持，增强合作信任度。
- 产品规划：提供了清晰的产品迭代规划，持续解决用户痛点场景。

技术方案设计

数据采集

在数据采集和管理方面，我们采用了自研的埋点工具来获取和管理日志数据，并利用Flink CDC技术同步数据库表。这确保了数据的实时性和准确性，为后续的数据分析提供了可靠的基础。

离线调度

在离线调度方面，我们实施了两种策略一种引擎，一是使用Airflow服务支持有代码基础的研发用户，同时为普通数据分析师和数仓研发提供了DolphinScheduler服务，这两种调度系统都实现了对 EMR Serverless Spark 的对接，满足平台服务的灵活性。

我们选择了 Serverless Spark 作为其离线计算引擎，相比于之前的架构，Serverless Spark显著减少了运维成本，并提高了系统的稳定性和可靠性。其 Celeborn 能力解决了大 Shuffle 任务操作中的磁盘限制问题，同时任务状态与调度工具实现了强一致性，无需二次确认，进一步优化了数据处理流程。

在线计算

为了支持在线计算和数据应用，我们使用Starrocks进行在线计算，高质量的指标数据通过智能BI系统实现可视化实时展示，并提供了清晰的业务洞察。同时，数据还被整合到经营分析平台，为其业务发展提供了统一支持。数据也应用于算法团队进行业务探索与数据科学分析。

典型应用场景

DolphinScheduler 集成作业开发

Serverless Spark在DolphinScheduler中集成了专用的作业类型ALIYUN_SERVERLESS_SPARK，支持SQL、SQL File、Jar包等多种作业形式。我们在本地Git仓库开发作业，通过CI流程部署到OSS存储路径下，并使用SQL File/Jar作业类型，提交相应的作业文件到Serverless Spark执行计算。

Thrift Server 支持 Ad-Hoc

Serverless Spark内置了Thrift Server服务，支持通过JDBC的方式连接Spark执行SQL查询，提供了便捷将Spark环境与其他数据分析工具集成的途径。目前Spark Thrift Server能力在内部主要支持以下两类场景：

以产品运营人员为主的Ad-Hoc分析场景，期望通过Spark引擎执行SQL查询，但希望忽略资源配置等非必要信息，可以直接使用DolphinScheduler内置的SQL作业类型 + Spark数据源进行简单查询。同时Spark Thrift Server会话支持动态资源配置，可以自适应支持Ad-Hoc查询所需资源。
以数仓研发为主的数据结果返回场景，能够拿到SQL查询结果并传递给下游作业使用。

迁移后的收益

通过这一系列技术栈的优化，我们不仅优化了数据管理和分析流程，还有效支持了公司的全球化战略和业务扩展，目前我们已经在海外基于 EMR Serverless Spark 搭建类似数据架构。

EMR Serverless Spark主要给我们带来了以下收益：

1. 研发效率提升，支持业务快速发展

迁移到EMR Serverless Spark + DolphinScheduler架构后，使用Spark SQL会话功能快速开发验证+DolphinScheduler生产调度的模式，研发效率显著提升，多次保障了关键活动节点的数据产出支持。

2. 计算效率提升，增强SLA保障

在以用户宽表为代表的指标计算场景下，单作业计算用时从30分钟降低到15分钟，计算加速50%；核心SLA链路整体产出时间缩短1.5小时，大幅增强了SLA保障能力。

3. 稳定性提升，降低运维压力

EMR Serverless Spark 的多版本管理能力为用户提供了灵活的选择空间，支持快速升级至最新优化版本，确保用户始终享有最稳定的运行体验。

总结及后续期待

经过了业务实践证明，EMR Serverless Spark在大数据研发下Spark生态领域的经典业务场景具备了足够的优势。对于未来，我们期望它能继续以开放原则发展Lakehouse生态能力，例如统一Catalog管理等能力，并逐步覆盖更多的边缘场景和探索型场景。