时间:2024-07-23 来源:网络搜集 关于我们 0
在招岗位:大数据基础架构资深工程师(计算引擎方向)
公司:哔哩哔哩
坐标:上海
📮简历投递邮箱:(投递备注来源于DataFun)
chenyukang@bilibili.com
职位描述:
B站离线平台为 B站大数据离线场景提供底层基础设施支持,包括计算,存储,调度,安全等。
B站大数据基础架构资深工程师(计算引擎方向)工作职责包括:
1.支撑B站的Hadoop技术栈(Hadoop, HDFS, Yarn, Spark, Presto, Kyuubi,Ranger, Hive, Alluxio, Ozone等)的开发和管理,解决实际业务挑战
2. 与开源社区保持交流,发现对业务场景有帮助的特性并引入生产环境,或将经内部验证的特性贡献到社区
3. 熟悉 Hadoop/Spark/Presto 主流大数据系统原理及源码(不要求熟悉所有技术栈),对社区有贡献者加分
4. 解决性能优化、容量规划等问题,保障集群高效稳定经济运行
5. 良好的 Java/Scala/C++ 编程基础
6. 具备大规模系统的故障诊断与性能优化能力
任职要求:
1. 对 Hadoop/Spark/Flink/Presto 等开源大数据计算框架以及场景有深入研究或有实践经验
2. 熟悉 SQL 引擎内核优化,如优化器/codegen/vectorization/索引等
3. 精通 Java/Scala/C++ 编程语言
4. 具备大规模分布式系统的研发和优化能力