岗位职责:

1、数据处理与管理:

  • 设计、开发和维护高效的数据管道,确保数据从多个来源无缝集成、清洗、转换和加载;
  • 优化和提升现有数据处理流程,确保数据质量和一致性;
  • 监控数据管道的运行状况,快速响应并解决数据问题;

2、数据存储与架构:

  • 设计和实现高效的数据库和数据仓库架构,支持大规模数据存储和查询;
  • 选择和应用合适的存储技术(如SQL、NoSQL、分布式文件系统)以满足业务需求;

3、特征工程:

  • 与算法工程师合作,设计和构建高质量的特征工程流程,以支持广告算法模型的训练和预测;
  • 提取、生成和优化特征,确保特征在模型中的有效性和稳定性;
  • 研究和应用新颖的特征工程技术,提升模型的性能和效果;

4、性能优化:

  • 进行系统性能分析和调优,确保数据处理任务高效执行;
  • 解决数据处理过程中的瓶颈问题,提升系统的扩展性和稳定性;

任职要求:

1、本科及以上学历,3年以上大数据工作经验,具备架构、数据仓库设计相关经验;

2、熟练使用并理解Hadoop架构和生态(Spark、Flink、Hive等);

3、熟练python、java、scala等任意两种开发语言;

4、具有SQL调优的调优经验;

5、分布式实时计算平台架构和开发相关经验优先;

6、有能力进行平台调优和业务支撑设计;

7、具有团队合作、良好的沟通技巧和主动挑战困难能力。

base 北京~ 公司福利丰富,待遇优厚,年终多薪,工作不卷不加班~

戳我直接内推~

或者私信我发简历~

可跟进内推进度~

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐