最新大数据开发工程师工作职责(大全十五篇)

时间:2023-04-04 作者:储xy

无论是身处学校还是步入社会,大家都尝试过写作吧,借助写作也可以提高我们的语言组织能力。相信许多人会觉得范文很难写?下面我给大家整理了一些优秀范文,希望能够帮助到大家,我们一起来看一看吧。

大数据开发工程师工作职责篇一

1、负责数据中心和大数据处理平台的搭建

2、在线和离线海量数据分析平台的开发;

3、研究大数据前沿技术,提升系统的运维效率;

4、参与大数据的采集、存储、处理,分析等开发

5、参与数据挖掘算法的设计、对海量数据进行挖掘分析和发掘数据价值及算法学习及实现

【任职要求】:

1、计算机或相关专业本科学历及以上,2年工作经验以上

2、熟悉java/scala等至少一门语言,能对分布式常用技术进行合理应用,解决实际架构问题

3、熟练使用hadoop,hive,hbase,yarn,kafka,spark,storm,flume等大数据开发组件

4、熟悉整个大数据的完整处理流程,包括数据的采集、清洗、存储、分析和可视化及报表开发;

5、熟悉分布式系统概念、架构,有大规模分布式系统设计、实现、部署等经验;

6. 具有优秀的学习能力、独立分析和解决问题能力,良好的团队合作精神。

7. 有bi开发经验的优化考虑。

大数据开发工程师工作职责篇二

职责:

1、负责完成业务和产品的对接,支持业务需求研发;

2、负责完成产品的迭代升级以及底层架构的升级研发;

3、完成团队安排的其他相关日常工作任职要求;

4、负责产品的实时业务和离线业务的研发;

5、支持开源大数据技术在数据系统中的使用,修复、优化增强大数据技术;

岗位要求:

1、具有分布式系统架构开发能力,熟练使用storm、spark hbase者优先。

2、能够使用实时计算平台,进行实时业务数据的研发。

3、能够基于已有平台进行离线业务的开发。

4、有大数据应用产品研发经验,具有数据决策产品研发经验者优先。

大数据开发工程师工作职责篇三

职责:

1、负责数据采集、数据存储、数据查询、数据计算等基础平台的设计和开发工作;

2、利用hadoop、spark、flink等技术进行离线和实时数据开发 ;

3、负责大数据平台的规划升级、平台维护和优化 ;

4、和其他部门或团队沟通、资源协调并落实工作。

任职要求

1、本科及以上学历;

2、3年以上大型大数据平台建设实施经验 ;

3、掌握常用大数据组件hadoop、hive、spark、flink、hbase、elasticsearch等原理、使用和调优 ;

4、具备较强技术功底,精通java、scala、python等至少一种开发语言,能根据需求给出技术架构 ;

5、有数据仓库、元数据管理和治理的开发经验优先 ;

6、善于沟通,思维活跃、责任感强、工作积极主动,有良好的团队协作意识。

大数据开发工程师工作职责篇四

职责:

1.结合项目或产品涉及的具体业务场景,对数据进行清洗、计算与加工;

2.思路清晰,可快速响应数据处理的需求,评估并给出合理的解决方案,并采用合理的方式处理需求;

3.积极主动,能够与团队成员进行有效沟通,并完成数据处理结果的核对与对接;

4.完成上级交办的工作或任务。

岗位要求

1.计算机相关专业大专以上学历;

2.2年以上大数据产品或项目开发经验,精通hadoop生态圈,熟练使用spark,hbase、hive、kafka、redis等;

3.精通sql,熟练使用hsql实现复杂数据处理逻辑,并具备数据处理调优的能力;

4.熟悉linux开发环境,熟悉linux的shell命令。

5.具有良好的逻辑思维能力和严谨的程序开发思想,具备独立问题排查与处理的能力;

6.良好的团队精神和合作意识,强烈的责任心,对工作有激情,良好的沟通能力,能吃苦耐劳;

7.有大数据项目或产品背景者优先;

8.有使用spark sql进行数据处理,并具有spark sql优化经验者优先。

9.有python或者shell脚本开发经验优先

大数据开发工程师工作职责篇五

职责:

1、负责该领域的业务需求讨论,完成技术方案及数据开发;

2、负责数据仓库的体系建设及落地实现;

3、负责大数据平台各类环境的部署及运维、并参与架构优化、性能优化等工作;

4、负责该领域所属模块的代码开发、调试与维护工作,并进行技术沉淀和文档输出。

招聘要求:

1、计算机、电子通信、自动化等专业,本科及以上学历;

2、五年以上研发经验,其中二年以上大数据开发的相关工作经验;

3、熟练java开发语言;熟悉微服务及spring框架;

4、熟练熟练hive、impala、es性能调优,关注细节,学习能力强;

5、能配合团队完成该领域的工作,自我管理能力强,能承受工作中的各种压力,具备很好的团队意识

6、熟练主流大数据平台产品部署及运维,如cdh、hdp平台。

7、对机器学习和深度学习等方面有一定的了解;

8、有汽车制造业及相关行业的大数据开发经验优先。

大数据开发工程师工作职责篇六

职责:

1、根据产品规划、产品的解决方案进行需求分析,根据需求分析进行产品的开发及设计。

2、根据客户发现的问题进行修复处理。

3、根据客户提出的建议给与优化支持。

任职资格:

1、软件基础理论知识扎实,具有良好的数据结构、算法功底。

2、计算机相关专业专科以上学历,如经过专业培训并具备金融汽车行内经验者也可择优录取。

3、1年以上java后端开发经验,了解git和svn,熟练使用maven,springmvc,mybatis等开源框架进行开发。

4、熟悉web及前端技术(包括javascript、ajax、json、jquery、easyui等开发框架),熟悉sql。

5、了解linux系统常用命令及自动化部署。

6、良好的团队合作精神,踏实认真,细心,能动性较强。

大数据开发工程师工作职责篇七

1. 负责app的架构设计和编码;

2. 负责app重要模块的方案设计开发,以及升级维护;


3. 负责app智能设备的对接,功能开发;


4. 负责app相关问题的分析和优化;


5. 主动思考业务需求,从技术层面驱动业务发展;


6. 架构改进及性能优化。



大数据开发工程师工作职责篇八

1、负责数据仓库和大数据处理模块的架构设计和开发;

2、负责实现基于spark框架的分布式计算框架的设计和开发工作;

3、负责spark技术研究和通用数据平台的性能调优;

4、负责大数据项目中,基于kafka、flume、spark streaming、spark sql等相关技术的海量数据的处理、分析、统计、挖掘工作。

5、熟悉scala/java语言,对scala/java原理、底层技术有深入研究者优先;

6、有过海量数据系统开发经验者优先;

7、熟悉hadoop/spark生态系统组件的使用,至少有2年以上的spark开发经验;

8、写过推荐系统的优先考虑

大数据开发工程师工作职责篇九

1.负责mes、wms、qms、tms、spc等制造相关系统的开发、维护工作,保证系统快速、稳定地运行;

2.分析各制造相关部门的需求,对合理需求给出解决方案,并在系统中实现;

3.负责相应系统中权限等设置,保证公司的信息安全;

4.结合系统运行中出现的情况和实际业务状况,对业务部门提出合理的改善建议。

任职资格:

1.本科及以上学历,计算机相关专业,英语水平四级及以上,口语流利者更佳;

2.在制造行业mes领域5年以上开发工作经验。深入研究过一套以上成熟的mes解决方案,能够根据业务需求,提出改善建议。对制造行业信息化的发展趋势,有自己的独到见解;

3.熟练掌握c#、c/c++等开发语言,能够熟练编写wcf、webservice,熟悉jquery等前端脚本框架。在oracle和sqlserver数据库下,精通sql编写和调优,特别是对大批量数据处理需要有相关经验;

4.沟通和表达能力良好,富有团队协作精神。有作为项目负责人带领外包、顾问、组员按时完成目标和做项目管理的能力;

5、在大型电子制造行业信息或开发部门有过多年开发经验的人员优先考虑。

大数据开发工程师工作职责篇十

职责:

1、深刻理解产品/项目需求参与公司产品的设计和核心编码开发;

2、整理基础构件和业务构件,进行优化改造、核心代码编写、沉淀技术积累;

3、负责技术攻关和创新技术引用,解决产品开发过程中的高性能,高并发和高可靠性问题。

4、带领技术团队构架、研发、设计,完成技术平台及产品开发,以及日常维护、升级管理,监督指导团队的整体工作情况;

5、带领团队人员不断提高技术技能和开发效率,从技术层面持续提高用户体验;

6、负责项目管理、开发质量管理、开发进度控制等。

任职要求:

1、本科以上学历,计算机、软件工程相关专业,6年以上java开发经验;

2、有很强的后端开发经验,精通j2ee核心技术,熟悉spring、springmvc、hibernate、activiti、mybatis等开源框架;

3、有较强的前端开发经验,掌握主流前端框架(如jquery、qui等)和主流前端技术;

4、熟练掌握tomcat、apache、weblogic、websphere等应用中间件,具有较强的性能优化能力;

5、熟悉oracle、sql server、mysql等数据库,具有良好的数据库设计能力、sql编写能力、性能调优能力;

6、熟悉分布式、缓存、消息等机制;

7、有一定的文档编写能力;

8、具有一定的项目规划和把控能力,善于捕捉业务需求、架构设计中存在的问题,并给出有效的解决措施和方法;

9、具有丰富的项目组织管理经验和优秀的统筹、组织协调能力,良好的沟通能力,思维活跃,有较强的创造力。

大数据开发工程师工作职责篇十一

1. 建立和维护公司it项目建设管理的规章制度;

2. 项目进度跟踪和控制,风险识别,里程碑监控、项目成本管理;

3. 根据公司it系统需求和系统设计要求,进行详细分析、设计,编写设计文档,进行功能模块的代码编写工作;

4. 协助进行公司it系统架构设计,技术规划及技术可行性分析,对公司it系统架构方案提出优化改进建议,提高系统架构质量;

5. 根据开发规范编写各种开发文档及项目文档;

6. 评估项目交付件,对系统质量负责。

7. 对于开发外包项目,作为开发接口人与供应商进行系统开发对接,对开发进度进行管理控制,修正开发偏差。

8. 上级领导安排的其他工作。

大数据开发工程师工作职责篇十二

1、与产品人员沟通,掌握相关功能需求的相关背景、业务流程和要实现的目标

2、与技术经理沟通,对开发计划达成一致,理解项目的概要设计、相关系统流程和数据库设计

3、按照开发经理安排,完成功能模块详细设计、代码实现,自测。

4、完成项目相关bug修复

5、严格遵守开发规范

6、当天安排的工作当天完成,及时向项目经理汇报工作进度。

7、根据需要,编写和完善项目相关文档。

大数据开发工程师工作职责篇十三

职责

1负责研发公司应用软件、基础平台组件的模块设计、开发、单元测试和交付

2编写技术文档,为使用平台组件的应用开发团队提供技术支援

3关注新技术,对新技术进行调研和引入

应聘要求:

1. 本科或以上学历, 计算机或相关专业背景。5年以上java开发经验

2. 有较强的java语言功底,熟悉i/o、多线程、集合等基础知识,熟悉分布式、缓存、微服务、消息等机制

3. 熟悉j2ee架构和相关的java开发技术,熟悉maven的使用,精通spring / spring boot、spring mvc、spring data jpa、 restful定义与开发等,能快速适应现有ui框架

4. 熟悉mysql数据库,熟悉关系数据库逻辑和物理建模,熟练使用sql语言,熟悉linux环境及常用命令

5. 热爱技术,喜欢钻研,能对已有框架进行扩展的能力

6. 能够独立担当功能模块的设计开发,具备较强的问题排查及分析能力,快速定位并解决,具有良好的开发文档编写能力

大数据开发工程师工作职责篇十四

职责

1、负责公司企业saas产品线与相关平台的后端核心技术和业务开发;

2、接收产品部设计,带领前端开发,配合产品与测试团队,实现产品设计等相关工作,逐步完善软件产品架构;

3、配合技术总监,负责和参与相关技术的技术选型和核心代码编写,拟定技术标准;

4、负责技术团队建设及技术培训工作,带领团队钻研新的技术;

5、跟踪和研究it新技术、新产品的发展方向,推动新技术应用。

任职条件

1、计算机、软件工程专业本科或以上学历,5年以上java的开发经验,企业产品与业务理解能力优秀;

2、深刻了解常用java框架(spring, mybatis,hibernate等),能够整合和开发自有框架、开发工具;

3、具有设计并实现高并发、高可用java应用的能力。熟悉分布式缓存、分布式存储技术方案;

4、熟悉linux环境与tcp网络,熟悉容器(tomcat等)的配置和使用,了解shell脚本工具;

5、思路清晰,善于思考,能独立分析和解决问题;责任心强,具备良好的团队合作精神;

6、能够平衡业务需求与技术架构,具备较强的逻辑思维能力和表达沟通能力,有很强的自学能力,喜欢钻研技术。

大数据开发工程师工作职责篇十五

职责:

1.负责网站代码的开发、维护及相关接口对接工作;

2.完成网站程序模块代码实现,编写代码注释和开发文档;

3.辅助进行网站系统的功能定义、程序设计,分析并解决软件开发过程中的问题;

4.协助制定测试计划,定位发现问题,定期维护网站程序,处理反快回来的系统bug;

5.完成上级交代的其他事情。

要求:

1、精通php+mysql,具备扎实的代码功底以及良好的编程习惯

2、有电商平台、微信公众号、小程序开发经验优先

3、熟练使用laravel框架,熟练操作linux

4、需要有电商系统开发经验,熟悉ecshop开发

相关范文推荐

    产品策划跟产品经理的区别(汇总十六篇)

    每个人都曾试图在平淡的学习、工作和生活中写一篇文章。写作是培养人的观察、联想、想象、思维和记忆的重要手段。大家想知道怎么样才能写一篇比较优质的范文吗?这里我整理

    广告策划经理岗位职责通用(14篇)

    在日常学习、工作或生活中,大家总少不了接触作文或者范文吧,通过文章可以把我们那些零零散散的思想,聚集在一块。相信许多人会觉得范文很难写?以下是我为大家搜集的优质

    产品策划专员岗位职责 产品策划职位要求大全(11篇)

    无论是身处学校还是步入社会,大家都尝试过写作吧,借助写作也可以提高我们的语言组织能力。范文怎么写才能发挥它最大的作用呢?下面是小编帮大家整理的优质范文,仅供参考

    2023年广告策划岗位职责 广告策划经理求职简历优秀(十二篇)

    每个人都曾试图在平淡的学习、工作和生活中写一篇文章。写作是培养人的观察、联想、想象、思维和记忆的重要手段。那么我们该如何写一篇较为完美的范文呢?下面我给大家整理

    学期团日活动总结100字(精选十篇)

    总结是对过去一定时期的工作、学习或思想情况进行回顾、分析,并做出客观评价的书面材料,它可使零星的、肤浅的、表面的感性认知上升到全面的、系统的、本质的理性认识上来

    最新学生谈话心得体会 谈话心得体会(大全10篇)

    心得体会是指个人在经历某种事物、活动或事件后,通过思考、总结和反思,从中获得的经验和感悟。那么你知道心得体会如何写吗?那么下面我就给大家讲一讲心得体会怎么写才比

    快递转让合同书(汇总8篇)

    现今社会公众的法律意识不断增强,越来越多事情需要用到合同,合同协调着人与人,人与事之间的关系。那么大家知道正规的合同书怎么写吗?下面我就给大家讲一讲优秀的合同该

    房屋铺位出租合同(精选9篇)

    在人们越来越相信法律的社会中,合同起到的作用越来越大,它可以保护民事法律关系。优秀的合同都具备一些什么特点呢?又该怎么写呢?下面我给大家整理了一些优秀的合同范文

    2023年服装设计师工作职责归纳整合(实用三篇)

    无论是身处学校还是步入社会,大家都尝试过写作吧,借助写作也可以提高我们的语言组织能力。大家想知道怎么样才能写一篇比较优质的范文吗?接下来小编就给大家介绍一下优秀

    2023年食品安全班会演讲稿(模板10篇)

    演讲稿首先必须开头要开门见山,既要一下子抓住听众又要提出你的观点,中间要用各种方法和所准备的材料说明、支持你的论点,感染听众,然后在结尾加强说明论点或得出结论,