大数据开发工程师有哪些岗位?
2024-05-16 13:06
1. 大数据开发工程师有哪些岗位?
1、大数据开发工程师：开发，建设，测试和维护架构;负责公司大数据平台的开发和维护，负责大数据平台持续集成相关工具平台的架构设计与产品开发等。 2、数据分析师：收集，处理和执行统计数据分析;运用工具，提取、分析、呈现数据，实现数据的商业意义，需要业务理解和工具应用能力。 3、数据挖掘工程师：数据建模、机器学习和算法实现;商业智能，用户体验分析，预测流失用户等;需要过硬的数学和统计学功底以外，对算法的代码实现也有很高的要求。 4、数据架构师：需求分析，平台选择，技术架构设计，应用设计和开发，测试和部署;高级算法设计与优化;数据相关系统设计与优化，需要平台级开发和架构设计能力。 5、数据库开发：设计，开发和实施基于客户需求的数据库系统，通过理想接口连接数据库和数据库工具，优化数据库系统的性能效率等。 6、数据库管理：数据库设计、数据迁移、数据库性能管理、数据安全管理，故障检修问题、数据备份、数据恢复等。 7、数据科学家：数据挖掘架构、模型标准、数据报告、数据分析方法;利用算法和模型提高数据处理效率、挖掘数据价值、实现从数据到知识的转换。 8、数据产品经理：把数据和业务结合起来做成数据产品;平台线提供基础平台和通用的数据工具，业务线提供更加贴近业务的分析框架和数据应用。
2. 大数据开发工程师以后可以从事哪些岗位？
大数据就业前景 伴随着大数据技术的成熟，大数据应用的普及和发展才刚刚开始，我们预计未来二十年，甚至更长一段时间都是大数据黄金发展阶段，相关的行业将引来巨大的发展机遇。大部分行业都需要，市场、营销、运营相关的需求很多。大数据不是职位，学完大数据认证后你可以从事大数据挖掘专家，高级行业分析师，大数据业务架构师，大数据架构师，大数据算法工程师，大数据开发工程师，大数据运维工程师。不管是国内还是国外，大数据相关的人才都是供不应求的局面。目前市场急需运用大数据分析结果的大数据相关管理人才。 据数联寻英发布《大数据人才报告》显示，目前全国的大数据人才仅46万，未来3-5年内大数据人才的缺口将高达150万。 据职业社交平台LinkedIn发布的《2016年中国互联网最热职位人才报告》显示，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大，而数据分析人才最为稀缺。领英报告表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。 大数据就业方向 1. Hadoop大数据开发方向 市场需求旺盛，大数据培训的主体，目前IT培训机构的重点。 对应岗位：大数据开发工程师、爬虫工程师、数据分析师等。 2. 数据挖掘、数据分析&机器学习方向 学习起点高、难度大，市面上只有很少的培训机构在做。 对应岗位：数据科学家、数据挖掘工程师、机器学习工程师等。 3. 大数据运维&云计算方向 市场需求中等，更偏向于Linux、云计算学科。 对应岗位：大数据运维工程师
3. 大数据工程师和大数据开发工程师的职能有何区别
大数据工程师和大数据开发工程师两者之间没有区别。大数据工程师指的就是大数据开发工程师。大数据工程师（即大数据开发工程师）从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务。 大数据工程师（即大数据开发工程师）的职能如下： 1、大数据采集（爬虫）、大数据清洗（ETL工程师）、大数据建模（算法工程师）与大数据分析（数据分析员）。 2、管理、分析展现及应用等技术（大数据开发工程师）。 3、研究、应用大数据平台体系架构、技术和标准。 4、设计、开发、集成、测试大数据软硬件系统。 5、管理、维护并保障大数据系统稳定运行。 6、监控、管理和保障大数据安全。 7、提供大数据的技术咨询和技术服务。 扩展资料： 大数据工程师（即大数据开发工程师）的技能要求： 1、精通Java技术知识，熟悉Spark、kafka、Hive、HBase、zookeeper、HDFS、MR等应用设计及开发。 2、了解python/shell等脚本语言。 3、熟悉大数据平台架构，对ETL、数据仓库等有一定了解。 4、有数据可视化、数据分析、数学模型建立相关经验者优先考虑。 5、有爬虫系统开发经验者优先。
4. 大数据工程师和大数据开发工程师的职能有何区别
大数据工程师和大数据开发工程师两者之间没有区别。大数据工程师指的就是大数据开发工程师。大数据工程师（即大数据开发工程师）从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务。 大数据工程师（即大数据开发工程师）的职能如下： 1、大数据采集（爬虫）、大数据清洗（ETL工程师）、大数据建模（算法工程师）与大数据分析（数据分析员）。 2、管理、分析展现及应用等技术（大数据开发工程师）。 3、研究、应用大数据平台体系架构、技术和标准。 4、设计、开发、集成、测试大数据软硬件系统。 5、管理、维护并保障大数据系统稳定运行。 6、监控、管理和保障大数据安全。 7、提供大数据的技术咨询和技术服务。 扩展资料： 大数据工程师（即大数据开发工程师）的技能要求： 1、精通Java技术知识，熟悉Spark、kafka、Hive、HBase、zookeeper、HDFS、MR等应用设计及开发。 2、了解python/shell等脚本语言。 3、熟悉大数据平台架构，对ETL、数据仓库等有一定了解。 4、有数据可视化、数据分析、数学模型建立相关经验者优先考虑。 5、有爬虫系统开发经验者优先。
5. 大数据架构师岗位的主要职责概述
大数据架构师岗位的主要职责概述 篇1 职责： 1、负责大数据平台及BI系统框架设计、规划、技术选型，架构设计并完成系统基础服务的开发; 2、负责海量埋点规则、SDK标准化、埋点数据采集、处理及存储，业务数据分布存储、流式/实时计算等应用层架构搭建及核心代码实现; 3、开发大数据平台的核心代码，项目敏捷开发流程管理，完成系统调试、集成与实施，对每个项目周期技术难题的解决，保证大数据产品的上线运行; 4、负责大数据平台的架构优化，代码评审，并根据业务需求持续优化数据架构，保证产品的可靠性、稳定性; 5、指导开发人员完成数据模型规划建设，分析模型构建及分析呈现，分享技术经验; 6、有效制定各种突发性研发技术故障的应对预案，有清晰的隐患意识; 7、深入研究大数据相关技术和产品，跟进业界先进技术; 任职要求 1、统计学、应用数学或计算机相关专业大学本科以上学历; 2、熟悉互联网移动端埋点方法(点击和浏览等行为埋点)，无埋点方案等，有埋点SDK独立开发经验者优选; 3、熟悉Hadoop，MR/MapReduce，Hdfs，Hbase，Redis，Storm，Python，zookeeper，kafka，flinkHadoop，hive，mahout，flume，ElasticSearch，KafkaPython等，具备实际项目设计及开发经验; 4、熟悉数据采集、数据清洗、分析和建模工作相关技术细节及流程 5、熟悉Liunx/Unix操作系统，能熟练使用shell/perl等脚本语言，熟练掌握java/python/go/C++中一种或多种编程语言 6、具备一定的算法能力，了解机器学习/深度学习算法工具使用，有主流大数据计算组件开发和使用经验者优先 7、熟悉大数据可视化工具Tableau/echarts 8、具有较强的执行力，高度的责任感、很强的学习、沟通能力，能够在高压下高效工作; 大数据架构师岗位的主要职责概述 篇2 职责： 根据大数据业务需求，设计大数据方案及架构，实现相关功能; 搭建和维护大数据集群，保证集群规模持续、稳定、高效平稳运行; 负责大数据业务的设计和指导具体开发工作; 负责公司产品研发过程中的数据及存储设计; 针对数据分析工作，能够完成和指导负责业务数据建模。 职位要求： 计算机、自动化或相关专业(如统计学、数学)本科以上学历，3年以上大数据处理相关工作经验; 精通大数据主流框架(如Hadoop、hive、Spark等); 熟悉MySQL、NoSQL(MongoDB、Redis)等主流数据库，以及rabbit MQ等队列技术; 熟悉hadoop/spark生态的原理、特性且有实战开发经验; 熟悉常用的数据挖掘算法优先。 大数据架构师岗位的主要职责概述 篇3 职责： 1、大数据平台架构规划与设计; 2、负责大数据平台技术框架的选型与技术难点攻关; 3、能够独立进行行业大数据应用的整体技术框架、业务框架和系统架构设计和调优等工作，根据系统的业务需求，能够指导开发团队完成实施工作; 4、负责数据基础架构和数据处理体系的升级和优化，不断提升系统的稳定性和效率，为相关的业务提供大数据底层平台的支持和保证; 5、培养和建立大数据团队，对团队进行技术指导。 任职要求： 1、计算机相关专业的背景专业一类院校毕业本科、硕士学位，8年(硕士5年)以上工作经验(至少拥有3年以上大数据项目或产品架构经验); 2、精通Java，J2EE相关技术，精通常见开源框架的架构，精通关系数据库系统(Oracle MySQL等)和noSQL数据存储系统的原理和架构; 3、精通SQL和Mapreduce、Spark处理方法; 4、精通大数据系统架构，熟悉业界数据仓库建模方法及新的建模方法的发展，有DW，BI架构体系的专项建设经验; 5、对大数据体系有深入认识，熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大数据技术，并能设计相关数据模型; 6、很强的学习、分析和解决问题能力，可以迅速掌握业务逻辑并转化为技术方案，能独立撰写项目解决方案、项目技术文档; 7、具有较强的内外沟通能力，良好的团队意识和协作精神; 8、机器学习技术、数据挖掘、人工智能经验丰富者优先考虑; 9、具有能源电力行业工作经验者优先。 大数据架构师岗位的主要职责概述 篇4 职责： 1.参与公司数据平台系统规划和架构工作，主导系统的架构设计和项目实施，确保项目质量和关键性能指标达成; 2.统筹和推进制造工厂内部数据系统的构建，搭建不同来源数据之间的逻辑关系，能够为公司运营诊断、运营效率提升提供数据支持; 3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作 5.根据现状制定总体的数据治理方案及数据体系建立，包括数据采集、接入、分类、开发标准和规范，制定全链路数据治理方案;深入挖掘公司数据业务，超强的数据业务感知力，挖掘数据价值，推动数据变现场景的落地，为决策及业务赋能; 6.定义不同的数据应用场景，推动公司的数据可视化工作，提升公司数据分析效率和数据价值转化。 任职要求： 1.本科以上学历，8年以上软件行业从业经验，5年以上大数据架构设计经验，熟悉BI平台、大数据系统相关技术架构及技术标准; 2.熟悉数据仓库、熟悉数据集市，了解数据挖掘、数据抽取、数据清洗、数据建模相关技术; 3.熟悉大数据相关技术：Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ; 4.熟悉制造企业信息化系统及相关数据库技术; 5.具备大数据平台、计算存储平台、可视化开发平台经验，具有制造企业大数据系统项目开发或实施经验优先; 6.对数据敏感，具备优秀的业务需求分析和报告展示能力，具备制造企业数据分析和数据洞察、大数据系统的架构设计能力，了解主流的报表工具或新兴的前端报表工具; 7.有较强的沟通和组织协调能力，具备结果导向思维，有相关项目管理经验优先。 大数据架构师岗位的.主要职责概述 篇5 职责： 1.负责产品级业务系统架构(如业务数据对象识别，数据实体、数据属性分析，数据标准、端到端数据流等)的设计与优化。协助推动跨领域重大数据问题的分析、定位、解决方案设计，从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性，并对系统质量负责。 2.负责云数据平台的架构设计和数据处理体系的优化，推动云数据平台建设和持续升级，并制定云数据平台调用约束和规范。 3.结合行业应用的需求负责数据流各环节上的方案选型，主导云数据平台建设，参与核心代码编写、审查;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。 4.对云数据平台的关注业内技术动态，持续推动平台技术架构升级，以满足公司不同阶段的数据需求。 任职要求： 1.熟悉云计算基础平台，包括Linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基础环境，熟悉控制、计算、存储和网络; 2.掌握大型分布式系统的技术栈，如：CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟悉大数据应用端到端的相关高性能产品。 3.精通Java，Python，Shell编程语言，精通SQL、NoSQL等数据库增删改查的操作优化; 4.PB级别实战数据平台和生产环境的实施、开发和管理经验; 5.熟悉Docker等容器的编排封装，熟悉微服务的开发和日常调度; 6.计算机、软件、电子信息及通信等相关专业本科以上学历，5年以上软件工程开发经验，2年以上大数据架构师工作经验。 大数据架构师岗位的主要职责概述 篇6 职责描述： 1、负责集团大数据资产库的技术架构、核心设计方案，并推动落地； 2、带领大数据技术团队实现各项数据接入、数据挖掘分析及数据可视化； 3、新技术预研，解决团队技术难题。 任职要求： 1、在技术领域有5年以上相关经验，3年以上的架构设计或产品经理经验； 2、具有2年以上大数据产品和数据分析相关项目经验； 3、精通大数据分布式系统（hadoop、spark、hive等）的架构原理、技术设计；精通linux系统；精通一门主流编程语言，java优先。 大数据架构师岗位的主要职责概述 篇7 岗位职责： 1、基于公司大数据基础和数据资产积累，负责大数据应用整体技术架构的设计、优化，建设大数据能力开放平台；负责大数据应用产品的架构设计、技术把控工作。 2、负责制定大数据应用系统的数据安全管控体系和数据使用规范。 3、作为大数据技术方案到产品实现的技术负责人，负责关键技术点攻坚工作，负责内部技术推广、培训及知识转移工作。 4、负责大数据系统研发项目任务规划、整体进度、风险把控，有效协同团队成员并组织跨团队技术协作，保证项目质量与进度。 5、负责提升产品技术团队的技术影响力，针对新人、普通开发人员进行有效辅导，帮助其快速成长。 任职资格： 1、计算机、数学或相关专业本科以上学历，5—20xx年工作经验，具有大型系统的技术架构应用架构数据架构相关的实践工作经验。 2、有分布式系统分析及架构设计经验，熟悉基于计算集群的软件系统架构和实施经验。 3、掌握Hadoop/Spark/Storm生态圈的主流技术及产品，深入了解Hadoop/Spark/Storm生态圈产品的工作原理及应用场景。 4、掌握Mysql/Oracle等常用关系型数据库，能够对SQL进行优化。 5、熟悉分布式系统基础设施中常用的技术，如缓存（Varnish、Memcache、Redis）、消息中间件（Rabbit MQ、Active MQ、Kafka、NSQ）等；有实践经验者优先。 6、熟悉Linux，Java基础扎实，至少3—5年以上Java应用开发经验，熟悉常用的设计模式和开源框架。 大数据架构师岗位的主要职责概述 篇8 岗位职责： 1、负责公司大数据平台架构的技术选型和技术难点攻关工作； 2、依据行业数据现状和客户需求，完成行业大数据的特定技术方案设计与撰写； 3、负责研究跟进大数据架构领域新兴技术并在公司内部进行分享； 4、参与公司大数据项目的技术交流、解决方案定制以及项目的招投标工作； 5、参与公司大数据项目前期的架构设计工作； 任职要求： 1、计算机及相关专业本科以上，5年以上数据类项目（数据仓库、商务智能）实施经验，至少2年以上大数据架构设计和开发经验，至少主导过一个大数据平台项目架构设计； 2、精通大数据生态圈的技术，包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive，具备数据统计查询性能优化能力。熟悉星环大数据产品线及有过产品项目实施经验者优先； 3、优秀的方案撰写能力，思路清晰，逻辑思维强，能够根据业务需求设计合理的解决方案； 4、精通ORACLE、DB2、mySql等主流关系型数据库，熟悉数据仓库建设思路和数据分层架构思想； 5。熟练掌握java、R、python等1—2门数据挖掘开发语言； 6。熟悉云服务平台及微服务相关架构思想和技术路线，熟悉阿里云或腾讯云产品者优先； 7、有烟草或制造行业大数据解决方案售前经验者优先； 8、能适应售前支持和项目实施需要的短期出差； 大数据架构师岗位的主要职责概述 篇9 岗位职责： 1、负责相关开源系统/组件的性能、稳定性、可靠性等方面的深度优化； 2、负责解决项目上线后生产环境的各种实际问题，保障大数据平台在生产上的安全、平稳运行； 3、推动优化跨部门的业务流程，参与业务部门的技术方案设计、评审、指导； 4、负责技术团队人员培训、人员成长指导。 5、应项目要求本月办公地址在锦江区金石路316号新希望中鼎国际办公，月底项目结束后在总部公司办公 任职要求： 1、熟悉linux、JVM底层原理，能作为技术担当，解决核心技术问题； 2、3年以上大数据平台项目架构或开发经验，对大数据生态技术体系有全面了解，如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等； 3、掌握git、maven、gradle、junit等工具和实践，注重文档管理、注重工程规范优先； 4、熟悉Java后台开发体系，具备微服务架构的项目实施经验，有Dubbo/Spring cloud微服务架构设计经验优先； 5、性格开朗、善于沟通，有极强的技术敏感性和自我驱动学习能力，注重团队意识。 大数据架构师岗位的主要职责概述 篇10 职责描述： 1、负责大数据平台框架的规划设计、搭建、优化和运维； 2、负责架构持续优化及系统关键模块的设计开发，协助团队解决开发过程中的技术难题； 3、负责大数据相关新技术的调研，关注大数据技术发展趋势、研究开源技术、将新技术应用到大数据平台，推动数据平台发展； 4、负责数据平台开发规范制定，数据建模及核心框架开发。 任职要求： 1、计算机、数学等专业本科及以上学历； 2、具有5年及以上大数据相关工作经验； 3、具有扎实的大数据和数据仓库的理论功底，负责过大数据平台或数据仓库设计； 4、基于hadoop的大数据体系有深入认识，具备相关产品（hadoop、hive、hbase、spark、storm、 flume、kafka、es等）项目应用研发经验，有hadoop集群搭建和管理经验； 5、熟悉传统数据仓库数据建模，etl架构和开发流程，使用过kettle、talend、informatic等至少一种工具； 6、自驱力强、优秀的团队意识和沟通能力，对新技术有好奇心，学习能力和主动性强，有钻研精神，充满激情，乐于接受挑战；
6. 大数据架构师的基本职责
大数据架构师需要参与规划从数据源到数据应用的整体流程，并参与相关产品的决策。下面是我为您精心整理的大数据架构师的基本职责。
大数据架构师的基本职责1
职责：
1.负责整个大数据平台架构的设计和构建;
2.负责构建大数据平台的数据交换、任务调度等通用平台;
3.制定开发、测试、实施、维护的标准和规范，指导和培训工程师，不断提升团队能力。
4.参与系统需求分析、架构设计、技术选型、应用设计与开发以及测试与部署，负责编写核心部分代码。
5.持续挑战新的技术方向，攻克大数据量、高并发、高可用、可扩展等技术难点。
任职要求：
1.3年以上大数据架构经验，丰富的数据仓库、数据挖掘、机器学习项目经验
2.大规模数据处理的架构和设计实战经验
3.精通Spark、MR，熟练HDFS、Yarn、Hbase、Hive、MongoDB，熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等，并具有丰富的大型数据平台工程经验
4.深刻理解大数据处理(流计算，分布式计算，分布式文件系统，分布式存储等)相关技术和实现方法
5.熟悉主数据、元数据、数据质量等企业数据管理相关的体系和方法，熟练Linux/Unix平台上的开发环境
6.本科或以上学历，计算机软件或相关专业，丰富的java开发经验和互联网背景优先。
7.具有比较强的问题分析和处理能力，有比较优秀的动手能力，热衷技术，精益求精
大数据架构师的基本职责2
职责：
1. 深刻理解政府行业业务模式，构建政府行业的数据模型，制定公司大数据技术发展路线;
2. 对接业务研究和技术部门，主动搜集和转化需求，组织数据中心业务开发，进行数据相关产品需求分析和设计;
3. 搭建数据仓库，研发数据库管理系统，搜集、提取、处理业务积累的海量数据，开展数据分析和挖掘;
4. 根据公司战略和发展需要，规划数据中心重点工作和任务;落实部门人员、事务管理，开展跨部门、跨地区协作，协助对外交流与合作。
职位要求：
1. 5年以上相关工作经验，有团队管理和项目管理经验者优先;
2.了解政府运作机制，掌握财政行业知识，有电子政务行业经验者优先;
3. 熟练掌握使用Java或Python,精通数据库查询语言如SQL，Oracle等,在机器学习模型和算法方向有应用经验者优先;
4. 具备数据中心产品策划整体思维，有大数据处理、分析、挖掘经验者优先;
5. 逻辑思维严密，具备业务抽象、分解和标准化的能力，口头和书面表达优秀;
6. 有较强的大局意识和良好的团队合作意识，富有领导力，具备优秀的人际交往和沟通能力。
大数据架构师的基本职责3
职责:
1、从事电信行业大数据项目相关业务调研、产品标准建设、核心模型设计和优化、系统测试等相关工作
2、与数据专业委员会一起研究数据建模方案和建模工具，负责产品线产品的数据架构、数据模型设计
3、参与研究数据库之间的数据转换方式，参与项目中的数据移植工作，收集在项目中的数据移植经验，优化产品的数据模型
4、负责培训本部门队伍的数据模型基础理论工作，建立数据模型团队
岗位要求：
1、统招本科学历，3年以上主流数据上(DB2、Oracle、SQLServer、Mysql等)ETL设计、开发经验，具备大型数据仓库逻辑模型和物理模型设计经验，精通SQL，有较好的SQL性能调优经验;
2、拥有Python，R等数学建模工具的使用经验，并具备一定的数据处理和建模经验，可以输出相应的模型分析结果、模型比较、模型效率以及对模型的理论和判断依据方法并对其进行完整的解释和说明;
3、熟悉统计学基本原理，做过实战的数据建模项目;
4、有分布式数据仓库建设相关经验者优先，具备电信行业数据仓库建设相关经验者优先;
大数据架构师的基本职责4
职责：
1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;
2、负责大数据平台的架构评审，代码评审，上线评审;参与数据应用需求、设计、审核和评审;
3、负责核心模块研发，负责大数据平台的搭建，完成系统调试、集成与实施;
4、负责建立和维护大数据平台技术标准规范，指导开发人员编写代码;
任职要求：
1、本科及以上计算机相关专业毕业;
2、精通离线和实时数据处理流程，掌握离线数据处理框架hive、impala、spark-sql等，掌握实时数据处理常用技术工具，包括Storm、SparkStreaming等;
3、熟悉大数据技术生态圈，精通大数据技术架构，有大数据平台构建经验;
4、掌握常见数据流接入工具，包括Flume、kafka等;
5、熟练掌握基本的Linux操作系统和某种脚本语言编程(如Shell等);
6、掌握一种或以上实时处理语言，如JAVA、SCALA、PYTHON等，有SCALA经验者优先;
7、有实际大规模数据(TB级以上)处理经验优先;
大数据架构师的基本职责5
职责：
1、负责公司的大数据处理框架的研发设计工作，梳理可实现方案和技术规范;
2、开发、完善公司大数据平台;参与公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成;
3、负责业务平台数据统计分析模块的设计与规划;
4、负责公司产品研发过程中的数据及存储设计;
5、带领和培养团队完成组织分解的目标;
任职要求：
1、统招本科及以上学历，计算机、软件工程相关专业，至少8年以上工作经验，5年以上大数据开发经验;
2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相关技术的基础架构
3、熟悉数据仓库，数据算法，分布式计算技术理论，具有大数据整体系统架构设计经验;
4、熟悉Linux系统，熟练使用shell/perl/python脚本处理问题;
5、对深度学习框架(Tensorflow)和机器学习(svm 随机深林贝叶斯等)有一定了解的优先;
6、能够组织项目开发组协同工作，包括团队沟通、计划、开发环境管理等
7. 大数据开发工程师需具备哪些能力?
1、熟练精通至少一门编程语言 掌握Java是必不可少的，要是能同时熟悉Python、Scala就更好了。 2、掌握Linux操作系统 百分之八十以上的企业使用Linux操作系统进行云计算、大数据平台的构建，所以做大数据开发，Linux必备。 3、掌握大数据主流框架及组件 主要是Hadoop、Spark、Storm、Flink等一系列框架，及其生态圈组件，这部分是重中之重。 软实力，就相对来说要虚一些了，逻辑思维能力、沟通能力、学习能力等等，通常在HR面试的时候，主要就是考察这些方面。
8. 大数据开发工程师有哪些要求?
1、熟练精通至少一门编程语言 掌握Java是必不可少的，要是能同时熟悉Python、Scala就更好了。 2、掌握Linux操作系统 百分之八十以上的企业使用Linux操作系统进行云计算、大数据平台的构建，所以做大数据开发，Linux必备。 3、掌握大数据主流框架及组件 主要是Hadoop、Spark、Storm、Flink等一系列框架，及其生态圈组件，这部分是重中之重。 软实力，就相对来说要虚一些了，逻辑思维能力、沟通能力、学习能力等等，通常在HR面试的时候，主要就是考察这些方面。
最新文章
热门文章
推荐阅读