大数据研发工程师专题汇总
大数据研发工程师专题汇总
岗位职责：
1、负责大数据平台接口开发与维护；
2、负责大数据平台数据库的设计以及开发；
3、负责Mapreduce/hadoop等大数据计算平台的研发以及优化；
4、能够将技术实现及业务场景联系起来，能够根据需求快速的提出技术解决方案；
任职要求：
1、本科及以上学历，计算机相关专业；
2、熟悉ZooKeeper、Spark等分布式开源软件，有长期实际开发和应用经验，具备系统优化与性能调优能力者优先；
3、有数据挖掘相关工作经验者优先考虑；
4、精通JAVA、C++等面向对象编程，有分布式并行计算的开发经验；
5、熟练掌握至少一种MySQL、SQL Server、Oracle等关系型数据库或MongoDB、Redis等NoSQL数据库 ,有nosql、greenplum等数据库研发经验优先；
6、熟悉大数据、云计算概念，了解Hadoop、Hive、Hbase等大数据主流技术及开源框架者优先；
7、能熟练阅读英文文档,并具有新技术的研究突破能力；
8、自学能力强，有一定独立分析，技术研究能力，具有良好的团队合作精神。
入职即缴纳五险一金，签订劳动合同，双休，带薪年假，午餐补助，班车接送，年终奖励
岗位职责：
1、负责大数据项目设计和开发；
2、负责大数据相关产品技术支持；
岗位要求：
1、对Hadoop、HBase、Zookeeper 、Storm 等分布式框架有一定了解；
2、熟悉RabbitMQ、Kafka等分布式消息队列；
3、具备扎实的Java知识，能够熟练使用主流框架编写高效的代码；
4、具备责任心和良好的团队协作精神，乐于沟通交流和分享，且具备良好的执行力；
5、有分布式项目开发经验者优先；
此数据摘自相关公司实际发布的招聘要求
岗位职责：
参与/负责大型分布式实时计算平台的大数据应用算法的设计、研发与产品化（Hadoop/Hive/Hbase）。
职位要求：
1、 计算机、应用数学、模式识别、人工智能、自控、统计、运筹学等专业的硕士及以上学历，具备研究、钻研精神，不断追求超越和创新；
2、 熟练掌握至少一种编程语言（Java、C++或Python），很强的工程实现能力；
3、 对机器学习、数据挖掘算法及其在互联网行业的应用，有比较深入的认识和理解；
4、 熟悉hadoop/mahout/MPI/spark等一个或多个分布式计算框架/算法平台；
5、 严密的数学思维、突出的分析和归纳能力、优秀的沟通表达能力；
6、 有推荐系统、定向营销、电子商务、信息过滤、信息检索等方面的建模经验优先。
薪资福利：
*公司提供中餐补贴
*公交补贴
*社保，公积金
*双休
*按国定安排假日
*带薪年假
*每月聚餐经费
*旅游奖励（公司会定期安排旅游）
*年轻的团队，轻松的工作氛围
岗位职责：
在项目经理带领下，开展大数据平台建设、典型场景设计、开发、建模及展现。
任职要求：
1、要求有1-3年大数据或数据仓库相关经验，了解数据仓库相关理论知识；
2、熟练掌握Hadoop及Map-Reduce应用开发，精通Hbase、Hive、Pig、Storm等大数据开发工具者优先；
3、精通SQL开发，精通MYSQL\ORACLE等关系型数据库中的一种；
4、精通java开发；拥有memcache、redis、ehcache等cache开发经验，理解其原理和工作模式；
5、熟悉linux系统，具备shell、perl等脚本开发能力；熟悉nginx、resin者优先。
要求：
计算机专业，2年以上大数据经验
此数据摘自相关公司实际发布的招聘要求岗位职责：
1、负责公司大数据平台的规划与建设，以及海量数据的自动化分析处理和统计工作；
2、负责HDFS/HBase等大数据存储平台的研发与优化；
3、负责MapReduce/Storm/Spark等大数据计算平台的研发与优化；
4、负责Hive/OLAP/ElasticSearch/BI等大数据分析平台的研发与优化；
任职资格:
1、计算机相关专业专科及以上学历，有hadoop大型平台项目开发经验；
2、对服务器集群有较深的认识，并有较为丰富的集群开发经验；
3、有高并发服务器项目的开发经验；
4、精通hadoop各个模块的功能；
5、对hive、hbase、map/reduce有深入了解；
6、对hadoop集群的可视化管理有一定的了解；
7、熟悉linux环境和命令，能编写简单的shell脚本；
8、熟悉数据分析和数据挖掘等技术，有mahout使用经验的优先；
9、会mysql,oracle者优先，有集群数据库的开发使用经验者优先；
10、热衷于产品研发和技术发展、具有强烈的责任意识和开放的心态。
11、有金融行业工作背景优先。
12、良好的团队合作和沟通能力。
13、有统计分析、数据仓库、数据采集、数据挖掘、数据可视化、推荐系统等项目开发者优先考虑。
一、岗位职责：
1、参与大数据项目开发，包括架构设计、编程开发等工作；
2、负责业务需求的需求理解、数据开发，提供面向业务的数据服务；
3、负责公司大数据平台业务ETL以及数据可视化的开发；
4、跟踪业界技术发展动态，结合业务，研究引入新技术。
二、任职要求：
1、计算机相关专业本科及以上学历；
2、扎实的Java语言基础，具有一年以上实际Java开发经验
3、熟悉Hadoop生态圈组件的工作原理，有源码研究者优先；
4、 拥有Hadoop/Spark等大数据相关技术开发经验，熟悉基于Hadoop的大数据平台的应用开发和调优；
5、熟悉Linux，熟悉Shell或Python等语言；
6、有较好的沟通交流能力,善于主动思考和行动,乐于解决具有挑战性的问题；
7、有较好的逻辑思维能力，较强的抽象、概括、总结能力；
8、对数据敏感、对新技术敏感、对数据产品设计有想法者优先。
岗位职责：
1. 基于Hadoop框架大数据架构的设计、开发和维护；
2. 负责基于Hadoop技术的海量数据的自动化分析处理和统计工作；
3. 参与基础平台技术架构的研究，规划和实施；
4. 负责技术攻关和创新技术引进。
任职要求：
1. 1年以上开发工作经验，使用Python开发过大型系统经验者优先；
2. 熟悉hadoop或spark的原理及实现，有过实际hadoop/spark/mongodb项目操作经验，熟悉spark实时计算设计及实现，熟悉HIVE SQL或Spark SQL优先；有分布式计算开发经验 hadoop/spark/mongodb/ElasticSearch 一至两年以上工作经验优先；
3. 熟悉数据ETL的过程，掌握java、c/c++、python中至少一种语言作为数据处理的工具；
4. 有良好的设计和代码品位；
5. 勤奋好学，求知欲强，具备很好的沟通和交流能力,具备较好的英文能力。
工作职责
1、参与公司大数据基础平台技术架构的研究与设计；
2、负责大数据基础平台核心代码编写以及生产运维、优化工作；
3、负责技术攻关和创新技术引进，结合公司业务和技术特点进行落地实施。
任职资格
1、大学本科或以上学历，计算机相关专业；
2、三年以上互联网开发经验，熟练JAVA开发，熟悉Spring3, Hibernate3, Struts2, SpringMVC, MyBatis 等开源框架；
3、熟练使用：JavaScript, jQuery, easyUI, AJAX等web前端技术；
4、熟练掌握hadoop、hive、hbase、spark、Kafka、Nutch、Lucene、Sphinx等开源技术；
5、熟练使用Linux系统，熟悉shell脚本语言；
6、熟悉主流数据库Oracle、DB2、SQL Server、mysql等数据库中一种，熟练运用SQL、PL-SQL程序语言、存储过程、触发器；并有较好的SQL性能调优经验；
7、诚信，责任心强，具有较强的团队意识与良好的沟通能力。
工作时间：五天工作制，每日八小时。
基本福利政策：
1、社保、公积金
2、逢重要节日发放节日礼金或礼品
3、每年不定期组织员工活动和旅游
4、带薪假期（年休假、婚假、产假、丧假）
5、部门活动经费
6、在司期间结婚、生子，享受丰厚的礼金
岗位职责：
1.基于Hadoop的数据挖掘、Hadoop组件开发/维护/测试等。
2.负责大数据平台与产品和相关技术的跟踪及研究。
任职要求：
1.大学本科及以上计算机或相关专业学历；
2.扎实的Java基础，有Java实际开发经验优先；
3.有Hadoop分布式平台工作经验，熟练掌握Hive、Hbase、Pig、Hdfs、Map/Reduce、Storm中两种以上开发技术；
4.熟悉Linux/Unix操作系统；
5.具备良好的学习能力，良好的沟通能力和团队合作意识。
此数据摘自相关公司实际发布的招聘要求
岗位职责：
1. 收集、了解行业大数据动态，参与企业级大数据体系架构设计；
2. 参与公司级大数据产品和应用规划；参与大数据相关科研课题，编写研究报告或论文；
3. 主导或参与公司级大数据技术研究、平台架构设计、应用场景设计，协调指导其他部门应用大数据技术；
4. 主导或参与大数据技术平台及应用场景的构建、部署、测试；
5. 完成应用场景原型系统的开发和技术文档的撰写。
任职要求：
1. 全日制本科及以上学历，计算机相关专业；
2. 3年及以上软件研发工作经验，1年及以上Hadoop开发与应用经验；
3. 熟悉Linux、MapReduce、HBase、Hive、MySQL、Redis、Storm等主流大数据关键技术；
4. 具有应用大数据技术处理TB级以上数据的项目开发经验；
5. 具有独立完成原型系统开发和方案性文档编写的能力；
6. 具有强烈的求知欲强、热爱研究性的工作，能适应快节奏的工作模式；
7. 具有电网行业大数据应用工作经验者优先。
此数据摘自相关公司实际发布的招聘要求岗位职责：
1、用户海量日志统计分析
2、 利用storm、spark等框架做数据的实时及离线分析
3、大数据产品的WEB接口设计，算法设计
任职资格：
1、熟练精通数据结构与算法，熟悉分布式开发框架 (Hadoop Spark,Storm,Kafka等 至少精通一种)
2、熟悉NOSQL 数据库,redis，MongoDB
3、熟悉Linux 操作系统 可以自行部署开发环境
4、精通java python
岗位职责：
1.负责公司DMP平台架构及研发；
2.负责大数据平台应用接口层的开发与维护；
职位要求：
1.熟练使用一种主流数据库软件， 如Mysql等；
2.熟悉Linux开发环境；
3.熟悉hadoop、 hbase、flume、storm、spark、zookeeper等框架；
4.（优先）小型研发团队管理经验。
5.（优先）熟悉DSP、 SSP、 Adx等移动广告平台业务；
6.较强的学习、实践能力；能够接受工作压力，良好的沟通交流能力；较强的责任心。
7.至少2年以上hadoop研发经验。
此数据摘自相关公司实际发布的招聘要求岗位描述：
1.按照智能交通管控业务需求，完成定义可扩展的、分布式的大数据架构； 2.完成各种面向业务目标的从数据模型、数据分布、数据传输、数据存储等方面进行大数据系统架构的设计和数据架构，并且能够遵循DevOps的理念保障系统的后续演化； 3.开发具有数据分析、数据挖掘能力的智能交通领域创新型产品； 4.负责大数据业务系统分析，仓库技术规划和架构设计、开发、优化、维护等工作；支持分析应用专题的数据需求； 5.负责传统关系数据库设计、开发、优化；负责一般专题统计分析模型的设计、开发； 负责大数据相关新技术研究、实验，负责将成熟技术方案应用于项目或产品的数据存储、数据处理、数据管控等环节，提升数据处理的效率，满足项目需求或产品测试目标； 6.负责数据处理任务设计、开发，处理流程梳理、开发和数据管控平台、处理工具等程序开发；进行数据质量控制和元数据管理等工作； 7.负责技术预研及技术难点的攻关工作；负责程序代码实现以及系统性能优化相关工作；负责相应的开发文档编写工作； 8.完成上级领导交办的其他工作。
任职资格：
1.大学本科以上学历，计算机、通讯、信息等相关专业毕业，具备一个以上大型数据仓库或数据分析项目设计与开发经验； 2.熟悉主流的大数据产品和数据分析技术并具有相关项目经验；有大数据分析与数据仓库设计及开发经验；精通Hadoop，并有实践经验，能解决应用中的复杂问题；能编写Hadoop、Hbase、Hive应用源代码，能够在特定业务中进行定制改造； 3.熟悉java、scala、sql等相关技术。 4.精通数据库开发技术，精通SQL语句和存储过程编写，熟练掌握通用数据库软件中一种的体系结构、开发、优化和维护，Oracle优先；连续从事数据库设计、开发工作两年以上者优先； 5.熟练掌握大数据相关技术方案，如hdfs、impala、hive、spark、hbase、pig、YARN、storm及redis、memcache等，能够进行新技术预研和应用转化，具有较强的技术钻研和创新能力，把握技术发展方向；熟悉常用开源组件； 6.熟悉Linux，熟练掌握shell、java、JSP等编程能力；能够进行数据处理程序的设计、开发、优化，能够设计合理的数据架构，数据模型和数据处理流程，并实现，保证高性能； 7.有较强的分析问题、解决问题的能力，对技术和业务的领悟力强；具有良好的团队合作精神，善于沟通；有强烈的责任心，积极主动，适应在压力下工作；工作严谨、细致, 勤恳、敬业。 8.有智能城市交通行业相关项目经理者优先。
综合素质要求：
1、 重点大学统招本科及以上学历，计算机相关专业、统计学相关专业等，英语四级以上。
2、 性格踏实稳重、心态积极向上，有较强的责任心和敬业精神。
3、 具有创新精神，学习能力、动手能力强。
4、 具备较强的文档撰写能力、沟通能力和服务意识，有较强的技术钻研和攻关能力。
5、 有较好的合作能力和主动性，在校期间有参与社会实践经历，担任学生会职务者优先。
岗位描述
通过大数据分析、数据挖掘技术，利用海量数据、搜索引擎、智能分析等建立和优化通用或特定领域内的兴趣模型、状态模型，实现个性化推荐、精准推广等来满足用户需求。如：搜索、语音识别、推荐等。
岗位要求
1、 具备很强的逻辑分析能力，对数据敏感。
2、 具有数据建模实践经验，扎实的编程基础，精通至少一门编程语言，如：C++、java、C#、ASP.Net等。
3、 精通oracle、mysql、db2、sqlserver等数据库中的一种或几种，可以熟练编写SQL脚本，包括增、删、改、查、索引、视图、存储过程和函数等。
职责描述:
1:在大数据(Splunk)基础平台上定制开发数据展现层。
2:在索引数据基础上编写高效的搜索语句脚本。
3:熟悉大数据(Splunk)处理平台的原理,为客户提供最优的数据处理及展现的解决方案。
4:培训客户使用大数据处理及其展现平台。
5:软件产品界面设计和开发
岗位要求：
1. 计算机专业或相关领域本科学历（及以上）；
2. HTML开发经验，熟练使用 HTML、CSS、JS、XML编写代码,熟悉页面架构和布局，确保脚本代码(JS,AJAX)对各种浏览器的良好兼容性；
3. 熟悉关系型数据库SQLSERVER,ORACLE的一种,熟练使用SQL语句;
4: 对大数据存储及其检索有自己的理解。
5. 熟悉Linux操作系统，熟悉Perl、Shell 命令
6. 熟悉Splunk平台开发者优先。
此数据摘自相关公司实际发布的招聘要求岗位职责：
1、参与公司大数据平台产品的需求、分析、设计和测试等方案的评审；
2、深入发掘业务需求，为产品开发提供合适的技术选型；
3、参与系统逻辑模型和物理模型设计并完成相关模型的开发；
4、维护统一的大数据平台和相关产品的系统架构，发现和解决存在的问题。
任职要求：
1、软件工程、计算机科学与技术等相关专业，本科学历及以上；
2、从事2年以上相关工作经验；
3、有java和hadoop两年以上开发经验，有NoSQL系列2年以上开发经验；
4、有大规模数据迁移经验，能够熟练使用数据仓库；
5、熟练使用Linux系统，有良好的shell脚本编写能力。
此数据摘自相关公司实际发布的招聘要求岗位职责：
- 负责实时日志、大数据系统架构的设计与实现
- 通过持续探索前沿技术，推动业务的快速发展和高效迭代
任职要求：
- 2年以上开发经验
- 熟练掌握Linux环境下的C/C++/PYTHON/Bash/Go/Java等至少1种语言
- 熟悉主流的大数据产品（Hadoop、Spark、Flume等）和数据分析技术（机器学习)并具有相关项目经验
- 具备强烈的求知欲，对攻克疑难问题有强烈的兴趣
- 具备良好的全局观以及系统思维能力
此数据摘自相关公司实际发布的招聘要求岗位职责：
1、负责构建基于大数据分析与数据挖掘业务分析体系，负责海量运营数据的分类汇总和分析研究；
2、负责基于大数据平台开展数据分析应用的团队组建、培训、日常工作指导；
3、参与大数据平台的维护。
岗位要求：
1、计算机相关专业本科及以上学历，1年以上软件开发经验（JAVA、ETL、数据库等）；
2、熟练掌握J2EE开发或数据库开发，熟悉电信行业业务者优先；
3、有意向往大数据方向转型。
此数据摘自相关公司实际发布的招聘要求岗位职责
1、针对业务需求，根据大数据架构师定义的架构下完成相关IT落地的开发工作；
2、包括数据传输、数据清洗、数据存储、分布式计算、数据可视化等方面的设计和开发工作；
3、完成系统单元测试、集成测试；
岗位要求
1、熟悉Linux环境，精通shell脚本语言
2、精通Hadoop生态系统及相关组件，如：HDFS、Hive、Spark、Storm等
4、拥有Apache Hadoop实施经验；有大数据处理经验，熟悉整个大数据的处理流程；
5、精通Java或者Python编程语言；
6、精通关系型数据库、非关系型数据库技术，精通SQL语句
7、逻辑思维能力强，具备优秀的文档编写和良好的沟通与表达能力；
8、具有较强的沟通协调、团队合作和抗压能力。
9、计算机或者相关专业，本科以上学历
10、2年以上同行业从业工作经验