大数据开发专题汇总
岗位描述:
1. 参与国内第一个基于物联网的能源互联网项目的的架构设计和开发;
2. 实时数据预警功能开发;
3. 批量数据统计分析功能开发。
岗位要求:
1. 1-3年的工作经验,参与过两个以上的大数据项目;
2. 熟悉分布式计算系统理念,熟练掌握HDFS,MR,Hbase,Hive,Spark 等大数据开发工具;
3. 具有Java编程能力,熟悉SQL开发,MySQL、PostgreSQL、Oracle等关系型数据库中的一种;
4. 热爱大数据技术,有强烈求知欲;
5. 沟通能力强,有团队意识。
此数据摘自相关公司实际发布的招聘要求
职责描述:
1、 负责spark平台数据分析和清洗工作;
2、负责基于spark的ETL开发;
3、 基于大数据平台的模型设计与数据处理工作;
4、负责hadoop集群的开发、优化和维护。
职位要求:
1、精通hadoop、spark、hive、hdfs、hbase等分布式框架;
2、对分布式计算有深入的理解,熟悉MapRequest编程;
3、掌握Python使用,熟悉linux系统,能编写shell脚本;
4、了解hadoop平台的管理和优化;
5、熟悉mahout数据挖掘知识;
6、认真、负责、良好的团队沟通能力。
岗位职责:
1、负责大数据数据挖掘、数据分析的研究和开发;
2、负责大数据平台建设项目的实施;
3、参与大数据处理与业务应用的协同处理。
任职要求:
1、具备研究或研发项目经历,相关工作经验丰富者优先考虑;
2.有Hadoop集群搭建和管理经验者优先考虑,有海量数据挖掘算法开发经验者优先考虑,兼有Oracle,MySQL,NoSQL开发经验者优先考虑,具备丰富的大中型开发项目的总体规划、方案设计经验者优先考虑;
3、应具备以下技能,精通者优先考虑:
(1)了解大数据分析处理(Hadoop,HDFS, MapReduce,Hbase,Pig,Hive)等技术内部机制;
(2)扎实的Java语言基础,熟悉Java开发工具和调试工具的使用;
(3)熟悉Linux系统,熟练使用shell/perl/python脚本处理问题;
(4)熟悉主流数据挖掘算法开发。
工作职责:
1、游戏大数据采集及预处理程序开发、维护,优化;
2、游戏大数据平台数据清洗、转换、建模的开发工作,处理离线数据;
3、数据逻辑计算脚本设计,开发;
4、保证大数据平台数据与源系统数据准确性;
5、storm平台开发结合业务的应用,处理实时数据,实时应用场景的开发;
6、大数据平台的运维工作,持续完善大数据平台,保证稳定性、安全性。
岗位要求:
1、有分布式计算工具使用经验(hadoop,hive,hbase,pig,presto,drill,spark等一种或多种);
2、有实时计算相关处理经验(kafka,storm,s4等一种或多种);
3、熟悉linux系统,熟练使用shell/perl/php/python/ruby中的一种或多种;
4、有独立解决技术问题的能力,文档编写能力,沟通和协作能力等;
5、具有较强的团队意识,高度的责任感,对工作积极严谨,勇于承担压力;
6、有海量数据挖掘算法开发者经验者优先;
7、具有友盟、talkingdata、uc、91等渠道平台或游戏行业工作经验优先。
1、 计算机或相关专业本科及以上学历 ,从事数据仓库领域至少2年以上;
2、 具有丰富的数据开发经验,对数据处理、数据建模、数据分析等有深刻认识和实战经验 ;
3、 掌握至少一种数据库开发技术:Oracle、Teradata、DB2、Mysql等,灵活运用SQL实现海量数据加工处理 ;
4、 有从事分布式数据存储与计算平台应用开发经验,熟悉Hadoop生态相关技术并有相关实践经验着优先,重点考察Hdfs、Mapreduce、Hive、Hbase ;
5、 掌握实时流计算技术,有storm开发经验者优先;
6、 积极乐观、诚信、有责任心;具备强烈的进取心、求知欲及团队合作精神;