这个博客代表了大数据领域中存在的职业机会和基本技能要求的高级视图。这里提到了一些名称和职责。
角色 – 数据科学家
- 大数据科学家需要熟悉Python、R、 Java、Ruby、Clojure、Matlab、Pig 或 SQL 中的一些语言。
- 他们需要了解 Hadoop、 Hive和/或 MapReduce。
- 此外还需要熟悉以下学科：
- 自然语言处理：计算机与人类之间的交互；
- 机器学习：使用计算机来改进和开发算法；
- 概念建模：能够共享和阐明建模；
- 统计分析：了解并解决模型中可能存在的局限性；
- 预测建模：大多数大数据问题都是为了能够预测未来的结果
角色 – 大数据工程师/大数据开发人员/大数据架构师
- 适用于Java /C/C++ 专家 => HADOOP（API、MR 编码、生态系统和管理）=> HIVE/PIG/IMPALA/ML => OOZIE Plus 监控的软件工程师的循序渐进方法。
- 从头开始架构、设计和开发基于大数据的软件/升级/维护。
- 适用于 ORACLE/PL/SQL/MS SQL/TERRADATA/DATA WAREHOUSING => HADOOP（API、MR 编码、生态系统和管理）=> HIVE/PIG/IMPALA/ML => OOZIE 的软件工程师的循序渐进方法加上监控工具。
- 架构师、设计和开发基于大数据的数据仓库
角色 – 大数据 DBA
- 数据建模的设计和开发。
- Hadoop生态系统安装配置
- DR / Cluster to Clysters – 数据库备份和恢复。
- 数据库连接性和安全性。
- 性能监控和调优；基于配置
- 磁盘空间管理。
- Unix 和 Hadoop 的软件补丁和升级
角色 – 大数据管理员/Hadoop 管理员
- 良好的 Linux 和 shell 脚本背景
- 对 Hadoop 生态系统和技术有很好的了解。
- 了解影响分布式系统性能的 Hadoop 设计原则和因素，包括硬件和网络注意事项。
- 在提供基础设施建议、容量规划和开发实用程序以更好地监控集群方面的经验
- 管理具有大量数据的大型集群的经验
- 具有集群维护任务的经验，例如创建和删除节点、集群监控和故障排除。管理和审查 Hadoop 日志文件？
- 为 Hadoop 集群安装和实施安全性的经验。
角色：大数据 – Hadoop 运营/生产支持/运营
- 良好的 Linux 和 shell 脚本背景
- 对 Hadoop 生态系统和技术有很好的了解。
- 集群维护
- 作业管理/作业失败/调查/重启
- Autosys / Oozie 集成数据分析 – 数据恢复
- 集群到集群的数据移动
- 升级
- 运营管理。
如果您还想在这里展示您的博客，请参阅 GBlog，了解 GeeksforGeeks 上的客座博客写作。