大数据是对海量数据进行存储、计算、统计、分析和处理的一系列处理方法。处理的数据量通常是TB级，甚至PB或EB级的数据，这是传统的数据处理方法无法完成的。它涉及到分布式计算、高并发处理、高可用性处理、集群、实时计算等。汇集了当前IT领域的热门IT技术。

00-1010随着互联网的发展和云时代的到来，大数据成为很多人关注的焦点。公司创建的数据通常被称为大数据。将这些数据下载并分析到数据库中需要花费太多的时间和金钱。

所以云计算往往和大数据联系在一起，因为大规模的数据分析需要云计算的帮助。大数据的应用技术被大家称为大数据技术，包括各种大数据平台的应用技术。

00-1010 1、Java编程技术

Java编程技术是大数据学习的基础。Java是一种强类型语言，具有极高的跨平台能力。它可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等。是大数据工程师最喜欢的编程工具。所以想要学好大数据，掌握Java基础是必不可少的！

2.Linux命令

大数据开发通常在Linux环境下进行。与Linux操作系统相比，Windows操作系统是一个封闭的操作系统，开源的大数据软件非常有限。所以想从事大数据开发，需要掌握Linux的基本操作命令。

3、Hadoop

Hadoop是大数据开发的重要框架，其核心是HDFS和MapReduce。HDFS为海量数据提供存储，MapReduce为海量数据提供计算。所以需要掌握Hadoop集群、Hadoop集群管理、YARN和Hadoop高级管理等相关技术和操作！

4、蜂巢

Hive是基于Hadoop的数据仓库工具，可以将结构化的数据文件映射到一个数据库表中，提供简单的sql查询功能，将sql语句转换成MapReduce任务运行。非常适合数据仓库的统计分析。Hive需要掌握它的安装、应用和高级操作。

5.Avro和Protobuf

Avro和Protobuf都是数据序列化系统，可以提供丰富的数据结构类型，非常适合数据存储。他们还可以在不同的语言之间交换数据格式。学习大数据，需要掌握它的具体用法。

6、动物园管理员

ZooKeeper是Hadoop和Hbase的重要组成部分，是为分布式应用提供一致服务的软件。提供的功能包括：配置维护、域名服务、分布式同步、组件服务等。在大数据开发中，要掌握ZooKeeper的常用命令及其功能的实现方法。

7、HBase

HBase是一种分布式、面向列的开源数据库，不同于一般的关系数据库，更适合于非结构化数据存储。这是一个高度可靠、高性能、面向列且可扩展的分布式存储系统。大数据开发需要掌握HBase的基础知识、应用、架构和高级用法。

凤凰城

Phoenix是用Java写的开源SQL引擎，基于JDBCAPI运行HBase。它具有动态列、哈希加载、查询服务器、跟踪、事务、自定义函数、二级索引、命名空间映射、数据收集、行时间戳列、分页查询、跳过查询、视图和多租户等特性。要掌握大数据开发的原理和用法。

9、Redis

Redis是一个键值存储系统，很大程度上弥补了memcached等键/值存储的不足，在某些场合可以对关系数据库起到很好的补充作用。它提供了Java、C/C、C#、PHP、JavaScript、Perl、Object-C、Python、Ruby、Erlang等客户端。很好用，大数据开发需要掌握Redis的安装。

10、水槽

Flume是一个高度可用、可靠的分布式系统，用于收集、聚合和传输海量日志。Flume支持在日志系统中定制各种数据发送器来收集数据；同时，Flume提供了简单处理数据并将其写入各种数据接收者(可定制)的能力。大数据开发需要掌握其安装、配置及相关使用方法。

11、SSM

SSM框架是Spring、SpringMVC和MyBatis的集成，常用作简单数据源的web项目的框架。大数据开发需要分别掌握Spring、SpringMVC和MyBatis，然后使用SSM进行集成。

12、卡夫卡

Kafka是一个高吞吐量的分布式发布和订阅消息系统。其在大数据开发和应用中的目的是通过Hadoop的并行加载机制统一线上和线下的消息处理，同时也通过集群提供实时消息。大数据开发需要掌握Kafka架构原理，各组件的功能和用法以及相关功能的实现！

13、标量

Scala是一种多范式编程语言，大数据开发的重要框架Spark就是用Scala语言设计的。要学好Spark framework，有Scala基础是必不可少的。所以大数据开发需要掌握Scala编程的基础知识！

14、火花15、阿兹卡班

Spark是一个快速通用的计算引擎，专为大规模数据处理而设计。它为管理各种数据集和数据源的大数据处理需求提供了全面统一的框架。大数据开发需要掌握Spark、SparkJob、SparkRDD、sparkjob部署和资源分配、Sparkshuffle、Spark内存管理、Spark广播变量、SparkSQL、SparkStreaming和SparkML的基础知识。

阿兹卡班

Azkaban是一个批处理工作流任务调度程序，可用于在工作流中以特定顺序运行一组作业和进程。阿兹卡班可以用来完成大数据的任务调度。大数据的开发需要掌握阿兹卡班的相关配置和语法规则。