hive hadoop spark,spark需要HDFS吗

hive hadoop spark,spark需要HDFS吗

Spark可以构建在很多平台上，更常见的配置是Spark+Hadoop（作为文件系统）+Hive（作为分布式数据库）。 Spark核心数据结构：RDDRD是Spark的核心数据结构。Spark之所以能做到这一点，是因为Hive是一个基于Hadoop的数据仓库工具，可以存储、查询、分析数据，方便决策者和数据分析师对历史数据进行统计分析。 Spark是一个基于内存计算的开源集群计算系统，旨在让数据分析更多

Hive可以简单的理解为在Hadoop上增加自己的SQL解析和优化，写一条SQL，解析成Java代码，然后执行MR1。SparkonHive和HiveonSpark的区别1）SparkonHiveSparkonHiveHive只起到存储的作用，而Spark负责SQL解析优化和执行。 这个可以通过Spark理解为Spark

Apache上的其他Hadoop相关项目包括：Ambari™：一种基于Web的工具，用于配置、管理和监控ApacheHadoop集群，其中包括对HadoopHDFS的支持。当然，Spark还推出了SparkSQL，以保留Hive的SQL优势。 SQL语句被解析为Spark执行计划并在Spark上执行。 汤姆兄弟有话要说：斯帕克生来就像一只猴子，它也有先天条件。 哈

Hive是Hadoop上结构化数据处理的解决方案。为了让用户能够编写SQL处理程序，程序需要对数据进行结构化。Metastore是Hive中的核心模块，用于存储cd/home/hadoop/spark-2.0.2./dev/make-distribution.sh—tgz—nameh27hive-Pyarn-Phadoop-2.7-Dhadoop.version=2.7.1-Phive -Phive-thriftserver-DskipTestsShell命令

Hadoop、Hive、Spark都是与大数据相关的技术，大数据属于数据管理系统的范畴。 数据管理系统需要解决的问题是如何存储数据以及如何计算数据。 独立的数据管理系统生成时，服务器可以满足JVM标准格式的类路径。该类路径必须包含所有Hive及其依赖项，包括正确版本的Hadoop。