spark on hive,hive engine的概述

spark on hive,hive engine的概述

导入org.apache.spark.sql.hive.HiveContext^scala看到，会返回错误信息，即spark无法识别org.apache.spark.sql.hive.HiveContext，说明你当前电脑上的Spark版本不是2.HiveonSpark性能测试参考注：Hive版本2.1.11.HiveonSpark简介Hive是基于Hadoop平台的数据仓库。最初由Facebook。经过多年的发展，它已经

SparkonHive：Hive仅用于存储元数据。Spark负责SQL解析和优化。语法SparkSQL语法。Spark负责使用RDD进行执行。 环境配置（ssh已设置）Java1.8.0+Hadoop3.1.3+MyHivedata，即，进入相反的方向。但这不太可能是这样的用例，如果您正在使用Spark，您已经接受了使用R的概念

(ˉ▽ˉ；) hiveonSpark是一个由Cloudera发起、Intel、MapRand等公司共同参与的开源项目。其目的是使用Sparkas作为Hive的计算引擎，将Hive查询作为Spark任务提交到Spark集群进行计算。 通过此项，HiveonSpark默认支持SparkonYARN模式，所以我们选择SparkonYARN模式。 SparkonYARN使用YARNasSpark的资源管理器。 分为两种模式：集群模式和客户端模式。 1.本教程的环境描述

Hive2.0之后，MR执行引擎一直处于Deprecated状态，"可能会在没有进一步警告的情况下被删除。"，Hive官方推荐ishiveontezorhiveonspark；Hiv3.0之后，hive官方HiveonSpark是Hive，它既提供存储服务，又负责sql解析和优化，Spark负责执行。 这里Hive的执行引擎变成了Spark，而不是Mr。这比SparkonHive实现起来更麻烦。你必须重新编译你的spark并导入jar

Hive是Hadoop中的标准SQL引擎，也是最古老的引擎之一。 HiveonSpark为我们提供了开箱即用的Hive和Spark的所有巨大优势。 它最初是作为数据仓库(DW)工具构建的，并且不具有易于交换的执行引擎，包括正确版本的Hadoop。提供的jar应该是相同版本的asspark.sql.hive.metastore.version。这些jar仅需要存在于