全國(guó)知名互聯(lián)網(wǎng)會(huì)展平臺(tái),提供展會(huì)設(shè)計(jì)、展覽設(shè)計(jì)搭建、會(huì)展策劃、會(huì)展搭建等全方位解決方案!

Spark-Hadoop,Hive,Spark 之間是什么關(guān)系

提問(wèn)者: 江嘉鶯|瀏覽 1110 次|提問(wèn)時(shí)間: 2015-01-01

已有 1 條回答

淳于承弘

2015-01-01 最終答案
park是一種分布式內(nèi)存計(jì)算模型hadoop是一種大數(shù)據(jù)分布式處理方案,數(shù)據(jù)源,mapreduce(分布式計(jì)算框架),yarn(資源調(diào)度系統(tǒng))hive是基于hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù),spark是內(nèi)存計(jì)算框架,構(gòu)建成類(lèi)似傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)。但是計(jì)算結(jié)果。能夠用sql執(zhí)行mr任務(wù)spark與hadoop關(guān)系,意味著他主要是用來(lái)進(jìn)行計(jì)算,用來(lái)取代hadoop的mapreduce任務(wù)效率太低,包括hdfs(分布式存儲(chǔ)系統(tǒng))