梦行
梦行
Published on 2020-09-03 / 23 Visits
0
0

架构师训练营第十二周总结

大数据的特点

Hadoop与Spark Hadoop 是一种分布式计算平台,用Java编写,可运行在Linux、Windows以及类Unix系统上。包括两个核心技术,HDFS和Mapreduce。HDFS实现数据的分布式存储,MapReduce实现数据的分布式计算(通过Map和reduce两个函数实现)。

Spark 比 MapReduce 快,前者使用内存存储中间结果,后者使用HDFS。 

数据库类型

关系型数据库是根据表间的索引建立关系,因此叫关系型数据库。代表产品有Oracle、MySQL、DB2。 
NoSQL非关系型数据库,四种存储类型: 
	1、键值; 
	2、文档(JSON格式); 
	3、列存储; 
	4、图数据库。 
代表产品有:Redis;CouchDB、Mongodb;HBase;Neo4J。 


Comment