HDFS策略
-
如何为爬虫数据存储设置HDFS策略?
简介在HDFS中,数据可以根据其访问频率和用途设置不同的存储策略,HDFS支持四种存储介质:DISK(普通磁盘)、SSD(固态硬盘)、RAM_DISK(内存)和ARCHIVE(归档存储),这些存储介质的速度从快到慢依次为RAM_DISK > SSD > DISK > ARCHIVE,成本则相反……
简介在HDFS中,数据可以根据其访问频率和用途设置不同的存储策略,HDFS支持四种存储介质:DISK(普通磁盘)、SSD(固态硬盘)、RAM_DISK(内存)和ARCHIVE(归档存储),这些存储介质的速度从快到慢依次为RAM_DISK > SSD > DISK > ARCHIVE,成本则相反……