Home
archives
Categories
IDE
(4)
git
(3)
java
(13)
linux
(6)
myql
(1)
mysql linux
(1)
python
(11)
前端
(14)
大数据
(3)
数据库
(11)
数据结构和算法
(7)
框架
(12)
科学上网
(1)
网络
(6)
计算机
(15)
Links
我喜欢的网站
我的简历
ABOUT ME
What I Write
Always
Creative.
Welcome!
More
Toggle navigation
2017-11-24
hdfs为什么不支持随机写
为什么hdfs不支持随机写
随机写的话,分布式数据一致性会受到挑战。而如果一定要保证实时的数据一致性,那么性能上的牺牲就会太大了。
所以说,随机写不属于HDFS的适用场景。
绝大部分文件的修改是采用在文件尾部追加数据,而不是覆盖原有数据的方式。对文件的随机写入操作在实际中几乎不存在。一旦写完之后,对文 件的操作就只有读,而且通常是按顺序读。大量的数据符合这些特性,比如:数据分析程序扫描的超大的数据集;正在运行的应用程序生成的连续的数据流;存档的 数据;由一台机器生成、另外一台机器处理的中间数据,这些中间数据的处理可能是同时进行的、也可能是后续才处理的。对于这种针对海量文件的访问模式,客户 端对数据块缓存是没有意义的,数据的追加操作是性能优化和原子性保证的主要考量因素。——来自google论文
← mysql内联子视图查询注意点
数据库和数据仓库的区别联系 →