2018年8月

HFDS的搭建和基本使用

一、概述

  • 简介:
    • 源自Google的GFS论文的巨大分布式文件系统
  • 特点:
    1. 扩展性
    2. 容错性
    3. 海量数据存储
  • 优缺点:
    • 优点:
      1. 数据冗余, 硬件容错
      2. 处理流式(一次写入多次读取)的数据访问
      3. 适合存储大文件
      4. 构建在廉价机器上
    • 缺点:
      1. 不满足低延迟的数据访问
      2. 不适合小文件的存储
  • 存储:
    • 将文件切分成指定大小的数据块并以多副本的存储在多个机器上
    • 数据的切分,多副本,容错等操作对用户透明
      NameNode (Filename, numReplicas, block-ids)

- 阅读剩余部分 -