centos7安装glusterfs
1、环境机器准备

准备四台机器，host配置如下，gfs01/gfs02/gfs03为gluster节点均需执行systemctl stop firewalld关闭防火墙或firewall-cmd --zone=public --add-service=glusterfs --permanent并firewall-cmd --reload

192.168.80.136 gfs01
192.168.80.142 gfs02
192.168.80.143 gfs03
192.168.80.144 gfs-client
2、gfs01\gfs02\gfs03三台节点机器新增一块硬盘并格式化(在vmware中实践)
  • 检查系统中是否有新磁盘
fdisk -l

可以查看到是否存在Disk /dev/sda、Disk /dev/sdb

  • 执行分区命令对新硬盘/dev/sdb进行分区
fdisk /dev/sdb

Command (m for help): n
输入n新建分区

Select (default p): p
输入p新增为主分区

Command (m for help): p
输入p可查看详情

Command (m for help): w
输入w保存变更
  • 执行分区格式化
mkfs.ext4 /dev/sdb1
  • 执行挂载命令并查看挂载情况
mkdir /sdb1
mount /dev/sdb1 /sdb1
df -Th

重启后会丢失，需将挂载添加到配置中echo "/dev/sdb1 /sdb1 ext4 defaults 0 0" >> /etc/fstab

3、gfs01/gfs02/gfs03三台机器均通过yum安装glusterfs
  • 安装glusterfs源
yum install -y epel-release

搜索glusterfs版本
yum search centos-release-gluster

这里选择gluster6的版本进行安装
yum install centos-release-gluster6 -y
  • 安装glusterfs软件包
yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
4、启动glusterfsd
systemctl start glusterfsd
systemctl status glusterfsd
5、在任一节点上操作添加另外两个节点（在gfs01上操作）
  • 在gfs01节点上操作添加gfs01/gfs03节点（添加时需保证 glusterfsd系统服务已经启动）
[root@gfs01 /]# gluster peer probe gfs01 #本机无需操作
peer probe: success. Probe on localhost not needed
[root@gfs01 /]# gluster peer probe gfs02
peer probe: success. 
[root@gfs01 /]# gluster peer probe gfs03
peer probe: success. 
[root@gfs01 /]# netstat -antp|grep gluster
tcp        0      0 0.0.0.0:24007           0.0.0.0:*               LISTEN      8484/glusterd       
tcp        0      0 192.168.80.136:24007    192.168.80.142:49151    ESTABLISHED 8484/glusterd       
tcp        0      0 192.168.80.136:49150    192.168.80.143:24007    ESTABLISHED 8484/glusterd       
tcp        0      0 192.168.80.136:24007    192.168.80.143:49151    ESTABLISHED 8484/glusterd       
tcp        0      0 192.168.80.136:49151    192.168.80.142:24007    ESTABLISHED 8484/glusterd       
[root@gfs01 /]#
  • 检查gluster集群状态
[root@gfs01 /]# gluster peer status 
Number of Peers: 2

Hostname: gfs02
Uuid: 0cc7b46d-fa95-4cbe-8531-da28d10b58cf
State: Peer in Cluster (Connected)

Hostname: gfs03
Uuid: fe0882bc-cde4-43de-bd49-d1c542eb65bb
State: Peer in Cluster (Connected)
[root@gfs01 /]# gluster pool list

在其中一个节点中可以看到另外两个节点信息（如在gfs01上可以看到gfs02及gfs03的信息，gfs02/gfs03同理）

6、创建分布式卷(Distribute)
  • 创建distribute-volume卷作示例（默认创建的类型）
[root@gfs03 ~]# gluster volume create distribute-volume gfs01:/sdb1 gfs02:/sdb1 gfs03:/sdb1 force
volume create: distribute-volume: success: please start the volume to access data
[root@gfs03 ~]# gluster volume list
distribute-volume
[root@gfs03 ~]# gluster volume info distribute-volume
 
Volume Name: distribute-volume
Type: Distribute # 可以看到这个类型为分布式卷
Volume ID: b0087b4c-d9a3-47be-aafa-982f2ad5a21f
Status: Created
Snapshot Count: 0
Number of Bricks: 3
Transport-type: tcp
Bricks: # 共有三个brick存储服务器
Brick1: gfs01:/sdb1
Brick2: gfs02:/sdb1
Brick3: gfs03:/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
[root@gfs03 ~]#
  • 创建之后的卷需要要启用后才能使用，启动分布式卷
[root@gfs03 ~]# gluster volume start distribute-volume
[root@gfs03 ~]# gluster volume status

分布式卷启动之后可以通过gluster volume info distribute-volume查看到Status状态为Started，说明已经启动成功；

7、安装客户端

在部署完分布式文件系统后，在需要使用glusterfs服务器上安装相应的客户端软件，并创建挂载目录， 将分布式文件系统挂载到刚创建目录即可。

  • 安装工具包
yum -y install glusterfs glusterfs-fuse
  • 执行目录挂载
[root@gfs-client /]# mkdir -p /data/distribute-volume
[root@gfs-client /]# mount.glusterfs gfs01:distribute-volume /data/distribute-volume
[root@gfs-client /]# df -Th
Filesystem              Type            Size  Used Avail Use% Mounted on
......
gfs01:distribute-volume fuse.glusterfs   59G  734M   56G   2% /data/distribute-volume

如果需要重启后自动挂载echo "gfs01:distribute-volume /data/distribute-volume glusterfs defaults 0 0" >> /etc/fstab

  • 在/data目录中产生一些测试文件
[root@gfs-client /]# cd /data/
[root@gfs-client data]# dd if=/dev/zero of=test1.log bs=1M count=10

多次执行dd命令产生测试文件test1.log、test2.log、test3.log、test4.log，然后将所有test文件移动到distribute-volume中，检查存储情况，因为创建的是分布式卷，所以文件会被在其中一个节点保存；

在演示中gfs01的目录/sdb1中保存了test3.log，gfs02的目录/sdb1中保存了test1.log和test1.log，gfs03的目录/sdb1中保存了test4.log

8、实践glusterfs的复制卷类型
  • 创建复制卷(Distribute Volume)
fdisk /dev/sdc
mkfs.ext4 /dev/sdc1
echo "/dev/sdc1 /sdc1 ext4 defaults 0 0" >> /etc/fstab 
mount -a

gluster volume create replica-volume replica 3 gfs01:/sdc1 gfs02:/sdc1 gfs03:/sdc1 force
3表示文件分成3个副本存储

gluster volume start replica-volume

gluster volume status
  • 在客户端的机器挂载并测试
echo "gfs01:replica-volume /data/replica-volume glusterfs defaults 0 0" >> /etc/fstab
mount -a

dd if=/dev/zero of=test-replica.log bs=1M count=10
赞赏(Donation)
微信(Wechat Pay)

donation-wechatpay

相关博客