CentOS7上安装GlusterFS存储

GlusterFS是一个免费的开源文件和对象存储解决方案，可以通过网络跨物理，虚拟和云服务器使用。GlusterFS的主要优点是我们可以在不停机的情况下将存储扩展或扩展到多个PB，还可以提供存储的冗余和高可用性。

哪里使用GluserFS ......？

基于GllusterFS的存储可以通过网络用于物理，虚拟和云服务器。

它也可以用于他们曾经向互联网用户提供多媒体或其他内容的公司，并且必须处理数百TB的文件。

GlusterFS还可以用作私有云和公共云中的对象存储。

GlusterFS存储中使用的不同术语：

• 可信存储池：它是一组多个服务器，彼此信任并形成存储集群。
• 节点：节点是参与可信存储池的存储服务器
• 块：砖块是基于LVM的XFS（512字节inode）文件系统，安装在文件夹或目录中。
• 卷：卷是通过网络向客户端呈现或共享的文件系统。可以使用glusterfs，nfs和smbs方法安装卷。

可以使用GlusterFS配置的不同类型的卷：

• 分发卷：它是在创建卷时未指定选项时创建的默认卷。在这种类型的卷文件中将使用弹性散列算法分布在整个砖块中
• 复制卷：顾名思义，这种类型的卷文件将在砖块中复制或镜像，换句话说，用一块砖写的文件也将被复制到另一块砖块中。
• stripe卷：在这种类型的卷中，较大的文件被剪切或拆分成块，然后分布在块中。
• 分发复制卷：正如名称在卷文件类型中建议的那样，首先将在块中分配，然后将其复制到不同的块中。

虽然可以尝试其他组合来形成不同的卷，如条带复制。

在本文中，我将演示如何在RHEL 7.x和CentOS 7.x上设置GlusterFS存储。在我的情况下，我采用四个RHEL 7 / CentOS 7服务器，安装最少，并假设附加磁盘连接到这些服务器以进行glustesfs设置。

• server1.example.com（192.168.43.10）
• server2.example.co m（192.168.43.20）
• server3.example.com（192.168.43.30）
• server4.example.com（192.168.43.40）

如果您有自己的DNS服务器，请在/ etc / hosts文件中添加以下行。

192.168.43.10  server1.example.com server1
192.168.43.20  server2.example.com server2
192.168.43.30  server3.example.com server3
192.168.43.40  server4.example.com server4

在所有服务器上安装Glusterfs服务器软件包。

Glusterfs软件包不包含在默认的centos和RHEL存储库中，因此我们将设置gluster repo和EPEL repo。在所有4台服务器上依次运行以下命令。

~]# yum install wget
~]# yum install centos-release-gluster -y
~]#yum install epel-release -y
~]# yum install glusterfs-server -y

在所有四台服务器上启动并启用GlusterFS服务。

~]# systemctl start glusterd
~]# systemctl enable glusterd

允许防火墙中的端口，以便服务器可以通信并形成存储群集（可信池）。在所有4台服务器上运行under命令。

~]# firewall-cmd --zone=public --add-port=24007-24008/tcp --permanent
~]# firewall-cmd --zone=public --add-port=24009/tcp --permanent
~]# firewall-cmd --zone=public --add-service=nfs --add-service=samba --add-service=samba-client --permanent
~]# firewall-cmd --zone=public --add-port=111/tcp --add-port=139/tcp --add-port=445/tcp --add-port=965/tcp --add-port=2049/tcp --add-port=38465-38469/tcp --add-port=631/tcp --add-port=111/udp --add-port=963/udp --add-port=49152-49251/tcp --permanent
~]# firewall-cmd --reload

分配卷设置：

我将形成由服务器1和服务器2组成的可信存储池，并将在其上创建砖块，之后将创建分布式卷。我还假设为两台服务器分配了16 GB（/ dev / sdb）的原始磁盘。

从服务器1控制台运行以下命令以与服务器2形成可信存储池。

[root@server1 ~]# gluster peer probe server2.example.com
peer probe: success.
[root@server1 ~]#

我们可以使用以下命令检查对等状态：

[root@server1 ~]# gluster peer status
Number of Peers: 1

Hostname: server2.example.com
Uuid: 9ef0eff2-3d96-4b30-8cf7-708c15b9c9d0
State: Peer in Cluster (Connected)
[root@server1 ~]#

在服务器1上创建块

要首先创建brick，我们必须在原始磁盘（/ dev / sdb）上设置thing provision逻辑卷 。

在服务器1上运行以下命令

[root@server1 ~]# pvcreate /dev/sdb /dev/vg_bricks/dist_brick1 /bricks/dist_brick1 xfs rw,noatime,inode64,nouuid 1 2
[root@server1 ~]# vgcreate vg_bricks /dev/sdb
[root@server1 ~]# lvcreate -L 14G -T vg_bricks/brickpool1

在上面的命令中，brickpool1是精简池的名称。

现在创建一个3 GB的创建逻辑卷

[root@server1 ~]# lvcreate -V 3G -T vg_bricks/brickpool1 -n dist_brick1

现在使用xfs文件系统格式化逻辑卷

[root@server1 ~]# mkfs.xfs -i size=512 /dev/vg_bricks/dist_brick1
[root@server1 ~]# mkdir -p /bricks/dist_brick1

使用mount命令挂载块

[root@server1 ~]# mount /dev/vg_bricks/dist_brick1 /bricks/dist_brick1/

要永久安装它，请在/ etc / fsatb中添加以下行

/dev/vg_bricks/dist_brick1 /bricks/dist_brick1 xfs rw,noatime,inode64,nouuid 1 2

在挂载点下创建一个带有brick的目录

[root@server1 ~]# mkdir /bricks/dist_brick1/brick

同样，在服务器2上执行以下命令集

[root@server2 ~]# pvcreate /dev/sdb ; vgcreate vg_bricks /dev/sdb
[root@server2 ~]# lvcreate -L 14G -T vg_bricks/brickpool2
[root@server2 ~]# lvcreate -V 3G -T vg_bricks/brickpool2 -n dist_brick2
[root@server2 ~]# mkfs.xfs -i size=512 /dev/vg_bricks/dist_brick2
[root@server2 ~]# mkdir -p /bricks/dist_brick2
[root@server2 ~]# mount /dev/vg_bricks/dist_brick2 /bricks/dist_brick2/
[root@server2 ~]# mkdir /bricks/dist_brick2/brick

使用以下gluster命令创建分布式卷：

[root@server1 ~]# gluster volume create distvol server1.example.com:/bricks/dist_brick1/brick server2.example.com:/bricks/dist_brick2/brick
[root@server1 ~]# gluster volume start distvol
volume start: distvol: success
[root@server1 ~]#

使用以下命令验证卷状态：

[root@server1 ~]# gluster volume info distvol

在客户端上安装分配卷：

在首先使用glusterfs安装卷之前，我们必须确保客户端上安装了glusterfs-fuse软件包。还要确保在/ etc / hosts文件中添加gluster存储服务器条目，以防您没有本地DNS服务器。

登录到客户端并从控制台运行以下命令以安装glusterfs-fuse

[root@glusterfs-client ~]# yum install glusterfs-fuse -y

为分发卷创建一个挂载：

[root@glusterfs-client ~]# mkdir /mnt/distvol

现在使用下面的mount命令挂载' distvol '：

[root@glusterfs-client ~]# mount -t glusterfs -o acl server1.example.com:/distvol /mnt/distvol/

对于永久挂载，请在/ etc / fstab文件中添加以下条目

server1.example.com:/distvol   /mnt/distvol    glusterfs     _netdev    0 0

运行df命令以验证卷的安装状态。

现在开始访问音量“ distvol ”

复制卷设置：

对于复制卷设置，我将使用服务器3和服务器4，我假设glusterfs的额外磁盘（/ dev / sdb）已经分配给服务器。请参阅以下步骤：

在可信存储池中添加服务器3和服务器4

[root@server1 ~]# gluster peer probe server3.example.com
peer probe: success.
[root@server1 ~]# gluster peer probe server4.example.com
peer probe: success.
[root@server1 ~]#

在服务器3上创建并安装块。一个接一个地运行下面的命令。

[root@server3 ~]# pvcreate /dev/sdb ; vgcreate vg_bricks /dev/sdb
[root@server3 ~]# lvcreate -L 14G -T vg_bricks/brickpool3
[root@server3 ~]# lvcreate -V 3G -T vg_bricks/brickpool3 -n shadow_brick1
[root@server3 ~]# mkfs.xfs -i size=512 /dev/vg_bricks/shadow_brick1
[root@server3 ~]# mkdir -p /bricks/shadow_brick1
[root@server3 ~]# mount /dev/vg_bricks/shadow_brick1 /bricks/shadow_brick1/
[root@server3 ~]# mkdir /bricks/shadow_brick1/brick

在/ etc / fstab文件中执行以下条目以进行块永久安装：

/dev/vg_bricks/shadow_brick1  /bricks/shadow_brick1/  xfs  rw,noatime,inode64,nouuid 1 2

同样，在服务器4上执行相同的步骤来创建和安装砖：

[root@server4 ~]# pvcreate /dev/sdb ; vgcreate vg_bricks /dev/sdb
[root@server4 ~]# lvcreate -L 14G -T vg_bricks/brickpool4
[root@server4 ~]# lvcreate -V 3G -T vg_bricks/brickpool4 -n shadow_brick2
[root@server4 ~]# mkfs.xfs -i size=512 /dev/vg_bricks/shadow_brick2
[root@server4 ~]# mkdir -p /bricks/shadow_brick2
[root@server4 ~]# mount /dev/vg_bricks/shadow_brick2 /bricks/shadow_brick2/
[root@server4 ~]# mkdir /bricks/shadow_brick2/brick

对于砖的永久性安装，请进行fstab入口。

使用以下gluster命令创建复制卷。

[root@server3 ~]# gluster volume create shadowvol replica 2 server3.example.com:/bricks/shadow_brick1/brick server4.example.com:/bricks/shadow_brick2/brick
volume create: shadowvol: success: please start the volume to access data
[root@server3 ~]# gluster volume start shadowvol
volume start: shadowvol: success
[root@server3 ~]#

使用以下gluster命令验证卷信息：

[root@server3 ~]# gluster volume info shadowvol

如果要通过nfs 访问此卷“ shadowvol ”，请设置以下内容：

[root@server3 ~]# gluster volume set shadowvol nfs.disable off

通过nfs在客户端上安装Replicate卷

在安装之前先创建一个安装点。

[root@glusterfs-client ~]# mkdir /mnt/shadowvol

注意：gluster存储的一个限制是GlusterFS服务器仅支持NFS协议的第3版。

在存储服务器（服务器3和服务器4）上的“ /etc/nfsmount.conf ” 文件中添加以下条目

Defaultvers = 3

完成上述条目后，重新启动两个服务器。使用下面的mount命令到卷“ shadowvol ”

[root@glusterfs-client ~]# mount -t nfs -o vers=3 server4.example.com:/shadowvol /mnt/shadowvol/

对于永久挂载，请在/ etc / fstab文件中添加以下条目

server4.example.com:/shadowvol  /mnt/shadowvol/  nfs vers=3  0 0

验证卷的大小和安装状态：

[ root @glusterfs-client ~] #df -Th

分发 - 复制卷设置：

对于设置Distribute-Replicate卷，我将使用每个服务器中的一个块并构成卷。我将从相应服务器上的现有精简池创建逻辑卷。

使用under命令在所有4台服务器上创建一块砖

Server 1

[root@server1 ~]# lvcreate -V 3G -T vg_bricks/brickpool1 -n prod_brick1
[root@server1 ~]# mkfs.xfs -i size=512 /dev/vg_bricks/prod_brick1
[root@server1 ~]# mkdir -p /bricks/prod_brick1
[root@server1 ~]# mount /dev/vg_bricks/prod_brick1 /bricks/prod_brick1/
[root@server1 ~]# mkdir /bricks/prod_brick1/brick

Server 2

[root@server2 ~]# lvcreate -V 3G -T vg_bricks/brickpool2 -n prod_brick2
[root@server2 ~]# mkfs.xfs -i size=512 /dev/vg_bricks/prod_brick2
[root@server2 ~]# mkdir -p /bricks/prod_brick2
[root@server2 ~]# mount /dev/vg_bricks/prod_brick2 /bricks/prod_brick2/
[root@server2 ~]# mkdir /bricks/prod_brick2/brick

 Server 3

[root@server3 ~]# lvcreate -V 3G -T vg_bricks/brickpool3 -n prod_brick3
[root@server3 ~]# mkfs.xfs -i size=512 /dev/vg_bricks/prod_brick3
[root@server3 ~]# mkdir -p /bricks/prod_brick3
[root@server3 ~]# mount /dev/vg_bricks/prod_brick3 /bricks/prod_brick3/
[root@server3 ~]# mkdir /bricks/prod_brick3/brick

 Server 4

[root@server4 ~]# lvcreate -V 3G -T vg_bricks/brickpool4 -n prod_brick4
[root@server4 ~]# mkfs.xfs -i size=512 /dev/vg_bricks/prod_brick4
[root@server4 ~]# mkdir -p /bricks/prod_brick4
[root@server4 ~]# mount /dev/vg_bricks/prod_brick4 /bricks/prod_brick4/
[root@server4 ~]# mkdir /bricks/prod_brick4/brick

现在使用以下gluster命令创建名为“ dist-rep-vol ” 的卷：

[root@server1 ~]# gluster volume create dist-rep-vol replica 2 server1.example.com:/bricks/prod_brick1/brick server2.example.com:/bricks/prod_brick2/brick server3.example.com:/bricks/prod_brick3/brick server4.example.com:/bricks/prod_brick4/brick force
[root@server1 ~]# gluster volume start dist-rep-vol

使用以下命令验证卷信息：

[root@server1 ~]# gluster volume info dist-rep-vol

在这个卷中，第一个文件将分布在任意两个砖块上，然后文件将被复制到剩余的两个砖块中。

现在通过gluster将此卷挂载到客户端计算机上

让我们首先为这个卷创建挂载点：

[root@glusterfs-client ~]# mkdir  /mnt/dist-rep-vol
[root@glusterfs-client ~]# mount.glusterfs server1.example.com:/dist-rep-vol /mnt/dist-rep-vol/

在fstab中添加以下条目以永久输入

server1.example.com:/dist-rep-vol /mnt/dist-rep-vol/  glusterfs   _netdev 0 0

使用df命令验证大小和volume ：

That’s it. Hope you have enjoyed the gluster storage configuration steps.