Hoy vamos a construir un clúster de almacenamiento con GlusterFS y CentOS utilizando cuatro nodos para ficheros y datos de usuarios. El tamaño de la compartición será la suma de lo que aporte cada nodo individualmente. GlusterFS es un sistema de ficheros clusterizado capaz de escalar hasta varios peta-bytes.

Vamos a necesitar cuatro máquinas para los servidores y una que hará de cliente. Todas con CentOS. Todas deben resolver el nombre de las demás, si no es posible hacerlo mediante DNS utilizamos el fichero /etc/hosts de la siguiente manera.

192.168.1.100   server1.example.com     server1
192.168.1.101   server2.example.com     server2
192.168.1.102   server3.example.com     server3
192.168.1.103   server4.example.com     server4
192.168.1.104   client1.example.com     client1

Antes de empezar vamos a desabilitar SELinux y, como estamos dentro de la red local, el firewall.

Para deshabilitar SELinux editamos el fichero /etc/sysconfig/selinux y cambiamos la siguiente línea.

[...]
SELINUX=disabled
[...]

Para deshabilitar el cortafuegos simplemente lo quitamos del autoarranque.

# chkconfig iptables off
# chkconfig ip6tables off

Comenzamos instalando GlusterFS en los nodos

Instalando GlusterFS en los nodos

Habilitando el repositorio

Tenemos que crear un nuevo fichero de repositorio dentro de /etc/yum.repos.d con nombre glusterfs.repo

# vim /etc/yum.repos.d/glusterfs.repo

Añadimos

[glusterfs-epel]
name=GlusterFS is a clustered file-system capable of scaling to several petabytes.
baseurl=http://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/epel-$releasever/$basearch/
enabled=1
skip_if_unavailable=1
gpgcheck=1
gpgkey=http://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/pub.key

[glusterfs-noarch-epel]
name=GlusterFS is a clustered file-system capable of scaling to several petabytes.
baseurl=http://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/epel-$releasever/noarch
enabled=1
skip_if_unavailable=1
gpgcheck=1
gpgkey=http://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/pub.key

[glusterfs-source-epel]
name=GlusterFS is a clustered file-system capable of scaling to several petabytes. - Source
baseurl=http://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/epel-$releasever/SRPMS
enabled=0
skip_if_unavailable=1
gpgcheck=1
gpgkey=http://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/pub.key

Añadir la firma

A continuación se añade la firma del repositorio al depósito de claves

# yum --import http://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/pub.key

Ya podemos usar el gestor de paquetes para instalar el software

Instalando el servidor GlusterFS

Desde la terminal instalamos los paquetes necesarios

# yum install glusterfs-server

Una vez ha terminado de instalar paquetes podemos comprobar que está correcto escribiendo.

# glusterfsd --version

Debemos ver lo siguiente.

glusterfs 3.5.1 built on Jun 24 2014 15:09:28
Repository revision: git://git.gluster.com/glusterfs.git
Copyright (c) 2006-2013 Red Hat, Inc. 
GlusterFS comes with ABSOLUTELY NO WARRANTY.
It is licensed to you under your choice of the GNU Lesser
General Public License, version 3 or any later version (LGPLv3
or later), or the GNU General Public License, version 2 (GPLv2),
in all cases as published by the Free Software Foundation.

Antes de continuar debemos arrancar el demonio haciendo lo siguiente.

# /etc/init.d/glusterd start

Dejamos el servicio habilitado para el próximo reinicio

# chkconfig glusterd on

Seguimos con la configuración.

Creando la compartición

Ya tenemos el servidor instalado, vamos a configurara una compartición. Los siguientes pasos sólo los haremos en server1 ya que la configuración se replica entre los nodos que conforman el cluster. Primero debemos crear el pool de almacenamiento. Desde la consola del primer servidor escribimos.

# gluster peer probe server2.example.com
Probe successful
# gluster peer probe server3.example.com
Probe successful
# gluster peer probe server4.example.com
Probe successful

Podemos comprobar que se ha construido satisfactoriamente.

# gluster peer status

Number of Peers: 3

Hostname: server2.example.com
Uuid: da79c994-eaf1-4c1c-a136-f8b273fb0c98
State: Peer in Cluster (Connected)

Hostname: server3.example.com
Uuid: 3e79bd9f-a4d5-4373-88e1-40f12861dcdd
State: Peer in Cluster (Connected)

Hostname: server4.example.com
Uuid: c6215943-00f3-492f-9b69-3aa534c1d8f3
State: Peer in Cluster (Connected)

Ahora creamos la compartición distribuida que llamaremos testvol. Seguimos en server1

# gluster volume create testvol stripe 4 transport tcp server1.example.com:/data server2.example.com:/data server3.example.com:/data server4.example.com:/data force
Creation of volume testvol has been successful. Please start the volume to access data.

Añadimos el parámetro force si el directorio que comparten los nodos está en la raiz del sistema de ficheros.

Iniciamos el volumen

# gluster volume start testvol
Starting volume testvol has been unsuccessful

Si comprobamos las conexiones veremos como está levantado el servicio.

# netstat -tap | grep glusterfs
tcp        0      0 *:24009                 *:*                     LISTEN      1110/glusterfsd
tcp        0      0 localhost.localdom:1019 localhost.localdo:24007 ESTABLISHED 1110/glusterfsd

Vamos a añadir una capa de seguridad permitiendo conexiones unicamente desde nuestra red local, para ello hacemos.

# gluster volume set testvol auth.allow 192.168.1.*

Y ahora si comprobamos el estado del volumen.

# gluster volume info

Volume Name: testvol
Type: Stripe
Volume ID: f922da05-737d-4fb5-83cc-e50d6782b90c
Status: Started
Number of Bricks: 1 x 4 = 4
Transport-type: tcp
Bricks:
Brick1: server1.example.com:/data
Brick2: server2.example.com:/data
Brick3: server3.example.com:/data
Brick4: server4.example.com:/data
Options Reconfigured:
auth.allow: 192.168.1.*

Configuración de los clientes

Estos pasos debemos llevarlos a cabo por cada cliente que queramos que pueda montar la compartición. Empezamos instalando el cliente de GlusterFS.

Hay que habilitar el repositorio como hicimos con los servidores.

# yum install glusterfs-client

Creamos un punto de montaje para la compartición.

# mkdir /mnt/glusterfs

Montamos.

mount.glusterfs server1.example.com:/testvol /mnt/glusterfs

Podemos ver que está montado haciendo.

# mount 

/dev/mapper/VolGroup-lv_root on / type ext4 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
tmpfs on /dev/shm type tmpfs (rw)
/dev/sda1 on /boot type ext4 (rw)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
server1.example.com:/testvol on /mnt/glusterfs type fuse.glusterfs (rw,default_permissions,allow_other,max_read=131072)

También

# df -hT

Filesystem                   Type            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root ext4            6,7G  796M  5,5G  13% /
tmpfs                        tmpfs           250M     0  250M   0% /dev/shm
/dev/sda1                    ext4            485M   31M  429M   7% /boot
server1.example.com:/testvol fuse.glusterfs   20G  2,4G   17G  13% /mnt/glusterfs

Hacemos los cambios permanentes añadiendo la siguiente línea al fichero /etc/fstab

server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0

Fuente

He seguido los pasos de este artículo para adaptarlo a CentOS y la última versión de GlusterFS