Tag Archives: raid5

Aumentar el espacio de RAID cambiando los discos

Posted by on 15/01/2011 1 comment

Estabamos a punto de quedarnos sin espacio en uno de los servidores de copias de seguridad, debiamos actuar en consecuencia, pero teníamos un problema. No había más puertos SATA para pinchar discos, teníamos pinchados 4 discos de 1TB para formar el array, la solución que inventamos fue cambiar los discos por discos de 2TB. Pero sólo había dinero para dos discos, luego mantendríamos 2 discos de 1TB y le añadiríamos dos discos más de 2TB. Veamos como se hace.

La solución consiste en eliminar 1 disco y añadir otro para sustituir los discos y añadir luego las dos particiones nuevas para aumentar el espacio.

Para el ejemplo disponemos de particiones de 10MB en una Debian 5.0.3. Partimos de la siguiente configuración:

/dev/md0:
        Version : 00.90
  Creation Time : Sat Jan 15 21:28:39 2011
     Raid Level : raid5
     Array Size : 29952 (29.25 MiB 30.67 MB)
  Used Dev Size : 9984 (9.75 MiB 10.22 MB)
   Raid Devices : 4
  Total Devices : 4
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Sat Jan 15 21:28:39 2011
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 64K

           UUID : dfbcb5a6:fd376e03:9efbd2b1:7507133b
         Events : 0.1

    Number   Major   Minor   RaidDevice State
       0      22        1        0      active sync   /dev/hda
       1      22        2        1      active sync   /dev/hdb
       2      22        3        2      active sync   /dev/hdc
       4      22        4        3      active sync   /dev/hdd

A continuación marcamos como fallido y elimininamos hdc así: 

# mdadm --fail /dev/md0 /dev/hdc
# mdadm --remove /dev/md0 /dev/hdc

Abrimos la máquina y cambiamos el disco, creamos un par de particiones de 1TB cada una del tipo fd (Linux Raid Autodetect). Cuando tengamos esto, añadimos la primera partición al raid.

# mdadm --add /dev/md0 /dev/sda1

Y vemos como se reconstruye el Raid que dependiendo del caso puede tardar varias horas.

Una vez el raid se ha reconstruido, eliminamos otro disco, hdd como hemos hecho anteriormente, apagamos para sacar el disco y añadir el nuevo disco que será el que amplie el tamaño.

Cuando ya hemos cambiado los discos y añadido las particiones de uno de ellos al Raid estamos como al principio pero disponemos de otro disco, el cual particionamos como el anterior así:

# sfdisk -d /dev/sda | sfdisk /dev/sdb

Ahora añadimos las nuevas particiones al array

# mdadm --add /dev/md0 /dev/sdb1
# mdadm --add /dev/md0 /dev/sdb2

Estos discos se añaden como Spare (reserva) para decirle que los use hacemos lo siguiente:

# mdadm --grow /dev/md0 --raid-devices=6

Y tras la operación de crecimiento veremos esto

/dev/md0:
        Version : 00.90
  Creation Time : Sat Jan 15 20:51:15 2011
     Raid Level : raid5
     Array Size : 49920 (48.76 MiB 51.12 MB)
  Used Dev Size : 9984 (9.75 MiB 10.22 MB)
   Raid Devices : 6
  Total Devices : 6
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Sat Jan 15 20:59:48 2011
          State : clean
 Active Devices : 6
Working Devices : 6
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 64K

           UUID : caf96b94:b704eba2:86b20519:591dba3f
         Events : 0.54

    Number   Major   Minor   RaidDevice State
       0      22        1        0      active sync   /dev/hda
       1      22        2        1      active sync   /dev/hdb
       2      22       66        2      active sync   /dev/sda1
       3      22       65        3      active sync   /dev/sda2
       4      22       68        4      active sync   /dev/sdb1
       5      22       67        5      active sync   /dev/sdb2

Como vemos en la salida del comando hemos crecido en 20MB (en el servidor autentico eran 1.5TB más), ahora toca decirselo al sistema de ficheros, para esto pasamos primero un test a la integridad y luego ampliamos el tamaño. 

fsck.ext3 /dev/md0
resize2fs /dev/md0

Es un proceso lento (muy lento) dependiendo del tamaño. Hay que tener cuidado, cuando se sobrepasan los 2TB las tablas de particiones no pueden ser MSDOS.

Recuperar Disco de Raid5

Posted by on 19/11/2009 1 comment

Como ya hemos montado un sistema con Debian Lenny, Raid5 y LVM2 vamos a ver ahora cómo tenemos que proceder si uno de los discos duros falla. Para los ejemplos he construido con VirtualBox un sistema basado en el del ejemplo del post anterior, pero con discos de 10MB, es válido para los propositos de este post, si los discos son más grande lo único que afecta es que las acciones de formateo y reconstrucción serán más largos. Dicho esto vamos al lío.

Dejamos la entrada con esta configuración de Raid:

# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active (auto-read-only) raid5 sda[0] sdb[3] sdc[2] sdd[1]
30528 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]
unused devices:

La cadena de Us mayúsculas indica el estado del Raid, todas las Us implica todos los discos. Vamos a suponer que falla sdd. En ese caso veríamos algo así:

# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active (auto-read-only) raid5 sda[0] sdb[3] sdc[2] sdd[1]
30528 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUU_]
unused devices:

Mostrando que falta un disco. Para reemplazarlo, seguimos estos pasos

  1. Parar el raid
    2. # mdadm --stop /dev/md0
  2. Marcar el disco que ha fallado
    3. # mdadm --manage /dev/md0 --fail /dev/sdd
  3. Eliminar el disco del raid.
    4. # mdadm --manage /dev/md0 --remove /dev/sdd
  4. Apagar el equipo y reemplazar el disco
  5. Agregar el disco al raid
    6. # mdadm --manage /dev/md0 --add /dev/sdd
  6. Listo.

Ahora podemos ir mirando /proc/mdstat para ver el progreso de la reconstrucción que tardará más o menos en función del tamaño. Podemos usar uno de los comandos aparecidos en este Blog, así:

# watch cat /proc/mdstat

Cuando halla finalizado, podemos montar el dispositivo, recordamos que estaba bajo LVM pero este no se ha enterado de nada.

Se Equivocó

Posted by on 04/11/2009 1 comment

Hoy realizaba una nueva instalación de un servidor con una Debian Lenny, instalación desde DVD. Esta máquina hará las veces de Servidor de Directorio para la LAN. Tiene su miga. Partiendo de la base que si un Linux falla, es culpa del administrador (o sea, yo), voy a contar lo que pasó.

En esta instalación el punto más importante estaba en el particionado del disco, el plan era tener la / en raid1 y luego una DAS de 8 Teras en raid5 con LVM2 para /home. Bien, el proceso de instalación avanzó sin problemas hasta la edición del particionado del disco. Físicamente tenemos dos discos sata de 500 GB y el dispositivo /dev/sdc que es la DAS en acceso en bruto, el dispositivo se monta a través de /dev/mapper/datos.

Entonces cuando llegué a este punto de la instalación, el programa me presentó todas estas cosas, tomé sda y creé una partición primaria al final del disco de 490GB, nació sda1, hice lo mismo con sdb, y también nació sdb1, puse los 10GB sobrantes de sda para /boot, ya sda2 y los 10GB de sdb para swap, sdb2. Elegí entonces sda1 y sdb1 y los seleccioné para formar el raid1, nació md0. Posteriormente, le dije que el volumen lógico lo montara en /home. Hasta aquí todo bien.

La instalación prosiguió y al momento de reiniciar e iniciar la nueva instalación… error!! fsck me comenta que la partición /dev/sda2 no tiene una tabla de particiones válida.

CLARO QUE NO es una partición swap, pero es que ahora sda2 no es swap, por alguna razón al reiniciar, el que era /dev/sdc, o sea, el DAS físico había cambiado a /dev/sda! y las líneas en /etc/fstab ya no valían. No todas, al menos. Una vez corregido el inconveniente, reinicié y ya no intentaba checar trozos de disco sin partición.

Aun no entiendo por qué cambió el orden de los dispositivos, cae un mito sobre el poder de Linux, no me esperaba algo de este calibre. Otra cosa que he visto es que también nombra a las particiones en el orden en la que aparecen, no en el orden en el que están físicamente en el disco.

Solucionado el problema, pude irme a casa satisfecho, mañana empezaré la instalación y configuración del nuevo servidor. Pero yo no tuve la culpa!

Debian Lenny Con Raid5 y LVM2

Posted by on 31/03/2009 Comments Off on Debian Lenny Con Raid5 y LVM2

Tras instalar Lenny en la máquina nueva que ha llegado a la escuela, vamos a construir un buen sistema para albergar las copias de seguridad

El raid5 usa división de datos a nivel de bloques distribuyendo la información de paridad entre todos los discos miembros del conjunto. El RAID 5 ha logrado popularidad gracias a su bajo coste de redundancia. Generalmente, el RAID 5 se implementa con soporte hardware para el cálculo de la paridad. “Wikipedia Dixit”.

Para ello hemos usado la herramienta mdadm de la siguiente manera:

Primero creamos un nuevo dispositivo en /dev:

mknod /dev/md0 b 0 9

Hemos llamado md (multi disk) aunque podemos usar el nombre que queramos, b es que el dispositivo es de bloques y los enteros son los valores máximo y mínimo.

Después creamos el raid5 sobre el nuevo dispositivo.

mdadm --create /dev/md0 --level=raid5 --raid-devices=4 /dev/sdb /dev/sdc /dev/sdd /dev/sde

Se verifica que está todo en orden:

cat /proc/mdstat

Cuya salida debe ser:

md0 : active raid5 sdb[0] sde[3] sdd[2] sdc[1]
2930284224 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

Podemos ver más detalles en el comando:

mdadm --detail /dev/md0

Que nos informará del estado del raid así:

/dev/md0:
Version : 00.90
Creation Time : Mon Mar 30 09:55:23 2009
Raid Level : raid5
Array Size : 2930284224 (2794.54 GiB 3000.61 GB)
Used Dev Size : 976761408 (931.51 GiB 1000.20 GB)
Raid Devices : 4
Total Devices : 4
Preferred Minor : 0
Persistence : Superblock is persistent

Update Time : Tue Mar 31 09:34:29 2009
State : clean
Active Devices : 4
Working Devices : 4
Failed Devices : 0
Spare Devices : 0

Layout : left-symmetric
Chunk Size : 64K

UUID : e09fdc34:442bd85d:86b20519:591dba3f
Events : 0.82

Number   Major   Minor   RaidDevice State
0       8       16        0      active sync   /dev/sdb
1       8       32        1      active sync   /dev/sdc
2       8       48        2      active sync   /dev/sdd
3       8       64        3      active sync   /dev/sde

Ya tenemos una unidad raid5 de aproximadamente 3 TB. Pero si algo sabemos los administradores de nuestros sistemas es que tienden a crecer y mucho. Por eso, hemos optado por añadir el dispositivo raid a un volumen lógico con LVM2.

Para ello hacemos lo siguiente:

Primero creamos un volumen físico

pvcreate /dev/md0

Segundo, creamos un grupo de volúmenes llamado data (nombre libre):

vgcreate data /dev/md0

Después obtenemos la capacidad que otorga el volumen:

vgdisplay | grep -i "total pe"

Que nos dirá:

Total PE              715401

Así se crea un volumen lógico dentro del grupo de volumenes

lvcreate -n home -l 715401 data

El volumen lógico lo hemos llamado home porque albergará las carpetas de usuarios del sistema.

Se crea el sistema de ficheros al gusto, en mi caso me gusta extendida 3:

mkfs.ext3 /dev/mapper/data-home

Nos queda añadirlo a fstab para que se monte al iniciar el sistema.

dev/mapper/data-home   /home       ext3    defaults,noatime    0   2

Con esto hemos construido una solución completamente profesional para el almacenamiento de datos, copias de seguridad de los PC’s de mis usuarios, y todo ello con software libre. Es importante destacar, que la partición / está fuera del raid, en una próxima entrega explicaré como actuar en caso que la raiz esté en raid, ya que en este caso necesitamos generar un disco ram con los módulos necesarios para el raid.

El porque de usar un volumen lógico en lugar de formatear directamente el raid es sencillo, si se acaba el espacio (que seguro que pasará) se pinchan más discos y se añaden al volumen. Los usuarios siempre verán un sólo disco sin pararse a pensar cuántos discos están almacenados por detrás.