[RESOLU]Disques SAS pleins

[jdh]

Le disque de 300G retiré, il a été sorti du raid 1 => il faudrait le vérifier ("cat /proc/mdstat" ou "mdadm --detail /dev/md?")
(Cela aurait été sans doute possible aussi par "mdadm --fail /dev/sdb?".)
=> il est important de bien passer en raid dégradé !

Si une nouvelle grappe Raid5 est créé, elle produira un disque "virtuel" de 600G, il n'est donc pas question d'en faire un miroir du disque "virtuel" de la première grappe qui est de taille 300G !
=> le premier raid 1 doit être bien en mode dégradé.

La nouvelle grappe raid 5 va fournir un disque "virtuel" nouveau de 600G.

N'étant pas spécialiste de SME, je pars de la supposition qu'un volume physique LVM s'appuie sur le raid (éventuellement dégradé).

Il est possible d'étendre le volume physique LVM avec le nouveau disque de 600G (vgextend).
Puis étendre les volumes logiques contenus dans le volumes physiques (lvextend + resize2fs).

Quelques autres commandes à regarder : fdisk -l, pvs, lvs, ...


Enfin, je peux me tromper ...

[Baobab]

Résultats de différentes commandes :

login as: root
root@192.168.1.3's password:
Last login: Wed Apr 18 21:21:37 2012 from pc-00004.mega-p.fr
[root@gaston ~]# mdadm --detail /dev/md?
mdadm: md device /dev/md0 does not appear to be active.
/dev/md1:
Version : 00.90.01
Creation Time : Fri Apr 6 22:56:19 2012
Raid Level : raid1
Array Size : 101888 (99.52 MiB 104.33 MB)
Device Size : 101888 (99.52 MiB 104.33 MB)
Raid Devices : 2
Total Devices : 1
Preferred Minor : 1
Persistence : Superblock is persistent

Update Time : Wed Apr 18 19:34:04 2012
State : clean, degraded
Active Devices : 1
Working Devices : 1
Failed Devices : 0
Spare Devices : 0

UUID : 61984f47:5677d3e8:15464ff1:eba0fe0d
Events : 0.424

Number Major Minor RaidDevice State
0 104 1 0 active sync /dev/cciss/c0d0p1
1 0 0 - removed
/dev/md2:
Version : 00.90.01
Creation Time : Fri Apr 6 22:56:20 2012
Raid Level : raid1
Array Size : 286579136 (273.30 GiB 293.46 GB)
Device Size : 286579136 (273.30 GiB 293.46 GB)
Raid Devices : 2
Total Devices : 1
Preferred Minor : 2
Persistence : Superblock is persistent

Update Time : Wed Apr 18 21:24:31 2012
State : clean, degraded
Active Devices : 1
Working Devices : 1
Failed Devices : 0
Spare Devices : 0

UUID : 46a1dd0e:42378539:0fd28731:492eba4e
Events : 0.300158

Number Major Minor RaidDevice State
0 104 2 0 active sync /dev/cciss/c0d0p2
1 0 0 - removed
mdadm: md device /dev/md3 does not appear to be active.
mdadm: md device /dev/md4 does not appear to be active.
mdadm: md device /dev/md5 does not appear to be active.
mdadm: md device /dev/md6 does not appear to be active.
mdadm: md device /dev/md7 does not appear to be active.
mdadm: md device /dev/md8 does not appear to be active.
mdadm: md device /dev/md9 does not appear to be active.
[root@gaston ~]# fdisk -l

Disque /dev/cciss/c0d0: 293.5 Go, 293563949056 octets
255 têtes, 32 secteurs/piste, 70265 cylindres
Unités = cylindres de 8160 * 512 = 4177920 octets

Périphérique Boot Start End Blocks Id System
/dev/cciss/c0d0p1 * 1 25 101984 fd Linux raid autodetect
/dev/cciss/c0d0p2 26 70265 286579200 fd Linux raid autodetect

Disque /dev/cciss/c0d2: 299.9 Go, 299966445568 octets
255 têtes, 32 secteurs/piste, 71798 cylindres
Unités = cylindres de 8160 * 512 = 4177920 octets

Périphérique Boot Start End Blocks Id System
/dev/cciss/c0d2p1 1 71797 292931744 7 HPFS/NTFS

Disque /dev/md1: 104 Mo, 104333312 octets
2 têtes, 4 secteurs/piste, 25472 cylindres
Unités = cylindres de 8 * 512 = 4096 octets

Disque /dev/md1 ne contient pas une table de partition valide

Disque /dev/md2: 293.4 Go, 293457035264 octets
2 têtes, 4 secteurs/piste, 71644784 cylindres
Unités = cylindres de 8 * 512 = 4096 octets

Disque /dev/md2 ne contient pas une table de partition valide

Disque /dev/dm-0: 289.2 Go, 289205649408 octets
2 têtes, 4 secteurs/piste, 70606848 cylindres
Unités = cylindres de 8 * 512 = 4096 octets

Disque /dev/dm-0 ne contient pas une table de partition valide

Disque /dev/dm-1: 4227 Mo, 4227858432 octets
2 têtes, 4 secteurs/piste, 1032192 cylindres
Unités = cylindres de 8 * 512 = 4096 octets

Disque /dev/dm-1 ne contient pas une table de partition valide
[root@gaston ~]# pvs
PV VG Fmt Attr PSize PFree
/dev/md2 main lvm2 a- 273,28G 0
[root@gaston ~]# lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
root main -wi-ao 269,34G
swap main -wi-ao 3,94G
[root@gaston ~]#

Donc il me semble qu'on est bien en dégradé. C'est OK

[unnilennium]

juste parce que je préfère le dire maintenant que trop tard :
fais une sauvegarde intégrale avant de continuer !
une erreur de manip dans la manipulation des raid entrainant un écrasement de toutes les données de façon irrémédiable est si vite arrivé ...
et prends des notes de l'architecture en mettant des numéro sur tes disques pour que tu sache quel disque est dans quelle grappe plus tard quand tu devra intervenir pour en remplacer un .

avec un raid matériel je ne sais pas a quel point tu pourras accéder aux données des disques pour les surveiller, mais une surveillance de type SMART ( si y a un équivalent en SAS) est bienvenue. On a une grappe de 30 disques ici dont ceux qui sont au centre du montage ont tendance a surchauffer et griller plus vite que les autres ( raid 5 logiciel) ... grâce à SMART on peut recevoir les alertes rapidement. Regarde aussi si le raid hardware peut t'avertir en cas de probleme

[jdh]

Si je décode un peu :

- les disques sont (le nom /dev/cciss/c0dX est typique du raid HP/Compaq)
/dev/cciss/c0d0 = première grappe (3x 146G en raid 5) / volume 293.5 Go
/dev/cciss/c0d2 = le disque de 300G / volume 299.9 Go (réinséré)

- les partitions sont (on ajoute p1, p2, ...)
/dev/cciss/c0d0p1 / 100M / type: raid linux
/dev/cciss/c0d0p2 / 286G / type: raid linux

/dev/cciss/c0d2p1 / 293G / type: NTFS ?

- les devices raid (soft) (de forme /dev/mdX)
/dev/md1 : raid 1 => 2 devices mini : /dev/cciss/c0d0p1 + none : pour être dégradé ET sans remontage auto malheureux
/dev/md0 : raid 1 => 2 devices mini : /dev/cciss/c0d0p2 + none : pour être dégradé ET sans remontage auto malheureux

- LVM :
volume group "main" -> repose sur /dev/md2 (volume physique)

volume logique "root" -> est monté comme / (forcément) / taille 269G
volume logique "swap" -> fourni le swap du serveur / taille 4G !
(infos à vérifier par "mount")

Je suppose que /dev/md1 est monté comme /boot ...


(Un lien donnant les commandes de raid soft =mdadm : http://www.ducea.com/2009/03/08/mdadm-cheat-sheet/ )

Il est ESSENTIEL de s'assurer que /dev/md1 et /dev/md2 ne s'appuie pas sur un quelconque /dev/cciss/c0d2pX.
C'est l'objet des 2 commandes "mdadm --fail" puis "madadm --remove" qui permettent de retirer un device !
(On peut d'ailleurs créer une mdX avec le device "missing" pour indiquer un device qui n'existe pas !)

Peut-être "cat /proc/mdstat" ou "mdadm --examine" ?


Je suppose que le disque de 300G est inséré et que la grappe raid5 à base des disques 300G n'a pas encore été créée ...

Quand la grappe raid5 en 3x 300Gaura été lancée, la commande "fdisk -l /dev/cciss/c0d2" retourne une taille double : 599,8G.
Il faudra créer la table de partition avec "fdisk /dev/cciss/c0d2" en créant une partition de type fd =raid linux autodetect.
La partition créé sera alors /dev/cciss/c0d2p1
Il faut ensuite initialiser LVM avec "pvcreate /dev/cciss/c0d2p1" (vérif "pvdisplay").
Il faudra alors agrandir le volume groupe "main" en ajoutant la partition avec "vgextend main /dev/cciss/c0d2p1" (vérif "pvs").
Ensuite, il sera possible d'agrandir le volume logique "root" avec "lvextend -L +600G /dev/main/root".
Mais il faudra ensuite étendre le file system sur ce volume logique avec "resize2fs /dev/main/root".

Pour le dernier point, je présume que ce n'est pas facile puisque le volume est en cours d'utilisation !
Il doit y avoir une astuce ... (démarrage en mode secours ?)


Edit/ la sauvegarde rappelée par unnilennium est indispensable : cela demande du temps ...
Attention à adapter les commandes : j'ai indiqué "mdadm --detail /dev/md?" et le ? était destiné à être interprété : cela n'a pas été le cas !

[Baobab]

Eh bien justement, je suis devant le serveur en train de le regarder faire une sauvegarde.
Je vais réfléchir pour un système d'avertissement en cas de problème. Avant (avec WinServ2003) on regardait simplement les diodes sur les disques. Je pense que c'est déja bien, il faut juste surveiller régulièrement les disques !

[Baobab]

Je viens de lire ton message jdh. Je te suis car c'est un peu hors de mes compétences là. Effectivement les disques sont insérés et la grappe raid5 n'a pas encore été créée.
J'attend donc d'ici demains que la sauvegarde se termine.
Je rentre chez moi ça s'éternise

[Franck78]

Je te suis car c'est un peu hors de mes compétences l
...

Donc il me semble qu'on est bien en dégradé.
...

Qu'en pensez-vous ?

Que tu ne donnes pas l'impression de maitriser la chose et que tu iras plus vite avec réinstall sme puis réintégration.
Et je note l'engouement suscité par une réinstall sme sur RAID1+spare !

[Baobab]

Je crois que tu as raison,
Au risque de faire une bêtise ou tout simplement de perdre complètement mon temps, je vais faire une réinstall et un raid5 matériel de mes 3 disques de 300Go. Je ne pourrais faire ça qu'un week end d'ici 1 ou 2 semaines.
Je vous tiens au courant

[jibe]

Salut,

je vais faire une réinstall et un raid5 matériel de mes 3 disques de 300Go

Bien que prétendant mal connaître SME, jdh a bien expliqué les problèmes que pose le raid matériel. J'y ajouterai (ce qui est peut-être moins vrai pour le SAS ?) qu'on trouve un peu de tout comme contrôleurs raid, et que certains sont si mauvais qu'il vaut mieux ne jamais s'en servir !

SME dispose d'un excellent raid logiciel, très peu gourmand en ressources, que je préconise d'utiliser dans tous les cas. Et donc que je te conseilles, plutôt que repartir sur un raid matériel. Avec 3 disques, il me semble que SME fait par défaut du raid 5 (raid 1 par défaut avec 2 disques), mais c'est à vérifier. Sûrement vrai à partir de 4 disques par contre.

- on peut désactiver le 'raid systématique' de SME (option noraid au démarrage ?), c'aurait été bien d'y penser avant d'installer.

Deux petites précisions à ce propos :

1 - option noraid au démarrage du CD d'installation : Oui, tout à fait. A noter aussi qu'on peut donner également l'option nolvm si on ne veut pas de volumes logiques.
2 - Bien entendu, il ne faut pas mettre cette option lorsqu'on fait du raid logiciel, mais dans ce cas il faut désactiver le raid matériel dans le BIOS.

[jdh]

@Jibe : Je confirme n'être pas spécialiste SME même si, au fil des messages suivis, j'en comprends l'organisation !

* Raid Matériel versus Raid Logiciel :
Si on a le choix, on peut préférer le raid logiciel mais il faut une petite réserve de mémoire.
L'inconvénient du raid logiciel : mémoire nécessaire, repérage/marquage des disques (étiquettes).
L'avantage du raid logiciel est la casse du serveur : on prend les disques, on les met dans un nouveau serveur, et roule (à peu près).
L'inconvénient du raid matériel : si la carte raid casse et qu'on en trouve pas/plus, on est dans la "moise" !
L'avantage du raid matériel : simplicité (si driver inclus), peut-être un peu plus rapide.

En tout état de cause, il est stupide de faire du raid logiciel par dessus du raid matériel.

* Préparation :
Défaillante : si raid matériel alors pas de raid logiciel, d'où option noraid !
Si au départ, il y avait eu un petit peu plus de préparation, la situation aurait été plus facile.
Je ne comprends pas pourquoi, avant de lancer auprès des utilisateurs, la question de 300G seulement dispo n'ait pas été vu !
(Parce qu'avec 3x146G en raid5 soit 300G + 300G à part, on ne peut être satisfait de seulement 300G dispo !)

* Avec les nouveaux disques 2x300G
L'optimal avec 3x146G + 3x300G me semble être 2 grappes raid5.
Avec du matériel HP/Compaq, il ne me semble pas un problème de parier sur du raid matériel.

La migration la plus facile est sûrement
- sauvegarde sur disque externe (affa ?)
- création de la 2ième grappe raid5 matérielle
- (ré)install SME (en noraid !)
- restauration.
Néanmoins, il faut vérifier que SME saurait faire "un seul volume" des 2 disques virtuels 300G + 600G pour proposer les 900G dispo !

La migration moins sûre parce que plus manuelle est celle que j'ai proposé.
Mais elle abouti sûrement au 900G dispo.



NB : j'apprécie fortement à l'install des Debian le mode manuel de partitionnement : cela permet d'utiliser au mieux les disques et de faire ce qu'on veut. Cela manque à SME qui "automatise" le partitionnement mais c'est peut-être documenté ...