Bonjour à tous,
Je me présente rapidement ici: ingénieur & docteur en info, je bosse dans un labo
de recherche depuis 1995. Je suis ingé système et réseau, mon domaine de recherche
est l'image, et suis spécialiste en optimisation logicielle et matérielle.
Nous utilisons au labo (600 personnes) un ensemble de NAS très haut de gamme dans
nos locaux, dont une entreprise tierce assure le fonctionnement. Donc c'est peu
performant (gigabit max), horriblement cher, aucune confidentialité qui nous est
réclamée par la loi, et un service déplorable en cas de panne malgré le J+1 soit
disant assuré. Bon, OK, il y a du snapshot (8 par mois), de la sauvegarde, de
l'archivage, etc, mais c'est tout simplement pas assez souple.
Dans mon équipe (20 personnes), nous avons testé les micro NAS il y a qqs années,
mais n'avons pas été convaincus. Fragile, peu fiable, mal ventilé, soft propriétaire,
pas ce qu'on recherchait. J'ai tenté de construire un NAS avec du matériel Dell
pro (32 disques): c'était lent, mal fichu, obligatoirement racqué alors que nous
avons parfois des demos en extérieur, bref un ratage.
Donc je vais tenter un NAS DIY. Sauf que pour cela, je n'ai pas spécialement de
problème de budget; mais veux un truc quand même bien défini. Il me faut:
- un NAS déplaçable par une seule personne, donc 15-20 kgs max, TRES solide
(chassis métal avec amortisseur), TRES aéré (certaines demos en été sont à 35°
voire plus), et capable de sortir du 10 Gbits réel en lecture et au moins du 5
en écriture, 10 serait apprécié;
- tout le matos doit être STANDARD, marre des trucs propriétaires vendus à 1
exemplaire avec des bugs obscurs;
- je préfère qu'on ne distingue pas le NAS des machines de dev standard, donc
une médium, éventuellement une full tower est requise, sachant qu'elle ne doit
pas se renverser facilement.
Evidemment, je n'ai trouvé aucun guide pour cela
Donc je suis à l'affut de toute idée, piste, conseil, qui peut faire me faire
avancer.
Voici l'état de mes réflexions :
1. Matos.
Là, c'est assez facile globalement, mais y a des détails qui tuent. Il me faut
2 NAS, l'un officiel, l'autre en fantome en cas de panne, les 2 reliés en
10 Gbits pour les rsync ou équivalent de synchronisation. Voici les spécifs
actuelles (toute critique bienvenue!):
- Boitier Fractal Design Meshify 2 - c'est celui dont je me sers pour mes
montages de machines de dev cette année, il est excellent;
-> 3 ventilo 140 1000 tours/min à fond à l'avant pour les disques;
-> 1 en sus, 140 PWM 1600 tours/min, géré par la T° CPU, pour l'extraction.
- CPU: un AMD 3900x 12/24 est sans doute requis entre le cryptage, sshfs, les
calculs de parité du ZFS RAIDZ-2 préssenti. Bloqué à max 3.8 Ghz pour éviter
toute chauffe, ce proc est une tuerie et consomme très peu;
- Pas de watercooling pour ce genre de machine; un Be Quiet! Dark Rock Pro 4
spécifique AM4 fera l'affaire, ou alors le + lourd NH-D15 SE-AM4. C'est déjà
énorme pour un proc verrouillé à max 3.8 Ghz;
- En carte mère, l'excellente B550-E d'Asus a un BIOS que je maîtrise à fond;
aucun souci pour monter à 3.6 Ghz CAS16 les 2x32 GB prévus sans la moindre
augmentation de voltage, et cette carte me donne accès à 3 slots PCIE x4/8x,
x4/8x, x3/4x pour mes 3 cartes prévues, en me laissant 4 SATA dispo avec les
2 M.2 pressentis;
- Un M.2 classique 256 GB pour le système;
- EVENTUELLEMENT, un autre M.2 (un corsair MP600 1To) comme cache d'écriture ?
Utile ?
- En cartes additionnelles, une petite Nvidia 730 ou 1030 2 Go peut être utile;
j'y rajoute une Aquantia 10 Gbits comme l'asus Xg-c100c/f suivant le commutateur.
- et évidemment une alim PSU Tier A, garantie 10 ans: une Seasonic Focus 550W
ou une Corsair RM550x; il faut que je vérifie si je peux y brancher 11 disques.
Ensuite, c'est plus coton. Le disque actuellement pressenti est le Seagate
IronWolf 10 To non pro :
- il n'est pas trop récent;
- bon rapport qualité/prix;
- à l'hélium;
- très basse conso;
- c'est un 7200, pas le 5400 trop lent ni les >= 10000 trop fragiles, et son
cache de 256 MB est correct.
Les 11 disques par NAS me donneront en RAIDZ-2 les 80 TB pressentis actuellement;
on n'est pas complétement certain d'avoir fait le tour des besoins et le
scientifiques ont l'art de ne jamais se mouiller dans leur demande de besoins.
Donc à la dernière seconde il me faut me garder la possibilité de passer du 10 TB
au 14 voire au 18 de la gamme pro :[
Enfin, la carte réseau. Là, j'hésite. Le guide
https://www.servethehome.com/buyers-guides/top-hardware-components-freenas-nas-servers/top-picks-freenas-hbas/
me conseillerait plutot le connecteur SFF-8087 (4 sata) plutot que le SFF-8643;
cela donnerait un LSI SAS 2308, comme par exemple la SilverStone SST-ECS04.
Mais il n'y a que 2 8087, donc 8 SATA, cela m'oblige à utiliser 3 sur les 4
SATA restants de la carte mère, et j'ai des doutes sur les perfs finales, sur
quel controleur mettre les disques de parité, etc. Quelqu'un a déjà testé
ce genre d'hybridation de contrôleur en ZFS RAIDZ-2 ?
Sinon, je n'ai pas trouvé pour l'instant de carte 12 SATA, il me faut alors
une 16, bon, pourquoi pas...
Cela vaut la peine de prendre (arg) de la marque, style adaptec? A condition
bien sûr qu'en Linux aucun soft ne soit nécessaire en plus.
2. Logiciels.
Là, le but est de faire SIMPLE et Ingé système. Nous détestons les interfaces
graphiques qui cachent des possibilités, mais aussi les doc inexistantes et
obsolètes. Le consensus actuel serait une Ubuntu récente, une seule partition
ZFS RAIDZ-2 avec cryptage, un support de montage sshfs, et RIEN d'autre. Toutefois,
j'ai sans doute raté des trucs...
Encore une fois, toute idée, piste, conseil sera apprécié et réfléchi! Le but
est d'avoir le matos mi juin et les 2 NAS opérationnels début juillet, avec
dans ces 2 semaines qqs tests qui vont bien pour ne pas être pris au dépourvu
LORS de(s) inévitable(s) panne(s): le pessimiste n'est jamais déçu qu'en bien!
Merci à tous d'avoir déjà lu ce pavé,
A+, ALM54
--
Je me présente rapidement ici: ingénieur & docteur en info, je bosse dans un labo
de recherche depuis 1995. Je suis ingé système et réseau, mon domaine de recherche
est l'image, et suis spécialiste en optimisation logicielle et matérielle.
Nous utilisons au labo (600 personnes) un ensemble de NAS très haut de gamme dans
nos locaux, dont une entreprise tierce assure le fonctionnement. Donc c'est peu
performant (gigabit max), horriblement cher, aucune confidentialité qui nous est
réclamée par la loi, et un service déplorable en cas de panne malgré le J+1 soit
disant assuré. Bon, OK, il y a du snapshot (8 par mois), de la sauvegarde, de
l'archivage, etc, mais c'est tout simplement pas assez souple.
Dans mon équipe (20 personnes), nous avons testé les micro NAS il y a qqs années,
mais n'avons pas été convaincus. Fragile, peu fiable, mal ventilé, soft propriétaire,
pas ce qu'on recherchait. J'ai tenté de construire un NAS avec du matériel Dell
pro (32 disques): c'était lent, mal fichu, obligatoirement racqué alors que nous
avons parfois des demos en extérieur, bref un ratage.
Donc je vais tenter un NAS DIY. Sauf que pour cela, je n'ai pas spécialement de
problème de budget; mais veux un truc quand même bien défini. Il me faut:
- un NAS déplaçable par une seule personne, donc 15-20 kgs max, TRES solide
(chassis métal avec amortisseur), TRES aéré (certaines demos en été sont à 35°
voire plus), et capable de sortir du 10 Gbits réel en lecture et au moins du 5
en écriture, 10 serait apprécié;
- tout le matos doit être STANDARD, marre des trucs propriétaires vendus à 1
exemplaire avec des bugs obscurs;
- je préfère qu'on ne distingue pas le NAS des machines de dev standard, donc
une médium, éventuellement une full tower est requise, sachant qu'elle ne doit
pas se renverser facilement.
Evidemment, je n'ai trouvé aucun guide pour cela
Donc je suis à l'affut de toute idée, piste, conseil, qui peut faire me faire
avancer.
Voici l'état de mes réflexions :
1. Matos.
Là, c'est assez facile globalement, mais y a des détails qui tuent. Il me faut
2 NAS, l'un officiel, l'autre en fantome en cas de panne, les 2 reliés en
10 Gbits pour les rsync ou équivalent de synchronisation. Voici les spécifs
actuelles (toute critique bienvenue!):
- Boitier Fractal Design Meshify 2 - c'est celui dont je me sers pour mes
montages de machines de dev cette année, il est excellent;
-> 3 ventilo 140 1000 tours/min à fond à l'avant pour les disques;
-> 1 en sus, 140 PWM 1600 tours/min, géré par la T° CPU, pour l'extraction.
- CPU: un AMD 3900x 12/24 est sans doute requis entre le cryptage, sshfs, les
calculs de parité du ZFS RAIDZ-2 préssenti. Bloqué à max 3.8 Ghz pour éviter
toute chauffe, ce proc est une tuerie et consomme très peu;
- Pas de watercooling pour ce genre de machine; un Be Quiet! Dark Rock Pro 4
spécifique AM4 fera l'affaire, ou alors le + lourd NH-D15 SE-AM4. C'est déjà
énorme pour un proc verrouillé à max 3.8 Ghz;
- En carte mère, l'excellente B550-E d'Asus a un BIOS que je maîtrise à fond;
aucun souci pour monter à 3.6 Ghz CAS16 les 2x32 GB prévus sans la moindre
augmentation de voltage, et cette carte me donne accès à 3 slots PCIE x4/8x,
x4/8x, x3/4x pour mes 3 cartes prévues, en me laissant 4 SATA dispo avec les
2 M.2 pressentis;
- Un M.2 classique 256 GB pour le système;
- EVENTUELLEMENT, un autre M.2 (un corsair MP600 1To) comme cache d'écriture ?
Utile ?
- En cartes additionnelles, une petite Nvidia 730 ou 1030 2 Go peut être utile;
j'y rajoute une Aquantia 10 Gbits comme l'asus Xg-c100c/f suivant le commutateur.
- et évidemment une alim PSU Tier A, garantie 10 ans: une Seasonic Focus 550W
ou une Corsair RM550x; il faut que je vérifie si je peux y brancher 11 disques.
Ensuite, c'est plus coton. Le disque actuellement pressenti est le Seagate
IronWolf 10 To non pro :
- il n'est pas trop récent;
- bon rapport qualité/prix;
- à l'hélium;
- très basse conso;
- c'est un 7200, pas le 5400 trop lent ni les >= 10000 trop fragiles, et son
cache de 256 MB est correct.
Les 11 disques par NAS me donneront en RAIDZ-2 les 80 TB pressentis actuellement;
on n'est pas complétement certain d'avoir fait le tour des besoins et le
scientifiques ont l'art de ne jamais se mouiller dans leur demande de besoins.
Donc à la dernière seconde il me faut me garder la possibilité de passer du 10 TB
au 14 voire au 18 de la gamme pro :[
Enfin, la carte réseau. Là, j'hésite. Le guide
https://www.servethehome.com/buyers-guides/top-hardware-components-freenas-nas-servers/top-picks-freenas-hbas/
me conseillerait plutot le connecteur SFF-8087 (4 sata) plutot que le SFF-8643;
cela donnerait un LSI SAS 2308, comme par exemple la SilverStone SST-ECS04.
Mais il n'y a que 2 8087, donc 8 SATA, cela m'oblige à utiliser 3 sur les 4
SATA restants de la carte mère, et j'ai des doutes sur les perfs finales, sur
quel controleur mettre les disques de parité, etc. Quelqu'un a déjà testé
ce genre d'hybridation de contrôleur en ZFS RAIDZ-2 ?
Sinon, je n'ai pas trouvé pour l'instant de carte 12 SATA, il me faut alors
une 16, bon, pourquoi pas...
Cela vaut la peine de prendre (arg) de la marque, style adaptec? A condition
bien sûr qu'en Linux aucun soft ne soit nécessaire en plus.
2. Logiciels.
Là, le but est de faire SIMPLE et Ingé système. Nous détestons les interfaces
graphiques qui cachent des possibilités, mais aussi les doc inexistantes et
obsolètes. Le consensus actuel serait une Ubuntu récente, une seule partition
ZFS RAIDZ-2 avec cryptage, un support de montage sshfs, et RIEN d'autre. Toutefois,
j'ai sans doute raté des trucs...
Encore une fois, toute idée, piste, conseil sera apprécié et réfléchi! Le but
est d'avoir le matos mi juin et les 2 NAS opérationnels début juillet, avec
dans ces 2 semaines qqs tests qui vont bien pour ne pas être pris au dépourvu
LORS de(s) inévitable(s) panne(s): le pessimiste n'est jamais déçu qu'en bien!
Merci à tous d'avoir déjà lu ce pavé,
A+, ALM54
--