Aller directement au contenu

Je cherche comment mettre en place un ssdcache sous centos 8 stream

Déplacé Divers
  • @olivier
    C'est plus le tuto sur le ssdcache , du site russe qui me pose problème ( hormis que c'est un site un peu chaud 😉 )
    La partie Lancache me pose pas trop de soucis , surtout depuis qu'ils ont automatiser la procédure . ( un voir deux fichiers max a paramétrer , c’était autre chose , il y a quelques mois de ça )
    C'est surtout que plus je fais mes "save" sur le server de mes fichiers install de ma bibliothèque et plus mon débit tombe .
    C'est pour ça que le ssdcache devient plus ou moins intelligent de le mettre en place ...
    😉

  • @shini a dit dans Je cherche comment mettre en place un ssdcache sous centos 8 stream :

    @olivier
    C'est plus le tuto sur le ssdcache , du site russe qui me pose problème

    Le tuto est une série de commandes LVM. Problématiques ?

    Que vient faire docker dans l'histoire ?

  • @olivier
    Je pense que vous connaissez pas Lancache , ce qui est normal d'un sens 😉
    Je vais vous mettre un lien direct de Lancache , vous allez comprendre direct 😉
    https://lancache.net/docs/

    Cordialement .
    Shini

  • Je pense que oui à cause des périphériques /dev/md126 (la grappe de 4 HDD ?) et /dev/md127 (les 2 SSD ?) qu'il cite.

  • @shini
    Est écrit dans la doc :

    This project is heavily reliant on the hardware that you run it on. The most common complaint is “The cache is slow” and in nearly every case this can be attributed to the hardware that the cache is being run on.

    Ce dont tu à l'air de te plaindre.

    La doc propose cette configuration proche de la tienne :

    Low capacity

    “We have 20 ppl and somewhere to put them we need a name for our LAN. Also known as my housemates all game, lets level up.”

    8 CPU core
    16GB DDR3
    2TB HDD + 512GB SSD LVM Cache.
    Without the LVM Cache the system will push around 300-400Mbps, with the SSD Cache pushing around 800-900Mbps
    

    Il est nullement fait allusion à des disques montés en RAID. Le RAID logiciel est lent et appartient au passé. Le tuto (dit brûlant) pour mettre en place un cache LVM sur SSD n'est peut-être pas adapté à ton cas. En effet tu peux mettre en place différent type de cache avec LVM. As-tu identifié celui du tuto ? Correspond il le mieux à la situation ?

    Le mieux ne serait-il pas de se référer au man lvmcache ? RTFM

    LVMCACHE(7)                                                                           LVMCACHE(7)
    
    NAME
           lvmcache — LVM caching
    
    DESCRIPTION
           lvm(8) includes two kinds of caching that can be used to improve the performance of a Log‐
           ical Volume (LV). Typically, a smaller, faster device is used to improve  i/o  performance
           of  a  larger, slower LV. To do this, a separate LV is created from the faster device, and
           then the original LV is converted to start using the fast LV.
    
           The two kinds of caching are:
    
           • A read and write hot-spot cache, using the dm-cache kernel module.  This cache  is  slow
             moving,  and  adjusts  the cache content over time so that the most used parts of the LV
             are kept on the faster device.  Both reads and writes use the cache. LVM refers to  this
             using the LV type cache.
    
           • A  streaming write cache, using the dm-writecache kernel module.  This cache is intended
             to be used with SSD or PMEM devices to speed up all writes to an LV.  Reads do  not  use
             this cache.  LVM refers to this using the LV type writecache.
    

    Si le tuto du cache LVM fonctionne bien, que l'installation de lancache aussi (docker-compose) alors comment peut-on t'aider ? Des captures des résultats de commandes telles que fdisk -l, lvs -a, etc. seraient un plus pour aider au dépannage 😉

  • @olivier a dit dans Je cherche comment mettre en place un ssdcache sous centos 8 stream :

    man lvmcache

    Justement c'est la mise en place du lvmcache qui se passe pas correctement , un perte total d'accès du dit "server" .

    La je suis repartie de 0 , car je n'avais plus accès a mon pc .
    Aussi bien en pressent F11 pour choisir mon périphérique de boot , que accès au bios .
    ça là que je me dit " punaise , ça va loin ce bug "
    J'ai du attendre d'avoir le mode "rescue" pour taper un fdisk /dev/sd(x)
    Et kill toutes mes partitions avec la variable : d .

    Justement , hier soir . J'arrivais pas a dormir , car j'aimerais que ceci soit de l'ordre du passer ( Et oui je suis comme ça 😉 )
    Donc j'ai fais diverses recherches sur la toile .
    J'ai cherché lvmcache vs dm-cache , car j'ai toujours en tête d'optimiser mes I/O .
    J'ai vu que les gains ne sont pas toujours là , il en ai ressorti une autre méthode de cache ( bcache ) .
    Qui apparemment est un peut plus ardu a mettre en place , mais qui colle franchement a mon type d'utilisation .

    https://www.linux-geex.com/benchmark-bcache-vs-lvmcache-vs-no-cache/

    Je suis en train de me demander , si je dois pas partir avec un seul HDD pour /home et ensuite de créer ma grappe avec les 3 autres HDD ( via fdisk ) --- J'oublie gparted car si j'ai bien compris il lui faut un interface graphique ce coquin 😄

    Le raid 0 des ssd m'ont plus ou moins imposer part le lvmcache , car avec un seul quand j'ai taper :
    "lvconvert --type cache-pool --poolmetadata ssdcache/ssd_meta ssdcache/ssd_data" , il m'a fait comprendre qu'au niveau des block ça passé pas .
    Et ceci disparait quand j'ai monté un raid de mes deux ssd .

    En tout cas merci de l’intérêt que vous me portez , j'en suis même surpris pour être franc . 😉

    Je vais relancé la bête et faire le maximum de screenshoot .

    Merci .
    Cordialement .
    Shini

  • Bonjour a Toutes et a Tous ,

    Je crois que je vais prendre une autre direction dans mon projet .

    J'ai toujours l'intention de monter mon lancache , mais comme j'ai du refaire mon NAS ces derniers jours , j'ai eu une idée qui a popper dans ma tête ....

    Pourquoi ne pas monter ceci sur une zfs ?
    En plus je pourrais dédier mes deux ssd en cache .....

    Donc je voudrais savoir , si ma logique est bonne ....

    Au lieu de faire un lvm de mes 4x 2,7 To a l'installation , je fais une installation traditionnel ...
    comme ceci :
    sur mon nvme :
    /
    /boot/efi
    /swap
    ....
    C'est que je pense monter QUE sur un hdd , le /home ( surement le /dev/sda )

    Et après monter mon zpool en raidz ; comme ceci :

    • zpool create raidz /dev/sda /dev/sdb /dev/sdc /dev/sdd cache /dev/sde /dev/sdf

    - rappel :
    sda 2.7 to hdd
    sdb 2.7 to hdd
    sdc 2.7 to hdd
    sdd 2.7 to hdd

    sde 120 go ssd
    sdf 120 go ssd

    Pour vous , c'est bon ou pas la logique ?

    Merci a l'avance pour vos réponses .

    Cordialerment .

    Shini

    - sources :
    https://blog.eldernode.com/install-zfs-file-on-centos-8/

    https://www.symmcom.com/docs/how-tos/storages/how-to-install-zfs-on-centos-7

  • ZFS très présent sur les systèmes BSD et depuis quelques temps sur Linux n'offre ici à mon avis aucun intérêt. Pourquoi alors ne pas choisir Btrfs, un autre système de fichier, similaire à ZFS. Les ressources matérielles demandées par lancache sont importantes et ZFS est gourmand lui aussi.

    L'appli lancache est distribuée sous la forme d'un conteneur. Sous docker il existe des volumes. Comment ça se passe avec lancache ? Y a-t-il des variables à configurer ?

  • @olivier , Bonsoir .

    Tu n'as pas beaucoup de variable a régler dans Lancache .

    Tu as un .yml a des commenter et changer la variable part "always" pour que tes containers se relance a chaque reboot . ( s'il y a lieu d’être )

    Déclarer tes IPs pour une sorte de @alias pour que chaques services ( steam , origin , uplay , epic , windop update .... ) est une IP .....
    Ton dns .....

    Le poids max de ton dossier "save" , de base in est régler sur 1 To , d'ailleurs la premiers fois , je me suis fait avoir .... Un fois arriver a la capacité max , monsieur ne me l'a pas dit , il a supprimer les plus anciens .....

    Après je vais te dire , ce pc/server ne sera dédier qu'a ça , pas de containers plex , ou autres dessus .

    Même si je dois dans quelques mois doubler la ram , ça me couteras toujours moins cher que migres TOUS mes HDD en SDD , car 4 x 4 To en ssd voir 6x tant qu'a faire ceci , ça commence a faire très mal 😉

    Après mon NAS Diy ( TrueNAS ) sur base am1 2c/4th avec seulement 8 Go , 1 ssd pour l'os et 2 HDD en "raid " , je trouve qu'il envoi grave .
    Je descend rarement sous les 95 Mo/s avec des pointes a 115 Mo/s .

    J'ai regarder btrfs , euh comment dire , le principe est pas mal , mais plus accès H.A , ce que j'ai pu lire c'est qu'il bouffe pas mal en ressources stockage ....

    Déjà que Raidz ne fait un disque de parité , je me retrouve a un peu plus de 8 To sur les 12.7 To , je vais me trouver a combien après ?

    Je pourrais toujours mettre Docker sur le pc sur une couche TrueNas comme ceci , mais ça serait manger des ressources d'un sens .... 😉
    https://www.youtube.com/watch?v=XBVjuwgz0Cg
    Mais a mes yeux , c'est comme faire de la vm Gaming sous Unraid 😄
    J'aime le challenge quand même 😉

    Cordialement.
    Shini

  • @olivier Après ce que j'ai pu lire , c'est que ça risque d’être l’héritier du ext4 ....
    ça va couter cher cette histoire ....

    ZFS
    Présentation et historique

    ZFS a été développé dans l’objectif d’être le système de fichier “ultime”. Le projet a été lancé par Sun Microsystem entreprise maintenant rachetée par Oracle. Il a fait sa première apparition en 2005 sur Solaris et a été totalement intégré mi 2006.

    Il intègre en un seul produit le système de fichiers et la gestion de volumes.
    Points forts

    - vérification de disque à chaud
    - vérification des métadata et des data lors d’une vérification de disque
    - systeme de snapshot très performant par différence
    - possibilité de transférer des snapshot par le réseau, via ssh
    - possibilité de définir un device pour faire du cache sur un pool de disque
    raidz (aucune, simple, double, ou triple partité)
    

    Points faibles

    pas intégrable directement dans le noyau linux à cause de sa license

    Btrfs
    Présentation et historique

    Le projet de B-tree File System (Btrfs, à prononcer Butter-FS) voit le jour fin 2007 et a pour but de créer un système de fichier combinant toutes les couches habituellement utilisées (mdadm/lvm/fs…) en un produit unique. Ainsi, puisqu’il en a connaissances, Btrfs est capable de faire plus de choses et de les faire plus rapidement qu’un système de fichier utilisant des couches indépendantes (et universelles).

    Son rôle sur le long terme est de remplacer ext4. Cependant, tant que son développement n’est pas terminé, il souffre de beaucoup de points faibles et la plupart de ses fonctionnalité se retrouvent déjà dans les produits actuels.
    Points forts

    - Garantir la fiabilité des données
    - Réaliser des instantanés au niveau fichier
    - Mode « 3 copies » : RAID1 sur 3 blocs au lieu de 2
    - Le « scrubbing » automatique en tâche de fond pour régulièrement traquer les corruptions et ventiler uniformément les données entre les disques
    - De nouveaux algorithmes de compression, plus rapide (Snappy, de chez Google, ou LZ4, en plus de zlib et LZO)
    

    Points faibles
    - Plus de 50% du disque sera utilisé pour assurer cette sécurité
    - Pas de chiffrement des données
    - En cas de panne d’un disque, il est nécéssaire de démonter le FS !
    - Une fragmentation importante.
    - Une fiabilité encore très éloignées des FS habituels.

    Pour une entreprise qui a les reins solide pourquoi pas , ou encore un Streamer qui a un accord commercial avec samsung part exemple .....

    Mais en tous cas merci pour ta réponse 😉

    Cordialement .

    Shini

    Source : https://vonkrafft.fr/dossiers/systeme-de-fichier-zsf-btrfs-ou-ext4/

    P.S : Après je garde de coter ton idée , surtout quand tu vois ceci 😉
    https://vonkrafft.fr/dossiers/systeme-de-fichier-emergence-btrfs/

  • Bonjour a Toutes et a Tous ,

    Après mettre essayé a ZFS , j'ai laissé tomber pour l'instant ( je dis bien pour l'instant )
    J'ai testé aussi bien sur Centos 8 stream , Ubuntu 20.04 , Oracle Linux ...
    C'est pas grave , j'y reviendrai un jours 😉
    Donc je suis reparti sur le Lvm-cache , et là après x recherche et aussi un peu plus de recul , j'ai enfin réussi ...
    Preuve a l'appuie 😉
    LVMCache.jpg

    Donc merci de votre aide que vous avez bien voulu me partager .

    Cordialement .

    Shini

    Source : http://www.pegasus45.lautre.net/index.php/CentOS_7:_Mettre_en_place_du_LVM_Cache_avec_des_disques_HDD_et_SSD

    C'est juste le LV Lent ( HDD ) qui n'est pas susnommé comme sur l'article , mais ça marche 😉

Sujets suggérés

  • asso. théatre cherche informaticien pour futur site web.

    Divers
    7
    0 Votes
    7 Messages
    64 Vues
    MenfiM

    Solution simple plus moderne et plus efficace pourrait être d'utiliser les pages github https://docs.github.com/fr/pages et là bye bye la maintenance du serveur 🎉🎉🎉 c'était ma pensée positive du jour !

  • Disparition des icônes de mon bureau

    Divers
    11
    0 Votes
    11 Messages
    1k Vues
    T

    mon bureau est réapparu
    merci
    par contre mon "dossier personnel" s affiche a chaque allumage du PC

  • Smartphone & vie privée

    Divers
    1
    1 Votes
    1 Messages
    130 Vues
    Personne n'a répondu
  • Mettre en place une partition de récupération

    Déplacé Divers
    1
    1 Votes
    1 Messages
    237 Vues
    Personne n'a répondu
  • Livre emacs gnu en france

    Divers
    8
    0 Votes
    8 Messages
    329 Vues
    MenfiM

    Merci beaucoup de nous soutenir.

  • Netbook Acer : arrêt incomplet.

    Déplacé Divers
    4
    0 Votes
    4 Messages
    329 Vues
    papinouP

    @papinou a dit dans Netbook Acer : arrêt incomplet. :

    Après avoir testé un certain nombre de distributions sur ce netbook Acer, seules les distributions Ubuntu Budgie et Manjaro Gnome ont permis l'extinction de la machine sans encombre et sans modification du paramétrage de GRUB.

    Nouvelle version de elementary OS :

    L'installation de la nouvelle version d'Elementary OS ( https://elementary.io/fr/ ) permet également l'extinction de ce netbook Acer sans modification de GRUB.
  • Mise en place de Rocket.Chat

    Divers
    2
    0 Votes
    2 Messages
    242 Vues
    MenfiM

    Une autre solution est d'utiliser Livechat.

    Livechat ajoute la possibilité d’incorporer une discussion instantanée à un site Web.

    livechat.png

  • Cherche ROM Android pour mon smartphone ?

    Déplacé Divers
    6
    0 Votes
    6 Messages
    1k Vues
    MenfiM

    @olivier a dit dans Cherche ROM Android pour mon smartphone ? :

    Cette ROM n'est plus maintenue pour mon téléphone.

    Lineageos 17.1 (Android 10) est de nouveau disponible pour mon vieux téléphone Moto E LTE 2015.

    Détail de l'installation :

    TWRP olivier@fp24s1:~/Downloads/surnia$ fastboot devices TA39502UT5 fastboot olivier@fp24s1:~/Downloads/surnia$ fastboot flash recovery twrp-3.5.2_9-0-surnia.img (bootloader) has-slot:recovery: not found (bootloader) is-logical:recovery: not found Sending 'recovery' (14098 KB) OKAY [ 0.470s] Writing 'recovery' OKAY [ 0.726s] Finished. Total time: 1.230s olivier@fp24s1:~/Downloads/surnia$ fastboot reboot Rebooting OKAY [ 0.005s] Finished. Total time: 0.156s LineageOS olivier@fp24s1:~/Downloads/surnia$ adb sideload lineage-17.1-20210716-nightly-surnia-signed.zip serving: 'lineage-17.1-20210716-nightly-surnia-signed.zip' (~47%) adb: failed to read command: Success Open GApps (nano) olivier@fp24s1:~/Downloads/surnia$ adb sideload open_gapps-arm-10.0-nano-20210717.zip Total xfer: 1.10x olivier@fp24s1:~/Downloads/surnia$

    ... un téléphone rajeunit avec un système android hyper récent. 😉