Blog

La license de truecrypt étant parfois critiquée, je préfère me tourner vers un équivalent libre : TCPlay

L'installation sous debian :

apt-get install tcplay
whereis tcplay

tcplay: /usr/sbin/tcplay /usr/share/man/man8/tcplay.8.gz

Il faut ensuite trouver le premier périphérique de boucle disponible:

losetup -f

/dev/loop0

Puis là ou bon vous semble avec un conteneur de 20 Mo :

dd if=/dev/zero of=foo.tc bs=1 count=0 seek=20M
losetup /dev/loop0 foo.tc
tcplay -c -d /dev/loop0 -a whirlpool -b AES-256-XTS

La clé est demandée deux fois puis tcplay va remplir de volume de données aléatoires.

Il est ensuite nécessaire de relier le volume avec le loop et créer un système de fichiers dedans avant de le monter pour la première fois.

tcplay -m foo.tc -d /dev/loop0
mkfs.ext4 /dev/mapper/foo.tc
mount /dev/mapper/foo.tc /mnt/truecrypt/

Puis pour démonter;

umount /mnt/truecrypt 
dmsetup remove foo.tc 
losetup -d /dev/loop0

Enfin, pour remonter à nouveau:

losetup /dev/loop0 foo.tc 
tcplay -m foo.tc -d /dev/loop0
mount /dev/mapper/foo.tc /mnt/truecrypt/

Sur les disque dur mécaniques, les écritures de mysql sont parfois vraiement mauvaises, même en améiorant sensiblement le my.cnf, j'avais besoin d'aller plus loin.

Alors j'ai mis en place un disque tmpfs réservé au sockage du tmpdir:

Préparation de la config de mysql avec seulement une ligne à changer pour modifier la valeur de tmpdir:

nano /etc/mysql/my.cnf

Ajouter ou remplacer la ligne suivante avec le nouveau chemin:

tmpdir          = /var/lib/mysqltmp

Récupérer les privilèges de mysql qu'il puisse exploiter le tmpfs :

id mysql

uid=110(mysql) gid=113(mysql) groupes=113(mysql)

Ajout de la ligne dans le /etc/fstab

nano /etc/fstab

For 500 MB space:

tmpfs   /var/lib/mysqltmp   tmpfs   rw,gid=113,uid=110,size=500m,mode=0750,noatime   0 0

Pas besoin de rebooter, juste:

mount -a && service mysql restart

[ ok ] Stopping MariaDB database server: mysqld.
[ ok ] Starting MariaDB database server: mysqld . ..
[info] Checking for corrupt, not cleanly closed and upgrade needing tables..

df -h

tmpfs                                                    500M     0  500M   0% /var/lib/mysqltmp

It is natural to find varnish public ip in apache logs but not very secure in my context, so I'll need to configure Varnish 3 using req.http.X-Forwarded-For and apache2 with mod_rpaf

With a debian like:

On the backend server

apt-get install libapache2-mod-rpaf
nano /etc/apache2/mods-enabled/rpaf.conf

<IfModule rpaf_module>
    RPAFenable On

    # When enabled, take the incoming X-Host header and
    # update the virtualhost settings accordingly:
    RPAFsethostname On

    # Define which IP's are your frontend proxies that sends
    # the correct X-Forwarded-For headers:
    RPAFproxy_ips 5.39.38.60 127.0.0.1 ::1

    # Change the header name to parse from the default
    # X-Forwarded-For to something of your choice:
    RPAFheader X-Forwarded-For

</IfModule>

service apache2 reload

On the reverse proxy / varnish server:

Insert after the start of sub vcl_recv :

if (req.restarts == 0) {
  if (req.http.X-Forwarded-For) {
    set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip;
  } else {
    set req.http.X-Forwarded-For = client.ip;
  }
}

Then reload the configuration and verify a2 logs.

for f in *.JPG; do mv $f `basename $f .JPG`.jpeg; done;

I use lbzip2 (exist as a debian package) for unp very large compressed files (mysql dumps).

lbzip2 -d big_file.tar.bz2

The big advantage of this program for me was the availability of set the number of decompressor threads with the -n argument.

We also can compress files with compression level choice.

http://lbzip2.org/quickstart

On installe le programme et lance un état des lieux avec:

apt-get install && fdupes -r /target/folder

Voir l'espace occupé avant le nettoyage:

du -sh /target/folder

Supprimer les doublons! (d argument) Seulement conserver le premier fichier trouvé et automatiquement valider la suppression des doubles (N argument).

fdupes -r -dN /target/folder

{{ + /media/neuro/Lexar/2010-11-05/2012-01-17/IMG_1523.JPG

  - /media/neuro/Lexar/2010-11-05/2012-07-16/IMG_1523.JPG
  - /media/neuro/Lexar/2012-01-29/IMG_1523-1.JPG
  - /media/neuro/Lexar/2012-01-29/IMG_1523.JPG
  - /media/neuro/Lexar/2012-09-30/IMG_1523.JPG}}

Voir l'espace occupé pour voir le gain gagné:

du -sh /target/folder

Tested into a Debian 8 distro with raid5 and raid1.

Migrate any existing system ext3 (multiple or single partitions) with a stand alone hdd on a Software replicated raid.

Install mdadm before the system is replicated on the new array or chrooting will be neccesary for booting the future system on the raid.

apt-get install mdadm

#with ubuntu like

sudo apt-get remove dmraid

Retrive disks infos

fdisk -l

Create partitions on the new drives before building the array.

Grub partition need at lest of 1MB but it can be more in the future.

parted /dev/sda
unit kb
p free
#if needed with fresh drives : mklabel gpt
mkpart primary ext3 0 10M
mkpart primary ext3 10M 100%
#(very important)
set 1 bios_grub on
p free
q
partprobe /dev/sda
partprobe /dev/sdb

And do th same for each drives of the future array, grub will be installed on each disks.

Other way for flag grub_on

parted /dev/sda1 set 1 bios_grub on
parted /dev/sdb1 set 1 bios_grub on

Create the filesystem for raid on all disks

mkfs -t ext3 /dev/sda2
mkfs -t ext3 /dev/sdb2

Create the array (here raid1)

mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/sda2 /dev/sdb2

View live progression very long for 2TB drives

watch -n 1 cat /proc/mdstat

Create filesystem on the raid.

-m 2 for 2% of inodes

-m 2 pour 2% d'inodes

mkfs.ext3 /dev/md0 -m 2

Put a new line in the fstab

blkid
nano /etc/fstab

UUID=87b54395-1737-435b-b2a8-b4120ee4060d /             ext3 relatime 0 0

Update mdadm.

cat /etc/mdadm/mdadm.conf
mdadm --detail --scan --verbose >> /etc/mdadm/mdadm.conf
cat /etc/mdadm/mdadm.conf

Mount it.

mkdir /media/raid1/ && mount /dev/md0 /media/raid1/ &&  df -h && cd  /media/raid1/

At this time, synchronize the actual system on the raid.

rsync -aAXv --stats --progress /* /media/raid1/ --exclude={/dev/*,/proc/*,/sys/*,/tmp/*,/run/*,/mnt/*,/media/*,/net*,/lost+found}

Chroot in the future live system.

cd /media/raid1/
mount -t proc proc proc/
mount --rbind /sys sys/
mount --rbind /dev dev/
chroot /media/raid1 /bin/bash

Update the fstab with goods uuid.

blkid
cp /etc/fstab /etc/fstab.bkp
nano /etc/fstab

Install grub on all drives of the array.

grub-install /dev/sda
grub-install /dev/sdb
update-grub
#or
update-grub2

Update the initial ram disk for automount the array during boot

update-initramfs -u

Exit from chroot and reboot, in my case, I unplug the old harddrive

All should run like a charm included grub.

fdisk -l

Attention : identifiant de table de partitions GPT (GUID) détecté sur « /dev/sdb » ! L'utilitaire sfdisk ne prend pas GPT en charge. Utilisez GNU Parted.

Disque /dev/sdb : 2000.4 Go, 2000398934016 octets

255 têtes, 63 secteurs/piste, 243201 cylindres, total 3907029168 secteurs

Unités = secteurs de 1 * 512 = 512 octets

Taille de secteur (logique / physique) : 512 octets / 4096 octets

taille d'E/S (minimale / optimale) : 4096 octets / 4096 octets

Identifiant de disque : 0x00000000

Périphérique Amorce  Début        Fin      Blocs     Id  Système

/dev/sdb1               1  3907029167  1953514583+  ee  GPT

La partition 1 ne commence pas sur une frontière de cylindre physique.

Attention : identifiant de table de partitions GPT (GUID) détecté sur « /dev/sda » ! L'utilitaire sfdisk ne prend pas GPT en charge. Utilisez GNU Parted.

Disque /dev/sda : 2000.4 Go, 2000398934016 octets

255 têtes, 63 secteurs/piste, 243201 cylindres, total 3907029168 secteurs

Unités = secteurs de 1 * 512 = 512 octets

Taille de secteur (logique / physique) : 512 octets / 512 octets

taille d'E/S (minimale / optimale) : 512 octets / 512 octets

Identifiant de disque : 0x00000000

Périphérique Amorce  Début        Fin      Blocs     Id  Système

/dev/sda1               1  3907029167  1953514583+  ee  GPT

Disque /dev/md0 : 2000.3 Go, 2000262529024 octets

2 têtes, 4 secteurs/piste, 488345344 cylindres, total 3906762752 secteurs

Unités = secteurs de 1 * 512 = 512 octets

Taille de secteur (logique / physique) : 512 octets / 4096 octets

taille d'E/S (minimale / optimale) : 4096 octets / 4096 octets

Identifiant de disque : 0x00000000

Le disque /dev/md0 ne contient pas une table de partitions valable

Links helped me:

http://velenux.wordpress.com/2012/07/12/grub-failing-to-install-on-debianubuntu-with-gpt-partitions/

http://forums.linuxmint.com/viewtopic.php?f=90&t=95928

http://forums.debian.net/viewtopic.php?f=5&t=92810

http://unix.stackexchange.com/questions/28443/does-grub2-support-putting-boot-on-a-raid5-partition

http://askubuntu.com/questions/252795/convert-running-system-to-raid-5

https://wiki.archlinux.org/index.php/Full_System_Backup_with_rsync

https://wiki.archlinux.org/index.php/Change_Root

https://wiki.archlinux.org/index.php/Convert_a_single_drive_system_to_RAID