Mdadm centos

Материал из noname.com.ua
Перейти к навигацииПерейти к поиску

mdadm centos

Задача - добавили новый винт и надо переехать на рейд
Размечаем так как есть: 

sfdisk -d /dev/sda | sfdisk /dev/sdb --force
Checking that no-one is using this disk right now ...
OK

Disk /dev/sdb: 38913 cylinders, 255 heads, 63 sectors/track
Old situation:
Units = cylinders of 8225280 bytes, blocks of 1024 bytes, counting from 0

   Device Boot Start     End   #cyls    #blocks   Id  System
/dev/sdb1          0       -       0          0    0  Empty
/dev/sdb2          0       -       0          0    0  Empty
/dev/sdb3          0       -       0          0    0  Empty
/dev/sdb4          0       -       0          0    0  Empty
New situation:
Units = sectors of 512 bytes, counting from 0

   Device Boot    Start       End   #sectors  Id  System
/dev/sdb1   *      2048    411647     409600  83  Linux
/dev/sdb2        411648  12699647   12288000  82  Linux swap / Solaris
/dev/sdb3      12699648 625141759  612442112  83  Linux
/dev/sdb4             0         -          0   0  Empty



mdadm --create --verbose /dev/md0 --level=mirror --raid-devices=2 /dev/sdb1 missing
mdadm --create --verbose /dev/md0 --level=mirror --raid-devices=2 /dev/sdb3 missing

mkfs.ext4 /dev/md0
mkfs.ext4 /dev/md1

Не забыть установить тип партиции fd для всех разделов в рейде 

fdisk /dev/sdb
t
Partition number (1-4): 3
Hex code (type L to list codes): fd
Changed system type of partition 3 to fd (Linux raid autodetect)

blkid
/dev/sda1: UUID="dc25921e-8263-4347-8b4e-f7e1e49d9bf5" TYPE="ext4"
/dev/sda2: UUID="a01dd47f-5c61-4770-a4f0-0f8e19c068b5" TYPE="swap"
/dev/sda3: UUID="102984a0-3cd6-43ab-b4bf-47029828a7cb" TYPE="ext4"
/dev/sdb1: UUID="58fb76b9-0552-8a81-31d6-4d7265470739" TYPE="linux_raid_member"
/dev/sdb3: UUID="cf3c8070-443d-8937-6cc8-3ea9197c784a" UUID_SUB="0425635a-21d3-7eae-3015-066254fca5fb" LABEL="impexmedia.net:1" TYPE="linux_raid_member"
/dev/md127: UUID="ad41081b-3dab-458c-bbe1-b1895365d1a4" TYPE="ext4"
/dev/md126: UUID="35036373-4d27-492c-8753-9c62bbd2f789" TYPE="ext4"







Отличия

  • --metadata=0.90 только для /boot-содержащего раздела
  • mkfs.ext4 вместо mkfs.ext3(ОС уже должна быть на ext4)
  • имя файлов initrd- теперь initramfs-
  • убрать из параметров ядра отключение автодетекта рейдов rd_NO_MD
  • при создании рейда добавляем bitmap --bitmap=internal --bitmap-chunk=131072. В 5-м CentOS он тоже работает, но может приводить к паникам(5.7 подвержен)
  • leaseweb(GPT)-specific
    • сетапает на ext3, поэтому добавляем --with=ext4 при mkinitrd и правим фстаб ext3->ext4
    • копируем и рандомайзим gpt-разделы

В случае переразбивки словесный алгоритм

  • скопировать таблицу разделов sda->sdb : sfdisk (gpt only : sfdisk --force, sgdisk -R , sgdisk -G)
  • удалить все разделы на sdb кроме первого /boot-содержащего и создать новые разделы с типом fd(gpt only: с типом fd00, тип /boot-содержащего не меняется и остаётся EF00). Если /boot-содержащий раздел - не первый, то нормальной переразбивки не будет :)
  • создать рейды из sdb (/boot-содержащий с --metadata=0.90), создать в них фс, смонтировать в /mnt
  • подправить /etc/fstab
  • наполнить mdadm.conf
  • пересобрать все initramfs c raid1 и ext4
  • подправить grub.conf (root=/dev/mdX, selinux=0, убрать no_md_)
  • скопировать данные в /mnt, по 1 команде для каждого раздела.
  • установить grub на sdb
  • ребутнуться
  • освободить таблицу разделов sda(выключить своп) и скопировать таблицу разделов sdb->sda : sfdisk (gpt only : sfdisk не нужен уже, тк таблицу mbr мы не меняли после копирования sda->sdb, sgdisk -R , sgdisk -G)
  • запустить синхронизацию /boot-содержащего рейда, дождаться завершения
  • установить grub на sda
  • запустить синхронизацию остальных рейдов. Рейды с metadata 1.2 умеют продолжать синхронизацию после ребута.
  • ребутнуться, настроить свопы в /etc/fstab

Не забыть включить Write cache: 

[root@localhost ~]# hdparm -I /dev/sda|egrep 'Write cache'
           *    Write cache
/sbin/hdparm -W 0 /dev/sda 0 Disable write caching
/sbin/hdparm -W 1 /dev/sda 1 Enable write caching


Если не нужна переразбивка, можно воспользоваться скриптом hop-a: 

mkdir /root/linux_raid1/
cd /root/linux_raid1/
wget http://setup.amhost.net/linux_raid1.py
chmod 777 ./linux_raid1.py
./linux_raid1.py
reboot
cd /root/linux_raid1/
./linux_raid1.py
reboot
rm -f /tmp/linux_raid1*
rm -rf /root/linux_raid1/

Или же: 

[root@centos ~]# sfdisk -d /dev/sda| sfdisk /dev/sdb
[root@centos ~]# fdisk /dev/sdb

Command (m for help): t
Partition number (1-4): 1
Hex code (type L to list codes): fd
Changed system type of partition 1 to fd (Linux raid autodetect)

Command (m for help): p

Disk /dev/sdb: 1073 MB, 1073741824 bytes
255 heads, 63 sectors/track, 130 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1   *           1         117      939771   fd  Linux raid autodetect
/dev/sdb2             118         130      104422+  82  Linux swap

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.

Если sfdisk и fdisk отругались на GPT - не отчаиваемся

начало GPT-части 

yum -y install libicu

И ставим для i386 

#rpm -ih http://download.fedora.redhat.com/pub/epel/testing/6/i386/gdisk-0.7.2-1.el6.i686.rpm
yum install http://download.fedora.redhat.com/pub/epel/6/i386/gdisk-0.8.1-2.el6.i686.rpm

или для x86_64 

#rpm -ih http://download.fedora.redhat.com/pub/epel/testing/6/x86_64/gdisk-0.7.2-1.el6.x86_64.rpm
yum install http://download.fedora.redhat.com/pub/epel/6/x86_64/gdisk-0.8.1-2.el6.x86_64.rpm

Копируем таблицу разделов MBR через sfdisk с --force - только один раздел GPT :) 

sfdisk -d /dev/sda| sfdisk /dev/sdb

Копируем таблицу GPT через sgdisk 

sgdisk -R /dev/sdb /dev/sda

Меняем UUID'ы на скопированной таблице 

sgdisk -G /dev/sdb

Меняем тип разделов (кроме boot) на fd00 через gdisk. В примере меняется тип 2-го раздела. У boot должен быть тип EF00 и та же геометрия что и у boot на sda 

[root@localhost ~]# gdisk /dev/sdb
GPT fdisk (gdisk) version 0.7.2

Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: present

Found valid GPT with protective MBR; using GPT.

Command (? for help): t
Partition number (1-3): 2
Current type is 'Linux RAID'
Hex code or GUID (L to show codes, Enter = 8300): FD00
Changed type of partition to 'Linux RAID'

Command (? for help): w

Final checks complete. About to write GPT data. THIS WILL OVERWRITE EXISTING
PARTITIONS!!

Do you want to proceed? (Y/N): y
OK; writing new GUID partition table (GPT).
The operation has completed successfully.
[root@localhost ~]#

конец GPT-части 

#для /boot-содержащего раздела нужно делать рейд с --metadata=0.90)
#bitmap на centos 5 делает панику.
[root@centos ~]# mdadm --create /dev/md0 --level 1 --bitmap=internal --bitmap-chunk=131072 --raid-devices=2 missing /dev/sdb1
[root@centos ~]# mkfs.ext4 -m1 -O dir_index /dev/md0
[root@centos ~]# mount /dev/md0 /mnt
[root@centos ~]# cp /etc/fstab /etc/fstab.old
[root@centos ~]# vi /etc/fstab #меняем устройство на /dev/md0 и тип фс на ext4
[root@centos ~]# echo "DEVICE /dev/hd*[0-9] /dev/sd*[0-9]" > /etc/mdadm.conf
[root@centos ~]# mdadm --detail --scan >> /etc/mdadm.conf
[root@centos ~]# for i in `ls -d /lib/modules/2.*|xargs -n1 basename`;do echo -e "\E[01;32m $i\E[0m"; \
mkinitrd -f --with=raid1 --with=ext4 /boot/initramfs-$i.img $i;done
[root@centos ~]# cp /boot/grub/grub.conf /boot/grub/grub.conf.old
[root@centos ~]# vi /boot/grub/grub.conf
#меняем root на /dev/md0, удаляем rd_NO_MD, добавляем на всякий случай selinux=0 в параметрах ядра
[root@centos ~]# cp -dpRx / /mnt 
#для других разделов  cp -dpRx /boot /mnt , cp -dpRx /var /mnt и тп
#альтернатива(UNTESTED!!!) rsync -av --bwlimit=5000 --delete --progress --stats --exclude "/mnt" / /mnt
[root@centos ~]# grub # device (hd0) /dev/sdb ; root (hd0,0) ; setup (hd0) ; quit
[root@centos ~]# reboot


[root@centos ~]# mdadm --add /dev/md0 /dev/sda1
[root@centos ~]# fdisk /dev/sda

Command (m for help): p

Disk /dev/sda: 1073 MB, 1073741824 bytes
255 heads, 63 sectors/track, 130 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1         117      939771   83  Linux
/dev/sda2             118         130      104422+  82  Linux swap

Command (m for help): t
Partition number (1-4): 1
Hex code (type L to list codes): fd
Changed system type of partition 1 to fd (Linux raid autodetect)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.

WARNING: Re-reading the partition table failed with error 16: Device or resource busy.
The kernel still uses the old table.
The new table will be used at the next reboot.
Syncing disks.
#Если fdisk отругался - берём в руки gdisk и меняем тип раздела на FD00, пример работы - в начале статьи.
[root@centos ~]# grub # device (hd0) /dev/sda ; root (hd0,0) ; setup (hd0)

в тестовой конфигурации наступил на багу - делал mkinitrd не для того ядра, с которого грузилось :)
ещё одна бага - не забыть сменить тип разделов на первичном винте и после завершения клонирования /boot-содержащего раздела переставить grub на первичный винт
ещё одна бага - selinux нужно выключать через параметр ядра selinux=0, когда ядро грузится с одного диска, а монтируется на другом.
--voron 18:07, 28 апреля 2007 (UTC)

для запуска созданного неполного массива используем

mdadm --assemble /dev/md0 /dev/sdb1

если нет устройства md1, то создаём руками

mknod /dev/md1 b 9 1

Если ошиблись с порядком вставки дисков в рейды, то, чтобы не ждать пока синкнется / и только потом /boot, можно оборвать синк /.

#ошибочное добавление /, удобнее начинать с /boot
[root@50 ~]# mdadm --add /dev/md0 /dev/sda3
mdadm: added /dev/sda3
#пытаемся удалить из рейда - не даёт.
[root@50 ~]# mdadm --remove /dev/md0 /dev/sda3
mdadm: hot remove failed for /dev/sda3: Device or resource busy
#отмечаем как failed
[root@50 ~]# mdadm --fail /dev/md0 /dev/sda3
mdadm: set /dev/sda3 faulty in /dev/md0
#даёт удалить
[root@50 ~]# mdadm --remove /dev/md0 /dev/sda3
mdadm: hot removed /dev/sda3
#добавляем /boot - синкается моментально.
[root@50 ~]# mdadm --add /dev/md1 /dev/sda1
mdadm: added /dev/sda1
#добавляем /
[root@50 ~]# mdadm --add /dev/md0 /dev/sda3
mdadm: re-added /dev/sda3
Источник — https://noname.com.ua/mediawiki/index.php?title=Mdadm_centos&oldid=6658