ATAoE - История изменений

Sirmax в 13:28, 28 сентября 2012

2012-09-28T13:28:34Z

← Предыдущая		Версия 13:28, 28 сентября 2012
Строка 1:		Строка 1:
		+	[[Категория:Linux]]
		+	[[Категория:ATAoE]]
	=ATA over Ethernet=		=ATA over Ethernet=

Sirmax: /* Параметры модуля */

2012-01-10T09:48:18Z

Параметры модуля

← Предыдущая		Версия 09:48, 10 января 2012
Строка 74:		Строка 74:

	* «aoe_maxsectors» – в его описании написано только «Специально для GPFS» :) Уточнив у разработчика что он значит, пишу сюда – максимальное количество секторов за одну IO операцию, т.е. размер блока будущей файловой системы в байтах, деленный на 512. Я поставил здесь 4096.		* «aoe_maxsectors» – в его описании написано только «Специально для GPFS» :) Уточнив у разработчика что он значит, пишу сюда – максимальное количество секторов за одну IO операцию, т.е. размер блока будущей файловой системы в байтах, деленный на 512. Я поставил здесь 4096.
−	* «aoe_deadsecs» – таймаут ответа от vblade-сервера, после которого выдается «IO Error». Мне по душе пришлось значение в 5 секунд вместо дефолтных три минуты. UPDATE: Саппорт мне настойчиво порекомендовал оставить здесь дефолтные 180 минут	+	* «aoe_deadsecs» – таймаут ответа от vblade-сервера, после которого выдается «IO Error». Мне по душе пришлось значение в 5 секунд вместо дефолтных три минуты. UPDATE: Саппорт мне настойчиво порекомендовал оставить здесь дефолтные 180 минут (не минут, секунд наверно!)
	* «aoe_iflist» – интерфейс(ы) на котором aoe будет сканировать девайсы. Чем разделяются интерфейсы хз – я использую всего один.		* «aoe_iflist» – интерфейс(ы) на котором aoe будет сканировать девайсы. Чем разделяются интерфейсы хз – я использую всего один.
	* «aoe_maxout» – загадочный, по словам саппорта, ключевой параметр. Сюда нужно поставить целое число, которое высчитывается по алгоритму: 500/NUM_AOE/SLOTS_PER_SHELF. NUM_AOE – суммарное количество AOE клиентов, SLOTS_PER_SHELF – сколько в среднем слотов на один шелф (а-ля сколько винтов в тазике). Саппорт сказал, что занижение этого числа будет приводить к тормозам, а завышение – у меня кернел матерился на eth0 txqueuelength.		* «aoe_maxout» – загадочный, по словам саппорта, ключевой параметр. Сюда нужно поставить целое число, которое высчитывается по алгоритму: 500/NUM_AOE/SLOTS_PER_SHELF. NUM_AOE – суммарное количество AOE клиентов, SLOTS_PER_SHELF – сколько в среднем слотов на один шелф (а-ля сколько винтов в тазике). Саппорт сказал, что занижение этого числа будет приводить к тормозам, а завышение – у меня кернел матерился на eth0 txqueuelength.

Sirmax: /* Работа с диском */

2012-01-09T20:36:34Z

Работа с диском

← Предыдущая		Версия 20:36, 9 января 2012
Строка 116:		Строка 116:

	Ну и соответственно с диском можно делать все что и с локальным:		Ну и соответственно с диском можно делать все что и с локальным:
		+	{{Root\|<nowiki>
	hdparm -t /dev/etherd/e0.1		hdparm -t /dev/etherd/e0.1

	/dev/etherd/e0.1:		/dev/etherd/e0.1:
	Timing buffered disk reads: 174 MB in 3.02 seconds = 57.56 MB/sec		Timing buffered disk reads: 174 MB in 3.02 seconds = 57.56 MB/sec
		+	</nowiki>}}
−

	Правда iostat показывает странную загрузку :)		Правда iostat показывает странную загрузку :)

Sirmax: /* Клиентская часть */

2012-01-09T20:32:05Z

Клиентская часть

← Предыдущая		Версия 20:32, 9 января 2012
Строка 47:		Строка 47:
	==Клиентская часть==		==Клиентская часть==
	тут чуть сложнее чем со стороны сервера:		тут чуть сложнее чем со стороны сервера:
−	Установить софт:	+	===Установить софт===
	{{Root\|<nowiki>sys-block/aoetools</nowiki>}}		{{Root\|<nowiki>sys-block/aoetools</nowiki>}}

		+	===udev===
	Добавляю в udev файлик, иначе устройства придется создавать руками: 99-aoe.rules		Добавляю в udev файлик, иначе устройства придется создавать руками: 99-aoe.rules
	Файлик лежит /path/to/linux-X.X.xx/Documentation/aoe/udev.txt		Файлик лежит /path/to/linux-X.X.xx/Documentation/aoe/udev.txt
	<PRE>		<PRE>
−
	# aoe char devices		# aoe char devices
	SUBSYSTEM=="aoe", KERNEL=="discover", NAME="etherd/%k", GROUP="disk", MODE="0220"		SUBSYSTEM=="aoe", KERNEL=="discover", NAME="etherd/%k", GROUP="disk", MODE="0220"
Строка 60:		Строка 60:
	SUBSYSTEM=="aoe", KERNEL=="revalidate", NAME="etherd/%k", GROUP="disk", MODE="0220"		SUBSYSTEM=="aoe", KERNEL=="revalidate", NAME="etherd/%k", GROUP="disk", MODE="0220"
	SUBSYSTEM=="aoe", KERNEL=="flush", NAME="etherd/%k", GROUP="disk", MODE="0220"		SUBSYSTEM=="aoe", KERNEL=="flush", NAME="etherd/%k", GROUP="disk", MODE="0220"
−
	# aoe block devices		# aoe block devices
	KERNEL=="etherd*", NAME="%k", GROUP="disk"		KERNEL=="etherd*", NAME="%k", GROUP="disk"
	</PRE>		</PRE>
		+	===Загрузка модуля===
−
	Добавляю параметры для модуля:		Добавляю параметры для модуля:
	<PRE>		<PRE>
Строка 70:		Строка 69:
	</PRE>		</PRE>

		+
		+	===Параметры модуля===
	Я нашел такое описание параметров:		Я нашел такое описание параметров:

Строка 100:		Строка 101:
	[388723.465748] etherd/e0.1: p1 p2 p3</nowiki>}}		[388723.465748] etherd/e0.1: p1 p2 p3</nowiki>}}

		+	===Работа с диском===
−
	{{Root\|<nowiki>fdisk -l		{{Root\|<nowiki>fdisk -l
	Disk /dev/etherd/e0.1: 250.1 GB, 250059350016 bytes		Disk /dev/etherd/e0.1: 250.1 GB, 250059350016 bytes

Sirmax: /* Клиентская часть */

2012-01-09T20:30:25Z

Клиентская часть

@@ Строка 82: / Строка 82: @@
 (Обратить внимание -я  по ошибке указал влан, который у меня - сабинтерфейс в бридже, и как следствие, сервера я не увидел:)
 {{Root|<nowiki>dmesg
-[387742.118836] aoe: AoE v47 initialised.
+[387742.118836] aoe: AoE v47 initialised.</nowiki>}}
 aoe-stat тоже ничего не показывал.
 <BR>
@@ Строка 96: / Строка 95: @@
 #aoe-stat
       e0.1       250.059GB    br0 up    </nowiki>}}

Sirmax: /* Клиентская часть */

2012-01-09T20:22:50Z

Клиентская часть

← Предыдущая		Версия 20:22, 9 января 2012
Строка 84:		Строка 84:
	[387742.118836] aoe: AoE v47 initialised.		[387742.118836] aoe: AoE v47 initialised.
	</nowiki>}}		</nowiki>}}
		+	aoe-stat тоже ничего не показывал.
		+	<BR>
		+	Однако интерфейс можно изменить на лету, и пересканировать:
		+	{{Root\|<nowiki>#aoe-interfaces br0
		+	#aoe-interfaces
		+	br0
		+	#</nowiki>}}
		+	И отсканировав сеть, вижу свое устройство:
		+	{{Root\|<nowiki>
		+	#aoe-discover
		+	#aoe-stat
		+	e0.1 250.059GB br0 up </nowiki>}}

Sirmax: /* Клиентская часть */

2012-01-09T20:19:22Z

Клиентская часть

← Предыдущая		Версия 20:19, 9 января 2012
Строка 64:		Строка 64:
	KERNEL=="etherd*", NAME="%k", GROUP="disk"		KERNEL=="etherd*", NAME="%k", GROUP="disk"
	</PRE>		</PRE>
		+
		+	Добавляю параметры для модуля:
		+	<PRE>
		+	alias aoe aoe aoe_maxsectors=4096 aoe_deadsecs=180 aoe_maxout=32 aoe_iflist=br0
		+	</PRE>
		+
		+	Я нашел такое описание параметров:
		+
		+	* «aoe_maxsectors» – в его описании написано только «Специально для GPFS» :) Уточнив у разработчика что он значит, пишу сюда – максимальное количество секторов за одну IO операцию, т.е. размер блока будущей файловой системы в байтах, деленный на 512. Я поставил здесь 4096.
		+	* «aoe_deadsecs» – таймаут ответа от vblade-сервера, после которого выдается «IO Error». Мне по душе пришлось значение в 5 секунд вместо дефолтных три минуты. UPDATE: Саппорт мне настойчиво порекомендовал оставить здесь дефолтные 180 минут
		+	* «aoe_iflist» – интерфейс(ы) на котором aoe будет сканировать девайсы. Чем разделяются интерфейсы хз – я использую всего один.
		+	* «aoe_maxout» – загадочный, по словам саппорта, ключевой параметр. Сюда нужно поставить целое число, которое высчитывается по алгоритму: 500/NUM_AOE/SLOTS_PER_SHELF. NUM_AOE – суммарное количество AOE клиентов, SLOTS_PER_SHELF – сколько в среднем слотов на один шелф (а-ля сколько винтов в тазике). Саппорт сказал, что занижение этого числа будет приводить к тормозам, а завышение – у меня кернел матерился на eth0 txqueuelength.
		+	(http://www.pentarh.com/wp/2008/07/15/cheap-san-using-aoe/)
		+
		+	Далее пробую загрузить модуль:
		+	{{Root\|<nowiki>modprobe aoe aoe_iflist="eth0.15"</nowiki>}}
		+	(Обратить внимание -я по ошибке указал влан, который у меня - сабинтерфейс в бридже, и как следствие, сервера я не увидел:)
		+	{{Root\|<nowiki>dmesg
		+	[387742.118836] aoe: AoE v47 initialised.
		+	</nowiki>}}

Sirmax: /* Клиентская часть */

2012-01-09T20:12:37Z

Клиентская часть

← Предыдущая		Версия 20:12, 9 января 2012
Строка 46:		Строка 46:

	==Клиентская часть==		==Клиентская часть==
		+	тут чуть сложнее чем со стороны сервера:
		+	Установить софт:
	{{Root\|<nowiki>sys-block/aoetools</nowiki>}}		{{Root\|<nowiki>sys-block/aoetools</nowiki>}}
		+
		+	Добавляю в udev файлик, иначе устройства придется создавать руками: 99-aoe.rules
		+	Файлик лежит /path/to/linux-X.X.xx/Documentation/aoe/udev.txt
		+	<PRE>
		+
		+	# aoe char devices
		+	SUBSYSTEM=="aoe", KERNEL=="discover", NAME="etherd/%k", GROUP="disk", MODE="0220"
		+	SUBSYSTEM=="aoe", KERNEL=="err", NAME="etherd/%k", GROUP="disk", MODE="0440"
		+	SUBSYSTEM=="aoe", KERNEL=="interfaces", NAME="etherd/%k", GROUP="disk", MODE="0220"
		+	SUBSYSTEM=="aoe", KERNEL=="revalidate", NAME="etherd/%k", GROUP="disk", MODE="0220"
		+	SUBSYSTEM=="aoe", KERNEL=="flush", NAME="etherd/%k", GROUP="disk", MODE="0220"
		+
		+	# aoe block devices
		+	KERNEL=="etherd*", NAME="%k", GROUP="disk"
		+	</PRE>

Sirmax: /* Серверная часть */

2012-01-09T20:05:14Z

Серверная часть

← Предыдущая		Версия 20:05, 9 января 2012
Строка 39:		Строка 39:
	*{NETIF} – интерфейс для экспорта, например, eth или vlan		*{NETIF} – интерфейс для экспорта, например, eth или vlan
	*{FILE} – обычный файл или блочное устройство, которое будет экспортироваться в Ethernet.		*{FILE} – обычный файл или блочное устройство, которое будет экспортироваться в Ethernet.
		+
		+	Ну и естественно стартовать процесс:
		+	{{Root\|<nowiki> /etc/init.d/vblade.vblade0 start</nowiki>}}
		+
		+	Если нужно расшарить более 1 диска то нужно будет сдалать симлинки ln -s /etc/init.d/vblade.vblade0 /etc/init.d/vblade.vblade1

	==Клиентская часть==		==Клиентская часть==

Sirmax: /* Серверная часть= */

2012-01-09T20:01:43Z

Серверная часть=

@@ Строка 22: / Строка 22: @@
 </pre>}}
-==Серверная часть===
+==Серверная часть==
 {{Root|<nowiki>emerge  sys-block/vblade</nowiki>}}
 ==Клиентская часть==