Iscsi - История изменений

Sirmax в 09:08, 23 июля 2013

2013-07-23T09:08:00Z

← Предыдущая		Версия 09:08, 23 июля 2013
Строка 1:		Строка 1:
	[[Категория:Linux]]		[[Категория:Linux]]
	[[Категория:NetworkStorage]]		[[Категория:NetworkStorage]]
		+	[[Категория:iSCSI]]

	==Постановка задачи==		==Постановка задачи==

Sirmax: /* Дальнейшее увеличение производительности подсистемы */

2013-04-11T16:22:50Z

Дальнейшее увеличение производительности подсистемы

← Предыдущая		Версия 16:22, 11 апреля 2013
Строка 126:		Строка 126:

	==Дальнейшее увеличение производительности подсистемы==		==Дальнейшее увеличение производительности подсистемы==
−	Т.к. я вижу, что производительности все еще недостаточно, то Есть мысль объединить 2 iSCSI-диска (или физический и iSCSI) с помощью AUFS. Для моего типа нагрузки (запись во ~~сножество~~ мелких файлов) это теоретически даст равномерную балансировку нагрузки.	+	Т.к. я вижу, что производительности все еще недостаточно, то Есть мысль объединить 2 iSCSI-диска (или физический и iSCSI) с помощью AUFS. Для моего типа нагрузки (запись во множество мелких файлов) это теоретически даст равномерную балансировку нагрузки.

	==Аварийная ситуация==		==Аварийная ситуация==

Sirmax: /* Постановка задачи */

2012-01-09T19:10:25Z

Постановка задачи

← Предыдущая		Версия 19:10, 9 января 2012
Строка 13:		Строка 13:
	sdb 0.00 223.00 1.00 225.00 4.00 1804.00 16.00 1.82 8.07 1.36 30.80		sdb 0.00 223.00 1.00 225.00 4.00 1804.00 16.00 1.82 8.07 1.36 30.80
	sdc 0.00 224.00 0.00 223.00 0.00 1804.00 16.18 2.47 11.06 1.57 35.00		sdc 0.00 224.00 0.00 223.00 0.00 1804.00 16.18 2.47 11.06 1.57 35.00
−	<nowiki>}}	+	</nowiki>}}

Sirmax в 08:26, 24 июня 2010

2010-06-24T08:26:14Z

← Предыдущая		Версия 08:26, 24 июня 2010
Строка 1:		Строка 1:
		+	[[Категория:Linux]]
		+	[[Категория:NetworkStorage]]
		+
	==Постановка задачи==		==Постановка задачи==

Sirmax: /* Постановка задачи */

2010-06-14T18:43:07Z

Постановка задачи

← Предыдущая		Версия 18:43, 14 июня 2010
Строка 4:		Строка 4:

	Утилизация диска:		Утилизация диска:
		+	{{Root\|<nowiki>
−	<PRE>
		+	iostat -mtxz /dev/sd? 1
	Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util		Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
	sda 0.00 85.00 0.00 175.00 0.00 964.00 11.02 108.41 686.58 5.71 100.00		sda 0.00 85.00 0.00 175.00 0.00 964.00 11.02 108.41 686.58 5.71 100.00
	sdb 0.00 223.00 1.00 225.00 4.00 1804.00 16.00 1.82 8.07 1.36 30.80		sdb 0.00 223.00 1.00 225.00 4.00 1804.00 16.00 1.82 8.07 1.36 30.80
	sdc 0.00 224.00 0.00 223.00 0.00 1804.00 16.18 2.47 11.06 1.57 35.00		sdc 0.00 224.00 0.00 223.00 0.00 1804.00 16.18 2.47 11.06 1.57 35.00
		+	<nowiki>}}
−	</PRE>
		+

	Насколько я могу судить, в моем случае диск (относительно старый) был нагружен множеством мелких запросов, поток данных (в Мб/с) относительно небольшой.		Насколько я могу судить, в моем случае диск (относительно старый) был нагружен множеством мелких запросов, поток данных (в Мб/с) относительно небольшой.

Sirmax: /* Дальнейшее увеличение производительности подсистемы */

2009-12-04T11:30:58Z

Дальнейшее увеличение производительности подсистемы

← Предыдущая		Версия 11:30, 4 декабря 2009
Строка 122:		Строка 122:
	==Дальнейшее увеличение производительности подсистемы==		==Дальнейшее увеличение производительности подсистемы==
	Т.к. я вижу, что производительности все еще недостаточно, то Есть мысль объединить 2 iSCSI-диска (или физический и iSCSI) с помощью AUFS. Для моего типа нагрузки (запись во сножество мелких файлов) это теоретически даст равномерную балансировку нагрузки.		Т.к. я вижу, что производительности все еще недостаточно, то Есть мысль объединить 2 iSCSI-диска (или физический и iSCSI) с помощью AUFS. Для моего типа нагрузки (запись во сножество мелких файлов) это теоретически даст равномерную балансировку нагрузки.
		+
		+	==Аварийная ситуация==
		+	Через несклько мес. работы, вышла из строя стевая карта на сервере-target. Однако, он оставался доступен через вторую сетевую карту.
		+
		+	В логах сервера, подключавшего диск
		+	<PRE>
		+	[6642421.061208] end_request: I/O error, dev sde, sector 2823272
		+	[6642421.061224] sd 5:0:0:0: [sde] Result: hostbyte=DID_NO_CONNECT driverbyte=DRIVER_OK,SUGGEST_OK
		+	[6642421.061228] end_request: I/O error, dev sde, sector 2823272
		+	[6642421.061245] sd 5:0:0:0: [sde] Result: hostbyte=DID_NO_CONNECT driverbyte=DRIVER_OK,SUGGEST_OK
		+	[6642421.061249] end_request: I/O error, dev sde, sector 2823272
		+	[6642421.061266] sd 5:0:0:0: [sde] Result: hostbyte=DID_NO_CONNECT driverbyte=DRIVER_OK,SUGGEST_OK
		+	[6642421.061270] end_request: I/O error, dev sde, sector 2823272
		+	</PRE>
		+
		+	и все процессы которые использовали этот диск стали "неубиваеми". Нагрузке LA ~40 (при среднем ~15 )
		+
		+	Решение- остановить службу iSCSI, выгрузить все модуди (rmmod -f), запустить службу, подключить диск по новому ip, подмонтировать в ту же точку.
		+	После этого у меня все заработало. Остановить сервер для замены сетевой карты к сожалению, возможности нет.

Sirmax: Защищена страница «Iscsi» [edit=sysop:move=sysop]

2009-11-04T20:57:18Z

Защищена страница «Iscsi» [edit=sysop:move=sysop]

← Предыдущая

Версия 20:57, 4 ноября 2009

Sirmax в 20:57, 4 ноября 2009

2009-11-04T20:57:09Z

← Предыдущая		Версия 20:57, 4 ноября 2009
Строка 1:		Строка 1:
		+	==Постановка задачи==
−	EfdQ6p <a href="http://bfcoexmrknvo.com/">bfcoexmrknvo</a>, [url=http://ivcwqxdzuvuu.com/]ivcwqxdzuvuu[/url], [link=http://iomqksmtfigf.com/]iomqksmtfigf[/link], http://badmdhbrohrx.com/
		+
		+	Задача: Есть сервер, на котром утилизация дисковой подсистемы близка к 100%. нужно максимально разгрузить дисковую подсистему, распараллелив задачи на несколько потоков.
		+
		+	Утилизация диска:
		+	<PRE>
		+	Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
		+	sda 0.00 85.00 0.00 175.00 0.00 964.00 11.02 108.41 686.58 5.71 100.00
		+	sdb 0.00 223.00 1.00 225.00 4.00 1804.00 16.00 1.82 8.07 1.36 30.80
		+	sdc 0.00 224.00 0.00 223.00 0.00 1804.00 16.18 2.47 11.06 1.57 35.00
		+	</PRE>
		+
		+	Насколько я могу судить, в моем случае диск (относительно старый) был нагружен множеством мелких запросов, поток данных (в Мб/с) относительно небольшой.
		+	Диск используется как хранилище rrd-файлов для cacti.
		+
		+	==Подготовка iSCSI-таргета==
		+
		+	Создать файл, который будет использован как "диск". В моем случае так удорбнее, файл лежит на быстром массиве из 15К-rpm дисков.
		+	{{root\|<nowiki>dd if=/dev/zero of=/var/iscsi/aradia bs=1024 count=6M</nowiki>}}
		+
		+	Установить необходимое ПО
		+	{{root\|<nowiki>emerge iscsitarget</nowiki>}}
		+
		+	Загрузить модуль crc32
		+	{{root\|<nowiki>modprobe crc32</nowiki>}}
		+
		+	Вношу изменения в файл /etc/ietd.conf (остальные стрки закоментарены)
		+	<PRE>
		+	Target iqn.2009-09.ab.mordred:iSCSI.aradia.disk1
		+	Lun 0 Path=/var/iscsi/aradia,Type=fileio
		+	MaxConnections 1
		+	IncomingUser
		+	OutgoingUser
		+	Alias Aradia_Drive
		+	</PRE>
		+	Обратить внимание, пустые IncomingUser и OutgoingUser - обязательно, без них у меня не работало.
		+
		+	Запускаю сервис
		+	{{root\|<nowiki>/etc/init.d/ietd start</nowiki>}}
		+
		+	<PRE>
		+	dmesg
		+	<skipped>
		+	[12789475.395944] Loading iSCSI transport class v2.0-724.
		+	[12790177.495567] iSCSI Enterprise Target Software - version 0.4.17
		+	[12790177.495633] iscsi_trgt: Registered io type fileio
		+	[12790177.495635] iscsi_trgt: Registered io type blockio
		+	[12790177.495637] iscsi_trgt: Registered io type nullio
		+	</PRE>
		+
		+	Посде старта соответвенно, откут порт и запущен соответвующий процесс.
		+	<PRE>
		+	Active Internet connections (only servers)
		+	Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
		+	tcp 0 0 0.0.0.0:3260 0.0.0.0:* LISTEN 1814/ietd
		+	</PRE>
		+
		+	==iSCSI initiator==
		+	Установить open-iscsi
		+	{{root\|<nowiki>#echo "sys-block/open-iscsi" >> /etc/portage/package.keywords</nowiki>}}
		+	{{root\|<nowiki>#emerge sys-block/open-iscsi</nowiki>}}
		+
		+	Запустить сервис:
		+	{{root\|<nowiki>#/etc/init.d/iscsid start</nowiki>}}
		+
		+	Исследовать какие устройства есть на целевой системе
		+	{{root\|<nowiki>#iscsiadm -m discovery -t st -p 172.16.49.9
		+	172.16.49.9:3260,1 iqn.2009-09.ab.mordred:iSCSI.aradia.disk1</nowiki>}}
		+
		+	Подключить:
		+	{{root\|<nowiki>#iscsiadm -m node -T iqn.2009-09.ab.mordred:iSCSI.aradia.disk1 -p 172.16.49.9:3260 -l</nowiki>}}
		+
		+	В логах
		+	<PRE>
		+	dmesg
		+	<skipped>
		+	[548181.601597] scsi5 : iSCSI Initiator over TCP/IP
		+	[548181.860961] scsi 5:0:0:0: Direct-Access IET VIRTUAL-DISK 0 PQ: 0 ANSI: 4
		+	[548181.862415] sd 5:0:0:0: [sde] 12582912 512-byte hardware sectors (6442 MB)
		+	[548181.863446] sd 5:0:0:0: [sde] Write Protect is off
		+	[548181.863452] sd 5:0:0:0: [sde] Mode Sense: 77 00 00 08
		+	[548181.865093] sd 5:0:0:0: [sde] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
		+	[548181.872296] sd 5:0:0:0: [sde] 12582912 512-byte hardware sectors (6442 MB)
		+	[548181.881151] sd 5:0:0:0: [sde] Write Protect is off
		+	[548181.881160] sd 5:0:0:0: [sde] Mode Sense: 77 00 00 08
		+	[548181.883161] sd 5:0:0:0: [sde] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
		+	[548181.883171] sde: unknown partition table
		+	[548181.890757] sd 5:0:0:0: [sde] Attached SCSI disk
		+	[548181.890825] sd 5:0:0:0: Attached scsi generic sg4 type 0
		+	</PRE>
		+
		+	{{root\|<nowiki>#fdisk -l
		+	<skipped>
		+	Disk /dev/sde: 6442 MB, 6442450944 bytes
		+	199 heads, 62 sectors/track, 1019 cylinders
		+	Units = cylinders of 12338 * 512 = 6317056 bytes
		+	Disk identifier: 0x00000000
		+
		+	Disk /dev/sde doesn't contain a valid partition table</nowiki>}}
		+
		+	==Проверка работы==
		+	После копирования данных на iSCSI диск (в моем случае sde) и монтированя, имею:
		+	<PRE>
		+	iostat -mtxz /dev/sd? 1
		+	Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
		+	sda 0.33 18.63 44.56 166.64 0.18 0.72 8.78 6.59 31.18 4.28 90.37
		+	sdb 0.63 318.09 2.78 246.87 0.05 2.23 18.66 0.34 1.20 1.18 29.38
		+	sdc 0.63 318.99 2.77 245.91 0.05 2.23 18.74 0.83 3.16 1.21 29.97
		+	sdd 0.00 13.26 0.00 0.03 0.00 0.01 807.22 0.17 5101.32 38.49 0.13
		+	sde 0.00 4.07 3.40 11.55 0.01 0.06 10.18 1.72 114.77 1.19 1.78
		+
		+	25.09.2009 10:11:56
		+	avg-cpu: %user %nice %system %iowait %steal %idle
		+	21.13 0.00 12.29 43.24 0.00 23.34
		+	Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
		+	sdb 0.00 166.34 0.00 175.25 0.00 1.37 15.95 1.22 7.07 1.16 20.40
		+	sdc 0.00 166.34 0.00 175.25 0.00 1.36 15.91 1.15 6.59 1.09 19.11
		+	sde 0.00 1031.68 0.00 621.78 0.00 4.74 15.62 135.41 182.22 1.62 100.69
		+	</PRE>
		+	Т.е фактическая нагрузка распределилась по 2-м диска (т.к. часть данных все-таки осталось на первом)
		+
		+	==Дальнейшее увеличение производительности подсистемы==
		+	Т.к. я вижу, что производительности все еще недостаточно, то Есть мысль объединить 2 iSCSI-диска (или физический и iSCSI) с помощью AUFS. Для моего типа нагрузки (запись во сножество мелких файлов) это теоретически даст равномерную балансировку нагрузки.

62.73.58.142: MuTahngIgGIRE

2009-10-29T19:17:17Z

MuTahngIgGIRE

← Предыдущая		Версия 19:17, 29 октября 2009
Строка 1:		Строка 1:
−	~~E4ZWQq~~ <a href="http://~~jqavroaicrmj~~.com/">~~jqavroaicrmj~~</a>, [url=http://~~pcsvuilsyhjq~~.com/]~~pcsvuilsyhjq~~[/url], [link=http://~~gietixzgkyab~~.com/]~~gietixzgkyab~~[/link], http://~~mgnupigotmrk~~.com/	+	EfdQ6p <a href="http://bfcoexmrknvo.com/">bfcoexmrknvo</a>, [url=http://ivcwqxdzuvuu.com/]ivcwqxdzuvuu[/url], [link=http://iomqksmtfigf.com/]iomqksmtfigf[/link], http://badmdhbrohrx.com/

200.60.158.66: ZgdggkefFsFMKLId

2009-10-29T19:03:12Z

ZgdggkefFsFMKLId

← Предыдущая		Версия 19:03, 29 октября 2009
Строка 1:		Строка 1:
−	~~zYeyxo~~ <a href="http://~~wnhhjvwgbtlx~~.com/">~~wnhhjvwgbtlx~~</a>, [url=http://~~ydyvlbixqikk~~.com/]~~ydyvlbixqikk~~[/url], [link=http://~~ijigaeuojwtz~~.com/]~~ijigaeuojwtz~~[/link], http://~~wqnbkaqemurs~~.com/	+	E4ZWQq <a href="http://jqavroaicrmj.com/">jqavroaicrmj</a>, [url=http://pcsvuilsyhjq.com/]pcsvuilsyhjq[/url], [link=http://gietixzgkyab.com/]gietixzgkyab[/link], http://mgnupigotmrk.com/
−
−	==iSCSI initiator==
−	Установить open-iscsi
−	{{root\|<nowiki>#echo "sys-block/open-iscsi" >> /etc/portage/package.keywords</nowiki>}}
−	{{root\|<nowiki>#emerge sys-block/open-iscsi</nowiki>}}
−
−	Запустить сервис:
−	{{root\|<nowiki>#/etc/init.d/iscsid start</nowiki>}}
−
−	Исследовать какие устройства есть на целевой системе
−	{{root\|<nowiki>#iscsiadm -m discovery -t st -p 172.16.49.9
−	172.16.49.9:3260,1 iqn.2009-09.ab.mordred:iSCSI.aradia.disk1</nowiki>}}
−
−	Подключить:
−	{{root\|<nowiki>#iscsiadm -m node -T iqn.2009-09.ab.mordred:iSCSI.aradia.disk1 -p 172.16.49.9:3260 -l</nowiki>}}
−
−	В логах
−	<PRE>
−	dmesg
−	<skipped>
−	[548181.601597] scsi5 : iSCSI Initiator over TCP/IP
−	[548181.860961] scsi 5:0:0:0: Direct-Access IET VIRTUAL-DISK 0 PQ: 0 ANSI: 4
−	[548181.862415] sd 5:0:0:0: [sde] 12582912 512-byte hardware sectors (6442 MB)
−	[548181.863446] sd 5:0:0:0: [sde] Write Protect is off
−	[548181.863452] sd 5:0:0:0: [sde] Mode Sense: 77 00 00 08
−	[548181.865093] sd 5:0:0:0: [sde] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
−	[548181.872296] sd 5:0:0:0: [sde] 12582912 512-byte hardware sectors (6442 MB)
−	[548181.881151] sd 5:0:0:0: [sde] Write Protect is off
−	[548181.881160] sd 5:0:0:0: [sde] Mode Sense: 77 00 00 08
−	[548181.883161] sd 5:0:0:0: [sde] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
−	[548181.883171] sde: unknown partition table
−	[548181.890757] sd 5:0:0:0: [sde] Attached SCSI disk
−	[548181.890825] sd 5:0:0:0: Attached scsi generic sg4 type 0
−	</PRE>
−
−	{{root\|<nowiki>#fdisk -l
−	<skipped>
−	Disk /dev/sde: 6442 MB, 6442450944 bytes
−	199 heads, 62 sectors/track, 1019 cylinders
−	Units = cylinders of 12338 * 512 = 6317056 bytes
−	Disk identifier: 0x00000000
−
−	Disk /dev/sde doesn't contain a valid partition table</nowiki>}}
−
−	==Проверка работы==
−	После копирования данных на iSCSI диск (в моем случае sde) и монтированя, имею:
−	<PRE>
−	iostat -mtxz /dev/sd? 1
−	Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
−	sda 0.33 18.63 44.56 166.64 0.18 0.72 8.78 6.59 31.18 4.28 90.37
−	sdb 0.63 318.09 2.78 246.87 0.05 2.23 18.66 0.34 1.20 1.18 29.38
−	sdc 0.63 318.99 2.77 245.91 0.05 2.23 18.74 0.83 3.16 1.21 29.97
−	sdd 0.00 13.26 0.00 0.03 0.00 0.01 807.22 0.17 5101.32 38.49 0.13
−	sde 0.00 4.07 3.40 11.55 0.01 0.06 10.18 1.72 114.77 1.19 1.78
−
−	25.09.2009 10:11:56
−	avg-cpu: %user %nice %system %iowait %steal %idle
−	21.13 0.00 12.29 43.24 0.00 23.34
−	Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
−	sdb 0.00 166.34 0.00 175.25 0.00 1.37 15.95 1.22 7.07 1.16 20.40
−	sdc 0.00 166.34 0.00 175.25 0.00 1.36 15.91 1.15 6.59 1.09 19.11
−	sde 0.00 1031.68 0.00 621.78 0.00 4.74 15.62 135.41 182.22 1.62 100.69
−	</PRE>
−	Т.е фактическая нагрузка распределилась по 2-м диска (т.к. часть данных все-таки осталось на первом)
−
−	BGVu3U <a href="http://dyineadfzcek.com/">dyineadfzcek</a>, [url=http://mmgxeuyllpbo.com/]mmgxeuyllpbo[/url], [link=http://vuhohoykgrab.com/]vuhohoykgrab[/link], http://rxzyqsphxbfy.com/