IB - История изменений

Sirmax: /* Оборудование и имена */

2026-09-22T10:47:08Z

Оборудование и имена

← Предыдущая		Версия 10:47, 22 сентября 2026
Строка 32:		Строка 32:
	* GB300 NVL72 — тип вычислительного трея.		* GB300 NVL72 — тип вычислительного трея.
	* SHARP Aggregation Node — виртуальный узел in-network reduction внутри каждого ASIC, «порт 149». Шум для кабельных вопросов.		* SHARP Aggregation Node — виртуальный узел in-network reduction внутри каждого ASIC, «порт 149». Шум для кабельных вопросов.
−	* UFM (SU3-UFM-1/2) — Nvidia Unified Fabric Manager, HA-пара~~; доступ через Horizon VPN (FortiClient) + Bitwarden. Версия 6.24 с известным дефектом устаревшей модели линков.~~	+	* UFM (SU3-UFM-1/2) — Nvidia Unified Fabric Manager, HA-пара
−	* NetBox — инвентарь; MS-инстанс: https://netbox.ms.iren.com.
	* Rack-адреса вида RCK-012-08-02 U5 / RCK-R1-CDH-09 U11 — стойка и юнит.		* Rack-адреса вида RCK-012-08-02 U5 / RCK-R1-CDH-09 U11 — стойка и юнит.
		+
	=Команды и данные=		=Команды и данные=
	* Subnet Manager (SM) / OpenSM — управляет IB-подсетью, назначает LID, знает всех соседей. Источник правды.		* Subnet Manager (SM) / OpenSM — управляет IB-подсетью, назначает LID, знает всех соседей. Источник правды.

Sirmax: /* InfiniBand */

2026-09-22T10:46:27Z

InfiniBand

← Предыдущая		Версия 10:46, 22 сентября 2026
Строка 15:		Строка 15:

	Отсюда и практическое правило: если бы в вашем выводе для sw49p1 три строки смотрели в …8742xx (C1.26), а одна — в …889fxx (C1.25), это означало бы, что одна пара волокон из этого MPO физически уехала в другой кабель. Скрипт пометил бы planes disagree. У вас все четыре строки согласованы — кабель цел, просто воткнут не туда.		Отсюда и практическое правило: если бы в вашем выводе для sw49p1 три строки смотрели в …8742xx (C1.26), а одна — в …889fxx (C1.25), это означало бы, что одна пара волокон из этого MPO физически уехала в другой кабель. Скрипт пометил бы planes disagree. У вас все четыре строки согласованы — кабель цел, просто воткнут не туда.
		+
		+	=Оборудование и имена=
		+
		+	* Q3400 (Q3400_RA) — коммутатор Nvidia Quantum-3, InfiniBand XDR (800G/порт), OS NVOS. 696 штук: 264 leaf, 288 spine, 144 core.
		+	* SN MTxxxx — серийник, префикс MT = Mellanox.
		+	* C{group}.{seq} — core (C1.26 = группа 1, №26).
		+	* S{seq}.{su}.{rail} — spine (S1.11.1 = №1, SU 11, rail 1).
		+	* L{seq}.{su}.{rail} — leaf.
		+	* SU — Scalable Unit. Spine rail N ходит в core-группу N.
		+	* Кейдж (cage) — гнездо OSFP, 72 на корпус.
		+	* Модуль twin-port: два независимых порта 800G с двумя MPO-разъёмами → swXp1 / swXp2 (в тикетах MS — «49/1», «49/2»).
		+	* Лейн — 200G, одна пара волокон внутри MPO; в порту 4 лейна. MPO — многоволоконный разъём; полярность (тип A/B) — порядок волокон в нём.
		+	* ASIC / плоскость / U1–U4 — четыре независимых чипа в корпусе Q3400, лейн N всегда идёт в чип N. Для IB это четыре разных свитча, каждый со своим GUID и LID. Между собой не связаны — четыре параллельные фабрики, склеенные на хостах.
		+	* aport (aggregated port) — логический порт из 4 плоскостей; OpenSM не переводит его в Active, пока не поднялись все 4; выпадение одной → полоса 3/4.
		+	* CX8 / ConnectX-8 — HCA на трее, раскладывает трафик по 4 плоскостям (per-packet spraying).
		+	* GB300 NVL72 — тип вычислительного трея.
		+	* SHARP Aggregation Node — виртуальный узел in-network reduction внутри каждого ASIC, «порт 149». Шум для кабельных вопросов.
		+	* UFM (SU3-UFM-1/2) — Nvidia Unified Fabric Manager, HA-пара; доступ через Horizon VPN (FortiClient) + Bitwarden. Версия 6.24 с известным дефектом устаревшей модели линков.
		+	* NetBox — инвентарь; MS-инстанс: https://netbox.ms.iren.com.
		+	* Rack-адреса вида RCK-012-08-02 U5 / RCK-R1-CDH-09 U11 — стойка и юнит.
		+	=Команды и данные=
		+	* Subnet Manager (SM) / OpenSM — управляет IB-подсетью, назначает LID, знает всех соседей. Источник правды.
		+	* SMP — Subnet Management Packets, которыми утилиты опрашивают фабрику.
		+	* iblinkinfo — дамп всей топологии подсети (не только своего свитча); -l — по строке на линк, каждый линк дважды (с обеих сторон). Формат: GUID "имя" LID порт ==( ширина скорость Логическое/Физическое )==> GUID LID порт "имя соседа".
		+	Логическое состояние: Active (работает) / Initialize (поднят, но не введён) / Down. Физическое: LinkUp / Polling (нет света) / Disabled.
		+	* 1X 212.5 Gbps — норма для одной плоскости XDR (один лейн).
		+	* perfquery LID порт — счётчики одной плоскости: LinkDownedCounter (падения), PortXmitData (в 4-байтных словах, ×4 = байты).
		+	* nv show interface swXpY link / counters — NVOS: состояние и счётчики суммарно по 4 плоскостям (carrier-down-count, out-bytes). Соседа не показывает.
		+	* Формула порта: IB-порт = (кейдж−1)×2 + сабпорт; обратно: кейдж = ⌈порт/2⌉, нечётный → p1, чётный → p2. Проверено: 97 = sw49p1 через совпадение счётчиков.
		+	* System GUID в UFM = node GUID плоскости U1; U2–U4 идут с шагом +0x20.

	=Полезные комманды=		=Полезные комманды=

Sirmax: /* Полезные комманды */

2026-09-22T10:42:42Z

Полезные комманды

← Предыдущая		Версия 10:42, 22 сентября 2026
Строка 17:		Строка 17:

	=Полезные комманды=		=Полезные комманды=
		+	<PRE>
		+	</PRE>
		+	<PRE>
		+	</PRE>
		+	<PRE>
		+	</PRE>
		+	<PRE>
		+	</PRE>
		+	<PRE>
		+	</PRE>
		+	<PRE>
		+	</PRE>
		+	<PRE>
		+	</PRE>

Sirmax: /* InfiniBand */

2026-09-22T08:53:05Z

InfiniBand

← Предыдущая		Версия 08:53, 22 сентября 2026
Строка 4:		Строка 4:
	[[Image:Q3400_one_cable_four_planes.png\|800px]]		[[Image:Q3400_one_cable_four_planes.png\|800px]]
	<BR>		<BR>
		+
		+	Внутри корпуса S1.11.1 между фиолетовыми ASIC нет ни одной линии — они друг о друге не знают.<BR>
		+	Единственное общее у них — корпус, питание и management-процессор NVOS, который показывает вам их как один «свитч». <BR>
		+
		+	Каждый ASIC имеет свой порт 97. Не «порт 97 корпуса», а четыре порта 97 — по одному на чип. Так же у C1.26 четыре порта 81.
		+	Кабель sw49p1 внутри содержит 4 пары волокон. Пара №1 соединяет порт 97 ASIC U1 (лево) с портом 81 ASIC U1 (право). Пара №2 — U2 с U2. И так далее. Это четыре линка, а не один.
		+	Строка U2 0x…167e20 lid 2157 --> 0x…874220 lid 116 в выводе скрипта — это именно горизонтальная стрелка №2 на схеме: «второй чип слева соединён со вторым чипом справа». Она ничего не говорит о связи U2 с U1 или U3.
		+
		+	Почему iblinkinfo показывает это так: он вообще не знает про корпус. Для него 0x…167e00 и 0x…167e20 — два разных коммутатора с разными LID, которые случайно (для него) имеют похожие имена. Что они стоят в одном шасси — знаем мы, потому что видим суффикс /U1…/U4 в имени и шаг 0x20 в GUID. Скрипт просто группирует четыре независимых линка обратно в «один кабель» по этому суффиксу.
		+
		+	Отсюда и практическое правило: если бы в вашем выводе для sw49p1 три строки смотрели в …8742xx (C1.26), а одна — в …889fxx (C1.25), это означало бы, что одна пара волокон из этого MPO физически уехала в другой кабель. Скрипт пометил бы planes disagree. У вас все четыре строки согласованы — кабель цел, просто воткнут не туда.
		+
		+	=Полезные комманды=

Sirmax: /* InfiniBand */

2026-09-22T08:51:53Z

InfiniBand

← Предыдущая		Версия 08:51, 22 сентября 2026
Строка 2:		Строка 2:

	=InfiniBand=		=InfiniBand=
−	[[Image:Q3400_one_cable_four_planes.png\|~~1000px~~]]	+	[[Image:Q3400_one_cable_four_planes.png\|800px]]
		+	<BR>

Sirmax: /* InfiniBand */

2026-09-22T08:51:33Z

InfiniBand

← Предыдущая		Версия 08:51, 22 сентября 2026
Строка 2:		Строка 2:

	=InfiniBand=		=InfiniBand=
−	[[Image:Q3400_one_cable_four_planes.png\|~~100px~~]]	+	[[Image:Q3400_one_cable_four_planes.png\|1000px]]

Sirmax: /* InfiniBand */

2026-09-22T08:51:23Z

InfiniBand

← Предыдущая		Версия 08:51, 22 сентября 2026
Строка 2:		Строка 2:

	=InfiniBand=		=InfiniBand=
−	[[Image:Q3400_one_cable_four_planes.png]]	+	[[Image:Q3400_one_cable_four_planes.png\|100px]]

Sirmax: /* InfiniBand */

2026-09-22T08:51:10Z

InfiniBand

← Предыдущая		Версия 08:51, 22 сентября 2026
Строка 2:		Строка 2:

	=InfiniBand=		=InfiniBand=
−	[[~~Media~~:Q3400_one_cable_four_planes.png]]	+	[[Image:Q3400_one_cable_four_planes.png]]

Sirmax: /* InfiniBand */

2026-09-22T08:51:00Z

InfiniBand

← Предыдущая		Версия 08:51, 22 сентября 2026
Строка 2:		Строка 2:

	=InfiniBand=		=InfiniBand=
−	[Media:Q3400_one_cable_four_planes.png]	+	[[Media:Q3400_one_cable_four_planes.png]]

Sirmax: /* InfiniBand */

2026-09-22T08:50:50Z

InfiniBand

← Предыдущая		Версия 08:50, 22 сентября 2026
Строка 2:		Строка 2:

	=InfiniBand=		=InfiniBand=
		+	[Media:Q3400_one_cable_four_planes.png]