Ceph2 - История изменений

Sirmax: /* Поиск проблемы */

2025-10-13T10:00:49Z

Поиск проблемы

← Предыдущая		Версия 10:00, 13 октября 2025
Строка 66:		Строка 66:

	==Поиск проблемы==		==Поиск проблемы==
		+	<PRE>
		+	ceph health detail
		+	</PRE>
	<PRE>		<PRE>
	ceph crash ls-new		ceph crash ls-new
Строка 125:		Строка 128:
	}		}
	</PRE>		</PRE>
		+
	==Заархивировать запись==		==Заархивировать запись==
	<PRE>		<PRE>

Sirmax: /* Поиск проблемы */

2025-10-13T08:53:46Z

Поиск проблемы

← Предыдущая		Версия 08:53, 13 октября 2025
Строка 65:		Строка 65:
	</PRE>		</PRE>

−	=Поиск проблемы=	+	==Поиск проблемы==
	<PRE>		<PRE>
	ceph crash ls-new		ceph crash ls-new

Sirmax: /* показать здоровье кластера */

2025-10-13T08:53:36Z

показать здоровье кластера

@@ Строка 63: / Строка 63: @@
 <PRE>
 ceph health detail
 </PRE>

Sirmax: /* "Неудаляемый" image в glance */

2025-09-20T07:29:25Z

"Неудаляемый" image в glance

← Предыдущая		Версия 07:29, 20 сентября 2025
Строка 824:		Строка 824:
	<PRE>		<PRE>
	rbd children images-ssd/f9b77787-49f0-45cc-9758-11319ae47de8		rbd children images-ssd/f9b77787-49f0-45cc-9758-11319ae47de8
		+	</PRE>
		+	<PRE>
	vms-ssd/35ed30a8-5e64-4b69-a146-3264496ad6e6_disk		vms-ssd/35ed30a8-5e64-4b69-a146-3264496ad6e6_disk
	vms-ssd/bb679dfb-44b6-4e10-b4c5-afb0715176b3_disk		vms-ssd/bb679dfb-44b6-4e10-b4c5-afb0715176b3_disk

Sirmax: /* "Неудаляемый" image в glance */

2025-09-20T07:26:49Z

"Неудаляемый" image в glance

← Предыдущая		Версия 07:26, 20 сентября 2025
Строка 801:		Строка 801:
	</PRE>		</PRE>
	Для того что бы (для начала) получить более информативное сообщение нужно дать для glance дополнительные права - в терминах МОСК это делается через kaascephcluster:		Для того что бы (для начала) получить более информативное сообщение нужно дать для glance дополнительные права - в терминах МОСК это делается через kaascephcluster:
		+	<PRE>
−	~~mgtctl~~ -n mosk get kaascephcluster ceph-child-cluster -o yaml \| yq .spec.cephClusterSpec.clients	+	kubectl -n mosk get kaascephcluster ceph-child-cluster -o yaml \| yq .spec.cephClusterSpec.clients
		+	</PRE>
		+	<PRE>
	- caps:		- caps:
	mon: allow r		mon: allow r
Строка 811:		Строка 814:
	mon: allow r		mon: allow r
	name: cephfs-client		name: cephfs-client
		+	</PRE>
	тут была добавлена секция для glance		тут была добавлена секция для glance
		+	<BR>
	После этого удалить образ все так же нельзя, но есть более-менее информативное сообщение для поиска проблемы:		После этого удалить образ все так же нельзя, но есть более-менее информативное сообщение для поиска проблемы:
		+	<PRE>
	2024-02-05 10:05:30.400 11 WARNING glance_store._drivers.rbd [req-585db1f1-76a7-478b-adce-adb2dfaa78a3 71add96277134f4a97127acc2431cddc fd65e819389849d0b8b50ff5b157b429 - default default] Snap Operating Exception RBD image is busy (Image snapshot has external references.) Snapshot is in use.: rbd.ImageBusy: RBD image is busy (Image snapshot has external references.)		2024-02-05 10:05:30.400 11 WARNING glance_store._drivers.rbd [req-585db1f1-76a7-478b-adce-adb2dfaa78a3 71add96277134f4a97127acc2431cddc fd65e819389849d0b8b50ff5b157b429 - default default] Snap Operating Exception RBD image is busy (Image snapshot has external references.) Snapshot is in use.: rbd.ImageBusy: RBD image is busy (Image snapshot has external references.)
		+	</PRE>
	Далее можно посмотреть зависимые образы:		Далее можно посмотреть зависимые образы:
		+	<PRE>
	rbd children images-ssd/f9b77787-49f0-45cc-9758-11319ae47de8		rbd children images-ssd/f9b77787-49f0-45cc-9758-11319ae47de8
	vms-ssd/35ed30a8-5e64-4b69-a146-3264496ad6e6_disk		vms-ssd/35ed30a8-5e64-4b69-a146-3264496ad6e6_disk
	vms-ssd/bb679dfb-44b6-4e10-b4c5-afb0715176b3_disk		vms-ssd/bb679dfb-44b6-4e10-b4c5-afb0715176b3_disk
	vms-ssd/dc369981-978d-4fa5-801b-e202ba101d19_disk		vms-ssd/dc369981-978d-4fa5-801b-e202ba101d19_disk
		+	</PRE>
	Тут видно что это диски виртуалок, это видно из имени пула vms-ssd , и ID виртуалок тоже известны - можно удалять ВМки и освобождать блокировку		Тут видно что это диски виртуалок, это видно из имени пула vms-ssd , и ID виртуалок тоже известны - можно удалять ВМки и освобождать блокировку
−	После удаления виртуалок, можно убедиться что зависимостей не осталось ~~(rbd children images-ssd/f9b77787-49f0-45cc-9758-11319ae47de8)~~	+	После удаления виртуалок, можно убедиться что зависимостей не осталось
		+	<PRE>
		+	rbd children images-ssd/f9b77787-49f0-45cc-9758-11319ae47de8
		+	</PRE>
	Финальный шаг - удаление “проблемного” образа		Финальный шаг - удаление “проблемного” образа
		+	<PRE>
	openstack image delete f9b77787-49f0-45cc-9758-11319ae47de8		openstack image delete f9b77787-49f0-45cc-9758-11319ae47de8
		+	</PRE>
−
	==Additional Information==		==Additional Information==
	После создания OSD Ceph запустит операцию восстановления и начнет перемещать группы размещения из вторичных OSD в новый OSD. <BR>		После создания OSD Ceph запустит операцию восстановления и начнет перемещать группы размещения из вторичных OSD в новый OSD. <BR>

Sirmax: /* Очистка алерта от недавно скрашевшихся OSDs */

2025-09-20T07:25:10Z

Очистка алерта от недавно скрашевшихся OSDs

← Предыдущая		Версия 07:25, 20 сентября 2025
Строка 662:		Строка 662:
	==Очистка алерта от недавно скрашевшихся OSDs==		==Очистка алерта от недавно скрашевшихся OSDs==

−	поархивировать варнинги о крашнутых osd - раньше они были, сеф их зафиксировал, но сейчас они работают нормально,	+	поархивировать варнинги о крашнутых osd - раньше они были, сеф их зафиксировал, но сейчас они работают нормально,<BR>
−	однако ceph -s показывает ворнинг, решение ниже:	+	однако ceph -s показывает ворнинг, решение ниже:
		+	<PRE>
−
	ceph crash archive-all		ceph crash archive-all
		+	</PRE>

		⚫	=Блокировки в CEPH=
−
⚫	Блокировки в CEPH

	В rbd есть понятие блокировки - и список блокировок можно посмотреть командой:		В rbd есть понятие блокировки - и список блокировок можно посмотреть командой:
		+	<PRE>
	rbd -p volumes-ssd lock list 66b35cdf-845e-47a4-badd-c03e1902fb44		rbd -p volumes-ssd lock list 66b35cdf-845e-47a4-badd-c03e1902fb44
		+	</PRE>
		+	<PRE>
	There is 1 exclusive lock on this image.		There is 1 exclusive lock on this image.
	Locker ID Address		Locker ID Address
	client.53989246 auto 140537302618384 10.80.3.54:0/2974634118		client.53989246 auto 140537302618384 10.80.3.54:0/2974634118
		+	</PRE>
−
−	volumes-ssd - это имя пула	+	* volumes-ssd - это имя пула
−	66b35cdf-845e-47a4-badd-c03e1902fb44 - это ID который можно посмотреть в openstack server show	+	* 66b35cdf-845e-47a4-badd-c03e1902fb44 - это ID который можно посмотреть в openstack server show
−	10.80.3.54 - это адрес compute	+	* 10.80.3.54 - это адрес compute
		+
	При этом иногда при краше компьюты локи остаются и новая компьюта после миграции ВМ не может подключить диск		При этом иногда при краше компьюты локи остаются и новая компьюта после миграции ВМ не может подключить диск
	Пример ошибки (хотя это не единственный вариант ошибки):		Пример ошибки (хотя это не единственный вариант ошибки):
		+	<PRE>
−
	{'code': 500, 'created': '2024-02-15T17:32:25Z', 'message': 'ReadOnlyImage', 'details': 'Traceback (most recent call last):\n		{'code': 500, 'created': '2024-02-15T17:32:25Z', 'message': 'ReadOnlyImage', 'details': 'Traceback (most recent call last):\n
	File "/var/lib/openstack/lib/python3.8/site-packages/nova/compute/manager.py", line 207, in decorated_function\n		File "/var/lib/openstack/lib/python3.8/site-packages/nova/compute/manager.py", line 207, in decorated_function\n
Строка 723:		Строка 727:
	File "rbd.pyx", line 3514, in rbd.Image.create_snap\n		File "rbd.pyx", line 3514, in rbd.Image.create_snap\n
	rbd.ReadOnlyImage: [errno 30] RBD read-only image (error creating snapshot b\'nova-resize\' from b\'2786c568-5fda-496d-a267-551e2ce3acc5_disk\')\n'}		rbd.ReadOnlyImage: [errno 30] RBD read-only image (error creating snapshot b\'nova-resize\' from b\'2786c568-5fda-496d-a267-551e2ce3acc5_disk\')\n'}
		+	</PRE>
	Например (с лабы):		Например (с лабы):
		+
−
		+	<PRE>
	rbd -p volumes-nvme lock list e0fa47b1-6831-40fa-b626-f4eea84940c2		rbd -p volumes-nvme lock list e0fa47b1-6831-40fa-b626-f4eea84940c2
		+	</PRE>
		+	<PRE>
	There is 1 exclusive lock on this image.		There is 1 exclusive lock on this image.
	Locker ID Address		Locker ID Address
	client.46717700 auto 139629252590528 10.187.84.142:0/3063592878		client.46717700 auto 139629252590528 10.187.84.142:0/3063592878
		+	</PRE>
	Посмотреть кто использует диск можно так:		Посмотреть кто использует диск можно так:
	Пример кастомера:		Пример кастомера:
		+	<PRE>
	rbd status volumes-nvme/e0fa47b1-6831-40fa-b626-f4eea84940c2		rbd status volumes-nvme/e0fa47b1-6831-40fa-b626-f4eea84940c2
		+	</PRE>
		+	<PRE>
	Watchers:		Watchers:
	watcher=10.187.84.142:0/3063592878 client.46717700 cookie=139629252590528		watcher=10.187.84.142:0/3063592878 client.46717700 cookie=139629252590528
	watcher=10.187.84.171:0/2753880368 client.402631226 cookie=140045730189824		watcher=10.187.84.171:0/2753880368 client.402631226 cookie=140045730189824
		+	</PRE>
	пример с лабы		пример с лабы
		+	<PRE>
	rbd status volumes-ssd/66b35cdf-845e-47a4-badd-c03e1902fb44		rbd status volumes-ssd/66b35cdf-845e-47a4-badd-c03e1902fb44
		+	</PRE>
		+	<PRE>
	Watchers:		Watchers:
	watcher=10.80.3.54:0/2974634118 client.53989246 cookie=140537302618384		watcher=10.80.3.54:0/2974634118 client.53989246 cookie=140537302618384
		+	</PRE>
	Тут у кастомера 2 ноды - старая (мертвая), с которой ВМ перенесли на новую		Тут у кастомера 2 ноды - старая (мертвая), с которой ВМ перенесли на новую
		+	<BR>
	В случае лабы только одна актуальная компьют-нода		В случае лабы только одна актуальная компьют-нода
		+	</BR>
	У кастомера - проверяем что нода (10.187.84.142) не работает :		У кастомера - проверяем что нода (10.187.84.142) не работает :
		+	<PRE>
	kubectl -n openstack get nodes -o wide \|grep kaas-node-a0d08ca9-14eb-42dd-9908-9ecde7cb9d7c		kubectl -n openstack get nodes -o wide \|grep kaas-node-a0d08ca9-14eb-42dd-9908-9ecde7cb9d7c
	kaas-node-a0d08ca9-14eb-42dd-9908-9ecde7cb9d7c NotReady <none> 566d v1.24.6-mirantis-1 10.187.84.142 <none> Ubuntu 20.04.6 LTS 5.4.0-109-generic		kaas-node-a0d08ca9-14eb-42dd-9908-9ecde7cb9d7c NotReady <none> 566d v1.24.6-mirantis-1 10.187.84.142 <none> Ubuntu 20.04.6 LTS 5.4.0-109-generic
		+	</PRE>
−
	И можно удалить (заблокировать) watcher 10.187.84.142:0/3063592878		И можно удалить (заблокировать) watcher 10.187.84.142:0/3063592878
		+	<PRE>
−
	ceph osd blacklist add 10.187.84.142:0/3063592878 │		ceph osd blacklist add 10.187.84.142:0/3063592878 │
	blocklisting 10.187.84.142:0/3063592878 until 2024-02-01T11:12:42.942069+0000 (3600 sec)		blocklisting 10.187.84.142:0/3063592878 until 2024-02-01T11:12:42.942069+0000 (3600 sec)
		+	</PRE>
−
−	10.187.84.142:0/3063592878 - адрес и идентификатор который нужно заблокировать	+	* 10.187.84.142:0/3063592878 - адрес и идентификатор который нужно заблокировать
−	блокировка временная	+	* блокировка временная
−	После чего диск может использовать новая компьюта	+	* После чего диск может использовать новая компьюта
		+
−
		+	<PRE>
	rbd -p volumes-nvme lock list e0fa47b1-6831-40fa-b626-f4eea84940c2		rbd -p volumes-nvme lock list e0fa47b1-6831-40fa-b626-f4eea84940c2
	There is 1 exclusive lock on this image.		There is 1 exclusive lock on this image.
	Locker ID Address		Locker ID Address
	client.402631226 auto 140045730189824 10.187.84.171:0/2753880368		client.402631226 auto 140045730189824 10.187.84.171:0/2753880368
		+	</PRE>
−
	Или можно удалить сразу lock (пример не с лабы, по-том такие странные пулы)		Или можно удалить сразу lock (пример не с лабы, по-том такие странные пулы)
		+	<PRE>
	rbd lock remove --pool c7000-pxmx1-am7 vm-201-disk-0 "auto 140450841490944" client.70464		rbd lock remove --pool c7000-pxmx1-am7 vm-201-disk-0 "auto 140450841490944" client.70464
		+	</PRE>
−	"Неудаляемый" image в glance	+	="Неудаляемый" image в glance=
	Столкнулся с проблемой - невозможно удалить образ:		Столкнулся с проблемой - невозможно удалить образ:
		+	<PRE>
	openstack image delete Ubuntu-22.04-root-password-set		openstack image delete Ubuntu-22.04-root-password-set
		+	</PRE>
		+	<PRE>
	Failed to delete image with name or ID 'Ubuntu-22.04-root-password-set': HttpException: 500: Server Error for url: https://glance.it.just.works/v2/images/f9b77787-49f0-45cc-9758-11319ae47de8, The server has either erred or is incapable of performing the requested operation.: 500 Internal Server Error		Failed to delete image with name or ID 'Ubuntu-22.04-root-password-set': HttpException: 500: Server Error for url: https://glance.it.just.works/v2/images/f9b77787-49f0-45cc-9758-11319ae47de8, The server has either erred or is incapable of performing the requested operation.: 500 Internal Server Error
	Failed to delete 1 of 1 images.		Failed to delete 1 of 1 images.
		+	</PRE>
	Коротко - проблема в том, что образ был создан из запущенной ВМи - и под капотом там используются снапшоты, когда из этого образа были созданы еще ВМки		Коротко - проблема в том, что образ был создан из запущенной ВМи - и под капотом там используются снапшоты, когда из этого образа были созданы еще ВМки

	Тем не менее сообщения в логах не информативны:		Тем не менее сообщения в логах не информативны:
		+	<PRE>
	2024-02-05 08:40:28.847 12 WARNING glance.api.v2.images [req-4c9facef-a616-4040-b584-02bd43f0878c 71add96277134f4a97127acc2431cddc fd65e819389849d0b8b50ff5b157b429 - default default] After upload to backend, deletion of staged image data has failed because it cannot be found at /tmp/staging//f9b77787-49f0-45cc-9758-11319ae47de8		2024-02-05 08:40:28.847 12 WARNING glance.api.v2.images [req-4c9facef-a616-4040-b584-02bd43f0878c 71add96277134f4a97127acc2431cddc fd65e819389849d0b8b50ff5b157b429 - default default] After upload to backend, deletion of staged image data has failed because it cannot be found at /tmp/staging//f9b77787-49f0-45cc-9758-11319ae47de8
	2024-02-05 08:40:29.101 12 ERROR glance.common.wsgi [req-4c9facef-a616-4040-b584-02bd43f0878c 71add96277134f4a97127acc2431cddc fd65e819389849d0b8b50ff5b157b429 - default default] Caught error: [errno 1] RBD permission error (error listing children.): rbd.PermissionError: [errno 1] RBD permission error (error listing children.)		2024-02-05 08:40:29.101 12 ERROR glance.common.wsgi [req-4c9facef-a616-4040-b584-02bd43f0878c 71add96277134f4a97127acc2431cddc fd65e819389849d0b8b50ff5b157b429 - default default] Caught error: [errno 1] RBD permission error (error listing children.): rbd.PermissionError: [errno 1] RBD permission error (error listing children.)
		+	</PRE>
	Для того что бы (для начала) получить более информативное сообщение нужно дать для glance дополнительные права - в терминах МОСК это делается через kaascephcluster:		Для того что бы (для начала) получить более информативное сообщение нужно дать для glance дополнительные права - в терминах МОСК это делается через kaascephcluster:
	mgtctl -n mosk get kaascephcluster ceph-child-cluster -o yaml \| yq .spec.cephClusterSpec.clients		mgtctl -n mosk get kaascephcluster ceph-child-cluster -o yaml \| yq .spec.cephClusterSpec.clients

Sirmax: /* Задать фактор репликации по-умолчанию */

2025-09-20T07:20:48Z

Задать фактор репликации по-умолчанию

← Предыдущая		Версия 07:20, 20 сентября 2025
Строка 462:		Строка 462:
	</PRE>		</PRE>

−	Замена сломанного диска (OSD)	+	=Замена сломанного диска (OSD)=
	Посмотреть метаданные (откуда достать ноду и имя устройства) можно так:		Посмотреть метаданные (откуда достать ноду и имя устройства) можно так:
		+	<PRE>
−	~~root@nest:~#~~ ceph osd metadata \| jq '.'	+	ceph osd metadata \| jq '.'
		+	</PRE>
		+	<PRE>
	[		[
	{		{
Строка 521:		Строка 524:
	"rotational": "1"		"rotational": "1"
	},		},
		+	</PRE>
	Найти сломанные OSD		Найти сломанные OSD
		+	<PRE>
	ceph osd tree down		ceph osd tree down
		+	</PRE>
		+	<PRE>
	ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF		ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
	-1 111.66374 root default		-1 111.66374 root default
Строка 531:		Строка 538:
	30 hdd 3.63799 osd.30 down 0 1.00000		30 hdd 3.63799 osd.30 down 0 1.00000
	31 hdd 3.63799 osd.31 down 0 1.00000		31 hdd 3.63799 osd.31 down 0 1.00000
		+	</PRE>
−
−	Для того что бы найти ноды (хостнейм известен - kaas-node-650411e5-eb92-4438-bb95-22aeb2bb79f4 ) ~~но это нужно как-то сопоставить с именем ноды в объекте kaascephcluster~~	+	Для того что бы найти ноды (хостнейм известен - kaas-node-650411e5-eb92-4438-bb95-22aeb2bb79f4 ) <BR>
		+	но это нужно как-то сопоставить с именем ноды в объекте kaascephcluster
	Это можно сделать через объект machine		Это можно сделать через объект machine
		+	<PRE>
	kubectl get ma -A -o wide \| grep mos-ceph-osd004		kubectl get ma -A -o wide \| grep mos-ceph-osd004
		+	</PRE>
−
		+	<PRE>
	eu-production-mos mos-ceph-osd004 true Ready kaas-node-650411e5-eb92-4438-bb95-22aeb2bb79f4 83 false		eu-production-mos mos-ceph-osd004 true Ready kaas-node-650411e5-eb92-4438-bb95-22aeb2bb79f4 83 false
		+	</PRE>
	Тут сопоставление ноды kaas-node-650411e5-eb92-4438-bb95-22aeb2bb79f4 и записи в объекте - mos-ceph-osd004		Тут сопоставление ноды kaas-node-650411e5-eb92-4438-bb95-22aeb2bb79f4 и записи в объекте - mos-ceph-osd004
		+	<BR>
⚫	~~Например вывод для OSD 22 - тут видно ноду "hostname": "kaas-node-650411e5-eb92-4438-bb95-22aeb2bb79f4"~~ но для того что бы удалить из кластера эту OSD нужно найти сопоставление с mos-ceph-osd004
		+	Например вывод для OSD 22 - тут видно ноду "hostname": "kaas-node-650411e5-eb92-4438-bb95-22aeb2bb79f4" <BR>
		⚫	но для того что бы удалить из кластера эту OSD нужно найти сопоставление с mos-ceph-osd004
		+	<PRE>
	ceph osd metadata 22		ceph osd metadata 22
		+	</PRE>
		+	<PRE>
	{		{
	"id": 22,		"id": 22,
Строка 606:		Строка 622:
	"rotational": "1"		"rotational": "1"
	}		}
		+	</PRE>
	Что из этого можно понять		Что из этого можно понять
−	bluefs_db_devices": "sdg" - это устройство с метадатой	+	* bluefs_db_devices": "sdg" - это устройство с метадатой
−	bluefs_db_dev_node": "/dev/dm-2 - это блочное устройство, тут нельзя указать партицию по-тому используется LVM	+	* bluefs_db_dev_node": "/dev/dm-2 - это блочное устройство, тут нельзя указать партицию по-тому используется LVM
−	bluestore_bdev_devices": "sdh", - устройство с данными	+	* bluestore_bdev_devices": "sdh", - устройство с данными

	https://docs.mirantis.com/container-cloud/latest/operations-guide/operate-managed/operate-managed-bm/manage-ceph/ceph-lcm/replace-failed-node.html		https://docs.mirantis.com/container-cloud/latest/operations-guide/operate-managed/operate-managed-bm/manage-ceph/ceph-lcm/replace-failed-node.html
		+	<BR>
	dropFromClusterOnly - если не очищается поломанный диск		dropFromClusterOnly - если не очищается поломанный диск
	фулл мапинг можно посмотреть на чайлде вот так: kubectl -n ceph-lcm-mirantis get miracephlog -o yaml		фулл мапинг можно посмотреть на чайлде вот так: kubectl -n ceph-lcm-mirantis get miracephlog -o yaml
	При удалении OSD при удалении всех (если упали все OSD на ноде) нужно удалять ВМЕСТЕ С НОДОЙ		При удалении OSD при удалении всех (если упали все OSD на ноде) нужно удалять ВМЕСТЕ С НОДОЙ

−	By-ID или /dev/sdX ? (miracephlog)	+	==By-ID или /dev/sdX ? (miracephlog)==
	Бывыет так что диск в kaascephcluster добавлен не по букве /dev/sdX а например /dev/disk/by-id/WDC_WD4003FZEX-0_WD-WMC5D0D9DMEY и тогда сложно сопоставить вывалившийся диск по dmesg с kaascephcluster .		Бывыет так что диск в kaascephcluster добавлен не по букве /dev/sdX а например /dev/disk/by-id/WDC_WD4003FZEX-0_WD-WMC5D0D9DMEY и тогда сложно сопоставить вывалившийся диск по dmesg с kaascephcluster .
	вот так моджно сопоставить зная девайс и ноду:		вот так моджно сопоставить зная девайс и ноду:
		+	<PRE>
−
	kubectl -n ceph-lcm-mirantis get miracephlog -o yaml		kubectl -n ceph-lcm-mirantis get miracephlog -o yaml
		+	</PRE>
−
	тут будет нечто:		тут будет нечто:
		+	<PRE>
	kaas-node-12c448d3-ca7e-4817-9d25-fe21aa441d4c:		kaas-node-12c448d3-ca7e-4817-9d25-fe21aa441d4c:
	...		...
Строка 640:		Строка 659:
	up: true		up: true
	...		...
		+	</PRE>
−	Очистка алерта от недавно скрашевшихся OSDs	+	==Очистка алерта от недавно скрашевшихся OSDs==

	поархивировать варнинги о крашнутых osd - раньше они были, сеф их зафиксировал, но сейчас они работают нормально,		поархивировать варнинги о крашнутых osd - раньше они были, сеф их зафиксировал, но сейчас они работают нормально,

Sirmax: /* Подмонтировать диск виртуальной машины (из контейнера libvirt) (например что бы сделать fsck или вытащить данные) */

2025-09-20T07:11:51Z

Подмонтировать диск виртуальной машины (из контейнера libvirt) (например что бы сделать fsck или вытащить данные)

← Предыдущая		Версия 07:11, 20 сентября 2025
Строка 368:		Строка 368:
	* --id nova - “идентификатор клиента” (я не знаю что это означает но без этого параметра не работает)		* --id nova - “идентификатор клиента” (я не знаю что это означает но без этого параметра не работает)

−	Просмотреть подмонтированные	+	==Просмотреть подмонтированные==
	<PRE>		<PRE>
	root@r710:/# rbd showmapped		root@r710:/# rbd showmapped
Строка 374:		Строка 374:
	0 vms-ssd f2dfe088-0516-45a3-a6ab-305868be9f79_disk - /dev/rbd0		0 vms-ssd f2dfe088-0516-45a3-a6ab-305868be9f79_disk - /dev/rbd0
	</PRE>		</PRE>
−	Отключить подключенный диск	+	==Отключить подключенный диск==
	<PRE>		<PRE>
	rbd device unmap /dev/rbd0		rbd device unmap /dev/rbd0
	</PRE>		</PRE>
		+
−	Еще примеры
−	найти все диски для всех ВМок и подмонтировать их (запускать из либвирт контейнера)	+	==найти все диски для всех ВМок и подмонтировать их (запускать из либвирт контейнера)==
		+	<PRE>
	for VM_NAME in $(virsh list --all --name);		for VM_NAME in $(virsh list --all --name);
	do		do
Строка 387:		Строка 388:
	rbd -c /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.nova.keyring device map --pool ${POOL_NAME} ${DISK_NAME} --id nova		rbd -c /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.nova.keyring device map --pool ${POOL_NAME} ${DISK_NAME} --id nova
	done		done
		+	</PRE>
−
		+	<PRE>
	#!/bin/bash		#!/bin/bash

Строка 411:		Строка 413:
	$rbd -c /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.nova.keyring device unmap ${DEV_NAME}		$rbd -c /etc/ceph/ceph.conf --keyring /etc/ceph/ceph.client.nova.keyring device unmap ${DEV_NAME}
	done		done
		+	</PRE>

		+	=Mirantis-специфичное=
−	exit
		+	Это куски документации переведенне и с комментариями (иногда)
−	Mirantis
−	Задать число реплик контроллеров	+	==Задать число реплик контроллеров==
	если нужно сэкономить ресурсы и пох на все		если нужно сэкономить ресурсы и пох на все
		+	<PRE>
	EDITOR=mcedit mgtctl -n mosk edit cluster child-cluster		EDITOR=mcedit mgtctl -n mosk edit cluster child-cluster
		+	</PRE>
−
		+	<PRE>
	helmReleases:		helmReleases:
	- name: ceph-controller		- name: ceph-controller
Строка 433:		Строка 438:
	cephStatus:		cephStatus:
	replicas: 1		replicas: 1
		+	</PRE>
	Часть rookOperatorPlacement не относится к репликам		Часть rookOperatorPlacement не относится к репликам


−	Задать фактор репликации по-умолчанию	+	==Задать фактор репликации по-умолчанию==
	Что бы после обновления он не откатился к дофолту, если был сменен руками установить size: 1		Что бы после обновления он не откатился к дофолту, если был сменен руками установить size: 1
		+	<PRE>
	EDITOR=mcedit mgtctl -n mosk edit kaascephclusters ceph-child-cluster		EDITOR=mcedit mgtctl -n mosk edit kaascephclusters ceph-child-cluster
		+	</PRE>
−
		+	<PRE>
	apiVersion: kaas.mirantis.com/v1alpha1		apiVersion: kaas.mirantis.com/v1alpha1
	kind: KaaSCephCluster		kind: KaaSCephCluster
Строка 452:		Строка 460:
	role: kubernetes		role: kubernetes
	- default: false		- default: false
		+	</PRE>
−

	Замена сломанного диска (OSD)		Замена сломанного диска (OSD)

Sirmax: /* 2 */

2025-09-20T07:08:58Z

@@ Строка 284: / Строка 284: @@
 </PRE>
 =Replication Factor=
 Если нет места то можно уменьшить число реплик, вплоть до 1 (что может быть не безопасно)

Sirmax: /* Identify existing images on Ceph */

2025-09-20T07:08:11Z

Identify existing images on Ceph

← Предыдущая		Версия 07:08, 20 сентября 2025
Строка 242:		Строка 242:

	==Identify existing images on Ceph==		==Identify existing images on Ceph==
−	#from glance pod:	+	from glance pod:
		+	<PRE>
−	# rbd -n client.glance ls -p <pool-name>	+	rbd -n client.glance ls -p <pool-name>
−
		+	</PRE>
⚫	# from keystone-client pod:
		+	Смотреть
⚫	# openstack image list --all-projects
		⚫	* from keystone-client pod:
−
		⚫	* openstack image list --all-projects
−	Compare the two lists, and either delete the VMs using the missing images to permanently remove the image from Openstack, or copy the image to a new UUID for use later on. If you'd like, we can schedule a webex to assist with this action.

		+	Compare the two lists, and either delete the VMs using the missing images to permanently <BR>
		+	remove the image from Openstack, or copy the image to a new UUID for use later on.

	==to find osd id by device name==		==to find osd id by device name==