Rsync - История изменений

Sirmax в 16:21, 24 июля 2024

2024-07-24T16:21:17Z

← Предыдущая		Версия 16:21, 24 июля 2024
Строка 1:		Строка 1:
	[[Категория:backup]]		[[Категория:backup]]
−	[[Категория:~~ssh~~]]	+	[[Категория:SSH]]
	[[Категория:rsync]]		[[Категория:rsync]]
	[[Категория:Linux]]		[[Категория:Linux]]

Sirmax в 13:01, 26 января 2024

2024-01-26T13:01:06Z

← Предыдущая		Версия 13:01, 26 января 2024
Строка 1:		Строка 1:
−	[[Категория:duplicity]]
	[[Категория:backup]]		[[Категория:backup]]
	[[Категория:ssh]]		[[Категория:ssh]]
−	[[Категория:rsync]]
	[[Категория:rsync]]		[[Категория:rsync]]
	[[Категория:Linux]]		[[Категория:Linux]]

Sirmax: /* Другие полезные опции */

2024-01-26T13:00:50Z

Другие полезные опции

← Предыдущая		Версия 13:00, 26 января 2024
Строка 271:		Строка 271:

	=Другие полезные опции=		=Другие полезные опции=
		+	==<code>—delete / —delete-after / —del (—delete_during)</code>==
−
	<code>—delete / —delete-after / —del (—delete_during)</code>		<code>—delete / —delete-after / —del (—delete_during)</code>
	<BR>		<BR>

Sirmax: /* —inplace */

2024-01-26T13:00:30Z

—inplace

← Предыдущая		Версия 13:00, 26 января 2024
Строка 314:		Строка 314:
	Важно соблюдать порядок (особенности работы «—no-OPTION» в rsync).		Важно соблюдать порядок (особенности работы «—no-OPTION» в rsync).

−	==<code>—inplace<code>==	+	==<code>—inplace</code>==
	<code>—inplace</code>		<code>—inplace</code>

Строка 323:		Строка 323:
	<code>rsync -av --inplace ./Видео.mp4 ./vidinplace.mp4</code>		<code>rsync -av --inplace ./Видео.mp4 ./vidinplace.mp4</code>
	<VR>		<VR>
		+
	==<code>-W, —whole-file</code>==		==<code>-W, —whole-file</code>==

Sirmax: /* Другие полезные опции */

2024-01-26T13:00:22Z

Другие полезные опции

← Предыдущая		Версия 13:00, 26 января 2024
Строка 276:		Строка 276:
	Если мы делаем ежедневные резервные копии и не хотим засорять удаленный сервер лишними файлами (которых уже нет в источнике), то мы можем использовать опцию —delete:		Если мы делаем ежедневные резервные копии и не хотим засорять удаленный сервер лишними файлами (которых уже нет в источнике), то мы можем использовать опцию —delete:

−	rsync -avz -e "ssh -p 2013" --delete ./somedir bkp@10.10.20.7:/home/bkp/	+	<code>rsync -avz -e "ssh -p 2013" --delete ./somedir bkp@10.10.20.7:/home/bkp/</code>
		+	<BR>
	В результате будет удален файл, которого больше нет в директории источника (в somedir):		В результате будет удален файл, которого больше нет в директории источника (в somedir):
	<PRE>		<PRE>
Строка 288:		Строка 289:
	total size is 2,041,319 speedup is 8,649.66		total size is 2,041,319 speedup is 8,649.66
	</PRE>		</PRE>
−	По умолчанию, rsync сначала выполняет удаление файлов перед копированием для уверенности, что хватит свободного места на приемной стороне (т.е. использует по умолчанию —delete-before). Если мы хотим удалять файлы после копирования, используйте параметр —delete-after.	+	По умолчанию, rsync сначала выполняет удаление файлов перед копированием для уверенности,
		+	что хватит свободного места на приемной стороне (т.е. использует по умолчанию —delete-before). Если мы хотим удалять файлы после копирования, используйте параметр —delete-after.
−
		+	<BR>
	Если мы хотим хотим удалять файлы в процессе передачи, а не перед, то можно использовать опцию —del (—delete_during). Это поможет сэкономить немного ресурсов и времени.		Если мы хотим хотим удалять файлы в процессе передачи, а не перед, то можно использовать опцию —del (—delete_during). Это поможет сэкономить немного ресурсов и времени.
		+	<BR>
−
	Кстати, это не все «delete» параметры, которые есть, вот их полный список с кратким описанием:		Кстати, это не все «delete» параметры, которые есть, вот их полный список с кратким описанием:

Строка 301:		Строка 303:
	* --delete-after – receiver deletes after transfer, not before		* --delete-after – receiver deletes after transfer, not before
	* --delete-excluded – also delete excluded files from dest dirs		* --delete-excluded – also delete excluded files from dest dirs
		+	<BR>
−
	А если вам по какой-то причине не нужно обновлять файлы на принимающем сервере, вместо опции —del.. можно использовать опцию —ignore-existing.		А если вам по какой-то причине не нужно обновлять файлы на принимающем сервере, вместо опции —del.. можно использовать опцию —ignore-existing.
		+	<BR>
−
−	—no-perms —no-owner —no-group	+	<code>—no-perms —no-owner —no-group</code>
		+	</BR>
−
	Иногда нам может потребоваться не переносить атрибуты (права файлов, пользователя и группу пользователя). Для этого мы можем воспользоваться опциями —no-p —no-o —no-g (оно же —no-perms —no-owner —no-group):		Иногда нам может потребоваться не переносить атрибуты (права файлов, пользователя и группу пользователя). Для этого мы можем воспользоваться опциями —no-p —no-o —no-g (оно же —no-perms —no-owner —no-group):
		+	<BR>
−
−	rsync -avz -e "ssh -p 2013" --no-p --no-o --no-g ./somedir	+	<code>rsync -avz -e "ssh -p 2013" --no-p --no-o --no-g ./somedir</code>
		+	<BR>
	Важно соблюдать порядок (особенности работы «—no-OPTION» в rsync).		Важно соблюдать порядок (особенности работы «—no-OPTION» в rsync).

−	—inplace	+	==<code>—inplace<code>==
		+	<code>—inplace</code>

−	По умолчанию rsync, при копировании существующего файла создает его новую версию, а потом заменяет старый файл на новый. Это сделано для того, чтобы исходный файл не пострадал в случае каких-то перебоев. Данная опция позволяет изменить это поведение таким образом, чтобы rsync сразу начал перезапись старого файла. Опция полезна при копировании больший файлов на одном компьютере:	+	По умолчанию rsync, при копировании существующего файла создает его новую версию, а потом заменяет старый файл на новый.<BR>
		+	Это сделано для того, чтобы исходный файл не пострадал в случае каких-то перебоев. <BR>
−
		+	Данная опция позволяет изменить это поведение таким образом, чтобы rsync сразу начал перезапись старого файла. Опция полезна при копировании больший файлов на одном компьютере:
⚫	rsync -av --inplace ./Видео.mp4 ./vidinplace.mp4
		+	<BR>
⚫	-W, —whole-file
		⚫	<code>rsync -av --inplace ./Видео.mp4 ./vidinplace.mp4</code>
		+	<VR>
		⚫	==<code>-W, —whole-file</code>==

	Эта опция будет полезна, если мы копируем файлы с нагруженного или слабого сервера, так как она отключает дифференциальный алгоритм rsync’а и с ним весь файл передается как есть, целиком, не тратя время CPU на вычисления.		Эта опция будет полезна, если мы копируем файлы с нагруженного или слабого сервера, так как она отключает дифференциальный алгоритм rsync’а и с ним весь файл передается как есть, целиком, не тратя время CPU на вычисления.
−
−	Что в итоге?
−
−	Я постарался описать наиболее частые примеры использования rsync, и сказу сразу: это только минимум того, что может эта утилита.
−
−	Если вы где-то нашли ошибку, или есть еще какие-то интересные способы использования rsync — пишите, я добавлю их в статью ;).

	=Источники=		=Источники=

Sirmax: /* Другие полезные опции */

2024-01-26T12:57:46Z

Другие полезные опции

← Предыдущая		Версия 12:57, 26 января 2024
Строка 272:		Строка 272:
	=Другие полезные опции=		=Другие полезные опции=

−	—delete / —delete-after / —del (—delete_during)	+	<code>—delete / —delete-after / —del (—delete_during)</code>
		+	<BR>
−
	Если мы делаем ежедневные резервные копии и не хотим засорять удаленный сервер лишними файлами (которых уже нет в источнике), то мы можем использовать опцию —delete:		Если мы делаем ежедневные резервные копии и не хотим засорять удаленный сервер лишними файлами (которых уже нет в источнике), то мы можем использовать опцию —delete:

	rsync -avz -e "ssh -p 2013" --delete ./somedir bkp@10.10.20.7:/home/bkp/		rsync -avz -e "ssh -p 2013" --delete ./somedir bkp@10.10.20.7:/home/bkp/
	В результате будет удален файл, которого больше нет в директории источника (в somedir):		В результате будет удален файл, которого больше нет в директории источника (в somedir):
		+	<PRE>
−
	rsync -avz -e "ssh -p 2013" --delete ./somedir bkp@10.10.20.7:/home/bkp/		rsync -avz -e "ssh -p 2013" --delete ./somedir bkp@10.10.20.7:/home/bkp/
	bkp@10.10.20.7's password:		bkp@10.10.20.7's password:
Строка 287:		Строка 287:
	sent 159 bytes received 77 bytes 67.43 bytes/sec		sent 159 bytes received 77 bytes 67.43 bytes/sec
	total size is 2,041,319 speedup is 8,649.66		total size is 2,041,319 speedup is 8,649.66
		+	</PRE>
	По умолчанию, rsync сначала выполняет удаление файлов перед копированием для уверенности, что хватит свободного места на приемной стороне (т.е. использует по умолчанию —delete-before). Если мы хотим удалять файлы после копирования, используйте параметр —delete-after.		По умолчанию, rsync сначала выполняет удаление файлов перед копированием для уверенности, что хватит свободного места на приемной стороне (т.е. использует по умолчанию —delete-before). Если мы хотим удалять файлы после копирования, используйте параметр —delete-after.

Sirmax: /* Как скопировать/синхронизировать с компьютера на удаленный сервер */

2024-01-26T12:29:13Z

Как скопировать/синхронизировать с компьютера на удаленный сервер

← Предыдущая		Версия 12:29, 26 января 2024
Строка 129:		Строка 129:

	<code>rsync -av 2021 user@10.10.20.15:/home/user/</code>		<code>rsync -av 2021 user@10.10.20.15:/home/user/</code>
		+	<BR>
	Важно указывать полный путь на удаленном сервере, иначе rsync попытается скопировать каталог «2021» в корень удаленного сервера.<BR>		Важно указывать полный путь на удаленном сервере, иначе rsync попытается скопировать каталог «2021» в корень удаленного сервера.<BR>
	Еще важно указывать полный путь до удаленного сервера, так как, к примеру, копируя файл «file.txt» на сервер указав путь /home/user/somedir, каталог somedir не будет создан, вместо этого файл file.txt скопируется на сервер под именем somedir. Чтобы избежать этого используйте путь полный путь /home/user/somedir/.		Еще важно указывать полный путь до удаленного сервера, так как, к примеру, копируя файл «file.txt» на сервер указав путь /home/user/somedir, каталог somedir не будет создан, вместо этого файл file.txt скопируется на сервер под именем somedir. Чтобы избежать этого используйте путь полный путь /home/user/somedir/.

Sirmax: /* исключить две директории */

2024-01-26T12:28:56Z

исключить две директории

← Предыдущая		Версия 12:28, 26 января 2024
Строка 210:		Строка 210:
	резервную копию домашней директории на linux мы не ходим копировать разный кеш или содержимое корзины.		резервную копию домашней директории на linux мы не ходим копировать разный кеш или содержимое корзины.

−	==исключить две директории==	+	===исключить две директории===

	<code>rsync -av --exclude={'user/.local/share/Trash','user/.cache'} /home/user user@10.10.20.15:/home/user/bkp/</code>		<code>rsync -av --exclude={'user/.local/share/Trash','user/.cache'} /home/user user@10.10.20.15:/home/user/bkp/</code>

Sirmax: /* исключить две директории */

2024-01-26T12:28:45Z

исключить две директории

Sirmax: /* Как указать другой порт ssh и ключ? */

2024-01-26T12:27:12Z

Как указать другой порт ssh и ключ?

← Предыдущая		Версия 12:27, 26 января 2024
Строка 166:		Строка 166:
	<code>rsync -av ./filefromsrv srv:/home/user/somedir/</code>		<code>rsync -av ./filefromsrv srv:/home/user/somedir/</code>

−	~~Я хочу видеть~~ прогресс копирования/синхронизации	+	==прогресс копирования/синхронизации==

	Стоит иметь в виду, что по умолчанию rsync копирует файлы без какого-либо вывода.		Стоит иметь в виду, что по умолчанию rsync копирует файлы без какого-либо вывода.
		+	<BR>
		⚫	ключ -v для того, чтобы видеть какие файлы были скопированы и получить некий отчет о проделанных действиях.

		+	<BR>
⚫	~~В примерах выше я использую~~ ключ -v для того, чтобы видеть какие файлы были скопированы и получить некий отчет о проделанных действиях. ~~Вот пример:~~
		+	Вот пример:
−
		+	<PRE>
	rsync -av ./somedir user@10.10.20.15:/home/leo/		rsync -av ./somedir user@10.10.20.15:/home/leo/
	sending incremental file list		sending incremental file list
Строка 180:		Строка 183:
	sent 1,996,838 bytes received 58 bytes 3,993,792.00 bytes/sec		sent 1,996,838 bytes received 58 bytes 3,993,792.00 bytes/sec
	total size is 2,041,319 speedup is 1.02		total size is 2,041,319 speedup is 1.02
		+	</PRE>
−	Если мы хотим видеть наиболее интересный вывод, то нам в этом поможет ключ —progress. Вот пример:
		+	ключ —progress.
−
		+	Вот пример:
		+	<PRE>
	rsync -aP ./somedir user@10.10.20.15:/home/user/		rsync -aP ./somedir user@10.10.20.15:/home/user/
	sending incremental file list		sending incremental file list
Строка 189:		Строка 194:
	somedir/Screenshot from 2021-01-24 02-17-17.png		somedir/Screenshot from 2021-01-24 02-17-17.png
	1,847,028 100% 21.22MB/s 0:00:00 (xfr#2, to-chk=0/3)		1,847,028 100% 21.22MB/s 0:00:00 (xfr#2, to-chk=0/3)
		+	</PRE>
	Некоторые могут советовать ключ -P, но имейте в виду, -P включает в себя ключ —partial и —progress одновременно (что в целом не так страшно).		Некоторые могут советовать ключ -P, но имейте в виду, -P включает в себя ключ —partial и —progress одновременно (что в целом не так страшно).

−	Как ограничить скорость передачи файлов?	+	==Как ограничить скорость передачи файлов==

	Нужно указать опцию —bwlimit=SPEED, где SPEED это скорость в Кбайт в секунду:		Нужно указать опцию —bwlimit=SPEED, где SPEED это скорость в Кбайт в секунду:
		+	<BR>
−
−	rsync -avP --bwlimit=100 ./somedir user@10.10.20.15:/home/leo/	+	<code>rsync -avP --bwlimit=100 ./somedir user@10.10.20.15:/home/leo/</code>
		+	<BR>
	Полезно бывает на слабом интернете с большими файлами.		Полезно бывает на слабом интернете с большими файлами.

← Предыдущая		Версия 12:28, 26 января 2024
Строка 212:		Строка 212:
	==исключить две директории==		==исключить две директории==

−	rsync -av --exclude={'user/.local/share/Trash','user/.cache'} /home/user user@10.10.20.15:/home/user/bkp/	+	<code>rsync -av --exclude={'user/.local/share/Trash','user/.cache'} /home/user user@10.10.20.15:/home/user/bkp/</code>

	===исключить одну директорию===		===исключить одну директорию===

−	rsync -av --exclude=.git /var/www/site user@10.10.20.15:/home/user/bkp/	+	<code>rsync -av --exclude=.git /var/www/site user@10.10.20.15:/home/user/bkp/</code>

	===исключить файлы с определенным расширением===		===исключить файлы с определенным расширением===

−	rsync -av --exclude="*.tmp" /var/www/site user@10.10.20.15:/home/user/bkp/	+	<code>rsync -av --exclude="*.tmp" /var/www/site user@10.10.20.15:/home/user/bkp/</code>

	Саму опцию мы можем использовать несколько раз:		Саму опцию мы можем использовать несколько раз:

−	rsync -av --exclude=".tmp" --exclude="tmp/" --exclude="*~" /var/www/site user@10.10.20.15:/home/user/bkp/	+	<code>rsync -av --exclude=".tmp" --exclude="tmp/" --exclude="*~" /var/www/site user@10.10.20.15:/home/user/bkp/</code>

	===копирования определенного типа файлов —include===		===копирования определенного типа файлов —include===
Строка 232:		Строка 232:
	все файлы с расширением .sql		все файлы с расширением .sql

−	rsync -av --exclude="*.sql" ./projectname user@10.10.20.15:/home/user/sqlbkp/	+	<code>rsync -av --exclude="*.sql" ./projectname user@10.10.20.15:/home/user/sqlbkp/</code>

−	===Исключения с помощью .rsync-filter===	+	===Исключения с помощью <code>.rsync-filter</code>===

	Для более гибкой настройки копирования (в случае регулярного копирования это будет очень полезно) все исключения/включения можно оформить в файле .rsync-filter (это появилось в более поздних версиях rsync).		Для более гибкой настройки копирования (в случае регулярного копирования это будет очень полезно) все исключения/включения можно оформить в файле .rsync-filter (это появилось в более поздних версиях rsync).