EC2 cloudFormationTemplate - История изменений

Sirmax в 14:34, 28 февраля 2013

2013-02-28T14:34:46Z

← Предыдущая		Версия 14:34, 28 февраля 2013
Строка 1:		Строка 1:
		+	[[Категория:Amazon EC2]]
	=EC2 Cloud Formation Template=		=EC2 Cloud Formation Template=
	Весь темплейт тут: http://wiki.sirmax.noname.com.ua/index.php/EC2_cloudFormationTemplate_Example<BR>		Весь темплейт тут: http://wiki.sirmax.noname.com.ua/index.php/EC2_cloudFormationTemplate_Example<BR>

Sirmax: /* EC2 Cloud Formation Template */

2012-11-29T11:05:07Z

EC2 Cloud Formation Template

← Предыдущая		Версия 11:05, 29 ноября 2012
Строка 1:		Строка 1:
	=EC2 Cloud Formation Template=		=EC2 Cloud Formation Template=
−	Весь ~~темрлейт~~ тут: http://wiki.sirmax.noname.com.ua/index.php/EC2_cloudFormationTemplate_Example<BR>	+	Весь темплейт тут: http://wiki.sirmax.noname.com.ua/index.php/EC2_cloudFormationTemplate_Example<BR>
	Ниже разбор "По частям", насколько я сам за это время смог разобраться.<BR>		Ниже разбор "По частям", насколько я сам за это время смог разобраться.<BR>
	<BR>		<BR>
	==Задача==		==Задача==
−	Требуется установить и настроить кластер из N машин. На ~~клестре~~ установить тестовое java-приложение. Настроить балансировку нагрузки. Число машин N в кластере должно изменяться динамически в зависимости от нагрузки. Для установки использовать средства амазона - CloudFormationTemplate. Т.к. задача тестовая то применить chef-solo и puppet для ~~разварачивания~~ сервисов. puppet-сервер имеется - настроенный и сконфигурированный.	+	Требуется установить и настроить кластер из N машин. На кластере установить тестовое java-приложение. Настроить балансировку нагрузки. Число машин N в кластере должно изменяться динамически в зависимости от нагрузки. Для установки использовать средства амазона - CloudFormationTemplate. Т.к. задача тестовая то применить chef-solo и puppet для разворачивания сервисов. puppet-сервер имеется - настроенный и сконфигурированный.
	==CloudFormationTemplate==		==CloudFormationTemplate==
	Это такая штука - позволяет описать конфигурацию стека машин (т.е. как я понимаю - группы машин! а не отдельного инстанса) в формате json (см. ссылку в начале). Формат довольно замороченный и для понимания не так уж и прост.		Это такая штука - позволяет описать конфигурацию стека машин (т.е. как я понимаю - группы машин! а не отдельного инстанса) в формате json (см. ссылку в начале). Формат довольно замороченный и для понимания не так уж и прост.

	==Подготовка управляющей ноды==		==Подготовка управляющей ноды==
−	Все действия ~~мо мтеком~~ будем производить с управляющей ноды. Опишу ее конфигурацию.	+	Все действия будем производить с управляющей ноды. Опишу ее конфигурацию.
	===rpm===		===rpm===
	я поставил следующий набор пакетов для работы с амазоном:		я поставил следующий набор пакетов для работы с амазоном:
Строка 30:		Строка 30:
	<BR>		<BR>
	нужно сконфигурировать окружение.		нужно сконфигурировать окружение.
−	<BR> Принципиальной разницы нет - тот же набор ключей и ~~сертефикатов~~. Переменные ~~окружениея~~ выглядят так:	+	<BR> Принципиальной разницы нет - тот же набор ключей и сертификатов. Переменные окружение выглядят так:
	<PRE>		<PRE>

Строка 54:		Строка 54:
	Разбираем по шагам. В следующей секции JSON будет не совсем валидный - т.к. разбит на разные секции. Копировать внимательно.		Разбираем по шагам. В следующей секции JSON будет не совсем валидный - т.к. разбит на разные секции. Копировать внимательно.
	===Parameters===		===Parameters===
−	Секция параметры - это собственно параметры которые можно переопределить при создании стека. Довольно удобно. Я определил для всех дефолтные ~~значениея~~ - и в реальности их не переопределяю. но это делает темплейт более легко переносимым.	+	Секция параметры - это собственно параметры которые можно переопределить при создании стека. Довольно удобно. Я определил для всех дефолтные значение - и в реальности их не переопределяю. но это делает темплейт более легко переносимым.
	<BR>		<BR>
	Секция начинаеся, собственно, с ключевого слова:		Секция начинаеся, собственно, с ключевого слова:
Строка 60:		Строка 60:
	"Parameters" : {		"Parameters" : {
	</PRE>		</PRE>
−	ХостНейм - тот хлостнейм который я хочу иметь на ВСЕХ нодах кластера. Это важно для паппета - что бы отработал ~~сертефикат~~, привязанный к хостнейму. Других причин назначать одинаковый хостнейм нет.	+	ХостНейм - тот хлостнейм который я хочу иметь на ВСЕХ нодах кластера. Это важно для паппета - что бы отработал сертификат, привязанный к хостнейму. Других причин назначать одинаковый хостнейм нет.
	<PRE>		<PRE>
	"HostName": {		"HostName": {
Строка 68:		Строка 68:
	},		},
	</PRE>		</PRE>
−	Параметры паппет-сервера - днс-имя и ip адрес. Нужны для того что бы стянуть с паппет-сервера конфигурацию. Т.к. на паппет-сервере ~~сертефикат~~ тоже привязан к его хостнейму а ip может меняться (например при изменении типа инстанса) то храню оба параметра. Ниже - добавляю запись в /etc/hosts	+	Параметры паппет-сервера - днс-имя и ip адрес. Нужны для того что бы стянуть с паппет-сервера конфигурацию. Т.к. на паппет-сервере сертификат тоже привязан к его хостнейму а ip может меняться (например при изменении типа инстанса) то храню оба параметра. Ниже - добавляю запись в /etc/hosts
	<PRE>		<PRE>
	"PuppetMasterDNSName": {		"PuppetMasterDNSName": {
Строка 91:		Строка 91:
	},		},
	</PRE>		</PRE>
−	Пароль базы данных - т.к. это тестовая ~~инсталяция~~ для демонстрации то кроме томкета я ставлю апач php mysql. В качестве источника ~~вдохнования~~ я использовал LAMP Template.	+	Пароль базы данных - т.к. это тестовая инсталляция для демонстрации то кроме томкета я ставлю апач php mysql. В качестве источника вдохновения я использовал LAMP Template.
	<PRE>		<PRE>
	"DBRootPassword": {		"DBRootPassword": {
Строка 114:		Строка 114:
	}		}
	</PRE>		</PRE>
−	Это ~~апппендикс~~ закрывающий секцию параметров.	+	Это аппендикс закрывающий секцию параметров.
	<PRE>		<PRE>
	},		},

Sirmax: /* Натройка MySQL */

2012-11-26T16:35:31Z

Натройка MySQL

← Предыдущая		Версия 16:35, 26 ноября 2012
Строка 357:		Строка 357:
	},		},
	</PRE>		</PRE>
−	=====~~Натройка~~ MySQL=====	+	=====Наcтройка MySQL=====
	<PRE>		<PRE>
	"/tmp/setup.mysql" : {		"/tmp/setup.mysql" : {
Строка 366:		Строка 366:
	},		},
	</PRE>		</PRE>
		+
	=====Включить epel=====		=====Включить epel=====
	<PRE>		<PRE>

Sirmax: /* WaitHandle */

2012-11-26T16:35:10Z

WaitHandle

← Предыдущая		Версия 16:35, 26 ноября 2012
Строка 480:		Строка 480:
	Как я понимаю, устанавливаем утилиты для бутстрапа - т.е. что бы "говорить" с клаудом, сообщать о том что сервер стартован, и т.п.		Как я понимаю, устанавливаем утилиты для бутстрапа - т.е. что бы "говорить" с клаудом, сообщать о том что сервер стартован, и т.п.
	<PRE>yum update -y aws-cfn-bootstrap\n",</PRE>		<PRE>yum update -y aws-cfn-bootstrap\n",</PRE>
−	=======WaitHandle=======	+	======WaitHandle======
	Изучаю. Очевидно задержка перед тем как запускать что - то - уточняю!		Изучаю. Очевидно задержка перед тем как запускать что - то - уточняю!
	Если верить документации - то нужно для проверки стартовал ли клауд, как я понял. Если например за 5 минут не поднялся - считать что fail о чем будет запись в логах, стек будет rollback		Если верить документации - то нужно для проверки стартовал ли клауд, как я понял. Если например за 5 минут не поднялся - считать что fail о чем будет запись в логах, стек будет rollback

Sirmax: /* UserData */

2012-11-26T16:34:50Z

UserData

← Предыдущая		Версия 16:34, 26 ноября 2012
Строка 479:		Строка 479:
	</PRE>		</PRE>
	Как я понимаю, устанавливаем утилиты для бутстрапа - т.е. что бы "говорить" с клаудом, сообщать о том что сервер стартован, и т.п.		Как я понимаю, устанавливаем утилиты для бутстрапа - т.е. что бы "говорить" с клаудом, сообщать о том что сервер стартован, и т.п.
−	<PRE>yum update -y aws-cfn-bootstrap\n",<PRE>	+	<PRE>yum update -y aws-cfn-bootstrap\n",</PRE>
	=======WaitHandle=======		=======WaitHandle=======
	Изучаю. Очевидно задержка перед тем как запускать что - то - уточняю!		Изучаю. Очевидно задержка перед тем как запускать что - то - уточняю!
		+	Если верить документации - то нужно для проверки стартовал ли клауд, как я понял. Если например за 5 минут не поднялся - считать что fail о чем будет запись в логах, стек будет rollback
	<PRE>		<PRE>
	/opt/aws/bin/cfn-signal -e 1 -r \"$1\" '", { "Ref" : "WaitHandle" }, "'\n",		/opt/aws/bin/cfn-signal -e 1 -r \"$1\" '", { "Ref" : "WaitHandle" }, "'\n",
	</PRE>		</PRE>
		+
	======Регистрация инстанса======		======Регистрация инстанса======
	Важный момент, однако подробности мне тоже на 100% пока не ясны.		Важный момент, однако подробности мне тоже на 100% пока не ясны.

Sirmax: /* Включить epel */

2012-11-26T16:32:05Z

Включить epel

← Предыдущая		Версия 16:32, 26 ноября 2012
Строка 374:		Строка 374:
	"group" : "root"		"group" : "root"
	},		},
⚫	<PRE>
⚫	=====Настройка puppet-клиента=====
	</PRE>		</PRE>
		⚫	=====Настройка puppet-клиента=====
		⚫	<PRE>
	"/etc/puppet/puppet.conf" : {		"/etc/puppet/puppet.conf" : {
	"content" : { "Fn::Join" : ["", [		"content" : { "Fn::Join" : ["", [
Строка 395:		Строка 395:
	},		},
	</PRE>		</PRE>
		+
	=====Список сервисов для включения=====		=====Список сервисов для включения=====
	tomcat СПЕЦИАЛЬНО включается с помощью chef что бы показать такую возможность!		tomcat СПЕЦИАЛЬНО включается с помощью chef что бы показать такую возможность!

Sirmax: /* WebServerSecurityGroup = */

2012-11-20T16:30:11Z

WebServerSecurityGroup =

← Предыдущая		Версия 16:30, 20 ноября 2012
Строка 498:		Строка 498:
	</PRE>		</PRE>

−	====WebServerSecurityGroup =====	+	====WebServerSecurityGroup ====
		+	Эта секция комментариев не требует - секюрити групы описаны достаточно подробно
	<PRE>		<PRE>
	"WebServerSecurityGroup" : {		"WebServerSecurityGroup" : {
Строка 512:		Строка 513:
	}		}
	},		},
−	</PRE>	+	</PRE>
		+
	====Outputs====		====Outputs====
	<PRE>		<PRE>

Sirmax: /* Регистрация инстанса */

2012-11-20T16:29:35Z

Регистрация инстанса

← Предыдущая		Версия 16:29, 20 ноября 2012
Строка 484:		Строка 484:
	/opt/aws/bin/cfn-signal -e 1 -r \"$1\" '", { "Ref" : "WaitHandle" }, "'\n",		/opt/aws/bin/cfn-signal -e 1 -r \"$1\" '", { "Ref" : "WaitHandle" }, "'\n",
	</PRE>		</PRE>
−	=======Регистрация инстанса=======	+	======Регистрация инстанса======
	Важный момент, однако подробности мне тоже на 100% пока не ясны.		Важный момент, однако подробности мне тоже на 100% пока не ясны.
	Эта часть есть в любом примере - насколько я понимаю в моем случае это нужно что бы стек "знал" о том что инстанс запущен и работает.		Эта часть есть в любом примере - насколько я понимаю в моем случае это нужно что бы стек "знал" о том что инстанс запущен и работает.
Строка 496:		Строка 496:
	"Type" : "AWS::CloudFormation::WaitConditionHandle"		"Type" : "AWS::CloudFormation::WaitConditionHandle"
	},		},
−	</PRE>	+	</PRE>

	====WebServerSecurityGroup =====		====WebServerSecurityGroup =====

Sirmax: /* Properties */

2012-11-20T16:29:12Z

Properties

← Предыдущая		Версия 16:29, 20 ноября 2012
Строка 414:		Строка 414:
	},		},
	</PRE>		</PRE>
−	===Properties===	+	=====Properties=====
	<PRE>		<PRE>
	"Properties": {		"Properties": {
Строка 423:		Строка 423:
	"SecurityGroups" : [ {"Ref" : "WebServerSecurityGroup"} ],		"SecurityGroups" : [ {"Ref" : "WebServerSecurityGroup"} ],
	</PRE>		</PRE>
		+	* ImageId - ссылка на базовый образ с учетом региона. Очевидно можно использовать свой.
		+	* InstanceType - тип инстанса (t1.micro)
		+	* SecurityGroups - не требует пояснения, я думаю
		+	* KeyName
		+	======UserData======
		+	Пользовательская часть - достаточно важная. <BR>
		+	Ниже секции отмечу части которые мне до сих пор не ясны
	<PRE>		<PRE>
	"UserData" : { "Fn::Base64" : { "Fn::Join" : ["", [		"UserData" : { "Fn::Base64" : { "Fn::Join" : ["", [
Строка 469:		Строка 476:
	},		},

		+	</PRE>
		+	Как я понимаю, устанавливаем утилиты для бутстрапа - т.е. что бы "говорить" с клаудом, сообщать о том что сервер стартован, и т.п.
		+	<PRE>yum update -y aws-cfn-bootstrap\n",<PRE>
		+	=======WaitHandle=======
		+	Изучаю. Очевидно задержка перед тем как запускать что - то - уточняю!
		+	<PRE>
		+	/opt/aws/bin/cfn-signal -e 1 -r \"$1\" '", { "Ref" : "WaitHandle" }, "'\n",
		+	</PRE>
		+	=======Регистрация инстанса=======
		+	Важный момент, однако подробности мне тоже на 100% пока не ясны.
		+	Эта часть есть в любом примере - насколько я понимаю в моем случае это нужно что бы стек "знал" о том что инстанс запущен и работает.
		+	<PRE>
		+	/opt/aws/bin/cfn-init -s ", { "Ref" : "AWS::StackName" }, " -r WebServerLaunchConfig ", "--access-key ", { "Ref" : "HostKeys" }, " --secret-key ", {"Fn::GetAtt": ["HostKeys", "SecretAccessKey"]}, " --region ", { "Ref" : "AWS::Region" }, " \|\| error_exit 'Failed to run cfn-init'\n",
		+	</PRE>
		+
		+	Еще одна не до конца понятная секция
		+	<PRE>
	"WaitHandle" : {		"WaitHandle" : {
	"Type" : "AWS::CloudFormation::WaitConditionHandle"		"Type" : "AWS::CloudFormation::WaitConditionHandle"
	},		},
−		+	</PRE>
		+
		+	====WebServerSecurityGroup =====
		+	<PRE>
	"WebServerSecurityGroup" : {		"WebServerSecurityGroup" : {
	"Type" : "AWS::EC2::SecurityGroup",		"Type" : "AWS::EC2::SecurityGroup",
Строка 485:		Строка 512:
	}		}
	},		},
		+	</PRE>
−
		+	====Outputs====
		+	<PRE>
	"Outputs" : {		"Outputs" : {
	"WebsiteURL" : {		"WebsiteURL" : {

Sirmax: /* LaunchConfig */

2012-11-20T16:19:35Z

LaunchConfig

← Предыдущая		Версия 16:19, 20 ноября 2012
Строка 304:		Строка 304:
	"config" : {		"config" : {
	</PRE>		</PRE>
−	Пакеты ~~- гемы и рпм:~~	+	=====Пакеты=====
		+	гемы и рпм:
	<PRE>		<PRE>
	"packages" : {		"packages" : {
Строка 333:		Строка 334:
	},		},
	</PRE>		</PRE>
		+	=====Файлы=====
	Т.к. задача тестовая - взять с амазона пример PHP-странички		Т.к. задача тестовая - взять с амазона пример PHP-странички
	<PRE>		<PRE>
Строка 339:		Строка 341:
	},		},
	</PRE>		</PRE>
−	Конфиг chef	+	=====Конфиг chef=====
	<PRE>		<PRE>
	"files" : {		"files" : {
Строка 355:		Строка 357:
	},		},
	</PRE>		</PRE>
−	Натройка MySQL	+	=====Натройка MySQL=====
	<PRE>		<PRE>
	"/tmp/setup.mysql" : {		"/tmp/setup.mysql" : {
Строка 364:		Строка 366:
	},		},
	</PRE>		</PRE>
−	Включить epel	+	=====Включить epel=====
	<PRE>		<PRE>
	"/etc/yum.repos.d/epel.repo" : {		"/etc/yum.repos.d/epel.repo" : {
Строка 373:		Строка 375:
	},		},
	<PRE>		<PRE>
−	Настройка puppet-клиента	+	=====Настройка puppet-клиента=====
	</PRE>		</PRE>
	"/etc/puppet/puppet.conf" : {		"/etc/puppet/puppet.conf" : {
Строка 393:		Строка 395:
	},		},
	</PRE>		</PRE>
		+	=====Список сервисов для включения=====
		+	tomcat СПЕЦИАЛЬНО включается с помощью chef что бы показать такую возможность!
	<PRE>		<PRE>
	"services" : {		"services" : {
Строка 410:		Строка 414:
	},		},
	</PRE>		</PRE>
		+	===Properties===
	<PRE>		<PRE>
	"Properties": {		"Properties": {