EC2 cloudFormationTemplate
EC2 Cloud Formation Template
Весь темплейт тут: http://wiki.sirmax.noname.com.ua/index.php/EC2_cloudFormationTemplate_Example
Ниже разбор "По частям", насколько я сам за это время смог разобраться.
Задача
Требуется установить и настроить кластер из N машин. На кластере установить тестовое java-приложение. Настроить балансировку нагрузки. Число машин N в кластере должно изменяться динамически в зависимости от нагрузки. Для установки использовать средства амазона - CloudFormationTemplate. Т.к. задача тестовая то применить chef-solo и puppet для разворачивания сервисов. puppet-сервер имеется - настроенный и сконфигурированный.
CloudFormationTemplate
Это такая штука - позволяет описать конфигурацию стека машин (т.е. как я понимаю - группы машин! а не отдельного инстанса) в формате json (см. ссылку в начале). Формат довольно замороченный и для понимания не так уж и прост.
Подготовка управляющей ноды
Все действия будем производить с управляющей ноды. Опишу ее конфигурацию.
rpm
я поставил следующий набор пакетов для работы с амазоном:
aws-amitools-ec2.noarch aws-apitools-cfn.noarch aws-apitools-common.noarch aws-apitools-iam.noarch aws-apitools-as.noarch aws-apitools-ec2.noarch aws-apitools-elb.noarch aws-apitools-mon.noarch aws-apitools-rds.noarch aws-cfn-bootstrap.noarch aws-scripts-ses.noarch
Окружение
как я уже писал:
http://wiki.sirmax.noname.com.ua/index.php/EC2
нужно сконфигурировать окружение.
Принципиальной разницы нет - тот же набор ключей и сертификатов. Переменные окружение выглядят так:
export EC2_PRIVATE_KEY=$HOME/keys/pk-nocrypt-XXXXXXXXXXXXXXX.pem
export EC2_CERT=$HOME/keys/cert-XXXXXXXXXXXXXXX.pem
export AWS_PRIVATE_KEY=$HOME/keys/pk-nocrypt-XXXXXXXXXXXXXXX.pem
export AWS_CERT=$HOME/keys/cert-XXXXXXXXXXXXXXX.pem
export JAVA_HOME=/usr/lib/jvm/jre-1.6.0-openjdk.x86_64/
export AWS_CLOUDFORMATION_HOME=/opt/aws/apitools/cfn-1.0.11/
export EC2_HOME=/opt/aws
AWS_CREDENTIAL_FILE=$HOME/keys/aws_cred
export PATH=${EC2_HOME}:${AWS_CLOUDFORMATION_HOME}:${PATH}
aws_cred - файл с логином и паролем. т.е. с ключем и id что впрочем одно и то же.
AWSAccessKeyId=XXXXXXXXXXXXXXXXX AWSSecretKey=YYYYYYYYYYYYYYYYYYYYYYYYYYYYY
Темплейт (по шагам)
Разбираем по шагам. В следующей секции JSON будет не совсем валидный - т.к. разбит на разные секции. Копировать внимательно.
Parameters
Секция параметры - это собственно параметры которые можно переопределить при создании стека. Довольно удобно. Я определил для всех дефолтные значение - и в реальности их не переопределяю. но это делает темплейт более легко переносимым.
Секция начинаеся, собственно, с ключевого слова:
"Parameters" : {
ХостНейм - тот хлостнейм который я хочу иметь на ВСЕХ нодах кластера. Это важно для паппета - что бы отработал сертификат, привязанный к хостнейму. Других причин назначать одинаковый хостнейм нет.
"HostName": {
"Description" : "Local Host Name (for puppet auth)",
"Type": "String",
"Default": "testtomcatnode.test.com"
},
Параметры паппет-сервера - днс-имя и ip адрес. Нужны для того что бы стянуть с паппет-сервера конфигурацию. Т.к. на паппет-сервере сертификат тоже привязан к его хостнейму а ip может меняться (например при изменении типа инстанса) то храню оба параметра. Ниже - добавляю запись в /etc/hosts
"PuppetMasterDNSName": {
"Description" : "The PuppetMaster DNS name",
"Type": "String",
"Default": "ip-10-117-81-201.ec2.internal"
},
"PuppetMasterIPAddress": {
"Description" : "The PuppetMaster IP address",
"Type": "String",
"Default": "10.XX.XX.XX"
},
Ключ - ссылка на пре-конфигурированный ssh-ключ. Собственно это видно в комментарии.
"KeyName" : {
"Description" : "Name of an existing EC2 KeyPair to enable SSH access to the instances",
"Type" : "String",
"Default" : "hp"
},
Пароль базы данных - т.к. это тестовая инсталляция для демонстрации то кроме томкета я ставлю апач php mysql. В качестве источника вдохновения я использовал LAMP Template.
"DBRootPassword": {
"NoEcho": "true",
"Description" : "Root password for MySQL",
"Default" : "admin",
"Type": "String",
"MinLength": "1",
"MaxLength": "41",
"AllowedPattern" : "[a-zA-Z0-9]*",
"ConstraintDescription" : "must contain only alphanumeric characters."
},
Тип инстанса - у меня самый простой т.к. это тест.
"InstanceType" : {
"Description" : "WebServer EC2 instance type",
"Type" : "String",
"Default" : "t1.micro",
"AllowedValues" : [ "t1.micro","m1.small","m1.medium","m1.large","m1.xlarge","m2.xlarge","m2.2xlarge","m2.4xlarge","c1.medium","c1.xlarge","cc1.4xlarge","cc2.8xlarge","cg1.4xlarge"],
"ConstraintDescription" : "must be a valid EC2 instance type."
}
Это аппендикс закрывающий секцию параметров.
},
Mapping
Маппинг - по сути описание какой образ брать за основу для разных регионов. Насколько я могу судить эта секция более-менее одинаковая, и пока что не вижу причин изменять.
"Mappings" : {
"AWSInstanceType2Arch" : {
"t1.micro" : { "Arch" : "64" },
"m1.small" : { "Arch" : "64" },
"m1.medium" : { "Arch" : "64" },
"m1.large" : { "Arch" : "64" },
"m1.xlarge" : { "Arch" : "64" },
"m2.xlarge" : { "Arch" : "64" },
"m2.2xlarge" : { "Arch" : "64" },
"m2.4xlarge" : { "Arch" : "64" },
"c1.medium" : { "Arch" : "64" },
"c1.xlarge" : { "Arch" : "64" },
"cc1.4xlarge" : { "Arch" : "64HVM" },
"cc2.8xlarge" : { "Arch" : "64HVM" },
"cg1.4xlarge" : { "Arch" : "64HVM" }
},
"AWSRegionArch2AMI" : {
"us-east-1" : { "32" : "ami-31814f58", "64" : "ami-1b814f72", "64HVM" : "ami-0da96764" },
"us-west-2" : { "32" : "ami-38fe7308", "64" : "ami-30fe7300", "64HVM" : "NOT_YET_SUPPORTED" },
"us-west-1" : { "32" : "ami-11d68a54", "64" : "ami-1bd68a5e", "64HVM" : "NOT_YET_SUPPORTED" },
"eu-west-1" : { "32" : "ami-973b06e3", "64" : "ami-953b06e1", "64HVM" : "NOT_YET_SUPPORTED" },
"ap-southeast-1" : { "32" : "ami-b4b0cae6", "64" : "ami-beb0caec", "64HVM" : "NOT_YET_SUPPORTED" },
"ap-northeast-1" : { "32" : "ami-0644f007", "64" : "ami-0a44f00b", "64HVM" : "NOT_YET_SUPPORTED" },
"sa-east-1" : { "32" : "ami-3e3be423", "64" : "ami-3c3be421", "64HVM" : "NOT_YET_SUPPORTED" }
}
},
Resources
В секции описываются ресурсы, что бы это ни значило.
"Resources" : {
User, Key
Пользователь? (100% понимания нет - секция из примера)
"CfnUser" : {
"Type" : "AWS::IAM::User",
"Properties" : {
"Path": "/",
"Policies": [{
"PolicyName": "root",
"PolicyDocument": { "Statement":[{
"Effect":"Allow",
"Action":"cloudformation:DescribeStackResource",
"Resource":"*"
}]}
}]
}
},
Аналогично предыдущей.
"HostKeys" : {
"Type" : "AWS::IAM::AccessKey",
"Properties" : {
"UserName" : {"Ref": "CfnUser"}
}
},
ElasticLoadBalancer
Описание балансера - с моей точки зоения все секции более-менее очевидные. На коком порту слушать, на какой порт форвардить, какой протокол использовать, "Fn::GetAZs" - насколько я понимаю настроит на текущие зоны.
"ElasticLoadBalancer" : {
"Type" : "AWS::ElasticLoadBalancing::LoadBalancer",
"Properties" : {
"AvailabilityZones" : { "Fn::GetAZs" : "" },
"Listeners" : [ {
"LoadBalancerPort" : "80",
"InstancePort" : "8080",
"Protocol" : "HTTP"
} ],
"HealthCheck" : {
"Target" : "HTTP:80/",
"HealthyThreshold" : "3",
"UnhealthyThreshold" : "5",
"Interval" : "30",
"Timeout" : "5"
}
}
},
WebServerAutoScailingGroup
"WebServerAutoScailingGroup" : {
"Type" : "AWS::AutoScaling::AutoScalingGroup",
"Properties" : {
"AvailabilityZones" : { "Fn::GetAZs" : ""},
"LaunchConfigurationName" : { "Ref" : "WebServerLaunchConfig" },
"MinSize" : "1",
"MaxSize" : "3",
"LoadBalancerNames" : [ { "Ref" : "ElasticLoadBalancer" } ]
}
},
Web Server Scale Policy
"WebServerScaleUpPolicy" : {
"Type" : "AWS::AutoScaling::ScalingPolicy",
"Properties" : {
"AdjustmentType" : "ChangeInCapacity",
"AutoScalingGroupName" : { "Ref" : "WebServerAutoScailingGroup" },
"Cooldown" : "60",
"ScalingAdjustment" : "1"
}
},
"WebServerScaleDownPolicy" : {
"Type" : "AWS::AutoScaling::ScalingPolicy",
"Properties" : {
"AdjustmentType" : "ChangeInCapacity",
"AutoScalingGroupName" : { "Ref" : "WebServerAutoScailingGroup" },
"Cooldown" : "60",
"ScalingAdjustment" : "-1"
}
},
Alarms
"CPUAlarmHigh": {
"Type": "AWS::CloudWatch::Alarm",
"Properties": {
"AlarmDescription": "Scale-up if CPU > 90% for 60 sec",
"MetricName": "CPUUtilization",
"Namespace": "AWS/EC2",
"Statistic": "Average",
"Period": "60",
"EvaluationPeriods": "2",
"Threshold": "90",
"AlarmActions": [ { "Ref": "WebServerScaleUpPolicy" } ],
"Dimensions": [
{
"Name": "AutoScalingGroupName",
"Value": { "Ref": "WebServerAutoScailingGroup" }
}
],
"ComparisonOperator": "GreaterThanThreshold"
}
},
"CPUAlarmLow": {
"Type": "AWS::CloudWatch::Alarm",
"Properties": {
"AlarmDescription": "Scale-down if CPU < 70% for 1 minutes",
"MetricName": "CPUUtilization",
"Namespace": "AWS/EC2",
"Statistic": "Average",
"Period": "60",
"EvaluationPeriods": "2",
"Threshold": "70",
"AlarmActions": [ { "Ref": "WebServerScaleDownPolicy" } ],
"Dimensions": [
{
"Name": "AutoScalingGroupName",
"Value": { "Ref": "WebServerAutoScailingGroup" }
}
],
"ComparisonOperator": "LessThanThreshold"
}
},
LaunchConfig
По сути в этом примере - это описание сервера который надо поднять. Т.е. "взять амазоновский образ, проделать с ним список действий, запустить пол лоад балансером"
"WebServerLaunchConfig": {
"Type" : "AWS::AutoScaling::LaunchConfiguration",
"Metadata" : {
"Comment1" : "this is test config",
"AWS::CloudFormation::Init" : {
"config" : {
Пакеты
гемы и рпм:
"packages" : {
"rubygems" : {
"chef" : [ "0.10.2" ]
},
"yum" : {
"puppet" : [],
"mc" : [],
"tomcat7" : [],
"nginx" : [],
"mysql" : [],
"mysql-server" : [],
"mysql-libs" : [],
"httpd" : [],
"php" : [],
"php-mysql" : [],
"gcc-c++" : [],
"ruby-devel" : [],
"make" : [],
"autoconf" : [],
"automake" : [],
"rubygems" : []
}
},
Файлы
Т.к. задача тестовая - взять с амазона пример PHP-странички
"sources" : {
"/var/www/html" : "https://s3.amazonaws.com/cloudformation-examples/CloudFormationPHPSample.zip"
},
Конфиг chef
"files" : {
"/etc/chef/solo.rb" : {
"content" : { "Fn::Join" : ["", [
"log_level :info\n",
"log_location STDOUT\n",
"file_cache_path \"/var/chef-solo\"\n",
"cookbook_path \"/var/chef-solo/cookbooks\"\n",
"json_attribs \"/etc/chef/node.json\"\n"
]] },
"mode" : "000644",
"owner" : "root",
"group" : "root"
},
Наcтройка MySQL
"/tmp/setup.mysql" : {
"content" : "CREATE DATABASE lampdb;\n",
"mode" : "000644",
"owner" : "root",
"group" : "root"
},
Включить epel
"/etc/yum.repos.d/epel.repo" : {
"source" : "https://s3.amazonaws.com/cloudformation-examples/enable-epel-on-amazon-linux-ami",
"mode" : "000644",
"owner" : "root",
"group" : "root"
},
Настройка puppet-клиента
"/etc/puppet/puppet.conf" : {
"content" : { "Fn::Join" : ["", [
"[main]\n",
" logdir=/var/log/puppet\n",
" rundir=/var/run/puppet\n",
" ssldir=$vardir/ssl\n",
" pluginsync=true\n",
"[agent]\n",
" classfile=$vardir/classes.txt\n",
" localconfig=$vardir/localconfig\n",
" server=",{ "Ref" : "PuppetMasterDNSName" },"\n"
]] },
"mode" : "000644",
"owner" : "root",
"group" : "root"
}
},
Список сервисов для включения
tomcat СПЕЦИАЛЬНО включается с помощью chef что бы показать такую возможность!
"services" : {
"sysvinit" : {
"mysqld" : {
"enabled" : "true",
"ensureRunning" : "true"
},
"httpd" : {
"enabled" : "true",
"ensureRunning" : "true"
}
}
}
}
}
},
Properties
"Properties": {
"ImageId" : { "Fn::FindInMap" : [ "AWSRegionArch2AMI", { "Ref" : "AWS::Region" },
{ "Fn::FindInMap" : [ "AWSInstanceType2Arch", { "Ref" : "InstanceType" }, "Arch" ] } ] },
"InstanceType" : { "Ref" : "InstanceType" },
"KeyName" : { "Ref" : "KeyName" },
"SecurityGroups" : [ {"Ref" : "WebServerSecurityGroup"} ],
- ImageId - ссылка на базовый образ с учетом региона. Очевидно можно использовать свой.
- InstanceType - тип инстанса (t1.micro)
- SecurityGroups - не требует пояснения, я думаю
- KeyName
UserData
Пользовательская часть - достаточно важная.
Ниже секции отмечу части которые мне до сих пор не ясны
"UserData" : { "Fn::Base64" : { "Fn::Join" : ["", [
"#!/bin/bash -v\n",
"yum update -y aws-cfn-bootstrap\n",
"# Helper function\n",
"function error_exit\n",
"{\n",
" /opt/aws/bin/cfn-signal -e 1 -r \"$1\" '", { "Ref" : "WaitHandle" }, "'\n",
" exit 1\n",
"}\n",
"# Install LAMP packages\n",
"#/opt/aws/bin/cfn-init -s ", { "Ref" : "AWS::StackName" }, " -r WebServer ", "--access-key ", { "Ref" : "HostKeys" }, " --secret-key ", {"Fn::GetAtt": ["HostKeys", "SecretAccessKey"]}, " --region ", { "Ref" : "AWS::Region" }, " || error_exit 'Failed to run cfn-init'\n",
" /opt/aws/bin/cfn-init -s ", { "Ref" : "AWS::StackName" }, " -r WebServerLaunchConfig ", "--access-key ", { "Ref" : "HostKeys" }, " --secret-key ", {"Fn::GetAtt": ["HostKeys", "SecretAccessKey"]}, " --region ", { "Ref" : "AWS::Region" }, " || error_exit 'Failed to run cfn-init'\n",
"# Setup MySQL, create a user and a database\n",
"mysqladmin -u root password '", { "Ref" : "DBRootPassword" }, "' || error_exit 'Failed to initialize root password'\n",
"mysql -u root --password='", { "Ref" : "DBRootPassword" }, "' < /tmp/setup.mysql || error_exit 'Failed to initialize database'\n",
"# Configure the PHP application - in this case, fixup the page with the right references to the database\n",
"sed -i \"s/REPLACE_WITH_DATABASE/localhost/g\" /var/www/html/index.php\n",
"sed -i \"s/REPLACE_WITH_DBUSER/root/g\" /var/www/html/index.php\n",
"sed -i \"s/REPLACE_WITH_DBPASSWORD/", { "Ref" : "DBRootPassword" }, "/g\" /var/www/html/index.php\n",
"echo interface \"eth0\" > /etc/dhcp/dhclient-eth0.conf \n",
"sed -i \"s/localhost.localdomain/", { "Ref" : "HostName" }, "/g\" /etc/sysconfig/network\n",
"/bin/hostname ", { "Ref" : "HostName" }, "\n",
"echo " , { "Ref" : "PuppetMasterIPAddress" }," ", { "Ref" : "PuppetMasterDNSName" }, ">> /etc/hosts\n",
"rm -rf /var/lib/puppet/ \n",
"/usr/bin/wget http://", { "Ref" : "PuppetMasterDNSName" },"/puppet/puppet_cert/puppet.tar.gz -O /puppet.tar.gz \n",
"tar -xvf puppet.tar.gz \n",
"chown puppet:puppet /var/lib/puppet/ -Rc \n",
"/usr/sbin/puppetd --server ", { "Ref" : "PuppetMasterDNSName" }, " --verbose --test --no-daemonize --debug \n",
" sleep 60 \n",
"/usr/bin/chef-solo -l debug -c /etc/chef/solo.rb -j /etc/chef/run_list.syslog-ng.json \n",
" sleep 10 \n",
"/usr/bin/chef-solo -l debug -c /etc/chef/solo.rb -j /etc/chef/run_list.tomcat.json \n",
"# All is well so signal success\n",
"/opt/aws/bin/cfn-signal -e 0 -r \"LAMP Stack setup complete\" '", { "Ref" : "WaitHandle" }, "'\n"
]]}}
}
},
Как я понимаю, устанавливаем утилиты для бутстрапа - т.е. что бы "говорить" с клаудом, сообщать о том что сервер стартован, и т.п.
yum update -y aws-cfn-bootstrap\n",
WaitHandle
Изучаю. Очевидно задержка перед тем как запускать что - то - уточняю! Если верить документации - то нужно для проверки стартовал ли клауд, как я понял. Если например за 5 минут не поднялся - считать что fail о чем будет запись в логах, стек будет rollback
/opt/aws/bin/cfn-signal -e 1 -r \"$1\" '", { "Ref" : "WaitHandle" }, "'\n",
Регистрация инстанса
Важный момент, однако подробности мне тоже на 100% пока не ясны. Эта часть есть в любом примере - насколько я понимаю в моем случае это нужно что бы стек "знал" о том что инстанс запущен и работает.
/opt/aws/bin/cfn-init -s ", { "Ref" : "AWS::StackName" }, " -r WebServerLaunchConfig ", "--access-key ", { "Ref" : "HostKeys" }, " --secret-key ", {"Fn::GetAtt": ["HostKeys", "SecretAccessKey"]}, " --region ", { "Ref" : "AWS::Region" }, " || error_exit 'Failed to run cfn-init'\n",
Еще одна не до конца понятная секция
"WaitHandle" : {
"Type" : "AWS::CloudFormation::WaitConditionHandle"
},
WebServerSecurityGroup
Эта секция комментариев не требует - секюрити групы описаны достаточно подробно
"WebServerSecurityGroup" : {
"Type" : "AWS::EC2::SecurityGroup",
"Properties" : {
"GroupDescription" : "Enable HTTP access via port 80, ssh via 22",
"SecurityGroupIngress" : [
{"IpProtocol" : "tcp", "FromPort" : "80", "ToPort" : "80", "CidrIp" : "0.0.0.0/0"},
{"IpProtocol" : "tcp", "FromPort" : "8080", "ToPort" : "8080", "CidrIp" : "0.0.0.0/0"},
{"IpProtocol" : "tcp", "FromPort" : "22", "ToPort" : "22", "CidrIp" : "0.0.0.0/0"}
]
}
}
},
Outputs
"Outputs" : {
"WebsiteURL" : {
"Value" : { "Fn::Join" : [ "", [ "http://", { "Fn::GetAtt" : [ "ElasticLoadBalancer", "DNSName" ]}]]},
"Description" : "Application URL"
}
}
}
