IPMI

Материал из noname.com.ua
Перейти к навигацииПерейти к поиску

IPMI

Нaстроить IPMI на суперикровском сервере
Автор статьи - Ворон (я переписал себе что бы было где подсмотреть)

Настройка

Модули

Подгрузить модули

modprobe ipmi_si                                                                                                                                                                   
modprobe ipmi_devintf                                                                                                                                                              

Иногда после всех настроек ипми все равно не работает - надо ребутнуть

ipmitool mc reset cold                                                                                                                                                                                              

Настройка сети

Посмотреть текущий конфиг для канала 1 (у супермикро он обычно 1)

ipmitool lan print 1                                                                                                                                                                                                

Настройка

ipmitool lan set 1 ipsrc static                                                                                                                                                                                     
ipmitool lan set 1 ipaddr 1.2.3.4                                                                                                                                                                                   
ipmitool lan set 1 netmask 255.255.255.0                                                                                                                                                                            
ipmitool lan set 1 defgw ipaddr 1.2.3.1                                                                                                                                                                             

Добавление юзера в ipmi

Что надо - настроить ipmi при сетапе и хранить где-то пароли :)

  • загрузить модули ipmi
  • поставить ipmitool
  • добавить пользователя
                                                                                                                                                                                                                    
# ipmitool user list                                                                                                                                                                               
ID Name Callin Link Auth IPMI Msg Channel Priv Limit                                                                                                                                                                
2 ADMIN true false true ADMINISTRATOR                                                                                                                                                                               

В пустую ячейку, например в 3, добавляем

# ipmitool user set name 3 sirmax
# ipmitool user set password 3 PassWord                                                                                                                       
  1. 4 пояснён ниже
# ipmitool user priv 3 4                                                                                                                                 

Possible privilege levels are:

1 Callback level                                                                                                                                                          
2 User level                                                                                                                                                              
3 Operator level                                                                                                                                                          
4 Administrator level                                                                                                                                                     
5 OEM Proprietary level                                                                                                                                                   
15 No access                                                                                                                                                              

Проверить пароль можно

# ipmitool user test 3 16 

И теперь "открываем доступ по сети" для пользователя из 3-й ячейки с привилегиями admin

# ipmitool channel setaccess 1 3 callin=on ipmi=on link=off privilege=4                                                                                  

Дополнительно ещё на всякий случай делаем юзеру enable

# ipmitool user enable 3                                                                                                                                 

После этого у меня заработал ipmiview с КВМ.

Еще примеры

ipmitool -I lanplus -H хост -U логин -P пароль sensor list

Где хост - IP адрес сервера или DNS имя, логин - логин к IPMI, пароль - пароль к IPMI.
Результат:

ipmitool -I lanplus -H my_server_dns_name -U my_user -P my_password sensor list
CPU1 Temp        | 46.000     | degrees C  | ok    | 0.000     | 0.000     | 0.000     | 87.000    | 92.000    | 92.000
CPU2 Temp        | 45.000     | degrees C  | ok    | 0.000     | 0.000     | 0.000     | 87.000    | 92.000    | 92.000
PCH Temp         | 38.000     | degrees C  | ok    | 0.000     | 5.000     | 16.000    | 90.000    | 95.000    | 100.000
System Temp      | 32.000     | degrees C  | ok    | -10.000   | -5.000    | 0.000     | 80.000    | 85.000    | 90.000
Peripheral Temp  | 41.000     | degrees C  | ok    | -10.000   | -5.000    | 0.000     | 80.000    | 85.000    | 90.000
Vcpu1VRM Temp    | 38.000     | degrees C  | ok    | -5.000    | 0.000     | 5.000     | 95.000    | 100.000   | 105.000
Vcpu2VRM Temp    | 43.000     | degrees C  | ok    | -5.000    | 0.000     | 5.000     | 95.000    | 100.000   | 105.000
VmemABVRM Temp   | 34.000     | degrees C  | ok    | -5.000    | 0.000     | 5.000     | 95.000    | 100.000   | 105.000
VmemCDVRM Temp   | 34.000     | degrees C  | ok    | -5.000    | 0.000     | 5.000     | 95.000    | 100.000   | 105.000
VmemEFVRM Temp   | 38.000     | degrees C  | ok    | -5.000    | 0.000     | 5.000     | 95.000    | 100.000   | 105.000
VmemGHVRM Temp   | 36.000     | degrees C  | ok    | -5.000    | 0.000     | 5.000     | 95.000    | 100.000   | 105.000
P1-DIMMA1 Temp   | 37.000     | degrees C  | ok    | -5.000    | 0.000     | 5.000     | 80.000    | 85.000    | 90.000
P1-DIMMA2 Temp   | na         |            | na    | na        | na        | na        | na        | na        | na
P1-DIMMB1 Temp   | 37.000     | degrees C  | ok    | -5.000    | 0.000     | 5.000     | 80.000    | 85.000    | 90.000
P1-DIMMB2 Temp   | na         |            | na    | na        | na        | na        | na        | na        | na
P1-DIMMC1 Temp   | na         |            | na    | na        | na        | na        | na        | na        | na
P1-DIMMC2 Temp   | na         |            | na    | na        | na        | na        | na        | na        | na
P1-DIMMD1 Temp   | na         |            | na    | na        | na        | na        | na        | na        | na
P1-DIMMD2 Temp   | na         |            | na    | na        | na        | na        | na        | na        | na
P2-DIMME1 Temp   | 40.000     | degrees C  | ok    | -5.000    | 0.000     | 5.000     | 80.000    | 85.000    | 90.000
P2-DIMME2 Temp   | na         |            | na    | na        | na        | na        | na        | na        | na
P2-DIMMF1 Temp   | 42.000     | degrees C  | ok    | -5.000    | 0.000     | 5.000     | 80.000    | 85.000    | 90.000
P2-DIMMF2 Temp   | na         |            | na    | na        | na        | na        | na        | na        | na
P2-DIMMG1 Temp   | na         |            | na    | na        | na        | na        | na        | na        | na
P2-DIMMG2 Temp   | na         |            | na    | na        | na        | na        | na        | na        | na
P2-DIMMH1 Temp   | na         |            | na    | na        | na        | na        | na        | na        | na
P2-DIMMH2 Temp   | na         |            | na    | na        | na        | na        | na        | na        | na
FAN1             | 3200.000   | RPM        | ok    | 300.000   | 500.000   | 700.000   | 25300.000 | 25400.000 | 25500.000
FAN2             | 3100.000   | RPM        | ok    | 300.000   | 500.000   | 700.000   | 25300.000 | 25400.000 | 25500.000
FAN3             | 3100.000   | RPM        | ok    | 300.000   | 500.000   | 700.000   | 25300.000 | 25400.000 | 25500.000
FAN4             | na         |            | na    | na        | na        | na        | na        | na        | na
FAN5             | 3200.000   | RPM        | ok    | 300.000   | 500.000   | 700.000   | 25300.000 | 25400.000 | 25500.000
FAN6             | 3100.000   | RPM        | ok    | 300.000   | 500.000   | 700.000   | 25300.000 | 25400.000 | 25500.000
FANA             | na         |            | na    | na        | na        | na        | na        | na        | na
FANB             | na         |            | na    | na        | na        | na        | na        | na        | na
12V              | 12.126     | Volts      | ok    | 10.173    | 10.299    | 10.740    | 12.945    | 13.260    | 13.386
5VCC             | 5.052      | Volts      | ok    | 4.246     | 4.298     | 4.480     | 5.390     | 5.546     | 5.598
3.3VCC           | 3.367      | Volts      | ok    | 2.789     | 2.823     | 2.959     | 3.554     | 3.656     | 3.690
VBAT             | 2.808      | Volts      | ok    | 2.400     | 2.496     | 2.592     | 3.480     | 3.600     | 3.696
Vcpu1            | 1.818      | Volts      | ok    | 1.242     | 1.260     | 1.395     | 1.899     | 2.088     | 2.106
Vcpu2            | 1.818      | Volts      | ok    | 1.242     | 1.260     | 1.395     | 1.899     | 2.088     | 2.106
VDIMMAB          | 1.200      | Volts      | ok    | 0.948     | 0.975     | 1.047     | 1.344     | 1.425     | 1.443
VDIMMCD          | 1.209      | Volts      | ok    | 0.948     | 0.975     | 1.047     | 1.344     | 1.425     | 1.443
VDIMMEF          | 1.209      | Volts      | ok    | 0.948     | 0.975     | 1.047     | 1.344     | 1.425     | 1.443
VDIMMGH          | 1.209      | Volts      | ok    | 0.948     | 0.975     | 1.047     | 1.344     | 1.425     | 1.443
5VSB             | 5.000      | Volts      | ok    | 4.246     | 4.298     | 4.480     | 5.390     | 5.546     | 5.598
3.3VSB           | 3.299      | Volts      | ok    | 2.789     | 2.823     | 2.959     | 3.554     | 3.656     | 3.690
1.5V PCH         | 1.509      | Volts      | ok    | 1.320     | 1.347     | 1.401     | 1.644     | 1.671     | 1.698
1.2V BMC         | 1.209      | Volts      | ok    | 1.020     | 1.047     | 1.092     | 1.344     | 1.371     | 1.398
1.05V PCH        | 1.059      | Volts      | ok    | 0.870     | 0.897     | 0.942     | 1.194     | 1.221     | 1.248
Chassis Intru    | 0x0        | discrete   | 0x0000| na        | na        | na        | na        | na        | na
PS1 Status       | 0x1        | discrete   | 0x0100| na        | na        | na        | na        | na        | na
PS2 Status       | 0x1        | discrete   | 0x0100| na        | na        | na        | na        | na        | na

В столбцах:

  • Sensor ID. Название сенсора. В большинстве случаев совпадает с названием сенсора в заббиксе, но не всегда.
  • Sensor Reading. Значение сенсора.
  • Sensor Type. Тип сенсора.
  • Status. Текущий статус.
  • Lower Non-Recoverable. Минимальное значение выхода из строя.
  • Lower Critical. Минимальное критическое значение.
  • Lower Non-Criticalю Минимальное некритическое значение.
  • Upper Non-Critical. Максимальное некритическое значение.
  • Upper Critical. Максимальное критическое значение.
  • Upper Non-Recoverable. Максимальное значение выхода из строя.

Получение информации о конкретном сенсоре:

ipmitool -I lanplus -H хост -U логин -P пароль sensor get 'ИМЯ_СЕНСОРА'

Результат:

ipmitool -I lanplus -H my_server_dns_name -U my_user -P my_password sensor get 'VBAT'
Locating sensor record...
Sensor ID              : VBAT (0x33)
 Entity ID             : 7.18
 Sensor Type (Threshold)  : Voltage
 Sensor Reading        : 2.808 (+/- 0) Volts
 Status                : ok
 Lower Non-Recoverable : 2.400
 Lower Critical        : 2.496
 Lower Non-Critical    : 2.592
 Upper Non-Critical    : 3.480
 Upper Critical        : 3.600
 Upper Non-Recoverable : 3.696
 Positive Hysteresis   : 0.024
 Negative Hysteresis   : 0.024
 Assertion Events      :
 Assertions Enabled    : lcr- lnr- ucr+ unr+
 Deassertions Enabled  : lcr- lnr- ucr+ unr+

Проблемы и решения

No Signal

У меня при переключении режимов монитора я видел no signal. Зайти в биос возможно, а вот уже дальше- нет.
Проблема решилась явным запретом использования модуля радеон и DRM. Все попытки запретить их подгрузку через modprobe.d/blacklist.conf успехом не увенчались. Как показало исследование загружаются они через initrd соответвенно пришлось править образ. Т.е. просто в лоб удалить из него "лишние" модули


Подправленный образ запаковал:

# cd initramfs
# find . | cpio -H newc -o > ../initramfs.cpio

и указал этот образ как initrd

отмечу, чтонужно и блеклистить модули и удалять их из образа - иначе udev их загрузит.
Добавил в blacklist.conf:

blacklist i8xx_tco
blacklist ipv6
blacklist i2c_algo_bit
blacklist radeon
blacklist i2c_core
blacklist drm_kms_helper
blacklist drm
blacklist i2c_i801
blacklist i2c_algo_bit
blacklist dm_mirror
blacklist dm_region_hash
blacklist dm_log

install ipv6 /bin/true
install i2c_algo_bit /bin/true
install radeon /bin/true
install i2c_core /bin/true
install drm_kms_helper /bin/true
install drm /bin/true
install i2c_i801 /bin/true
install i2c_algo_bit /bin/true
install dm_mirror /bin/true
install dm_region_hash /bin/true
install dm_log /bin/true

После чего все заработало и я больше не наблюдал "No Signal"