Dell R710 Megaraid: различия между версиями

Материал из noname.com.ua
Перейти к навигацииПерейти к поиску
 
(не показано 18 промежуточных версий этого же участника)
Строка 1: Строка 1:
  +
[[Категория:Hardware]]
  +
[[Категория:Raid]]
  +
[[Категория:R710]]
  +
[[Категория:Dell]]
  +
[[Категория:Linux]]
  +
 
=Megaraid=
  
=Megaraid=
 
В моем случае он установлен в сервере Dell R710
  
В моем случае он установлен в сервере Dell R710
Строка 40: Строка 46:
   
 
==<code>lspci | grep -i raid</code>==
  
==<code>lspci | grep -i raid</code>==
  +
<PRE>
−  
 
lspci | grep -i raid
  
lspci | grep -i raid
 
03:00.0 RAID bus controller: Broadcom / LSI MegaRAID SAS 1078 (rev 04)
  
03:00.0 RAID bus controller: Broadcom / LSI MegaRAID SAS 1078 (rev 04)
  +
</PRE>
   
 
=Где брать утилиты=
  
=Где брать утилиты=
 
Есть сайт где собраны утилиты для рейдов, в том числе и для MegaRaid
  
Есть сайт где собраны утилиты для рейдов, в том числе и для MegaRaid
 
* http://hwraid.le-vert.net/wiki
  
* http://hwraid.le-vert.net/wiki
  +
  +
Более новая утилита Storcli (https://www.broadcom.com/support/download-search?pg=Storage+Adapters,+Controllers,+and+ICs&pf=Storage+Adapters,+Controllers,+and+ICs&pn=&pa=&po=&dk=&pl=&l=true)
  +
<BR>
  +
[[File:Storcli 007.2612.0000.0000 all.deb]]
  +
  +
Добавить в PATH (зависит от того куда поставлено)
  +
<PRe>
  +
/opt/MegaRAID/storcli
  +
</PRE>
  +
  +
=Что почитать=
  +
* https://pyatilistnik.org/storcli-komandyi-upravleniya-raid-kontrollerom-lsi-v-vmware-esxi-5-5/
  +
  +
=Просмотр информации о контроллере=
  +
<PRE>
  +
storcli64 show
  +
</PRE>
  +
<PRE>
  +
CLI Version = 007.2612.0000.0000 June 13, 2023
  +
Operating system = Linux 5.4.0-150-generic
  +
Status Code = 0
  +
Status = Success
  +
Description = None
  +
  +
Number of Controllers = 1
  +
Host Name = r710
  +
Operating System = Linux 5.4.0-150-generic
  +
  +
System Overview :
  +
===============
  +
  +
-----------------------------------------------------------------------------
  +
Ctl Model Ports PDs DGs DNOpt VDs VNOpt BBU sPR DS EHS ASOs Hlth
  +
-----------------------------------------------------------------------------
  +
0 PERC6/iIntegrated 8 3 1 0 1 0 Opt On 2 N 0 Opt
  +
-----------------------------------------------------------------------------
  +
  +
Ctl=Controller Index|DGs=Drive groups|VDs=Virtual drives|Fld=Failed
  +
PDs=Physical drives|DNOpt=Array NotOptimal|VNOpt=VD NotOptimal|Opt=Optimal
  +
Msng=Missing|Dgd=Degraded|NdAtn=Need Attention|Unkwn=Unknown
  +
sPR=Scheduled Patrol Read|DS=DimmerSwitch|EHS=Emergency Spare Drive
  +
Y=Yes|N=No|ASOs=Advanced Software Options|BBU=Battery backup unit/CV
  +
Hlth=Health|Safe=Safe-mode boot|CertProv-Certificate Provision mode
  +
Chrg=Charging | MsngCbl=Cable Failure
  +
</PRE>
  +
  +
=Просмотр информации о рейдах=
  +
* <code>/c0</code> - 0 это номер контроллера
  +
* <code>/vall</code> v - Virtual Drives, показать информацию о всех рейдах, их настроено один, Raid 1 (зеркало)
  +
  +
<PRE>
  +
storcli64 /c0 /vall show
  +
</PRE>
  +
<PRE>
  +
Virtual Drives :
  +
==============
  +
  +
----------------------------------------------------------------
  +
DG/VD TYPE State Access Consist Cache Cac sCC Size Name
  +
----------------------------------------------------------------
  +
0/0 RAID1 Optl RW Yes NRWBD - OFF 278.875 GB r1arr
  +
----------------------------------------------------------------
  +
  +
VD=Virtual Drive| DG=Drive Group|Rec=Recovery
  +
Cac=CacheCade|Rec=Recovery|OfLn=OffLine|Pdgd=Partially Degraded|Dgrd=Degraded
  +
Optl=Optimal|dflt=Default|RO=Read Only|RW=Read Write|HD=Hidden|TRANS=TransportReady
  +
B=Blocked|Consist=Consistent|R=Read Ahead Always|NR=No Read Ahead|WB=WriteBack
  +
FWB=Force WriteBack|WT=WriteThrough|C=Cached IO|D=Direct IO|sCC=Scheduled
  +
Check Consistency
  +
</PRE>
  +
  +
=Просмотр информации о физических дисках=
  +
* <code>/c0</code> - 0 это номер контроллера
  +
* <code>/eall</code> e - Enclosure (вложения?), показать все
  +
* <code>/sall</code> s - Slot/PD, диски во всех слотах
  +
<PRE>
  +
storcli64 /c0 /eall /sall show
  +
</PRE>
  +
  +
<PRE>
  +
Drive Information :
  +
=================
  +
  +
------------------------------------------------------------------------------
  +
EID:Slt DID State DG Size Intf Med SED PI SeSz Model Sp Type
  +
------------------------------------------------------------------------------
  +
32:0 0 Onln 0 278.875 GB SAS HDD N N 512B AL13SEB300 U -
  +
32:1 1 Onln 0 278.875 GB SAS HDD N N 512B AL13SEB300 U -
  +
32:2 2 UGood - 185.750 GB SATA SSD N N 512B MK0200GCTYV U -
  +
------------------------------------------------------------------------------
  +
  +
EID=Enclosure Device ID|Slt=Slot No|DID=Device ID|DG=DriveGroup
  +
DHS=Dedicated Hot Spare|UGood=Unconfigured Good|GHS=Global Hotspare
  +
UBad=Unconfigured Bad|Sntze=Sanitize|Onln=Online|Offln=Offline|Intf=Interface
  +
Med=Media Type|SED=Self Encryptive Drive|PI=PI Eligible
  +
SeSz=Sector Size|Sp=Spun|U=Up|D=Down|T=Transition|F=Foreign
  +
UGUnsp=UGood Unsupported|UGShld=UGood shielded|HSPShld=Hotspare shielded
  +
CFShld=Configured shielded|Cpybck=CopyBack|CBShld=Copyback Shielded
  +
UBUnsp=UBad Unsupported|Rbld=Rebuild
  +
</PRE>
  +
Тут видно что 2 диска Online и третий Unconfigured Good, что означает |Sp=Spun|U=Up я не знаю.
  +
  +
=Создание логического устройства=
  +
<PRE>
  +
storcli64 /c0 add vd r0 Size=all name=INTEL_SSD0 drives=32:2 pdcache=on direct wt nora strip=256
  +
</PRE>
  +
  +
/c0 add vd r0 Size=all name=INTEL_SSD0 drives=32:2 pdcache=on direct wt nora strip=256
  +
  +
Возможные параметры virtual drive
  +
  +
* <code>add vd</code> создаетб виртуальный диск
  +
* <code>r0</code>тип raid 0|1|5|6|00|10|50|60
  +
* <code>size</code> размер указывается в мегабайтах, если поставить all, будет размечено все пространство.
  +
* <code>name</code> любое имя на латинице
  +
* <code>drives</code> список дисков, <code>32:2</code> взят из вывода списка дисков
  +
* <code>strip</code> размер страйпа возможны варианты 8|16|32|64|128|256|1024 (для одного диска не имеет значения)
  +
* <code>pdcache</code> включение локального кэширования записи на дисках on/off
  +
* Политика ввода вывода direct Direct I/O еще возможный вариант cached > Cached I/O
  +
* Политика записи wb > Write back, wt > Write through, awb > Always Write Back
  +
* <code>spares</code> добавить диск горячей замены, не работает с raid0
  +
  +
<PRE>
  +
storcli64 /c0 add vd r0 Size=all name=INTEL_SSD0 drives=32:2 pdcache=on direct wt nora strip=256
  +
CLI Version = 007.2612.0000.0000 June 13, 2023
  +
Operating system = Linux 5.4.0-150-generic
  +
Controller = 0
  +
Status = Success
  +
Description = Add VD Succeeded.
  +
</PRE>
  +
  +
  +
<PRE>
  +
[Mon Sep 4 12:18:54 2023] megaraid_sas 0000:03:00.0: DCMD not supported by firmware - megasas_ld_list_query 4862
  +
[Mon Sep 4 12:18:54 2023] scsi 2:2:1:0: Direct-Access DELL PERC 6/i 1.22 PQ: 0 ANSI: 5
  +
[Mon Sep 4 12:18:54 2023] sd 2:2:1:0: Attached scsi generic sg6 type 0
  +
[Mon Sep 4 12:18:54 2023] sd 2:2:1:0: [sdd] 389545984 512-byte logical blocks: (199 GB/186 GiB)
  +
[Mon Sep 4 12:18:54 2023] sd 2:2:1:0: [sdd] Write Protect is off
  +
[Mon Sep 4 12:18:54 2023] sd 2:2:1:0: [sdd] Mode Sense: 1f 00 10 08
  +
[Mon Sep 4 12:18:54 2023] sd 2:2:1:0: [sdd] Write cache: disabled, read cache: enabled, supports DPO and FUA
  +
</PRE>
  +
<PRE>
  +
storcli64 /c0 /vall show
  +
Virtual Drives :
  +
==============
  +
---------------------------------------------------------------------
  +
DG/VD TYPE State Access Consist Cache Cac sCC Size Name
  +
---------------------------------------------------------------------
  +
0/0 RAID1 Optl RW Yes NRWBD - OFF 278.875 GB r1arr
  +
1/1 RAID0 Optl RW Yes NRWTD - OFF 185.750 GB INTEL_SSD0
  +
---------------------------------------------------------------------
  +
</PRE>

Текущая версия на 15:31, 28 февраля 2024


Megaraid

В моем случае он установлен в сервере Dell R710

Определить тип Raid

dmesg

root@r710:/tmp# dmesg  | grep -i raid
[    5.444484] megaraid_sas 0000:03:00.0: BAR:0x0  BAR's base_addr(phys):0x00000000df180000  mapped virt_addr:0x(____ptrval____)
[    5.444485] megaraid_sas 0000:03:00.0: FW now in Ready state
[    5.444487] megaraid_sas 0000:03:00.0: 63 bit DMA mask and 32 bit consistent mask
[    5.444794] megaraid_sas 0000:03:00.0: current msix/online cpus	: (0/24)
[    5.444795] megaraid_sas 0000:03:00.0: RDPQ mode	: (disabled)
[    5.503659] megaraid_sas 0000:03:00.0: controller type	: MR(256MB)
[    5.503661] megaraid_sas 0000:03:00.0: Online Controller Reset(OCR)	: Enabled
[    5.503661] megaraid_sas 0000:03:00.0: Secure JBOD support	: No
[    5.503662] megaraid_sas 0000:03:00.0: NVMe passthru support	: No
[    5.503663] megaraid_sas 0000:03:00.0: FW provided TM TaskAbort/Reset timeout	: 0 secs/0 secs
[    5.503664] megaraid_sas 0000:03:00.0: JBOD sequence map support	: No
[    5.503665] megaraid_sas 0000:03:00.0: PCI Lane Margining support	: No
[    5.503667] megaraid_sas 0000:03:00.0: megasas_init_mfi: fw_support_ieee=0
[    5.503690] megaraid_sas 0000:03:00.0: INIT adapter done
[    5.503691] megaraid_sas 0000:03:00.0: JBOD sequence map is disabled megasas_setup_jbod_map 5741
[    5.531697] megaraid_sas 0000:03:00.0: MR_DCMD_PD_LIST_QUERY failed/not supported by firmware
[    5.559767] megaraid_sas 0000:03:00.0: DCMD not supported by firmware - megasas_ld_list_query 4862
[    5.587766] megaraid_sas 0000:03:00.0: pci id		: (0x1000)/(0x0060)/(0x1028)/(0x1f0c)
[    5.587769] megaraid_sas 0000:03:00.0: unevenspan support	: no
[    5.587771] megaraid_sas 0000:03:00.0: firmware crash dump	: no
[    5.587772] megaraid_sas 0000:03:00.0: JBOD sequence map	: disabled
[    6.287703] raid6: sse2x4   gen() 11185 MB/s
[    6.335706] raid6: sse2x4   xor()  8190 MB/s
[    6.383704] raid6: sse2x2   gen()  9938 MB/s
[    6.431737] raid6: sse2x2   xor()  7473 MB/s
[    6.479713] raid6: sse2x1   gen()  8409 MB/s
[    6.527738] raid6: sse2x1   xor()  6431 MB/s
[    6.527739] raid6: using algorithm sse2x4 gen() 11185 MB/s
[    6.527739] raid6: .... xor() 8190 MB/s, rmw enabled
[    6.527740] raid6: using ssse3x2 recovery algorithm

lspci | grep -i raid

lspci | grep -i raid
03:00.0 RAID bus controller: Broadcom / LSI MegaRAID SAS 1078 (rev 04)

Где брать утилиты

Есть сайт где собраны утилиты для рейдов, в том числе и для MegaRaid

Более новая утилита Storcli (https://www.broadcom.com/support/download-search?pg=Storage+Adapters,+Controllers,+and+ICs&pf=Storage+Adapters,+Controllers,+and+ICs&pn=&pa=&po=&dk=&pl=&l=true)
Файл:Storcli 007.2612.0000.0000 all.deb

Добавить в PATH (зависит от того куда поставлено) 

/opt/MegaRAID/storcli

Что почитать

Просмотр информации о контроллере

storcli64 show

CLI Version = 007.2612.0000.0000 June 13, 2023
Operating system = Linux 5.4.0-150-generic
Status Code = 0
Status = Success
Description = None

Number of Controllers = 1
Host Name = r710
Operating System  = Linux 5.4.0-150-generic

System Overview :
===============

-----------------------------------------------------------------------------
Ctl Model             Ports PDs DGs DNOpt VDs VNOpt BBU sPR DS EHS ASOs Hlth
-----------------------------------------------------------------------------
  0 PERC6/iIntegrated     8   3   1     0   1     0 Opt On  2  N      0 Opt
-----------------------------------------------------------------------------

Ctl=Controller Index|DGs=Drive groups|VDs=Virtual drives|Fld=Failed
PDs=Physical drives|DNOpt=Array NotOptimal|VNOpt=VD NotOptimal|Opt=Optimal
Msng=Missing|Dgd=Degraded|NdAtn=Need Attention|Unkwn=Unknown
sPR=Scheduled Patrol Read|DS=DimmerSwitch|EHS=Emergency Spare Drive
Y=Yes|N=No|ASOs=Advanced Software Options|BBU=Battery backup unit/CV
Hlth=Health|Safe=Safe-mode boot|CertProv-Certificate Provision mode
Chrg=Charging | MsngCbl=Cable Failure

Просмотр информации о рейдах

  • /c0 - 0 это номер контроллера
  • /vall v - Virtual Drives, показать информацию о всех рейдах, их настроено один, Raid 1 (зеркало)
storcli64 /c0 /vall show

Virtual Drives :
==============

----------------------------------------------------------------
DG/VD TYPE  State Access Consist Cache Cac sCC       Size Name
----------------------------------------------------------------
0/0   RAID1 Optl  RW     Yes     NRWBD -   OFF 278.875 GB r1arr
----------------------------------------------------------------

VD=Virtual Drive| DG=Drive Group|Rec=Recovery
Cac=CacheCade|Rec=Recovery|OfLn=OffLine|Pdgd=Partially Degraded|Dgrd=Degraded
Optl=Optimal|dflt=Default|RO=Read Only|RW=Read Write|HD=Hidden|TRANS=TransportReady
B=Blocked|Consist=Consistent|R=Read Ahead Always|NR=No Read Ahead|WB=WriteBack
FWB=Force WriteBack|WT=WriteThrough|C=Cached IO|D=Direct IO|sCC=Scheduled
Check Consistency

Просмотр информации о физических дисках

  • /c0 - 0 это номер контроллера
  • /eall e - Enclosure (вложения?), показать все
  • /sall s - Slot/PD, диски во всех слотах
storcli64 /c0 /eall /sall show

Drive Information :
=================

------------------------------------------------------------------------------
EID:Slt DID State DG       Size Intf Med SED PI SeSz Model            Sp Type
------------------------------------------------------------------------------
32:0      0 Onln   0 278.875 GB SAS  HDD N   N  512B AL13SEB300       U  -
32:1      1 Onln   0 278.875 GB SAS  HDD N   N  512B AL13SEB300       U  -
32:2      2 UGood  - 185.750 GB SATA SSD N   N  512B MK0200GCTYV      U  -
------------------------------------------------------------------------------

EID=Enclosure Device ID|Slt=Slot No|DID=Device ID|DG=DriveGroup
DHS=Dedicated Hot Spare|UGood=Unconfigured Good|GHS=Global Hotspare
UBad=Unconfigured Bad|Sntze=Sanitize|Onln=Online|Offln=Offline|Intf=Interface
Med=Media Type|SED=Self Encryptive Drive|PI=PI Eligible
SeSz=Sector Size|Sp=Spun|U=Up|D=Down|T=Transition|F=Foreign
UGUnsp=UGood Unsupported|UGShld=UGood shielded|HSPShld=Hotspare shielded
CFShld=Configured shielded|Cpybck=CopyBack|CBShld=Copyback Shielded
UBUnsp=UBad Unsupported|Rbld=Rebuild

Тут видно что 2 диска Online и третий Unconfigured Good, что означает |Sp=Spun|U=Up я не знаю.

Создание логического устройства

storcli64 /c0 add vd r0 Size=all name=INTEL_SSD0 drives=32:2 pdcache=on direct wt nora strip=256

/c0 add vd r0 Size=all name=INTEL_SSD0 drives=32:2 pdcache=on direct wt nora strip=256

Возможные параметры virtual drive

  • add vd создаетб виртуальный диск
  • r0тип raid 0|1|5|6|00|10|50|60
  • size размер указывается в мегабайтах, если поставить all, будет размечено все пространство.
  • name любое имя на латинице
  • drives список дисков, 32:2 взят из вывода списка дисков
  • strip размер страйпа возможны варианты 8|16|32|64|128|256|1024 (для одного диска не имеет значения)
  • pdcache включение локального кэширования записи на дисках on/off
  • Политика ввода вывода direct Direct I/O еще возможный вариант cached > Cached I/O
  • Политика записи wb > Write back, wt > Write through, awb > Always Write Back
  • spares добавить диск горячей замены, не работает с raid0
storcli64 /c0 add vd r0 Size=all name=INTEL_SSD0 drives=32:2 pdcache=on direct wt nora strip=256
CLI Version = 007.2612.0000.0000 June 13, 2023
Operating system = Linux 5.4.0-150-generic
Controller = 0
Status = Success
Description = Add VD Succeeded.



[Mon Sep  4 12:18:54 2023] megaraid_sas 0000:03:00.0: DCMD not supported by firmware - megasas_ld_list_query 4862
[Mon Sep  4 12:18:54 2023] scsi 2:2:1:0: Direct-Access     DELL     PERC 6/i         1.22 PQ: 0 ANSI: 5
[Mon Sep  4 12:18:54 2023] sd 2:2:1:0: Attached scsi generic sg6 type 0
[Mon Sep  4 12:18:54 2023] sd 2:2:1:0: [sdd] 389545984 512-byte logical blocks: (199 GB/186 GiB)
[Mon Sep  4 12:18:54 2023] sd 2:2:1:0: [sdd] Write Protect is off
[Mon Sep  4 12:18:54 2023] sd 2:2:1:0: [sdd] Mode Sense: 1f 00 10 08
[Mon Sep  4 12:18:54 2023] sd 2:2:1:0: [sdd] Write cache: disabled, read cache: enabled, supports DPO and FUA

storcli64 /c0 /vall show
Virtual Drives :
==============
---------------------------------------------------------------------
DG/VD TYPE  State Access Consist Cache Cac sCC       Size Name
---------------------------------------------------------------------
0/0   RAID1 Optl  RW     Yes     NRWBD -   OFF 278.875 GB r1arr
1/1   RAID0 Optl  RW     Yes     NRWTD -   OFF 185.750 GB INTEL_SSD0
---------------------------------------------------------------------
Источник — https://noname.com.ua/mediawiki/index.php?title=Dell_R710_Megaraid&oldid=12797