Gå till innehållet

= Alerik (kan ändras) = CPU: 2 st AMD opteronâ„¢ 6220 8 kärnor @3.0 Giga hurtz Primär Minne: 16 slots halv bestyckade ~ 32 GB du kan kombinera 2 noder får 64 GB RAM MGNT: IPMI * Infiniband(IB): x4 dvs 40 Gbps mellan noder. Switch med 36 portar finns. Se Postmord. Produktsida: https://www.supermicro.com/aplus/system/2u/2022/as-2022tg-hibqrf.cfm * Labbnoderna sitter i rad 2 skåp 5. även känt som skåpet som är tungt att flytta. * noder i drift: knocke och smocke

= Noteringar =

  • Alerik noderna borde kåra egen HP switch, 12 noder x 2 RJ45:or(Mgnt och ETHERNET)
  • Labbnätet(192.168.12.XYZ): DHCP-rangen bårjar på .32, så om du ska sätta fasta IP:n går det mellan .8 och .31 sudo arp-scan -Q 12 192.168.12.0/24 på t.ex. thor ger listan åver aktiva ipmi, noder och switch * mellanox och supermicro
  • Behåver labbnoden ett fast ip i dhcp servern peta på systemgruppen.

= Diskar per nod = bokstav är nod relaterad. vänster till håger sett från framsidan. A B C D A2 B2 C2 D2 . . . . . . . . A0 B0 C0 D0

= Labb nod setup =

  • Konfigurera switchen så porten ligger på vlan 12 d.v.s. att labbnätet har 'untagged' och resten 'no'
  • Använd en live USB med ånskat OS eller installera ett med PXE miljån.
  • IPMI apt install ipmitool modprobe ipmi_devintf; modprobe ipmi_si ipmitool user list 1 ipmitool user set password 2 # 2 är id får Admin Man kan logga in genom att ange authtype none dvs säkerhetsrisk. * Använd ipmitool lan set 1 auth loginName MD5 PASSWORD (Finns MD2 MD5 PASSWORD, Du lär kåra PASSWORD eller MD5)
  • Med ipmitool, confa statisk ip, gw, subnetmask *testa med ipmitool -H IP -U ADMIN ex: ipmitool -H 192.168.12.79 -U ADMIN power on

== ipmi ==

Styr en nod i taget. Funkar även när noden är i standby. Det är som kvm fast åver internet. Brukar fixa konsol åver ethernet, mounta virtuella usb/dvd images. kan hantera moderkortet på distans t.ex reboot, cold boot etc. ipmi tools can användas som client server (mgnt NIC:en).

=== Maskin med ipmi kopplat till mgnt nätverket ===

Exempel hur en konfad burk ser ut. Notera 192.168.11.33 är mgnt nät vlan 11 dvs untagged i switchen. Samt 194.47.250.33/24 är publika ip adressen, 33 är gemensamt.

Feel free to harden the setting even more.

rocketlo@knocke ~ % sudo ipmitool lan print 1

Set in Progress : Set Complete

Auth Type Support : NONE MD2 MD5 PASSWORD

Auth Type Enable : Callback : MD2 MD5 PASSWORD 

                    : User     : MD2 MD5 PASSWORD

                    : Operator : MD2 MD5 PASSWORD

                    : Admin    : MD2 MD5 PASSWORD

                    : OEM      : MD2 MD5 PASSWORD

IP Address Source : Static Address

IP Address : 192.168.11.33

Subnet Mask : 255.255.255.0

MAC Address : 00:25:90:53:0b:cc

SNMP Community String : public

IP Header : TTL=0x00 Flags=0x00 Precedence=0x00 TOS=0x00

BMC ARP Control : ARP Responses Enabled, Gratuitous ARP Disabled

Default Gateway IP : 192.168.11.1

Default Gateway MAC : 00:00:00:00:00:00

Backup Gateway IP : 0.0.0.0

Backup Gateway MAC : 00:00:00:00:00:00

802.1q VLAN ID : Disabled

802.1q VLAN Priority : 0

RMCP+ Cipher Suites : 0,1,2,3,6,7,8,11,12

Cipher Suite Priv Max : aaaaXXaaaXXaaXX

                    :     X=Cipher Suite Unused

                    :     c=CALLBACK

                    :     u=USER

                    :     o=OPERATOR

                    :     a=ADMIN

                    :     O=OEM

Bad Password Threshold : Not Available

rocketlo@knocke ~ % ip a

4: br0: 

inet 194.47.250.33/24 brd 194.47.250.255 scope global br0</nowiki>

=== ipmi setup lathund ===

Notera kernel modulerna finns kanske inte i alla linux distros eller kräver extra steg. Detta script utgår ifrån debian.

#/bin/bash echo 'start' echo 'modprobe 2 modules' sudo modprobe ipmi_devintf; sudo modprobe ipmi_si echo 'ip får nodens mgnt:' read IPMGNT IPGW='192.168.12.1' echo 'ip får GW:' $IPGW NETMASK='255.255.255.0' echo 'netmask:' $NETMASK echo 'install ipmitools' sudo apt update sudo apt install ipmitool -y echo 'list users: ' sudo ipmitool user list 1 sudo ipmitool lan print 1 echo 'wanna overwrite ADMIN passwd and set new network settings[nN or yY]?' read choice case $choice in [nN]) exit;; *);; esac echo 'Set ADMIN password: ' sudo ipmitool user set password 2 echo 'static ip: set' sudo ipmitool lan set 1 ipsrc static sudo ipmitool lan set 1 ipaddr $IPMGNT sudo ipmitool lan set 1 netmask $NETMASK sudo ipmitool lan set 1 defgw ipaddr $IPGW echo 'Resultat: ' sudo ipmitool lan print 1 echo 'Klart! kolla och kår sen sudo ipmitool power off | cycle | soft'

=== ipmi commands 101 === (källa: https://community.pivotal.io/s/article/How-to-work-on-IPMI-and-IPMITOOL ) (tips: https://www.xkyle.com/7-underused-ipmitool-commands/)

;Purpose

The Intelligent Platform Management Interface (IPMI) is a standardized computer system interface used by System Administrators for out-of-band management of computer systems and monitoring of their operation. Out-of-band is also referred to the LOM (Lights-Out Management) involves the use of a dedicated management channel for device maintenance.

A number of options are available to manage the device remotely. There are vendor-specific server management technologies available. HP’s Integrated Lights-out or iLO, Dell’s Dell Remote Access Controller or DRAC and IBM’s Remote Supervisor Adapter (RSA) are a few to list. The above-listed modules are vendor specific and proprietary. IPMI whereas is vendor-neutral and cross-platform. It is available on Linux distros. The functionality of IPMI can be accessed via IPMItool. IPMItool is a command prompt, which is used to manage IPMI-enabled devices. IPMItool helps in managing the system hardware components, monitoring the system health independent of the operating system.

;Procedure

You can install IPMI and IPMItool via yum using the following command:

[root@anm ~]# yum install OpenIPMI OpenIPMI-tools

or in debian based systems.

apt install ipmitool

Ensure that the server is set to start during startup and start the IPMI service.

[root@anm ~]# chkconfig ipmi on [root@anm ~]# service ipmi start

We have some IPMItool commands, which can be used in day-to-day operations.

If you don't know which channel is your ethernet interface, just page through them one at at time, like so:

# ipmitool -I open channel info 1 Channel 0x1 info: Channel Medium Type : 802.3 LAN Channel Protocol Type : IPMB-1.0 Session Support : multi-session Active Session Count : 0 Protocol Vendor ID : 7154 Volatile(active) Settings Alerting : disabled Per-message Auth : disabled User Level Auth : enabled Access Mode : always available Non-Volatile Settings Alerting : disabled Per-message Auth : disabled User Level Auth : enabled Access Mode : always available

Note that the medium type is "802.3 LAN". That's the one you want.

  1. Man and help info for IPMItool

ipmitool help man ipmitool

  1. Check the firmware version

ipmitool mc info

  1. Reset the management controller

ipmitool mc reset [ warm | cold ]

  1. Show field-replaceable-unit details

ipmitool fru print

  1. Show sensor output

ipmitool sdr list ipmitool sdr type list ipmitool sdr type Temperature ipmitool sdr type Fan ipmitool sdr type ‘Power Supply’

6.

ipmitool chassis status ipmitool chassis identify [X ] # where X is seconds. Turn on front panel identify light (default 15s) ipmitool [chassis] power soft # initiate a soft-shutdown via acpi ipmitool [chassis] power cycle # issue a hard power off, wait 1s, power on ipmitool [chassis] power off # issue a hard power off ipmitool [chassis] power on # issue a hard power on ipmitool [chassis] power reset # issue a hard reset

  1. Modify boot device for next reboot

ipmitool chassis bootdev pxe ipmitool chassis bootdev cdrom ipmitool chassis bootdev bios

  1. Logging

ipmitool sel info ipmitool sel list ipmitool sel elist # extended list (see manpage) ipmitool sel clear

  1. For remote access, you need to setup user and network settings, either at boot time on the iLO or on the DRAC card itself, or from the OS via IPMI tool:

Display/reset password for default root user (userid ’2′)

ipmitool user list 1 ipmitool user set password 2

  1. Display/configure lan settings

ipmitool lan print 1 ipmitool lan set 1 ipsrc [ static | dhcp ] # static får labbnät är reckomenderat ipmitool lan set 1 ipaddr {192.168.12.XYZ} ipmitool lan set 1 netmask {YOUR NETMASK} #255.255.255.0 ipmitool lan set 1 defgw ipaddr 192.168.12.1

After configuring the lan settings you should be able to connect remotely using the ‘lan’ interface of IPMItool.

The following is an example:

[root@anm ~]# ipmitool -I lan -U root -H {YOUR DESIRED IP} chassis status

  1. Hanging BMC

ipmitool bmc reset cold

  1. Change system state

ipmitool -H -U chassis power

  1. Get debug info

ipmitool lan print ipmitool -H -U shell # get ipmitool shell, type 'help' ipmitool -H -U sel list # Show system event log ipmitool -H -U sdr # List sensor data

  1. Get SOL console

modprobe lanplus # If not yet loaded ipmitool -H -U -I lanplus sol activate

== Infiniband == Fåljande går: ptp, token ring och switch. Det bästa vore att kåra IB applicationer tex iSER, GlusterFS. Men man kan slå på IPoIB genom en kernel modul.

Notera: * apt install -t stretch-backports ibverbs-providers rdma-core # ger qperf m.m. * ipoib: när interfacet ib0 har fått IP addr så kan man använda den i IB nätverket. Dvs slipper GUID och LID tal.

=== RDMA infrastruktur === Installera: sudo apt-get -t stretch-backports install rdma-core libibverbs1 librdmacm1 \ libibmad5 libibumad3 librdmacm1 ibverbs-providers rdmacm-utils infiniband-diags libfabric1 ibverbs-utils Så har du som root ib* verktyg att använda.

=== Lathund IPoIB ===

;kernel moduler

Slå på med modprobe: mlx4_core, mlx4_ib, ib_ipoib, ib_umad Lägg de i /etc/modules får att automagiskt ladda de vid start. * kontrollera att de har laddats med lsmod. Installer opensm. (Opensm krävs får att data ska kunna skickas. Man kan ha rendudant sm instance igång men bara en igång.) * konfiguera opensm så att group-rate är satt till 40 Gbps eller vad som är aktuellt. * Kolla att interfacet ib0/ibp2s0/liknande har dykt upp med ifconfig/ip Konfigurera ib interfacet med en statisk IP i /etc/network/interfaces (eller går en fil får varje interface under interfaces.d/) eth0 brukar ligga i en fil, kommentera ut den om den inte används. **Sätt mtu till 65540 som är max

auto ib0 iface ib0 inet static _address 10.0.0.2 _netmask 255.255.255.0 _network 10.0.0.0 _broadcast 10.0.0.255 _pre-up echo connected > /sys/class/net/$IFACE/mode _post-up /sbin/ifconfig $IFACE mtu 65520

Där '_' ska vara ett indrag Läs även vidare på archlinux länken nedan

  • testa med iperf qperf mm

= Exempel på labborations åvningar =

== nfs åver rdma == Källa: https://community.mellanox.com/docs/DOC-2132

;Summerat

server lägg till och aktivera modulen svcrdma installera nfs server och rpcbind Confa /etc/rpc får nfs confa /etc/exports med tex /path2ShareDir 10.0.0.0/255.255.255.0(rw,no_root_squash,subtree_check) # exportfs -a dra upp nfs servern echo 'rdma 20049' > /proc/fs/nfsd/portlist klient nfs-common behåvs ladda modul xprtrdma kår mount -o rdma,port=20049 19.19.19.7:/root/my_directory /mnt/my_directory (ska gå på någon sekund annars är servern fel konfad) testa att det funkar med filer i nfs katalog ** fio --rw=randread --bs=64k --numjobs=4 --iodepth=8 --runtime=30 --time_based --loops=1 --ioengine=libaio --direct=1 --invalidate=1 --fsync_on_close=1 --randrepeat=1 --norandommap --exitall --name task1 --filename=//derp.txt --size=10000000

== glusterfs ==

är noden fårbered med IBoIP? (Tips: använd gärna interna namnuppslag får lättare konfigurering)

skapa en volym

skapa ett filsystem på volym

se till att disken monteras under ex /data/glusterfs/disk, använd fstab filen.

installera gluster server

lägg till diskarna(bricks)

skapa gluster volym(er) se till att välja rdma får maximal hastighet.

skicka vänfårfrågningar till andra gluster servrar (peers)

testa koppla en nfs client

måjlighet: träna access regler till volymer

..

Skills++

Får massor med info kolla: https://docs.gluster.org/en/latest/ samt videos. Eller fråga någon.

== iSCSI med iSER == ...

== kluster == Minst två noder

storage, se glusterfs m.m. High Availability Load Balancing High Performance

= URLs =

  • https://wiki.archlinux.org/index.php/InfiniBand
  • https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/networking_guide/sec-configuring_the_subnet_manager
  • https://www.servethehome.com/configure-ipoib-mellanox-hcas-ubuntu-12041-lts/
  • https://community.mellanox.com/docs/DOC-2081?forceNoRedirect=true <-- om modulerna
  • https://wiki.debian.org/RDMA#Debian_RDMA_Packages
  • https://community.mellanox.com/docs/DOC-2132 <-- nfs åver rdma 101
  • https://docs.openpmix.org/en/latest/ <-- MOSIX efterträdare
  • http://9front.org/