Beispielinstallation eines SUN 2 Node Cluster mit SunCluster 2.2
Author:Frank
Datum: 09.01.2002
Zusammenfassung: Hm, wieso erstellt noch jemand eine Anleitung für einen Cluster in der Version 2.0. Es gibt doch schon 3.0 die ist viel moderner, und schöner. Ausserdem ist Cluster 2.0 warscheinlich von SUN nicht mehr supportet.
Ja alles richtig, aber Version 3.0 ist nicht einfach ein Upgrade es ist eine komplett andere Software !
Version 2 ist auf jeden Fall bedeutend einfacher zu konfigurieren.
 
Der Beispiel-Cluster besteht physikalisch aus zwei Workstation, den sogenannten Nodes, und zwei Array. Auf diesen Maschinen wird eine Datenbank installiert. Durch den Einsatz der Clustersoftware wird die Hardware so zu einem logischen Host verstrickt, dass möglichst alle Fehlersituationen umgangen werden können.
Inhalt:
  1. Installation Admin Station und Terminalconcentrator
  2. Aufsetzen der beiden Cluster Node
  3. Installation der eigentlichen Cluster Software
  4. Einträge in /etc/system
  5. Konfiguration der NAFO Gruppen und der shared CCD
  6. Anlegen von disk group und logical hosts

 Schritt A.

[Installation Admin Station und Terminalconcentrator]

Vor der Installation sollte ein Datenblatt generiert werden, in dem für den gesammten Cluster die elemtaren Dinge (IP, Disklayout etc) definiert werden.
Eine Adminworkstation braucht man nicht unbedingt, der Cluster läuft auch ohne. Mit der Adminworkstation kann man ihn aber wesentlich angenehmer administrieren. Als zuerst die Adminworkstation aufsetzen.
 
Hostname:wshb01
IP-Adresse:192.168.100.101 /24

  1. Installation der Hardware
  2. Installation von Solaris 2.6 Full Distribution mit OEM
  3. Evtl. Installation der Treiber der Grafikkarte (z.B. Raptor GFX)
  4. Installation der aktuellen Recommended Patche von sunsolve
  5. Installation der Cluster Clientsoftware.
    Nicht mit pkgadd sondern mit scinstall :
    /cdrom/suncluster_sc_2_2/Sun_Cluster_2_2/Sol_2.6/Tools/scinstall Choose one: 3) Client
    Install mode: automatic
  6. Anlegen einer /.profile Datei. In dieser Datei wird der Path um /opt/SUNWcluster/bin erweitert.
  7. In der Datei /etc/hosts müssen alle Maschinen des Clusteres eingetragen werden.
  8. Anlegen der Datei /etc/clusters mit den Daten des Clusters.
  9. Anlegen der Datei /etc/serialports mit den Daten des Clusters.
    In der Form "Node" "TC-Name" "500x", wobei x der Port am TC ist auf dem der jeweilige Node steckt.
  10. Hinzufügen eines Eintrages in die Datei /etc/remote:
    tc:\dv=/dev/term/a:br#9600:el=^C^S^Q^U^D:ie=%$:oe=^D
  11. Installation der SDS Software (Nur Paketes SUNWmd) Anschließend ist der Spiegel der Boot Platten aufzusetzen. Eine Ausfühliche Anleitung steht kannst Du auf einer anderen Seite nachlesen, hier nur kurz die Stichpunkte:
 Schritt B.

[Aufsetzen der beiden Cluster Node]

Durch Eingabe des Kommandos cconsole shcluster auf der Admin Workstation erhält man auf beiden Nodes ein Terminalfenster in dem man gleichzeitig ;-) schreiben kann. Absolut coole Sache. So kann man beide Nodes zur selben Zeit aufsetzen und stellt somit sicher dass beide auch wirklich identisch sind.
Hostname Node 1:qshb03db1
IP-Adresse Node 1:192.168.100.102 /24
Hostname Node 2:qshb03db2
IP-Adresse Node 2:192.168.100.103 /24
  1. Installation der Hardware, beide Workstation und beide Array´s
    Bei der Solaris installation sollten die Array´s nicht mit den Workstation verbunden sein. So kann man die Datei path_to_inst  auf beiden Seiten gleich halten.
    Beim Einsatz eines A5100 und nur 5 Platten muss man genau auf die Verteilung achten. Die würde wie folgt aussehen:
    Vorn: 3 und 6
    Hinten: 0, 3 und 6

  2. Die Karten sollten wie folgt verteilt werden:
     
    Steckplatz 0Fibre Channel
    Steckplatz 1Quad Ethenet
    Steckplatz 2Fibre Channel
    Steckplatz 3Quad Ethenet
    Die Verkabelung sieht somit wie folgt aus:
  3. Installation von Solaris 2.6 Full Distribution mit OEM
  4. Installation der aktuellen Recommended Patche von sunsolve
  5. Sicherung der Dateien
    /etc/system, /etc/path_to_inst, /etc/vfstab
  6. Direkt an den Arrays werden die BOX-ID auf 0 (null) gesetzt und der Array-Name "oben" bzw. "unten" vergeben.
  7. Verkablung der LWL Kabel nur zu Array "oben" !
  8. Installation der Fibre Channel Treiber von der CD (Sun StoreEdge PCI FC-100)
  9. Installation evtl. Fibre Channel Patche
  10. Anlegen neuer Device Einträge reboot -- -r
  11. Verkabelung der LWL Kabel zu Array "unten"
  12. Anlegen neuer Device Einträge reboot -- -r
  13. mit dem Kommando luxadm probe sollten beide Array zu sehen sein.
  14. mit dem Kommando luxadm display oben bzw. luxadm display unten nachschauen ob auch alle Platten erkannt werden.
  15. Abschalten der Routerfunktion durch touch /etc/notrouter
 Schritt C.

[Installation der eigentlichen Cluster Software]

Cluster, VxVM, VxFS

  1. Installation der StoreEdge Volumen Manager 2.6 Software (VxVM)
  2. Installation des Veritas File System (VxFS)
  3. Installation der Clustersoftware mit dem Kommando scinstall
  4. Installation der komplette Cluserpatche laut DOCUMENT ID: 19224 . Immer die aktuelle 19224 aus dem Internet besorgen, oder besser vom TAM zuschicken lassen.

Konfiguration Veritas Volumen Manager (VxVM)

  1. Alle Pakete von der CD "Sun StorEdge Volume Manager 2.6" installien.
  2. Bei dem Aufruf von vxinstall gibt es folgendes zu beachten
    - Nur die root Platte c0t0d0 darf encapsuliert werden.
    - NUR die root mirror disk c0t8d0 in die rootdg packen. Spiegelname sinnvoller weise rootmir - Rest der Platten (im Array) nicht anfassen !
  3. DMP abschalten
    - Löschen des vxdmp Treibers vom Kernel rm /kernel/drv/vxdmp
    - Löschen der DMP Files rm -rf /dev/vx/dmp /dev/vx/rdmp
    - Anlegen neuer Softlinks ln -s /dev/dsk /dev/vx/dmp ; ln -s /dev/rdsk /dev/vx/rdmp
    - Löschen des Treibers aus der /etc/system Zeile forceload: drv/vxdmp

Konfiguration Veritas File System (VxFS)

  1. Die Software VxFS entpacken, und mit pkgadd einspielen.
    Lizensierung nicht vergessen, sonst lauft nach 30 Tagen der Cluster nicht mehr :-)

 Schritt D.

[Einträge in /etc/system]

Anpassen der /etc/system

  1. Neuer Eintrag: exclude:lofs
  2. Ausschalten des IP-Striping (Solaris 2.6+ QFE) set ip:ip_enable_group_ifs=0
  3. Evtl. weitere Anpassungen z.B. für die Oracle Datenbank
    set shmsys:shminfo_shmmax=240000000 (=physical mem size)
    		 set semsys:seminfo_semmap=250
    		 set semsys:seminfo_semmni=500
    		 set semsys:seminfo_semmns=1100
    		 set semsys:seminfo_semmsl=1000
    		 set semsys:seminfo_semmnu=500
    		 set semsys:seminfo_semume=100
    		 set shmsys:shminfo_shmmin=200
    		 set shmsys:shminfo_shmmni=200
    		 set shmsys:shminfo_shmseg=200
  4. reboot
 Schritt E.

[Konfiguration der NAFO Gruppen und der shared CCD]

NAFO (Network Adapter Fail Over)

Die Nafo Gruppen werden mit pnmsetup generiert.
Sie sollten wie folgt konfiguriert sein:
Anzahl der PNM Backup Guppen1
Backup Group Number0
Network Adapterqfe0 qfe4
Hierbei ist zu beachten dass das erste Adapter (qfe0) vorher konfiguriert und UP ist. Das zweite (hme0) darf nicht konfiguriert sein, sondern wird im Fehlerfall von der Clustersoftware hochgezogen.
Checken kann man die NAFO konfiguration mittels pnmstat -l oder mittels pnmstat -c nafo0

shared CCD

Jeder Node hat eine eigene Kopie der Cluster Configurations Datenbank ccd.database Wenn diese auf beiden Nodes unterschiedlich sind hat man keine Change den Cluster anzustarten. Aus diesem Grund legt man eine dritte Kopie dieser Datei an, die sogenannte shared CCD.
  • kann man nur in einem zwei Node Cluster verwenden.
  • unterstützt kein SDS sondern nur VxVM
  • Änderungen am Cluster sind nur möglich wenn beide Nodes oben sind.

Das Kommando zum Anlegen der shared CCD lautet auf beiden Nodes sccconf shcluster -S cxtxdx xxx ist hier der Plattenname.
Danach wird auf einem Node mit dem Befehl confccdssa die shared CCD aktiviert.
Falls man die shared CCD ausschalten will, kann man das mittels scconf shcluster -S none

Starten des Cluster

Wenn bis hier alles erfogreich war, kann man erstmals den Cluster anstarten.
Auf dem Node A mit dem Befehl scadmin startcluster shb03db1 shcluster
Danach nimmt man Node B in den Cluster auf mit scadmin startnode
Zum Schluss kann man den Cluster mittels hastat checken.
 
 Schritt F.

[Anlegen von disk group und logical hosts]

disk group

Mit der GUI vom Veritas Volumen Manager wird aus den übrigen 3 Platten des ersten Arrays ein Stripe über alle 3 Platten gebildet. Als nächstes werden die 3 Platten des zweiten Arrays diesem als Spiegel zugeordnet. Danach werden die Platten in 2 Datenpartitionen eigeteilt:
NameGrößewelche Festplattenmountpoint
vol0110 MBstripeset über alle 3 Disk von Array "unten" gespiegelt auf "oben"/export/home
vol0248 MBstripeset über alle 3 Disk von Array "unten" gespiegelt auf "oben"/daten/1
vol0348 MBstripeset über alle 3 Disk von Array "unten" gespiegelt auf "oben"/daten/2
Die Diskgruppe erhält den Namen daten

locical host

Ein logical host ist die virtuelle Workstation unter der die Oracle Datenbank aus dem Netzwerk zu sehen ist. In diesem Fall qshe03
Angelegt wird der logische host mit dem Kommando:
scconf shcluster -L qshb03 -n qshb03db1,qshb03db2 -g daten -i hme0,qfe1,qshb03 -m
Auf jedem Node muss nun das admin file system angelegt werden, mit:
scconf shcluster -F qshb03 daten
Damit geht der logische Host automatisch Online

Datenbank Service

Jetzt kann der eigentliche Service installiert werden. z.B. eine Oracle Datenbank. Ideal ist wenn die Oracle Binarys auf beiden Nodes lokal liegen und die eigentliche Datenbank auf der oben erstellten Diskgroup liegt. Also der Cluster wird auf Node1 geswitcht. Danach kann man oracle installieren z.B. nach /opt/oracle
Nach erfolgreicher Installation wird der Service mittels hareg -s -r oracle -h qshb03 registriert. Im Anschluss kann der Service gestartet werden hareg -y oracle
Zum Schluss muss jede Datenbankinstanz einzeln im Fehlermonitor eingetragen werden.
haoracle insert SID qshb03 60 10 120 300 scott/tiger /var/opt/oracle/initSID.ora LISTENER.qshb03
Ach so, das funktioniert nur wenn der Datenbank admin vorher auch einen entsprechenden Testuser (User: scott, PW: tiger) angelegt hat. Jetzt kann man den Service mit haoracle start SID starten und Feierabend machen.