Wozu Selenium Grid?

Man kann Selenium Tests über einen Selenium RC Server automatisiert ausführen. Wer das schon mal gemacht hat, weiß das dieser Prozess sehr lange dauern kann. Insbesondere wenn man verschiedene Browser testen möchte und die Tests mit Dataprovidern verwendet. Das bedeutet das die Tests nicht nur einmal, sondern mehrmals laufen und dann kommen schnell ein paar Stunden zusammen. Diese Zeit ist besonders unangenehm wenn man die Software ausliefern möchte und lange auf die Test Ergebnisse warten muss.

Selenium Grid behebt das Problem in dem es wie eine Art Load Balancer arbeitet. Es existiert ein Hub der genau wie der RC Server die Test Kommandos entgegen nimmt.  Der Hub verhält sich für den Test Client (z.Bsp.: PHPUnit) genauso wie der Selenium RC Server. An den Hub können sich verschieden RC Server Instanzen registrieren. Diese Server können auch auf ganz anderen Host Systemen oder Virtuellen Hosts laufen. Somit kann man auch wirklich alle Browser Varianten testen.

Installation

Man benötigt einen Host der vom Test Client erreichbar ist. Also der Rechner auf der PHPUnit oder JUnit läuft. Auf diesem Host muss Ant installiert sein um den Grid Hub zu starten. Selenium Grid muss man nur herunterladen und entpacken.

Hub Starten

Zum Starten des Hubs wechselt man ich den Grid Verzeichniss und startet den Hub über die buid.xml

ant launch-hub

Damit ist der Hub auf diesen Host unter localhost:4444 erreichbar.

RC Server starten

Den RC Server kann man entweder auf dem dem gleichen Host starten.

ant launch-remote-control -Dport=5555

oder auf einen anderen Host oder VHost

ant launch-remote-control -Dport=5555 -Dhost=vhost1 -DhubURL=http://grid-hub:4444

Host: Das ist die Adresse vom Hub aus gesehen zum Host auf dem der RC Server liegt.

HubUrl:  Das ist die Adresse zum Hub vom Host mit dem RC Server.

Sinnvollerweise betreibt man die RC Server auf getrennten Hosts.

RC Server Einstellungen

Man kann den RC Server der unter Grid läuft genauso anpassen wie einen normalen RC Server. Um beispielsweise ein spezielles Firefox Profil zu verwenden kann man beim Starten des RC Servers noch das Selenium Argument firefoxProfileTemplate mit dem Ant Property seleniumArgs angeben.


ant launch-remote-control -Dport=5555 -DseleniumArgs="-firefoxProfileTemplate C:\selenium_ff"

Umgebungen

Der RC Server unter Grid läuft im Gegensatz zum normalen RC Server immer nur mit einer Umgebung. Standardmäßig ist das “*firefox”. Um eine andere Umgebung zu starten muss das Argument environment angeben.

-Denvironment="*iexplore"

PHPUnit und Grid

Leider ist es nicht möglich den vollen Nutzen aus Grid zu ziehen wenn man mit PHPUnit arbeitet. Da PHPUnit nicht in der Lage ist die Tests parallel auszuführen.

Man kann aber dennoch die Tests mit dem –filter oder –group Argument aufteilen und diese dann parallel ausführen. Hierbei muss man aber dann die Ergebnisse aus den verschiedenen Ausführungen zusammenfassen.

Auf jeden Fall lohnt sich aber die Aufteilung für verschiedene Browser.

Absolut notwendig wird Grid wenn man verschiedene Build Prozesse hat die einen Selenium Server nutzen.

Fazit

Grid lässt sich relativ einfach aufsetzen und erhöht die Test Performance deutlich.

1. Mann kann nur alle 30 Tage einen Auftrag absenden.
2. Es können pro Auftrag maximal 60 Bilder bestellt werden.
3. Auf den Bildern ist Werbung.

Die Werbung auf den entwickelten Bildern ist leider sehr present, so das ein Wegschneiden oft gar nicht geht. Teilweise ist die Werbung nicht nur neben den Bild, sondern als Logo auf dem Bild am Rand.

Hier ein paar Beispiele:

Schön gemacht ist aber das Interface zum Hochladen der Bilder. Die gesamte Oberfläche ist in Flash gemacht und sehr performant. Daran könnten sich andere Anbieter ein Beispiel nehmen.

Aktuell bekommt man nur einen Zugang per Einladung. Ich habe noch 3 Einladungen frei, falls jemand dass auch mal ausprobieren möchte.

Diese werden dann auf den Chart angezeigt und man kann sie damit gut vergleichen.

Darüber hinaus gibt es noch die Möglichkeit eigene Segmente zu erstellen. Die Segmente erstellt man in mittels einer komfortablen Drag & Drop Oberfläche.

Man kann die Segmente sehr genau einstellen. Wenn man dieses Segment gespeichert hat kann man es in dem Chart auswählen und anzeigen lassen.

Seit kurzem haben die Macher von Springloops das Automatische Deployment eingebaut. Man kann jetzt individuell für jeden Ziel Server einstellen ob die aktuellste Version automatisch oder manuell deployed werden soll.

Besonders praktisch ist das, wenn man einen Testserver aufgesetzt hat. Normalerweise setzte ich immer einen Test Server und einen Live Server in Springloops auf. Das geht auch mit ganz simplen Webhosting Packeten. Einfach ein anderes Zielverzeichniss auf den Server auswählen und eine Test Domain darauf konfigieriern.

Bei diesen Testserver macht ein automatisches Deployment Sinn und spart die Klickerei. Man kann es auch gut für die Continuus Integration verwenden wenn man auf diesen Testserver Per Cronjob regelmäßig die Tests ablaufen lasst.

Das schöne an Springloops ist dass man keinerlei Administratoren Kenntnisse braucht und auch keinen eigenen Webserver mit Root Rechten.

Es gibt einige praktische Befehle, wie das Vergleichen von Verzeichnissen oder der synchrone Verzeichniswechsel.

Gut finde ich Funktion zum Öffnen eines Terminal Fenster. Dieses ist eine Art Shell Konsole das mit den den Benutzerdaten der aktuellen Sitzung geöffnet wird und auch in dem Verzeichnis, dass man über die Explorer Ansicht geöffnet hat. Das erspart eine doppelte Passwort Eingabe und das Suchen in den Verzeichnissen.

Hier kann man alle Shell befehle eingeben und kann das normal Copy And Paste von Windows verwenden.

Verzeichnisse die man öfters benötigt kann man als Lesezeichen markieren und spart sich ein erneutes Suchen der Verzeichnisse.

Besonders einfach lassen sich die praktischen Symlinks anlegen. Diese werden dann auch gesondert gekennzeichnet.

Das Tool ist kostenlos und kann hier heruntergeladen werden.

1. Analytics-Einstellungen
2. Profileinstellungen
3. Profilinformationen bearbeiten

Die Option Website-Suche protokollieren einschalten. Dort kann man noch den Namen des Such Feldes eingeben und optional auch einen Parameter für die Kategorien.

In den Berichten erscheint dann unter Content -> Website-Suche eine Auswertung der Daten. Das gibt einen Informationen über die Verwendung der Suche auf der eigenen Webseite ohne dass man selber eine Statistik einzubauen braucht. Beispielswiese zeigt die Zeit nach Suche an, ob die Benutzer mit den Suchergebnissen was anfangen können.

Man sieht auch die Verteilung der Besuche mit Suche und ohne.

Trotzdem kann ich nur jedem empfehlen die Suchvorgänge zu protokollieren. Am wichtigsten sind meiner Meinung nach  die Suche ohne Treffer. Diese zeigen einen Fehler im eigenen Such Algorithmus oder einfach eine unvorhergesehene Verwendung der Suche durch den Benutzer.

Man startet nur ein einziges Tool und kann über Tabs die Seiten in verschiedenen Versionen testen. Das Tool lässt sich bedienen wie ein normaler Internet Explorer. Es hat Lesezeichen und die normalen Navigations-Funktionen.

Das Tool ist kostenlos und kann bei My DebugBar heruntergeladen werden.