Wozu Selenium Grid?

Man kann Selenium Tests über einen Selenium RC Server automatisiert ausführen. Wer das schon mal gemacht hat, weiß das dieser Prozess sehr lange dauern kann. Insbesondere wenn man verschiedene Browser testen möchte und die Tests mit Dataprovidern verwendet. Das bedeutet das die Tests nicht nur einmal, sondern mehrmals laufen und dann kommen schnell ein paar Stunden zusammen. Diese Zeit ist besonders unangenehm wenn man die Software ausliefern möchte und lange auf die Test Ergebnisse warten muss.

Selenium Grid behebt das Problem in dem es wie eine Art Load Balancer arbeitet. Es existiert ein Hub der genau wie der RC Server die Test Kommandos entgegen nimmt.  Der Hub verhält sich für den Test Client (z.Bsp.: PHPUnit) genauso wie der Selenium RC Server. An den Hub können sich verschieden RC Server Instanzen registrieren. Diese Server können auch auf ganz anderen Host Systemen oder Virtuellen Hosts laufen. Somit kann man auch wirklich alle Browser Varianten testen.

Installation

Man benötigt einen Host der vom Test Client erreichbar ist. Also der Rechner auf der PHPUnit oder JUnit läuft. Auf diesem Host muss Ant installiert sein um den Grid Hub zu starten. Selenium Grid muss man nur herunterladen und entpacken.

Hub Starten

Zum Starten des Hubs wechselt man ich den Grid Verzeichniss und startet den Hub über die buid.xml

ant launch-hub

Damit ist der Hub auf diesen Host unter localhost:4444 erreichbar.

RC Server starten

Den RC Server kann man entweder auf dem dem gleichen Host starten.

ant launch-remote-control -Dport=5555

oder auf einen anderen Host oder VHost

ant launch-remote-control -Dport=5555 -Dhost=vhost1 -DhubURL=http://grid-hub:4444

Host: Das ist die Adresse vom Hub aus gesehen zum Host auf dem der RC Server liegt.

HubUrl:  Das ist die Adresse zum Hub vom Host mit dem RC Server.

Sinnvollerweise betreibt man die RC Server auf getrennten Hosts.

RC Server Einstellungen

Man kann den RC Server der unter Grid läuft genauso anpassen wie einen normalen RC Server. Um beispielsweise ein spezielles Firefox Profil zu verwenden kann man beim Starten des RC Servers noch das Selenium Argument firefoxProfileTemplate mit dem Ant Property seleniumArgs angeben.


ant launch-remote-control -Dport=5555 -DseleniumArgs="-firefoxProfileTemplate C:\selenium_ff"

Umgebungen

Der RC Server unter Grid läuft im Gegensatz zum normalen RC Server immer nur mit einer Umgebung. Standardmäßig ist das “*firefox”. Um eine andere Umgebung zu starten muss das Argument environment angeben.

-Denvironment="*iexplore"

PHPUnit und Grid

Leider ist es nicht möglich den vollen Nutzen aus Grid zu ziehen wenn man mit PHPUnit arbeitet. Da PHPUnit nicht in der Lage ist die Tests parallel auszuführen.

Man kann aber dennoch die Tests mit dem –filter oder –group Argument aufteilen und diese dann parallel ausführen. Hierbei muss man aber dann die Ergebnisse aus den verschiedenen Ausführungen zusammenfassen.

Auf jeden Fall lohnt sich aber die Aufteilung für verschiedene Browser.

Absolut notwendig wird Grid wenn man verschiedene Build Prozesse hat die einen Selenium Server nutzen.

Fazit

Grid lässt sich relativ einfach aufsetzen und erhöht die Test Performance deutlich.

Das Tool lässt sich einfach über das Context Menü aufrufen:

Im Editor werden dann die Fehler angezeigt:

Zur Installation sollte man diese Eclipse Update Seite verwenden:

http://www.phpsrc.org/eclipse/pti/

Danach muss man noch die Einstellungen anpassen und die PHP Executable und die PEAR Libary anpassen:

Der Login sieht dann auf der Webseite so aus:

Mit meiner neuen Typo3 Extension rpx lässt sich dieses Feature ganz einfach in die bestehende Typo3 Seite einbinden und ermöglicht einen Frontend Zugang zu der Seite mittels Facebook und co.

Die Extension besteht aus einen Frontend Plugin mit dem man das Login Fenster einbinden kann und einen AuthService der in dem Typo3 System installiert wird und parallel zu anderen Authentivizierungs Mechanismen laufen kann.

Die Extension benötigt nur den API Key und die RPX Domain die beim Erstellen des Accounts auf https://rpxnow.com/ erzeugt wird.

Die Extension ist zwar im Beta Stadium, wurde aber erfolgreich getestet.

Das Selenium Server Paket enthält einige Firefox Erweiterungen in denen eine maximale Kompatibilität zu Firefox 3.5 angegeben wurde. Diese Erweiterungen sind auch mit der Version 3.6 lauffähig, doch man muss die install.rdf Dateien anpassen.

Anleitung zum modifizieren des Selenium RC

1. Entpacke das Java Archiv selenium-server.jar
2. Suche alle Dateien mit dem Namen install.rdf in dem ausgepackten Verzeichnis.
3. Ändere in den Dateien den Wert <em:maxVersion>3.5.*</em:maxVersion> auf <em:maxVersion>3.6.*</em:maxVersion>
4. Erzeuge eine neue jar Datei
   1. Gehe in der Kommando Zeile in das ausgepackte Verzeichnis
   2. Stelle sicher dass das JDK im Pfad vorhanden ist.  (PATH=C:\Programme\Java\jdk1.6.0_18\bin)
   3. Erzeuge die neue Jar Datei: jar -cvfm selenium-server.jar META-INF/MANIFEST.MF *
5. Tausche die alte selenium-server.jar mit der neuen aus.

Darüber hinaus beinhaltet das Eclipse Plugin auch eine Funktion zum schnellen Ausführen von Unit Tests.

Wenn man an einen Unit Test arbeitet kann man einfach einen Button im Eclipse anklicken zum Ausführen des Tests.

Erstmal ist das relativ unspannend, da das selbe passiert wie bei einem Kommandozeilen Aufruf und die Ausgabe nur  unschön in der Eclipse Console erscheint.

Es spart aber immerhin einen Toolwechsel und einige Klicks.

Wirklich praktisch finde ich aber die Auswertung der Fehler im Editor von Eclipse. Dort wird die Stelle wo der Fehler aufgetreten ist als unterstrichener Fehler markiert.

Es wird nicht nur die Stelle im Test markiert sondern Fehler die in den getesteten Code Aufgetreten sind. Wenn dort ein PHP Fehler auftritt oder eine Exception geworfen wird die nicht abgefangen wird, wird diese Stelle markiert. So braucht man nicht anhand der Zeilen Nummern die Stellen suchen.

PHP Fatal error:  Cannot redeclare class

Aus dem Code war kein Grund dafür ersichtlich da alle Dateien mit require_once eingebunden waren. Das Problem lag dabei in der Verwendung von Mock Klassen ohne diese vorher importiert zu haben.

Ich kann mit folgenden Code eine Object der Klasse Example erstellen ohne die original Klasse zu laden.

$object = $this->getMock ( 'Example', array (), array (), '', false );

Wenn danach die original Klasse Example importiert wird, ist diese schon deklariert und es kommt zu diesen Fehler. Abhilfe tut hier ein require_once im Test:

require_once('path/to/Example.php');
$object = $this->getMock ( 'Example', array (), array (), '', false );

Dann klappt es auch mit der Coverage Auswertung.

phpcs --standard=C:\path\to\standard

Wenn man aber bei den PHP-Tools in die Debug Ausgabe schaut wird folgender Befehl ausgeführt

phpcs --standard=C:/path/to/standard

Dadurch findet der CodeSniffer die Dateien nicht.

Ich habe den Bug gemeldet und hoffe das es bald behoben ist.

Als Workaround habe ich den CodeSniffer innerhalb des PEAR Packet angepasst und folgende Zeile ergänzt:

PHP\CodeSniffer.php Zeile 400

$this->standardDir = str_replace('/',DIRECTORY_SEPARATOR,$this->standardDir);

In Eclipse muss man dann noch bei den PHP-Tools Einstellungen die lokale PEAR Libary verwenden.