Voici un outil impressionnant et utile : SIKULI.

Sikuli est un outil de création de script d’automatisation et de test d’IHMs basé sur des captures d’écran.

Sikuli automatise tout ce que vous pouvez voir à l’écran sans utiliser d’API interne du système.
Vous pouvez contrôler une page web, une application Windows/Linux/OS X ou encore une appli iphone ou android via VNC.

Le plus simple pour bien comprendre est de regarder une démo :

Sikuli est un projet de recherche open source développé au User Interface Design Group du MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) .

[Project SIKULI ]