“Lies, damned lies, and statistics”, het wordt wel vaker gezegd dat je met statistieken alles kan bewijzen. En ook bij het ontwikkelen en testen van software is het van toepassing: degelijke en objectieve benchmarks draaien van je applicatie kan een hele uitdaging zijn. Wist je dat je $PATH variabele bijvoorbeeld de gemeten prestaties kan beïnvloeden?

Zeus vond Andy Georges, postdoc bij ELIS, bereid om hier op donderdag 20 oktober een korte uiteenzetting over te geven. Deze talk gaat door om 19u in leszaal V2, gebouw S9 op campus de Sterre. Een aanrader voor iedereen die binnenkort nog eens benchmarks moet draaien!

Benchmarking vormt een essentieel onderdeel van de experimentele computerwetenschap. Dat het niet evident is om dit op een correcte manier te doen wordt perfect geïllustreerd door de uitspraak ‘lies, damned lies and benchmarks’. De vraag dringt zich op wat er dan precies scheelt aan de methodologieën die worden gehanteerd, als men vaak weinig vertrouwen stelt in de resultaten die worden gepresenteerd. In deze voordracht zullen we een aantal valkuilen blootleggen en suggesties geven om tegemoet te komen aan de meest frequent geformuleerde kritieken. We behandelen o.a. de volgende onderwerpen: waarom benchmarken we, hoe verkrijgen we degelijke meetresultaten, hoe verwerken we deze data en hoe stellen we ze op een correcte manier voor.

Update: de slides kan je terugvinden op Andy zijn website.