Benchmark

benchmark

Et benchmark er en standardiseret test eller sæt af tests, som man bruger til at måle hvor godt et system eller en metode fungerer. Det kan være en samling opgaver, spørgsmål eller datasæt som alle deltagere eller programmer prøver at løse under de samme betingelser. Resultaterne giver en sammenlignelig score, så man kan se hvem der klarer sig bedst eller hvor stor udviklingen er over tid. Benchmarks kan være tekniske, som måler hastighed og nøjagtighed, eller mere åbne og komplekse, som måler brugeroplevelse. De er vigtige, fordi de hjælper udviklere, forskere og beslutningstagere med at evaluere fremskridt og vælge løsninger. Et godt benchmark er repræsentativt for virkelige opgaver, let at gentage og vanskeligt at snyde med. Men man skal passe på: et benchmark kan også begrænse innovation, hvis systemer kun optimeres til at klare netop den test frem for reelle behov. Derfor supplerer mange med flere benchmarks eller menneskelig evaluering for at få et mere nuanceret billede. Sammenligninger baseret på benchmarks kan også gøre det lettere at finde styrker og svagheder i forskellige metoder.