Ja mislim da je ideja odlična, ali gotovo neprovediva u praksi. Najveći nedostaci su subjektivnost, nepreiznost i nepouzdanost.
1.) Subjektivnost se može donekle (!) eliminirati kolektivnim ocjenjivanjem. Svi ljubitelji ubuntoida mogu dati uglavnom pozitivne ocjene svojim favoritima, a negativne npr. derivatima Fedore. Kod ljubitelja Fedore može biti obrnuto. Pogledajte samo situaciju na forumu - nije samo problem fan klubova i ideloških razlika distri i okruženja, već i ekstrema (kako ocjenit npr. LFS, Slackware, WM-ove?).
Ja imam svoje razloge zašto zaobilazim Shell i KDE, a pišem o nečem manje poznatom. Dovoljno sam širokih i liberalnih nadzora da shvatim važnost nečega ili potrebu za nečim i to primjereno pozdavim (npr. Lutherus na Slacku bez grafičkog sučelja, ekipu koja gradi LFS), ali ne bih se pouzdavao u ostale. Dakle, čak i ako se umanji subjektivnost, dobije se pristranost.
2.) Ne postoji čvrsta skala mjerenja. Ako je neka distra meni uredno prepoznala sav hardver i glatko se instalirala, to ne znači da će i nekom drugom (ako zanemarimo greške u koracima - nepotpun md5sum, greške pri prženju, greške pri instaliranju na live USB, greške pri bootanju, neispravan/nepouzdan hardver). To nije komad hardvera da ga možeš testirat standardiziranim benchmarcima u različitim uvjetima i namjenama, točne rezultate izrazit u mjernim jedinicama, pa sve stavit u usporedne grafikone.
Možda se pokaže kako neki derivat radi bolje od osnovne distre iz koje je nastao - što u tom slučaju? Tko ima priliku isprobavati neku distru u svrhu servera? Ja sigurno ne! Što ako ju koristiš mimo "namijenjene" svrhe - svakodnevnu desktop distru preurediš u improvizirani server, multimedijsku koristiš kao uredsku i sl.? Dakle, u svemu navedenom je problem nepreciznosti i nepouzdanosti.
3.) Primjenjivost i svrha. Ovo bi stvarno pomoglo početnicima i distrohopperima u potrazi za "onom pravom". Sigurno bi se i razbili određeni mitovi. Neke bi pale, druge bi se možda i uzdigle. Rezultate stavit na wiki. Ipak, mislim da je to dugoročno strašno puno posla (kvantitativno i kvalitativno) radi standardizacije nečega što jako oscilira u kvaliteti (spominjali ste npr. Suse 11 loš, verzija 12.2 vrhunska).
U osnovi, mislim da je ideja vrhunska i iskreno skidam kapu!
S druge strane, smatram da je to vrlo teško primjenjivo, a krajnji ishod upitan.