Vad finns i ett benchmark? Detta är en relevant fråga som alla användare måste ställa sig, för om du inte vet vad ett riktmärke faktiskt testar och hur det relaterar till den verkliga världen, är poängen meningslösa. Idag har AMD meddelat att de säger upp sig från BAPCo på grund av en långvarig tvist om viktningen av poäng inom SYSmark-sviten. AMD refererar specifikt till SYSmark 2012 (SM12), men det har förekommit klagomål tidigare och den senaste utgåvan är tydligen det ökända sugröret som bröt kamelens rygg.
Du kan läsa mer om beslutet om chefsmarknadschef (CMO) Nigel Dessaus blogg, men det här tillkännagivandet kommer vid en intressant tidpunkt eftersom BAPCo precis skickade kopior av den slutliga SM12-versionen till oss. Vi har inte haft en chans att köra sviten ännu, och vi kommer fortfarande att titta på resultaten och se hur AMD- och Intel-plattformarna jämförs någon gång, men det ser ut som att vi har en förutfattad slutsats: Intel kommer att komma ut ett huvud. Vad vi verkligen behöver undersöka är varför Intel får bättre poäng.
Om du har läst AnandTech hur länge som helst, kommer du att veta att vi lägger mycket mer vikt vid verkliga riktmärken snarare än syntetiska tester, men vissa uppgifter kan vara mycket svåra att testa på ett meningsfullt sätt. Hur mäter du dagliga uppgifter som att surfa på nätet på ett meningsfullt sätt när de flesta processorer är 95 % inaktiva när de utför den uppgiften? När vi verkligen tittar på marknaden just nu kan vi i många fall dra slutsatsen att nästan vilken dator som helst kommer att vara tillräckligt snabb för 90 % av användarna. Om du vill surfa på Internet, skriva e-post, arbeta i Office-program, se några filmer, lyssna på musik, etc. kan du göra det på allt från en lågmäld AMD Brazos netbook till ett hex-core monstersystem. Ja, vi utelämnade Atom, eftersom det finns vissa områden där det kommer till korta — specifikt visar sig vissa filmformat vara för mycket för den nuvarande Atom-plattformen, särskilt om du tittar på HD H.264-innehåll (t.ex. YouTube och Hulu).
När man läser igenom AMD:s tillkännagivande och Nigels blogg är det ganska tydligt vad AMD är ute efter: de vill att GPU:n ska spela en mer framträdande roll i mätningar av systemets övergripande prestanda. Å ena sidan kan vi säga att AMD helt enkelt försöker få riktmärken för att gynna sina APU:er, eftersom Brazos och Llano lätt överträffar Intels konkurrens när det kommer till grafik- och videokunskaper. Detta skulle säkert vara sant, men då måste vi också överväga vad användarna faktiskt gör med sina datorer. SYSmark har alltid inkluderat en mängd olika tester, och det kan säkert vara användbart att veta hur snabb din dator är med avseende på Excel-prestanda. AMD hävdar dock att en oproportionerlig vikt ges till vissa tester, med omnämnande av optisk teckenigenkänning och filkomprimeringsaktiviteter i synnerhet.
Vi har inte hela SM12 whitepaper ännu, men vi kan titta på lista över applikationer som testas, och några saker sticker genast ut. Det finns två webbläsare i listan, men båda versionerna är nu föråldrade. Internet Explorer 8 har ersatts av Internet Explorer 9 och Firefox 3.6 har ersatts av Firefox 4.0—med Firefox 5 precis runt hörnet. Utan nyare webbläsare är HTML5 i princip opröstad av SM12, och även om vi förstår att SM12 har varit under utveckling ett tag, känns det malplacerat för något som kallar sig 2012 för att inkludera mestadels 2010-applikationer. Med tanke på att IE9 och FF4 båda går över till GPU-accelererade motorer, skulle AMD säkert ha dragit nytta av användningen av de senaste versionerna. De återstående ansökningarna ser rimliga ut, men återigen har vi ingen information om viktning av poäng, så vi får se hur resultaten ser ut.
I slutändan är det viktigaste att ta bort från allt detta att, precis som PCMark, 3DMark, Cinebench, SunSpider, etc. riktmärken vi rutinmässigt hänvisar till, är SYSmark 2012 bara ett verktyg till för att analysera systemprestanda. Det kommer att bli intressant att se hur andra element – som närvaron eller bristen på en SSD – påverkar poängen. Enligt vår åsikt skulle de flesta användare tjäna mycket mer på att köra något som Llano med en SSD i motsats till Sandy Bridge med en hårddisk, så CPU/GPU/APU är inte de enda faktorerna, men det beror fortfarande på din avsedda användning. Om du kör en server kommer uppenbarligen kraven på systemet att skilja sig mycket från den genomsnittliga hemdatorn. Multimediaproffs som spenderar mycket tid i Adobe Photoshop och/eller Premiere har också olika behov.
Har AMD rätt? Är heterogen datoranvändning (t.ex. CPU och GPU som arbetar tillsammans) viktigare nu än rå CPU-prestanda, eller bevisar SYSmark12 bara vad vi redan vet: Sandy Bridge är riktigt snabb? Låt oss veta vad du tycker, men som alltid kom ihåg att när du tittar på benchmark-diagram, ägna en minut åt att tänka på vad staplarna faktiskt representerar. Det fullständiga pressmeddelandet finns nedan, men återigen kan du hitta betydligt mer detaljer i Dessaus blogg.
Uppdatering: Det visar sig att AMD inte är den enda parten som nyligen har lämnat BAPCo-konsortiet. Vi har just bekräftat med NVIDIA att de också har lämnat BAPCo-konsortiet. Ingen anledning angavs.
Uppdatering 2: BAPCo har släppt ett uttalande i gengäld. Konsortiet konstaterar att AMD godkände 80 % av utvecklingsmilstolparna och att AMD aldrig hotades av utvisning. Hela uttalandet bifogas nedan.
Uppdatering 3: Vi har äntligen fått officiell bekräftelse (som ryktats tidigare) att VIA också har lämnat konsortiet. De har skickat ett kort uttalande till Semiexakt som vi har tagit med nedan. Grunden för deras klagomål är ungefär densamma som AMD:s: de anser inte att SYSMark 2012 speglar den verkliga användningen.
AMD kommer inte att stödja SYSmark 2012 Benchmark
— AMD skiljs från associering med Industry Group BAPCo —
SUNNYVALE, Kalifornien — 21, 2011 — AMD (NYSE: AMD) meddelade idag att de inte kommer att stödja SYSmark 2012 Benchmark (SM2012), som publiceras av BAPCo (Business Applications Performance Corporation). Tillsammans med indragningen av stödet har AMD sagt upp sig ur BAPCo-organisationen.
“Tekniken utvecklas i en otrolig takt, och kunder behöver tydliga och pålitliga mätningar för att förstå den förväntade prestandan och värdet av sina system”, säger Nigel Dessau, senior vice president och Chief Marketing Officer på AMD. “AMD tror inte att SM2012 uppnår detta mål. Därför kan AMD inte stödja eller stödja SM2012 eller förbli en del av BAPCo-konsortiet.”
AMD kommer endast att stödja riktmärken baserade på verkliga datormodeller och mjukvaruapplikationer, och som ger användbar och relevant information. AMD anser att benchmarks bör konstrueras för att ge opartiska resultat och vara transparenta för kunder som fattar beslut baserat på dessa resultat. För närvarande utvärderar AMD andra benchmarking-alternativ, inklusive att uppmuntra skapandet av ett industrikonsortium för att upprätta ett öppet benchmark för att mäta övergripande systemprestanda.
AMD uppmanar alla som vill ha mer information om konstruktionen och poängmetoden för SM2012-riktmärket att kontakta BAPCo. För mer information om AMD:s beslut att lämna BAPCo, läs AMD:s verkställande blogg författad av Nigel Dessau.
BAPCo® bekräftar öppen utvecklingsprocess för SYSmark® 2012
SAN MATEO, Kalifornien—(BUSINESS WIRE)—Business Applications Performance Corporation (BAPCo®) är ett ideellt konsortium som består av många av de ledande inom det högteknologiska området, inklusive Dell, Hewlett-Packard, Hitachi, Intel, Lenovo , Microsoft, Samsung, Seagate, Sony, Toshiba och ARCintuition. I nästan 20 år har BAPCo tillhandahållit verkliga tillämpningsbaserade riktmärken som används av organisationer över hela världen. SYSmark® 2012 är den senaste utgåvan av det premiärbaserade applikationsbaserade prestandariktmärket. Applikationer som används i SYSmark 2012 valdes ut baserat på marknadsundersökningar och inkluderar Microsoft Office, Adobe Creative Suite, Adobe Acrobat, WinZip, Autodesk AutoCAD och 3ds Max med flera.
Advanced Micro Devices (AMD) var tills nyligen en långvarig medlem i BAPCo. Vi välkomnade AMD:s fulla deltagande i den tvååriga utvecklingscykeln av SYSmark 2012, AMD:s ledande roll i att skapa den utvecklingsprocess som BAPCo använder idag och för att tillhandahålla expertresurser för att utveckla innehållet i arbetsbelastningen. Varje medlem i BAPCo får en röst på eventuella förslag från medlemsföretag. AMD röstade för över 80 % av SYSmarks utvecklingsmilstolpar 2012 och fick stöd av BAPCo i 100 % av SYSmark 2012-förslagen de lade fram för konsortiet.
BAPCo noterar också för protokollet att BAPCo, tvärtemot AMDs falska påstående, aldrig hotade AMD med uteslutning ur konsortiet, trots tidigare brott mot dess skyldigheter gentemot BAPCo enligt konsortiets medlemsavtal.
BAPCo är besviken över att en före detta medlem i konsortiet återigen har valt att bryta mot sekretessavtalet de tecknade, i ett försök att avskräcka kunder från att använda SYSmark för att bedöma prestanda hos deras system. BAPCo anser att prestandan som mäts i vart och ett av de sex scenarierna i SYSmark 2012, som är baserad på forskningen om medlemskapet, ganska återspeglar den prestanda som användarna kommer att se när de fullt ut använder de inkluderade applikationerna.
VIAs uttalande om att lämna BAPCo-konsortiet
VIA bekräftade idag rapporter om att vi har lämnat vår avskedsansökan till BAPCo. Vi är övertygade om att testerna för benchmarking-applikationer som utvecklats för SYSmark 2012 och EEcoMark 2.0 inte exakt återspeglar verkliga PC-användningsscenarier och arbetsbelastningar och känner därför att vi inte längre kan vara medlem i organisationen.
Vi hoppas att branschen kan anta en mycket mer öppen och transparent process för att utveckla rättvisa och objektiva riktmärken som exakt mäter verkliga PC-prestanda och är engagerade i att arbeta med företag som delar vår vision.
