Exintel Ingeniero Slams Prácticas de evaluación comparativa de manzana M1 equivocada y defectuosa

Apple ha recibido muchos elogios por su sistema en chip (SoC) M1, el primer diseño personalizado de Apple Silicon de la compañía específicamente para sus computadoras portátiles MacBook y computadoras de escritorio Mac Mini. El M1 también representa el comienzo del plan de transición de dos años de Apple para alejarse de las CPU Intel. Esto ha llevado a un mayor interés en el rendimiento de referencia, particularmente en cómo el M1 basado en Arm se compara con el silicio Intel x86 tradicional. También sucede que esto ha llevado a un exingeniero distinguido de Intel a resaltar fallas en las prácticas comunes de referencia que podrían pintar una imagen más favorable del M1, y específicamente de su rendimiento IPC (instrucciones por reloj/ciclo), de lo que tal vez merezca.
Comparar el rendimiento de IPC entre diferentes chips puede ser complicado. A veces se malinterpreta que IPC no es lo mismo que rendimiento de subproceso único. En pocas palabras, IPC es una medida de lo que un procesador puede lograr en un solo ciclo de reloj. Y para comparar IPC entre dos procesadores diferentes, las velocidades de reloj, por supuesto, deben ser idénticas, así como las cargas de trabajo.
Sin embargo, las arquitecturas de los procesadores son complejas, en parte debido a los diferentes niveles de caché. Aquí es precisamente donde Franois Piednol, un ex ingeniero de Intel de alto nivel durante dos décadas, dice que el M1 puede tener una ventaja injusta en ciertos puntos de referencia enlatados y potencialmente conducir a conclusiones engañosas sobre IPC.

En un video de 5 minutos publicado en YouTube, Piednol señala que el M1 tiene un caché L1 muy grande, que puede inflar artificialmente el "IPC medido". ¿Cómo es eso? Algunos puntos de referencia pueden caber completamente en la caché y, en esos casos, los procesadores modernos con cachés grandes pueden mostrar puntajes más altos que no son necesariamente indicativos del verdadero rendimiento de IPC.

"Por lo general, cuando intenta estimar la instrucción por reloj, lo que hace es aislar la instrucción por reloj del subsistema de memoria. Pero allí, el rendimiento general del sistema es mejor porque tiene un L1 más grande", explica Piednol. .

Según Piednol, esto lleva a las personas a "llegar a una conclusión equivocada por razones equivocadas". La ventaja de caché L1 que tiene el M1 sobre muchos procesadores x86 significa que ciertos puntos de referencia se ejecutan completamente en caché en el primero y solo parcialmente en caché en el segundo.
"Así que en realidad no estás midiendo IPC, estás midiendo el rendimiento del sistema" , dice.
Piednol también afirma que parte del problema es que algunos algoritmos de referencia han estado en uso durante una década o más (Spec2006, POVRay e incluso Geekbench han existido durante mucho tiempo) y son viejos y obsoletos, no hacen hincapié en las arquitecturas modernas de CPU como cargas de trabajo de aplicaciones modernas del mundo real.

Esta es la razón por la que Intel ha estado impulsando los puntos de referencia RUG (Guía de uso representativo) últimamente. Consisten en conjuntos de pruebas comparativas empaquetados y preescritos que Intel prepara para la prensa y la comunidad de analistas, y están destinados a representar casos de uso del mundo real utilizando paquetes de software populares comunes como Office 365, Adobe Premier y Photoshop. Puede recordar que incluimos RUG (junto con otros puntos de referencia) en nuestro primer vistazo a una computadora portátil Tiger Lake de preproducción en septiembre.
Lo que agrava el problema con las comparaciones precisas de IPC es que no tenemos muchas aplicaciones del mundo real de manzanas con manzanas que puedan compararse fácilmente entre plataformas, que tendrán cargas de trabajo idénticas. E incluso entonces, si M1 tiene que ejecutarse en la emulación de Rosetta, aunque todavía es del mundo real y lo que experimentaría un usuario, obviamente no es el mismo campo de juego que una aplicación compilada por Apple M1.
En resumen, no todos los puntos de referencia enlatados muestran el M1 bajo la luz adecuada en comparación con otras arquitecturas x86, en comparación con el rendimiento real de la aplicación. Para ser claros, nada de esto significa que los sistemas M1 estén siendo tergiversados ​​en sus capacidades de rendimiento reales. Como señala Piednol, "Apple tiene un chip muy rápido porque tiene un L1 muy grande, pero no concluya que el IPC es sobresaliente por esto, porque todos los puntos de referencia están siendo engañados en este momento".
¿Tiene alguna idea sobre lo que Franois tenía que decir? Compártalos con todos en la sección de comentarios a continuación.

Ir arriba