La mentira de DeepSeek con su R1 sale a la luz: necesitó 1,6 mil millones y más de 50.000 GPU de NVIDIA para IA, un coste total 400 veces más alto

La empresa DeepSeek llegó al mercado con su IA para destrozar todo lo que los gigantes de EE.UU. habían hecho con un personal y recursos muy inferior desde China. Lo que a más de uno le escamó al principio, viendo el potencial de dicha IA R1, lo pasó por alto, puesto que estaba al nivel de GPT4 o incluso por encima. Pero llegaron los rumores, ese "runrun" que invadió Wall Street y que llegó incluso a La Casa Blanca, para finalmente, un informe desde SemiAnalysis de mano del famoso Dylan Patel, AJ Kourabi y como no, Doug O'Laughliny, luego confirmado, desmonta la mentira de DeepSeek y su IA R1 con referente a las GPU y hardware usados.

Nuestro país es conocido por sus sabios refranes, y usando algunos, una vez más, podemos decir que "nadie da duros a cuatro pesetas", y el ya famoso "cuento chino". Los dos se cumplen en esta ocasión y aquellos que dudaron de que los costes de la compañía china eran un despropósito tendrán ahora la razón, y los que criticaron a NVIDIA, ahora tendrán que entonar eso del "mea culpa".

La mentira de DeepSeek: de 6 millones de dólares en costes con 2.048 GPU para entrenar a su IA, costar 400 veces más

Y es que las cifras son de auténtico disparate por lo abultadas que son, evidenciando que lo que querían desde China es hundir a las principales compañías americanas. El informe indica que DeepSeek se hizo con una cantidad impresionante de hardware americano, donde parte se pudo adquirir antes de la llegada de las restricciones, pero el resto... Digamos que La Casa Blanca lleva días investigándolo.

Para poner contexto: 10.000 NVIDIA A100, otras 30.000 H20 para inferencia, más de 10.000 H800 y nada menos que otras 10.000 H100, siendo hasta hace nada lo mejor de lo mejor de los verdes, y más caro obviamente.

Las cifras no son totalmente precisas, y por ello, se estipula un margen amplio, que va desde las 50.000 unidades en total hasta las 60.000 nada menos. ¿Es mucho o es poco? Comparativa rápida para dar contexto: Meta necesitó más de 16.000 GPU H100 y 54 días para implementar y poder entrenar el LLM Llama 3 con 405 mil millones de parámetros, lo que equivale a usar casi 31 millones de horas de GPU. Imaginemos casi tres veces más GPU y siendo específicas para ciertas tareas.

Un montante total de nada menos que 1,6 mil millones de dólares

Además, hablamos de un fondo de recursos compartido con High-Flyer, el cual está destinado para, ojo al dato que es importante: "comercio, inferencia, capacitación e investigación". ¿Cómo sabemos que esto es cierto, al menos en parte?

Pues porque la propia compañía, en su afán de sobresalir por encima de OpenAI, Meta y Google, declaró en su informe técnico de su IA V3 que NVIDIA tenía un error de redondeo en sus GPU, concretamente dijeron lo siguiente dentro del apartado 3.5.2 "Computer Hardware":

Mayor Precisión de Acumulación FP8 GEMM en Tensor Cores

En la implementación actual de los Tensor Core de la arquitectura NVIDIA Hopper, FP8 GEMM (Multiplicación general de matrices) emplea acumulación de fixed-point, alineando los productos de mantissa desplazando a la derecha en función del exponente máximo antes de la suma.

Nuestros experimentos revelan que solo usa los 14 bits más altos de cada producto de mantissa después del cambio a la derecha del sign-fill, y trunca los bits que exceden este rango. Sin embargo, por ejemplo, para lograr resultados precisos de FP32 a partir de la acumulación de 32 multiplicaciones FP8 x FP8, se requiere una precisión de al menos 34 bits.

Por lo tanto, recomendamos que los futuros diseños de chips aumenten la precisión de acumulación en los Tensor Cores para admitir la acumulación de full-precision, o seleccionen un ancho de bits de acumulación apropiado de acuerdo con los requisitos de precisión de los algoritmos de entrenamiento e inferencia. Este enfoque garantiza que los errores permanezcan dentro de límites aceptables mientras se mantiene la eficiencia computacional.

Trump y EE.UU. reaccionarán, y puede que los controles sean prácticamente totales: Singapur sigue en el ojo de La Casa Blanca

Tras esto, trasladaron su modelo a las GPU Huawei Ascend 910B para intentar tapar todo esto y crear confusión, o al menos, eso es lo que se cree en estos momentos, porque teniendo el hardware de NVIDIA a decenas de miles, los analistas no encuentran otra explicación posible.

En otras palabras, están admitiendo abiertamente el uso de H800 y H100, una, otra o ambas GPU, en cantidades que solo NVIDIA puede justificar. Sin embargo, los verdes ya han dicho abiertamente que todo está en regla, así que, desvelada la mentira de DeepSeek con su IA R1 y las GPU que han usado, costes totales y unidades compradas (High-Flyer declaró la compra de solamente 10.000 A100 en 2021).

¿Cómo va a reaccionar Trump viendo cómo hundieron valores en bolsa como las acciones de NVIDIA sabiendo que estaban mintiendo? Veremos, pero esto no va a quedar ahí, eso sí lo tenemos totalmente claro, habrá venganza de una u otra manera.

La entrada La mentira de DeepSeek con su R1 sale a la luz: necesitó 1,6 mil millones y más de 50.000 GPU de NVIDIA para IA, un coste total 400 veces más alto aparece primero en El Chapuzas Informático.