🇮🇹 VERSIONE ITALIANA 🇮🇹
Indice capitoli anteriori
Nel 1965 Gordon Earl Moore, cofondatore di Intel, formulò la sua nota legge, che afferma che ogni due anni il numero di transistori in un microprocessore raddoppia.
Un transistore è fondamentalmente un dispositivo elettronico che di solito è integrato in un circuito e processa un segnale d'entrata per dare un segnale di uscita.
Il nome stesso Intel deriva da Integrated Electronic.
Avere più transistori nello stesso circuito significa moltiplicare le capacità di calcolo.
In passato si usavano valvole termoioniche, chiamate anche tubi a vuoto, come questa del 1920 nella foto, conservata nel National Electronics Museum nel Maryland, USA.
Potete immaginare le loro limitazioni e il grande salto che i transistori e i circuiti integrati implicarono.
Qui possiamo vedere un impiegato che cambia i tubi a vuoto di un ENIAC, acronimo di Electronic Numerical Integrator And Computer, uno dei primi computer.
L'ingegnere Jack Kilby, della compagnia Texas Instruments, nel 1958 creò il primo circuito integrato.
Era un pezzo di germanio di 6 millimetri di lato con un solo transistore, tre resistenze e un condensatore.
Era così piccolo che lo chiamarono chip, in inglese scheggia, o piccolo pezzo.
Inventò anche la calcolatrice tascabile e le stampanti termiche, e nel 2000 ricevette il premio Nobel per la fisica.
La Legge di Moore è stata modificata e adattata diverse volte, tanto che all'inizio prevedeva che i transistori sarebbero raddoppiati ogni anno e solo nel 1975 lo stesso Moore adattò la frequenza a ogni due anni, e nel 2007 annunciò che la sua legge avrebbe cessato di essere valida entro 10 o 15 anni, anche se sarebbe potuta comparire una nuova e migliore tecnologia.
Siamo vicini alla data di scadenza.
Questo è dovuto principalmente alle infrangibili leggi della fisica.
Se cerchiamo di concentrare troppa potenza in un processore non siamo in grado di raffreddarlo sufficientemente e finiamo per bruciarlo.
Anche risolvendo questo problema, abbiamo altri limiti fisici e tecnologici alla quantità di transistori che possiamo mettere su un microprocessore.
La crescita è limitata anche dallo sviluppo di altri settori tecnologici. La sola crescita delle prestazioni dei microprocessori creerebbe un inutile collo di bottiglia.
Inoltre, un progresso nelle prestazioni deve avere applicazioni pratiche e fornire un vantaggio in modo che i consumatori finali siano disposti a sostenere il costo della sostituzione dei vecchi modelli.
Tuttavia, come mostra questo grafico, le previsioni di Moore si sono verificate finora.
Come nel caso dei grafici finanziari utilizzati nell'analisi tecnica, questa legge si può definire auto-profetica.
Diventa un obiettivo di design e tutti si sforzano di raggiungere questi risultati, se non vogliono rischiare di essere lasciati indietro dalla concorrenza.
E questo deve mantenersi in equilibrio con i costi di produzione.
La scala Dennard si occupava di stabilire i limiti della legge di Moore:
Man mano che i transistori si riducono nelle dimensioni fisiche, la densità di potenza rimane costante.
Non possiamo ridurre le dimensioni dei transistor all'infinito.
C'è un limite.
Nel 2005 abbiamo raggiunto questo limite marcato dalla scala Dennard.
Ma una delle caratteristiche distintive dell'intelletto umano è quella di cercare alternative quando si incontrano problemi, e se i microprocessori non sono più scalabili a causa di limiti fisici, possiamo usarli in parallelo e sommare la loro potenza. Così nascono i multicores e possiamo continuare ad aumentare il numero di transistori e rispettare la legge di Moore, solo in un modo diverso.
E possiamo dare per morta la scala Dennard.
Jensen Huang, CEO di Nvidia, in una conferenza nel 2010 espose i progressi della compagnia, spiegò che i server K80 che avevano bisogno di 600 ore per addestrare un Resnet oggi solo ne ha bisogno di 2.
La loro capacità si è moltiplicata per 30 in 5 anni, che equivale a raddoppiare ogni anno.
Tra novembre 2012 e maggio 2020 le prestazioni dei chip di Nvidia nei calcoli legati all'intelligenza artificiale sono aumentate di 317 volte.
L'ha chiamata la Legge di Super-Moore.
Il Wall Street Journal nel settembre 2020 l'ha chiamata per la prima volta Legge di Huang.
Descrive come i chip di silicio che guidano l'intelligenza artificiale più che raddoppiano le prestazioni ogni due anni.
La legge di Huang è la nuova legge di Moore.
Questa crescita esponenziale dovuta ai progressi nelle prestazioni delle CPU, implica progressi in tutti i settori più direttamente collegati, come l'intelligenza artificiale, anche se è dovuta a uno sviluppo congiunto dell'intero ecosistema: hardware, software, intelligenza artificiale e apprendimento automatico.
Per il momento abbiamo pochissimi dati per confermare, confutare o riformulare la legge di Huang, quindi non potremmo neanche definirla una legge ancora.
La legge di Huang, che stima una crescita superiore delle prestazioni delle CPU rispetto ai microprocessori, dipende ancora dalla legge di Moore, quindi se la legge di Moore fracassa, lo farà anche la legge di Huang.
A causa di queste questioni alcuni si chiedono se può essere definita o no una legge, ma penso che questo sia irrilevante e solo il tempo dirà se il signor Huang passerà alla storia con una legge che porta il suo nome.
Ciò che è indiscutibile è il progresso esponenziale guidato dalle CPU Nvidia in termini di progressi dell'IA.
Per quanto riguarda il campo dell'intelligenza artificiale, i problemi di scalabilità fino ad ora erano dovuti ai limiti dell'elaborazione di una quantità sempre maggiore di dati per addestrare le IA e nei data-storage. Limiti fisici simili a quelli dei transistori.
La soluzione di parallelizzazione utilizzata per ovviare ai limiti delle leggi della fisica con i processori multicore viene utilizzata oggi per lo sviluppo dell'intelligenza artificiale.
Parallelizzazione dei dati attraverso reti neurali.
Stiamo passando dal paradigma simbolista della mente come computer al paradigma connessionista delle reti neurali.
Lo vedremo più in dettaglio nei prossimi capitoli.
Baci & abbracci 😘 🤗
🇪🇸 VERSIÓN ESPAÑOLA 🇪🇸
Indice capitulos anteriores
En 1965 Gordon Earl Moore, cofundador de Intel, formuló su muy conocida ley, que afirma que cada dos años el número de transistores en un microprocesador se duplicaría.
Un transistor básicamente es un dispositivo eléctrico que se encuentra normalmente integrado en un circuito y que procesa una señal de entrada para dar una señal de salida.
El mismo nombre Intel viene de Integrated Electronic.
Tener más transistores en un mismo circuito implica multiplicar las capacidades de cálculo.
Antes se utilizaban válvulas termoiónicas, también llamadas tubos de vacío, como este del 1920 en la foto, conservado en el National Electronics Museum en Maryland, USA.
Pueden imaginar sus limitaciones y el gran salto que implicaron los transistores y los circuitos integrados.
Aquí podemos ver un empleado cambiando los tubos de vacío de un ENIAC, acrónimo de Electronic Numerical Integrator And Computer, una de las primeras máquinas computadoras.
El ingeniero Jack Kilby, de la empresa Texas Instruments, en 1958 desarrolló el primer circuito integrado.
Se trataba de una pieza de germanio de 6 milímetros de lados con un solo transistor, tres resistencias y un condensador.
Era tan pequeño que lo llamaron chip, del inglés astilla, o trocito pequeño.
También inventó la calculadora de bolsillo y las impresoras térmicas, y en 2000 recibió el premio Nobel por la Física.
La Ley de Moore fue modificada y adaptada varias veces, tanto que al principio preveía que los transistores se duplicarían cada año y fue solo en 1975 cuando el propio Moore adaptó la frecuencia a cada dos años y en 2007 anunció que su ley dejaría de ser válida dentro de 10 o 15 años, aunque una nueva y mejor tecnología podría aparecer.
Estamos cerca de la fecha de caducidad.
Esto se debe principalmente a las leyes inquebrantables de la física.
Si intentamos concentrar demasiada potencia en un procesador no somos capaces de enfriarlo suficientemente y acabamos quemándolo.
Aún solucionando este problema, tenemos otros límites físicos y tecnológico a la cantidad de transistores que podemos poner en un microprocesador.
El crecimiento está limitado también por el crecimiento de otros sectores tecnológicos. Un crecimiento solo de las prestaciones de los microprocesadores crearía un cuello de botella inútil.
Además un avance de prestaciones tiene que tener aplicaciones prácticas y suponer una ventaja para que los consumidores finales estén dispuestos a asumir el coste de remplazar modelos anteriores.
Sin embargo, como se observa en este gráfico, las predicciones de Moore se han cumplido hasta ahora.
Como en el caso de los gráficos financieros utilizados en el análisis técnico, esta ley se puede definir auto-profética.
Se convierte en un objetivo de diseño y todos se esfuerzan para llegar a estos resultados, si no se quieren arriesgar a ser dejados atrás por la competencia.
Y esto tiene que mantenerse en equilibrio con los costes de producción.
La escala Dennard se ocupaba de poner los límites a la ley de Moore:
A medida que los transistores reducen su tamaño físico la densidad de potencia se mantiene constante.
No podemos reducir el tamaño de los transistores al infinito. Hay un límite.
En 2005 alcanzamos este límite marcado por la escala de Dennard.
Pero una de la característica diferenciadora del intelecto humano es buscar alternativas al encontrarse con problemas, y si los microprocesadores ya no son escalables debido a los límites físicos, podemos utilizarlos en paralelo para sumar sus potencias. Así nacen los multicore y podemos seguir aumentando el número de transistores y cumpliendo con la ley de Moore, solo de una forma diferente.
Y podemos dar por muerta la escala de Dennard.
Jensen Huang, CEO de Nvidia en una conferencia de 2010 al exponer los avances de la compañía, explicó que los servidores K80 que necesitaban de 600 horas para entrenar un Resnet hoy solo necesitan 2.
Su capacidad se ha multiplicado por 30 en 5 años, que equivale a duplicarse cada año.
Entre noviembre 2012 y mayo 2020 el rendimiento de los chips de Nvidia en cálculos relacionados con la AI se multiplicó por 317.
La llamó la Ley de Super-Moore.
El Wall Street Journal, en septiembre 2020 la llamó la Ley de Huang, por primera vez.
Describe cómo los chips de silicio que impulsan la inteligencia artificial más que duplican su rendimiento cada dos años.
La ley de Huang es la nueva ley de Moore.
Este crecimiento exponencial debido a los avances en el rendimiento de las CPUs, implica avances en todos los sectores más directamente relacionados como la inteligencia artificial, aunque se debe a un desarrollo conjunto de todo el ecosistema: hardware, software, inteligencia artificial y aprendizaje automático.
De momento tenemos muy pocos datos para confirmar, desmentir o reformular la ley de Huang, por lo que no se podría ni definir una ley todavía.
La ley de Huang, que estima un crecimiento de rendimiento superior para la CPUs respecto a los microprocesadores, sigue dependiendo de la Ley de Moore, así que si esta falla, también lo hará la Ley de Huang.
Por estas cuestiones algunos se plantean si se puede definir una ley o no, pero eso creo que sea irrelevante y solo el tiempo dirá si el señor Huang pasará a la historia con una Ley que lleva su nombre.
Lo que sí es incuestionable es el avance exponencial liderado por las CPU de Nvidia en cuanto a avances en AI.
En lo que respecta el campo de la inteligencia artificial, los problemas de escalabilidad hasta el momento eran debidos a los límites de almacenar y procesar siempre un número mayor de datos para entrenar las AI. Límites físicos parecidos a los de los transistores.
La solución de paralelización utilizada para obviar los límites de las leyes de la física con los procesadores multicore se está utilizando hoy para el desarrollo de la inteligencia artificial.
Paralelización de los datos a través de las redes neuronales.
Pasamos de un paradigma simbolista de mente como ordenador a uno conexionista de redes neuronales.
Lo veremos más en detalle en los próximos capítulos.
Besos & abrazos 😘 🤗