Von Neumann era un genio comparable a Leonardo Da Vinci, hablaba diversos idiomas, era experto en las ciencias físico-matemáticas y era capaz de recordar todo cuanto hubiera escuchado, leído o visto. Podía citar de memoria, palabra por palabra, el texto de los libros que había leído en años anteriores. En la época en que se interesó en las computadoras, era ya el matemático más eminente del mundo.

Algo que le parecía evidente, era que programar computadoras con una enorme cantidad de interruptores y cables era algo lento, tedioso y poco flexible, y pensó que el programa podía representarse en forma digital en la memoria de la computadora, lo mismo que los datos. También observó que la torpeza de la aritmética decimal en serie utilizada por la ENIAC, con cada dígito representado por diez bulbos (uno encendido y nueve apagados), podía reemplazarse usando aritmética binaria paralela.

Su diseño básico, ahora conocido como una Máquina de Von Neumann, se usó en la EDSAC para la primera computadora que almacenaba el programa, y constituye todavía la base para la mayoría de las computadoras digitales, casi medio siglo después. Este diseño y la máquina IAS, construida en colaboración con Herman Goldstine, ha tenido una influencia tan grande.