Según von Neumann, la clave para construir una máquina de propósito general es poder almacenar no sólo los datos y los resultados intermedios de una computación, sino también las instrucciones que definen el procedimiento de computación. En una máquina de propósito especifico, el procedimiento puede ser parte de la máquina. Sin embargo, en una máquina de propósito general, cambiar las instrucciones tiene que ser tan fácil como cambiar los datos sobre los que actúan. La solución es codificar las instrucciones de forma numérica y guardarlas junto con los datos en la misma memoria. Este es el concepto de programa almacenado.

Los primeros computadores no se diferenciaban mucho de las máquinas de propósito específico que hay hoy en día, en el sentido que sólo pueden resolver un tipo particular de problema. El aporte de von Neumann fue precisamente hacer ver la necesidad de separar el programa de la máquina misma, para así poder reconfigurar el computador según fuese necesario.

El concepto del programa almacenado, un concepto teórico muy importante que fue establecido por el matemático John von Neumann el 30 de junio de 1945 en un borrador sobre el diseño de la EDVAC. A diferencia de los primeros computadores, von Neumann proponía que tanto el programa como sus datos fueran almacenados en la memoria del computador. Esto no solo simplificaba la labor de programación al no tener que llevar a cabo el recableado del computador sino que además libraba y generalizaba el diseño del hardware para hacerlo independiente de cualquier problema y enfocado al control y ejecución del programa. Este concepto fue tan importante y decisivo que dio lugar al concepto de la arquitectura de von Neumann, aún presente en nuestros días.