Hijo de ebanista aprendió el oficio en el taller de su padre. En 1918, Rietveld puso en marcha su propia fábrica de muebles, mientras estudiaba arquitectura. En el verano de 1918 diseña la Silla Roja y Azul, en un principio con acabado en madera natural, aunque en 1924, tras su ingreso en De Stijl, cambia su acabado por los colores que le dan nombre.

En 1919 empieza a colaborar con Truus Schröder - Schräder.​ En 1923 participa en la exposición de arquitectura Stiljiana de L'Effort Moderne en París, y colabora con Vilmos Huzar en el diseño para la exposición de arte de Berlín.

En 1924 proyectó junto Schröder su obra arquitectónica más conocida: la Casa Rietveld Schröder, en Utrecht. La casa tiene una planta baja convencional, siendo radical la parte alta, en la que las paredes son correderas, para poder modificar el espacio. El diseño parece una realización tridimensional de una pintura de Mondrian.

Rietveld rompió con el movimiento De Stijl en 1928 y se unió al Nieuwe Zakelijkheid. Ese mismo año se adhirió al Congreso Internacional de Arquitectura Moderna (CIAM).

En 1934 diseñó la silla Zig-Zag y comenzó el proyecto del Museo van Gogh en Ámsterdam, para el que solo realizará bocetos. Inicia un periodo muy implicado socialmente, sobre todo con su arquitectura social y con el diseño de mobiliario barato y fácil de realizar (serie Krat).

En 1951 diseña una exposición retrospectiva sobre el movimiento De Stijl en Ámsterdam, Venecia y Nueva York.

En 1954 se realiza su primera exposición retrospectiva en el Centraal Museum dedicada a su arquitectura.

Es considerado uno de los arquitectos más importantes de Holanda.