Fue votado como la persona "con menos probabilidad de éxito" en el instituto.
Fue compañero de habitación de Christopher Reeve en la Juilliard School de Nueva York. Continuaron siendo buenos amigos y, durante los últimos años de vida de Reeve, Williams le ayudó a pagar sus facturas médicas.
Se reconoció rápidamente su talento para la improvisación; los escritores de Mork & Mindy le dejaban huecos en los guiones para que simplemente improvisara.