Alan nasce a Brooklyn, ma in seguito si trasferisce con la famiglia a Los Angeles. Si iscrive al Los Angeles State College, ma la sua passione è la musica, così ben presto abbandona gli studi e inizia ad esibirsi con la sua band 'The Tarriers'. Nello stesso periodo inizia seguire dei corsi di recitazione. Si trasferisce a Chicago e insieme ad altri fonda il gruppo di improvvisazione teatrale Second City e nel 1963 inizia a recitare nei teatri on e off-Broadway. L'anno successivo si mette in evidenza con lo spettacolo 'Luv' e le ottime critiche ricevute lo portano direttamente a Hollywood. Espordisce sul grande schermo con "Arrivano i russi, arrivano i russi" (1966) di Norman Jewison che gli vale una candidatura all'Oscar come miglior attore protagonista e nel 1969 ne riceve una seconda per "L'urlo del silenzio" di Robert Ellis Miller.
Dopo aver diretto diversi spettacoli teatrali e un paio di cortometraggi, nel 1971 debutta come regista cinematografico con "Piccoli omicidi", seguito da "Quella pazza famiglia Fikus" (1977). Tra i suoi maggiori successi, ricordiamo le interpretazioni in "Edward mani di forbice" (1990) di Tim Burton, "Havana" (1990) di Sydney Pollack, "Gattaca" (1997) di Andrew Niccol, "Jakob il bugiardo" (1999) di Peter Kassovitz, "I perfetti innamorati" (2001) di Joe Roth e "Tredici variazioni sul tema" (2001) di Jill Sprecher, presentato in concorso alla 58ma Mostra del Cinema di Venezia.
Nel 2004 è la volta di "Eros" e "Un amore sotto l'albero" e ha lavorato nei film "Firewall - Accesso Negato" (2006) accanto a Harrison Ford e "Little Miss Sunshine" (2006) diretto da Valerie Faris e Jonathan Dayton, con cui ha vinto l'Oscar come miglior attore non protagonista.
Ha lavorato nella pellicola "Rendition" (2007) presentata nella sezione Premiere alla Festa del Cinema di Roma.
Dal 1955 al 1960 è stato sposato con Jeremy Yaffe, da cui ha avuto i figli Adam e Matthew. Nel 1964 ha sposato l'attuale moglie, l'attrice Barbara Duna, da cui ha avuto il figlio Anthony.
E' uno dei protagonisti della commedia "Agente Smart: casino totale" (2008).