Originario di Cuba, la sua famiglia si trasferisce a Miami Beach, in Florida, nel 1961. Preso il diploma Andy si iscrive alla Florida International University e inizia a recitare nelle compagnie teatrali locali. Deciso più che mai a diventare attore, alla fine degli anni '70 si trasferisce a Los Angeles.
Per mantenersi è costretto a fare diversi lavori, ma finalmente nel 1981 riesce ad ottenere una parte nel primo episodio della serie TV 'Hill Street Blues'.
Seguono alcune apparizioni anche sul grande schermo finché il regista Hal Ashby lo sceglie per il ruolo del trafficante di eroina Angel Moldonado in "8 milioni di modi per morire" (1986). La sua interpretazione viene particolarmente apprezzata dal regista Brian De Palma, che stava cercando l'attore giusto per interpretare uno scagnozzo di Al Capone nel suo "Gli Intoccabili" (1987). L'attore però fa di tutto per ottenere la parte di George Stone, il poliziotto che entra nella squadra dell'agente federale Elliott Ness, e alla fine il ruolo è suo.
Si mette in evidenza con "Black rain - Pioggia sporca" (1989) diretto da Ridley Scott, accanto a Michael Douglas e "Affari sporchi" (1990) insieme a Richard Gere.
Nel 1990 è la volta di "Il padrino parte III": la sua interpretazione è talmente convincente da fargli guadagnare la candidatura all'Oscar come miglior attore non protagonista e il successo mondiale. Orgoglioso delle sue radici cubane, nel 1993 debutta dietro la macchina da presa con un documentario dedicato ad un musicista suo compatriota: 'Cachao Como Su Ritmo Ho Hay Dos', da lui anche prodotto.
Nel 2001, invece, fa parte del cast stellare ingaggiato da Steven Soderberg per "Ocean's Eleven", remake del film "Colpo grosso".
Un anno dopo recita nel thriller "La tela dell'assasino" (2002) con Judd Ashley e Samuel L. Jackson.
Non tarda a girare il sequel della 'banda di Ocean' in "Ocean's twelve" insieme a Julia Roberts, George Clooney, Catherine Zeta-Jones e Brad Pitt.
E' stato protagonista nel film "I colori dell'anima- Modigliani" (2005) insieme a Elsa Zylberstein, e Omid Djalili nel ruolo di Pablo Picasso. Ha poi diretto e interpretato "The Lost city" (2006) con Dustin Hoffmann Tomas Milian e Bill Murray e ha interpretato la pellicola "L'Ultima Porta" (2006).
Ultimamente è uno dei protagonisti di "Ocean's Thirteen" (2007) e "Smokin' Aces (2006).