Fin da piccolo, la dislessia e la considerevole altezza lo mettonono a disagio. All'età di sedici anni, viene colto anche da crisi epilettiche e deve rinunciare a giocare a football. Nonostante e tutti i suoi problemi si diploma al San Francisco State College e non si chiude in se stesso. Nel 1965 s'iscrive alla San Francisco University. A partire dal 1975, sempre accanto alla sua attività politica e di volontariato, comincia a recitare.
Comincia a frequentare il Black Actors' Workshop, presso l'American Conservatory Theatre, partecipando a piccole produzioni locali. Decide di trasferirsi a Los Angeles con la sua famiglia per recitare sul serio. Prima calca i palcoscenici dei teatri Off-Broadway poi comincia con dei piccoli ruoli in serie televisive come "Hill Street Giorno e Notte" (1979). Nello stesso anno approda al grande schermo nel film "Fuga da Alcatraz" con Clint Eastwood.
Nel 1985 si cimenta nel genere western con "Silverado", che lo vede protagonista insieme a un giovane Kevin Costner. Nello stesso anno partecipa al film drammatico "Il colore viola" di Steven Spielberg. Ma il ruolo per cui viene più ricordato è quello del sergente Roger Murtaugh, compagno di avventure di uno scatenato Mel Gibson in "Arma letale" (1987). Il film ottiene un tale successo da convincere i produttori a farne tre sequel, in cui viene sempre riproposta la coppia Glover-Gibson. Dopo l'esperienza con Mel Gibson continua a sfruttare la sua vena comica come nel fortunato film "I Tenenbaum" (2001).
Nel 2004 è nel thriller "Saw - L'enigmista" (2004) accanto a Cary Elwes. Ha lavorato nelle pellicole "Manderlay" (2005), e "The Shaggy Dog" (2006) di Brian Robbins.
E' uno dei protagonisti di "Dreamgirls" (2006) di Bill Condon e "Shooter" (2006) di Antoine Fuqua.