Figlio di emigranti ebrei russi, Walter comincia a frequentare il teatro del suo quartiete ad undici anni, come venditore di gelati. Passa in poco tempo da vivandiere a intrattenitore durante gli intervalli. Entra in una scuola di teatro, ma quando il talento sta per portarlo a Broadway scoppia la seconda guerra mondiale. Dopo aver combattuto come aviatore, torna in Patria per frequentare teatro e televisione. Al cinema inizia l'attività recitando ruoli minori in film come "Il Kentukiano" (1955) di Burt Lancaster, "Dietro lo specchio" (1956) di Nicholas Ray e "Un volto nella folla" (1957) di Elia Kazan. La prima svolta decisiva nella sua carriera arriva in teatro con "La strana coppia" con la regia di Neil Simon, poi replicata al cinema nel 1968. Viene notato da Billy Wilder che nel 1958 valorizza il suo talento comico (premiato con un Oscar) in coppia con Jack Lemmon in "Non per soldi ma per denaro". Il duo Matthau - Lemmon raccoglie consensi favorevoli da parte del pubblico, e tra i film più celebri ricordiamo "Vedovo, aitante, bisognoso d'affetto" e "Quei due simpatici brontoloni", "Prima pagina" (1974) e "Buddy Buddy" (1981). La carriera di Matthau continua anche insieme a Elaine May con cui interpreta la pellicola "E' ricca, la sposo e l'ammazzo" (1970) e "Appartamento al Plaza" (1971). Con Glenda Jackson è esilarante in "Visite a domicilio" (1978) e "Due sul divano" (1980). Negli ultimi anni lavora nei film "Come ti ammazzo un killer" (1983), "Pirati" (1986) di Roman Polanski e "Due improbabili seduttori" (1995) sempre in coppia con Lemmon e con Sophia Loren. In Italia diventa damoso nel 1990 con il film "Piccolo Diavolo" di Roberto Benigni. L'indissolubilità del legame con Jack Lemmon caratterizza anche l'ultima parte della sua carriera, in "L'arpa d'erba" e in 'JFK', dove Oliver Stone li chiama per dare verismo alla sua pellicola. Il suo ultimo film è stato "Avviso di chiamata"(2000), al fianco di Meg Ryan e Diane Keaton.