Carlo Maria Giulini studiò viola e direzione d'orchestra presso il Conservatorio Santa Cecilia a Roma, e fu poi violista di fila nell'orchestra dell'Accademia nazionale di Santa Cecilia negli anni '30, periodo in cui la stessa si esibiva nella sala dell'Augusteo di Roma. In quell'ambito ebbe l'occasione di suonare sotto la direzione dei più grandi musicisti e direttori dell'epoca, tra cui Richard Strauss, Bruno Walter e Wilhelm Furtwängler.
Lavorò come direttore di orchestre radiofoniche dal 1946 al 1951, per poi passare al Teatro alla Scala di Milano, prima come assistente di Victor De Sabata, quindi, nel 1953, come direttore stabile. Lasciata la Scala nel 1955, si trasferì a lavorare fuori dall'Italia, debuttando negli Stati Uniti con la Chicago Symphony Orchestra. Presto abbandonò le produzioni operistiche per dedicarsi esclusivamente alla direzione del repertorio sinfonico.
Nel 1960 fu in tournée in Giappone. Dal 1973 al 1976 diresse la Wiener Symphoniker di Vienna. Nel 1978 sostituì Zubin Mehta alla Los Angeles Philharmonic Orchestra, dove rimase fino al 1984. Diresse anche la Philharmonia Orchestra di Londra.
Nel 1989 vinse il Grammy Award. Partecipò alle celebrazioni mozartiane del 1991 in Vaticano. Problemi di salute lo obbligarono ad abbandonare la direzione d'orchestra nel 1998. Ha continuato ad insegnare fino a poco tempo prima della morte. Nella primavera del 2005 è stato ricoverato presso la clinica Domus salutis di Brescia dove si è spento nel giugno del medesimo anno. È sepolto nella tomba di famiglia nel cimitero di Bolzano.
Affrontò principalmente il repertorio ottocentesco, con rare ma significative puntate nella produzione della prima metà del Novecento, preferendo gli autori di maggior rigore formale e di massima intensità espressiva, quali Beethoven (la sua interpretazione della quinta sinfonia è stata scelta da una giuria di critici europei), Schubert, Brahms, Ravel.
Il suo rigoroso stile interpretativo, asciutto, austero e pensoso, con una preferenza per la dilatazione dei tempi interpretativi, si coniuga con una grande potenza espressiva.
