Figlio di un' infermiera e di un musicista, Garcia nacque nell'agosto del 1942 a Oakland, California, e gli viene attribuito il nome Jerry dal musicista Jerome Kern. A soli 4 anni Garcia perde il dito medio della mano destra, amputato dal fratello Clifford per errore con l'accetta mentre tagliava della legna. Un anno dopo perde il padre che muore affogato mentre stava pescando. Dopo aver suonato per un po' di tempo il pianoforte, all'età di 15 anni riceve la sua prima chitarra come regalo di compleanno, appassionandosi subito allo strumento e iniziando a suonare senza ricevere nessun tipo di lezione ma andando a orecchio.
E' annoverato fra i migliori chitarristi del mondo.