Carlton a commencé à apprendre la guitare à l'âge de 6 ans. Son jeu est influencé par celui de Joe Pass, Wes Montgomery, Barney Kessel et B.B. King. Durant les années 1970, Carlton a été un musicien de studio très demandé sur Los Angeles, apparaissant sur jusqu'à 500 albums par an, dont ceux de Steely Dan, Joni Mitchell, Billy Joel et Quincy Jones. Sa participation sur l'album The Royal Scam (1976) de Steely Dan marquera les esprits, notamment celle sur le titre "Kid Charlemagne" qui figurera 3e dans la liste des meilleurs solos de guitare jamais enregistrés sur un disque établie par le magazine américain Rolling Stone. De 1971 à 1976, il est membre des Crusaders et en 1997, il remplace Lee Ritenour au sein du supergroupe de smooth jazz Fourplay, qu'il quittera en 2010. La célèbre marque de guitares Gibson a créé un modèle à l'effigie de Larry Carlton nommé Mr. 335, le surnom du musicien. Cette même année, il sort en juin un album intitulé Take your pick en collaboration avec le guitariste Tak Matsumoto, leader du célèbre groupe japonais B'z suivi d'un DVD de leur performance au festival jazz Blue Note de Tokyo en septembre. Take your pick a remporté le Grammy Awards 2011 dans la catégorie Meilleur Album Pop Instrumental.