Carroll wurde 1935 in der New Yorker Bronx geboren und begann zunächst eine Karriere als Sängerin. Doch schon in den 50er Jahren drehte sie ihre ersten Hollywood-Filme wie etwa "Porgy and Bess" unter der Regie von Otto Preminger. 1968 gelang ihr mit ihrer Hauptrolle als verwitwete und alleinerziehende Krankenschwester in der US-Fernsehserie "Julia" eine Premiere: Bis dahin erhielten afroamerikanische Schauspielerinnen nur Nebenrollen oder Rollen als Stereotype. "Julia" brachte ihr einen Golden Globe ein.
International berühmt wurde Caroll aber durch "Denver-Clan" - ab der vierten Staffel im Jahr 1983 verkörperte sie die Nachtclubbesitzern Dominique Devereaux, die Gegenspielerin des intriganten Biests Alexis Colby (Joan Collins). In einem Interview sagte sie damals: "Ich will reich und skrupellos sein... Ich will das erste schwarze Biest im Fernsehen sein".