Carney, ki je umetniško pot začel v kabarejih in zabavnih radijskih oddajah, se je v filmskem svetu proslavil z vlogo v Mesečnikih, šovu iz 50. let, v katerem je zaigral z Jackie Gleason.

V 60. letih je nastopal v broadwayski uspešnici Zares čuden par Neila Simona, v filmsko zgodovino pa se je zapisal z vlogo upokojenca, ki rad potuje, v filmu Harry in Tonto. Za slednjo je dobil tudi oskarja za najboljšega glavnega igralce.

Carney, ki je prejel tudi več televizijskih nagrad, se je na filmskem platnu zadnjič pojavil leta 1993 v filmu Zadnji junak.