39 gadu vecumā Džo Klarks kļuva par jaunāko Kanādas premjerministru 1979. gadā. Fiskālais konservatīvais Džo Klarks un viņa mazākumtautību valdība tika uzvarēti tikai pēc deviņiem mēnešiem pēc neuzticības izteikšanas priekšlikuma par nodokļu palielināšanas un programmu samazināšanas budžetu.
Pēc zaudēšanas 1980. gada vēlēšanās Džo Klarks palika opozīcijas līderis. Kad Braiens Mulroney 1983. gadā pārņēma Kanādas Progresīvās konservatīvās partijas vadītāju un pēc tam premjerministru 1984. gada ministrs Džo Klarks turpināja darboties kā efektīvs ārējo attiecību ministrs un konstitucionālais ministrs Lietas. Džo Klarks 1993. gadā pameta politiku, lai strādātu par starptautiskā biznesa konsultantu, bet no 1998. līdz 2003. gadam atgriezās kā Progresīvās konservatīvās partijas vadītājs.
Džo Klarks sāka savu politisko karjeru kā Alberta progresīvās konservatīvās partijas organizācijas direktors no 1966. līdz 1967. gadam. Viņš bija konservatīvā parlamenta locekļa Davija Fultona īpašais palīgs 1967. gadā. No 1967. līdz 1970. gadam viņš bija konservatīvā parlamenta locekļa Roberta Stenfīlda izpilddirektors.
Džo Klārks pirmo reizi tika ievēlēts apakšpalātā 1972. gadā. Viņš tika ievēlēts par Kanādas Progresīvās konservatīvās partijas vadītāju 1976. gadā un bija opozīcijas vadītājs līdz 1979. gadam. Džo Klarks tika zvērināts par Kanādas premjerministru pēc 1979. gada vispārējām vēlēšanām.
Konservatīvā valdība tika uzvarēta 1980. gadā. Džo Klarks atkal bija opozīcijas līderis no 1890. līdz 1983. gadam. Džo Klarks sauca par Progresīvās konservatīvās partijas vadības konvenciju un zaudēja partijas vadību Braienam Mulroney 1983. gadā.
Mulroney valdībā Džo Klarks bija ārlietu ministrs no 1984. līdz 1991. gadam. Viņš bija Privilēģiju padomes priekšsēdētājs un par konstitucionālajām lietām atbildīgais ministrs no 1991. līdz 1993. gadam. Džo Klarks nepiedalījās 1993. gada vispārējās vēlēšanās.
Džo Klarks atgriezās Kanādas Progresīvās konservatīvās partijas līdera amatā 1998. gadā. Viņš tika atkārtoti ievēlēts apakšpalātā 2000. gadā. 2002. gadā Džo Klarks teica, ka viņš ir vedis Progresīvo konservatīvo partiju, cik vien iespējams. Džo Klarka atkāpšanās no Progresīvās konservatīvās partijas vadītāja amata stājās spēkā vadības konvencijā 2003. gada maijā.