Leur album suivant,Led Zeppelin III (sorti le 5 octobre 1970), montre que le groupe ne se résume pas à quelques accès de guitares rageuses et à la voix agressive de Robert Plant. La moitié du disque est composée exclusivement de ballades folk, parfois reproductions note à note de morceaux de Bert Jansch ou Davy Graham, habitude que Jimmy Page garde avec les morceaux à tonalité plus blues, souvent intégralement repris de classiques de John Lee Hooker, Leadbelly ou Robert Johnson, sans jamais citer ses sources. Stairway to Heaven elle-même emprunte quelques passages, notamment son intro, à Taurus de Spirit. La réputation sulfureuse que Led Zeppelin se forge est due à de nombreux écarts : chambres d'hôtel dévastées, groupies et abus de drogues, entre autres.
Logos du quatrième album de Led Zeppelin, correspondant respectivement au choix d'un membre.Leur quatrième album, dont la pochette n'inclut ni titre, ni nom du groupe, sort le 8 novembre 1971. Certains textes sont inspirés du Seigneur des Anneaux de Tolkien et sont empreints d'occultisme. Cet album est le plus vendu du groupe grâce au classique Stairway to Heaven, mais aussi grâce à des compositions riches et variées, du folk au hard rock.
Deux ans plus tard, le groupe sort Houses of the Holy le 28 mars 1973, premier de leurs albums ayant un titre à proprement parler. L'album est très varié, Led Zeppelin s'essayant au reggae ou au funk, et perdant ainsi un peu de sa spontanéité. Cette même année, Robert Plant, dont la voix est usée par des tournées à répétition (450 concerts en quatre ans) et le tabac, subit une opération des cordes vocales qui le laisse aphone pendant plusieurs semaines.
En 1974, le groupe crée son propre label, Swan Song Records, qui produit plusieurs groupes et financera une partie du premier film des Monty Python, Sacré Graal !.
Le 24 février 1975, le groupe publie son sixième album studio. C'est un double, intitulé Physical Graffiti. Pour beaucoup, il s'agit du dernier grand album de Led Zeppelin