Por muito tempo o mago lutou contra o Balrog nas profundezas da terra. Gandalf o perseguiu pela Escada Sem Fim até o pico de Celebdil, onde lutaram por mais dois dias e duas noites. Finalmente, usando suas últimas forças, Gandalf conseguiu derrotá-lo e jogou-o arruinado do alto da montanha. E dessa forma seu espírito abandonou o corpo que ele decidiu sacrificar pelo bem da Sociedade.

Como Gandalf foi o único a permanecer fiel a demanda dos Valar, Eru decidiu enviá-lo novamente a Terra-Média. Dessa vez ele recebeu a permissão de usar mais dos poderes inerentes aos Maiar. Sem as roupas e deitado no topo da montanha, Gandalf contou com a ajuda de Gwaihir que o levou a Lothlórien. Lá ele ganhou uma nova vestimenta e foi presenteado com um cajado por Galadriel.

Quando ficou sabendo que Frodo e Sam haviam deixado a sociedade e seguido sozinhos em direção a Mount Doom, Gandalf percebeu que eles já estavam fora de seu alcance. Assim, seguiu para a Floresta de Fangorn onde encontrou Aragorn, Legolas e Gimli e lhes entregou mensagens de Galadriel. Montado em Shadowfax, o mago partiu para Edoras e, ao descobrir que Grima Língua de Cobra era na verdade um espião de Saruman, ele o depôs e curou o rei Théoden.

Sob influência de Gandalf, Théoden partiu para o Abismo de Helm, onde aconteceu a grande batalha contra as forças de Saruman. Com a ajuda dos Ents, Isengard caiu e os orcs foram aniquilados. O mago seguiu para Orthanc, acompanhado de um pequeno grupo e ofereceu perdão a Saruman. Diante de sua recusa, Gandalf quebrou o seu cajado e o expulsou da Ordem dos Istaris e do Conselho Branco, além de pedir para que os Ents o vigiassem dia e noite.

Com a tolice cometida por Pippin em usar o Palantír de Orthanc, Gandalf percebeu que as pedras eram a ligação entre Isengard e Barad-dûr. Nesse momento, o seu pensamento se voltou para Gondor e Denethor. Sabendo que o regente também possuía um dos Palantíri, o mago temeu que ele tivesse feito uso da pedra e que ela tivesse afetado-o de alguma maneira. Assim, Gandalf recomendou a Théoden que fosse o quanto antes para Gondor com o objetivo de reforçar as defesas em meio à grande batalha que se travaria no leste.

Juntamente com Pippin, Gandalf cavalgou apressadamente para Minas Tirith. O mago confrontou o regente Denethor que, mesmo sendo teoricamente seu aliado, o tratou com desrespeito e desconfiança em meio a sua dor pela perda de Boromir. Gandalf notou que apesar de ter permanecido firme em sua rejeição a Sauron, o uso constante da Palantír fez com que Denethor fosse levado a acreditar que a vitória de Mordor era inevitável e entrar em desespero.

Quando Faramir, o filho mais novo do regente, foi atacado pelos Nazgûl durante seu retorno de Osgiliath, Gandalf montou em Shadowfax e os dispersou com seu poder. Ainda assim, Minas Tirith foi rapidamente cercada pela vasta força de Mordor e, em um contra ataque mal planejado, Faramir acabou sendo atingido por uma flecha envenenada. Vendo seu filho as portas da morte e a cidade sendo destruída, Denethor perdeu a razão e abandonou a liderança. Gandalf assumiu então o posto do regente e continuou a encorajar os homens e pedir para que mantivessem a esperança, dissipando o terror dos Nazgûl com sua própria presença. No momento em que os portões da cidade foram destruídos, Gandalf se postou sozinho diante deles. O Rei Bruxo de Angmar apareceu montado em um cavalo negro e ameaçou o mago, que aceitou o desafio. Porém, antes que o impasse pudesse ser resolvido, o dia chegou trazendo as hostes dos cavaleiros de Rohan e o Rei Bruxo se foi.

Pippin correu até Gandalf para avisá-lo de que Denethor tentaria se suicidar, colocando fogo em si mesmo e em seu filho. Numa tentativa de impedir essa loucura, o mago se apressou para encontrá-los, mas só conseguiu salvar a vida de Faramir. Denethor queimou com a Palantír em suas mãos.

Contra todas as esperanças, as forças de Mordor foram derrotadas e a cidade de Minas Tirith preservada. Com os planos traçados por Gandalf e seus atos de sabedoria e heroísmo, a aliança dos homens do oeste pôde vencer a batalha e frustrar o primeiro movimento de Sauron. Mas ele ainda não havia sido destruído e, com seu poder e vastos recursos, em breve seria capaz de reunir um novo exército. Dessa forma, Aragorn, Imrahil e Éomer, os reis dos homens, elegeram Gandalf para ser seu líder na batalha final.

Percebendo que o sucesso da demanda dependia de que Frodo pudesse cumprir sua missão, Gandalf traçou uma estratégia ousada. Aconselhou aos reis que levassem seus exércitos para Morannon atraindo a atenção do olho de Sauron para longe do Hobbit. Assim, a hoste seguiu sob sua liderança até o Portão Negro onde foram interceptados pela Boca de Sauron. Ele deu a entender que Frodo havia sido capturado e propôs que o exército se rendesse. Porém Gandalf continuou firme em sua decisão e rejeitou essa possibilidade.

No momento em que a batalha começou, Frodo estava diante da Fenda da Perdição e hesitou em destruir o Um Anel. Mas a previsão de Gandalf mais uma vez se mostrou acurada, pois Gollum tomou o anel para si e, em meio a sua comemoração, caiu na fenda destruindo-o. A erupção que se seguiu destruiu a fortaleza de Sauron e seu poder, transformando-o em uma mera sombra de maldade. Seus exércitos foram aniquilados pelos homens do oeste. Montando uma última vez em Gwaihir, Gandalf encontrou Frodo e Sam ainda vivos e os salvou da lava.

Já em Minas Tirith, a pedido de Aragorn, Gandalf foi o responsável por coroá-lo. Então ele partiu junto com os membros remanescentes da Sociedade do Anel em sua última longa jornada pela Terra-Média. Deixou os Hobbits no Condado para lidarem com o mal causado por Saruman e foi visitar Tom Bombadil.

Dois anos depois, Gandalf se reencontrou com Frodo já preparado para embarcar no navio que os levaria a Valinor. Ele usava Narya em seu dedo e tinha Shadowfax ao seu lado. Se despediu de Sam, Merry e Pippin e iniciou viagem junto a Frodo, Bilbo, Elrond e Galadriel.

Em escritos posteriores e inacabados encontrados por Christopher Tolkien, existe a afirmação de que surgiram rumores pela Terra-Média de que Gandalf seria o próprio Manwë, o que é negado. De qualquer forma, ele é um dos personagens mais importantes e amados na obra de Tolkien. Cumpriu fielmente sua missão sem nunca hesitar. Seus atos de bravura podem ser comparados apenas com os grandes feitos da primeira era. Sua grande vitória foi ter influenciado os corações dos homens para que continuassem a lutar contra o mal causado por Sauron até que ele fosse derrotado. Acredita-se que, depois que Gandalf partiu da Terra-Média, ele tenha voltado a viver tranquilamente nos jardins de Irmo, em Lórien.