Olórin, mais tarde conhecido como Gandalf ou Mithrandir, era o mais sábio dentre os Maiar. Ele vivia em Lórien, nos jardins de Irmo, agindo como seu conselheiro. Também costumava visitar Nienna, com quem ele aprendeu a ter compaixão e paciência. Olórin era cordial e tinha a capacidade de esconder muito bem sua alegria ou ira repentina. Com os mais simples, costumava ser jovial e bondoso, embora pudesse falar com rispidez para repreender atitudes insensatas. Nunca foi orgulhoso e nem buscava poder ou reverência. Embora amasse os elfos, preferia andar invisível ou assumir a forma deles enquanto caminhava em seu meio inspirando belas visões ou sugestões de sabedoria. O nome Olórin vem do alto-élfico e significa “Sonho” ou “Visão”. Mithrandir foi a alcunha que os elfos da Terra-Média lhe atribuíram e pode ser traduzido do Sindarin como “Peregrino Cinzento”. Já os homens do norte, que por muito tempo acreditaram que ele fosse um elfo, costumavam chamá-lo de Gandalf, que significa “Elfo do Cajado”.

Por volta do ano 1.000 da Terceira Era, os Valar decidiram enviar membros de seu próprio povo elevado, com o objetivo de influenciar homens e elfos a organizar uma resistência contra Sauron, que mais uma vez se movimentava nas sombras. Eles ficaram conhecidos como Istaris, ou magos, e foram proibidos de se revelar em sua forma majestosa, habitando em corpos mortais, sujeitos a dor e exaustão. Manwë decidiu pessoalmente que Olórin, que muito amava os elfos, devia fazer parte desse grupo. Olórin alegou que ele era muito fraco para cumprir essa missão e que temia a Sauron, mas submeteu-se as ordens de Manwë.

Assim, ele foi o último dos cinco Istaris a chegar à Terra-Média. Tinha um aspecto mais idoso, com cabelos grisalhos, trajado de cinza, apoiado em um cajado e parecia o menos importante e imponente dentre os seus companheiros. Mas Círdan, que foi o primeiro a avistá-lo, notou de imediato que Olórin era o mais sábio e maior dentre eles e, como sabia que sua tarefa não seria fácil, entregou-lhe um valioso presente: Narya, um dos três anéis de poder forjados para os elfos. Olórin o guardou em segredo, mas Saruman acabou descobrindo e sentiu inveja. Esse talvez tenha sido o começo da inimizade que sentia pelo mago cinzento.

Quase não existem registros de seus feitos no segundo milênio da Terceira Era. Ainda assim, o próprio Gandalf fornece indicações claras de que realizava viagens por toda a Terra-Média, menos para o leste que era a região mais corrompida pelas sombras. É provável que ele tenha vagado com diferentes aspectos, dedicado a conhecer o coração de elfos e homens. Dessa maneira ele poderia identificar aqueles que estavam dispostos a se oporem a Sauron quando o momento derradeiro chegasse.

Por volta do ano 1.100 da Terceira Era, os magos e os elfos notaram que uma força maligna passou a se movimentar na fortaleza de Dol Guldur, em Mirkwood. A primeira suspeita era a de que fosse um Nazgûl, mas Gandalf temia que a situação fosse ainda pior e que Sauron estivesse voltando. Como a sombra continuava a crescer e o mal voltava a se espalhar, em 2.063 Gandalf foi pessoalmente até Dol Guldur para entender o que estava acontecendo. Foi assim que ele viu a entidade conhecida como Necromante, mas ele fugiu antes que Gandalf pudesse identificá-lo. De qualquer forma, graças a isso a floresta permaneceu em calmaria por mais alguns séculos.

A inveja que Saruman sentia por Gandalf foi lentamente se transformando em ódio quando ele percebeu que o mago cinzento tinha mais poder e influência sobre os habitantes da Terra-Média. Assim ele passou a tratar Gandalf com pouco respeito e sempre contradizia o que ele falava. Em paralelo a isso, ele prestava bastante atenção a tudo que o que Gandalf fazia e afirmava, copiando alguns gestos em segredo e tentando estar sempre à frente dele.

Quando o mal dava sinais de que estava retornando a Terra-Média no ano de 2.460, foi criado o Conselho Branco. Galadriel desejou que Gandalf fosse o presidente do Conselho, mas ele recusou visto que não desejava ter nenhum tipo de vínculo que não fosse com os próprios Valar que o enviaram e que preferia manter sua independência. Dessa forma, Saruman assumiu a posição.

Durante suas viagens pela Terra-Média, Gandalf acabou se deparando com o Condado. Sentiu muito amor pelos Hobbits quando notou que eram capazes de nutrir muita coragem e compaixão, e passou a visitá-los constantemente. Seus fogos de artifício e histórias sobre goblins e dragões animavam as festas daquela região. Acredita-se que em um primeiro momento ele não imaginava o papel que esse povo pequeno iria cumprir na destruição do Um Anel, a não ser que seu coração tivesse uma premonição ainda incompreensível para o seu consciente. Além disso, Gandalf tinha uma predileção pela erva-de-fumo que ele acreditava ter a capacidade de limpar a mente das sombras interiores. Saruman chegou a ridicularizá-lo por isso, mas passou a visitar o condado sem que “ninguém” soubesse e a apreciar a erva dos pequenos. Obviamente, essas visitas chegaram ao conhecimento de Gandalf e, embora em seu íntimo já desconfiasse do mago branco, achava graça nesse segredo, que era o mais inofensivo de todos.

Sabendo do desaparecimento do rei Thráin II, anão da Montanha Solitária, Gandalf passa a procurá-lo, chegando a entrar em Khazad-dûm, sem obter nenhum sucesso. Ele acaba encontrando-o anos mais tarde em uma visita secreta a Dol Guldur, onde recebeu do rei anão, pouco antes de sua morte, o mapa e a chave de Erebor, que deveriam ser entregues ao seu filho Thorin. Thráin II havia sido preso em um calabouço e seu anel, o último dos sete forjados para os reis dos anões, fora tomado. Dessa maneira Gandalf confirmou suas suspeitas de que o Necromante não era um Nazgûl, e sim o próprio Sauron que agora estava em busca do Um Anel.

Com essa descoberta, o mago se dirigiu imediatamente para o Conselho Branco onde relatou tudo que havia acontecido. Ele acreditava que eles deviam atacá-lo imediatamente, enquanto Sauron ainda não dispunha de seu anel e seu poder era limitado. Porém Saruman, que já se voltara aos pensamentos sinistros, mais uma vez se posicionou contra ele e, alegando que o “Um Anel” já devia estar nas profundezas do mar, decidiu que era melhor esperar e observar. Mais tarde, em uma conversa particular, Elrond confessou a Gandalf que tinha a premonição de que o Um Anel seria encontrado, que haveria uma guerra em decorrência disso e que a Terceira Era se encerraria em meio à escuridão e ao desespero. O mago tentou encorajá-lo e chegou a afirmar que “quando os sábios tropeçam, a ajuda costuma vir das mãos dos fracos”.