Também a fundação da Ordem comporta muitas zonas obscuras. Analisemos, em primeiro lugar, a versão oficial tal como nos foi transmitida pelos cronistas da época. Guilherme de Tiro, nascido na Palestina em 1130, bispo de Tiro em 1175, não pôde assistir ao início da Ordem e, portanto, falava dele em função do que lhe fora contado.
Jacques de Vitry era mais preciso, embora tenha escrito um século mais tarde. Devia estar de posse de alguns pormenores "oficiais" sobre os primórdios da Ordem, porque estava muito ligado aos Templários. Poderemos, pois, pensar que o que se segue lhe foi contado diretamente por dignitários do Templo:
Alguns cavaleiros, amados por Deus e ordenados para o seu serviço, renunciaram ao mundo e consagraram-se a Cristo. Mediante votos solenes pronunciados perante o patriarca de Jerusalém, dedicaram-se a defender os peregrinos dos arruaceiros e ladrões, a proteger os caminhos e a servir de cavaleiros ao soberano rei. Observaram a pobreza, a castidade e a obediência, segundo a Regra dos Cônegos Regulares. Os seus chefes eram dois homens veneráveis, Hugues de Payns e Geoffroy de Saint-Omer. Inicialmente, só houve nove que tomaram uma decisão tão santa e, durante nove anos, serviram com vestes seculares e cobriram-se com aquilo que os fiéis lhes deram como esmola. O rei, os seus cavaleiros e o senhor patriarca encheram-se de compaixão por esses nobres homens que tudo haviam abandonado por Cristo e deram-lhes algumas propriedades e benefícios para proverem às suas necessidades e pelas almas dos doadores. E porque não tinham igreja ou casa que lhes pertencesse, o rei instalou-os no seu palácio, perto do Templo do Senhor. O abade e os cônegos regulares do Templo deram-lhes, para as necessidades do seu serviço, um terreno que não ficava distante do palácio e, por essa razão, foram mais tarde chamados Templários.
No ano da graça de 1128, depois de terem ficado nove anos no palácio, vivendo todos juntos em santa pobreza, de acordo com a sua profissão, receberam uma Regra por intervenção do papa Honório e de Estêvão, patriarca de Jerusalém, e foi-lhes atribuído um hábito branco. Isso foi feito no concilio realizado em Troyes, sob a presidência do senhor bispo de Albano, legado apostólico, e na presença dos arcebispos de Reims e de Sens, dos abades de Cister e de muitos outros prelados. Mais tarde, no tempo do papa Eugenio (1145-1153), puseram a cruz vermelha nos seus hábitos , usando o branco como emblema de inocência e o vermelho pelo martírio. [ ... ]. O seu número aumentou tão rapidamente que em breve havia mais de trezentos cavaleiros nas suas assembléias, todos envergando mantos brancos, sem contar os inúmeros servidores. Adquiriram também bens imensos deste e do outro lado do mar. Possuíam [ ... cidades e palácios, de cujos rendimentos entregavam, todos os anos, uma determinada soma para a defesa da Terra Santa, nas mãos do seu soberano mestre, cuja residência principal é em Jerusalém. Jacques de Vitry dava também algumas indicações sobre a disciplina que reinava no interior da Ordem. Poderíamos recorrer também a Guilherme de Nangis ou pedir alguma ajuda à versão latina da sua Regra, que afirma no preâmbulo: "pelas orações de mestre Hugues de Payns, sob cuja direção a referida cavalaria teve início pela graça do Espírito Santo". Que deveremos concluir? Que alguns cavaleiros renunciaram ao mundo sob o comando de Hugues de Payns para se colocarem ao serviço dos peregrinos e que assim nasceu a Ordem do Templo. Podemos dizer também que os Templários foram apenas nove, durante nove anos, e esse número já foi muito glosado. Mas, quem eram esses nove paladinos. Para além de Hugues de Payns, encontramos Geoffroy de Saint-Omer, um flamengo; André de Montbard, nascido em 1095 e tio de São Bernardo pela sua meia-irmã, Aleth. Havia também Archambaud de Saint-Aignan e Payen de Montdidier (por vezes designado pelo nome de Nivard de Montdidier), ambos flamengos. E, depois, Geoffroy Bissol, sem dúvida originário do Languedoque e Gondomar, que talvez fosse português. Por fim, um tal Roral, ou Rossal, ou Roland, ou ainda Rossel, de quem nada mais sabemos, e um hipotético Hugues Rigaud, que teria sido originário do Languedoque.
Uma vez mais, as informações fiáveis são muito tênues. Por que razão se juntaram estes homens? Jacques de Vitry já no-lo disse: para defenderem os peregrinos dos arruaceiros, protegerem os caminhos e servirem de cavalaria ao seu soberano-rei. Na verdade, os exércitos de cruzados que haviam permanecido no local não tinham meios para dominarem todo o território, tanto mais que muitos homens haviam regressado ao Ocidente. As cidades estavam bem controladas mas a maior parte do país continuava sob domínio muçulmano. Algumas pequenas cidades nem sequer tinham guarnição cristã. Os Francos contentavam-se com vagos pactos de não agressão e obrigavam-nas a pagar um tributo. Alguns senhores árabes aproveitavam-se desta situação para efetuarem golpes de mão e assaltarem as caravanas de peregrinos. Os camponeses muçulmanos, para resistirem ao invasor, não hesitavam em organizar o bloqueio econômico das cidades a fim de as reduzirem à fome ou capturavam cristãos isolados e vendiam-nos como escravos. Nas próprias cidades ocorriam atentados. Em resumo, a segurança era uma palavra vã.
Havia uma estrada que era especialmente considerada exposta e pouco segura. Ligava Jafa a Jerusalém, e os egípcios de Ascalon faziam amiúde incursões contra ela. Os peregrinos só podiam circular por ela agrupados em pequenas hostes, melhor armados que fosse possível. Hugues de Payns teria decidido remediar essa situação constituindo uma equipa "para que guardassem os caminhos, lá por onde os peregrinos passavam, dos ladrões e salteadores que grandes males aí soíam fazer", como dizia Guilherme de Tiro.