De Pilgrim Fathers
De plek waar nu het hofje staat, kent een geschiedenis die aan de stichting voorafgaat. Engelse separatisten — vaak ook puriteinen genoemd, al wilden de puriteinen de Engelse staatskerk juist van binnenuit hervormen in plaats van haar te verlaten — waren voor hun geloof uit Engeland gevlucht, eerst naar Amsterdam.
In 1609 kregen zij, onder leiding van John Robinson, toestemming van het Leidse stadsbestuur om zich in Leiden te vestigen. In 1611 kochten Robinson en drie geloofsgenoten het huis De Groene Poort aan de Kloksteeg, op de plek van het huidige hofje. Op dit terrein, toen bekend als de Engelse of Groene Poort, liet de groep eenentwintig huisjes bouwen.

Vertrek naar Amerika
De groep kon in Leiden niet goed aarden: tussen 1620 en 1630 vertrok het merendeel van de volgelingen naar Amerika. De eerste groep vertrok in 1620 vanuit Delfshaven met de Speedwell en stak vanuit Engeland over met de Mayflower. Zij worden gezien als de grondleggers van de latere Verenigde Staten. Op 29 augustus 1920, driehonderd jaar na het vertrek, bezocht een groep Amerikanen het Jean Pesynhof om dat te herdenken, en nog altijd maken veel Amerikanen een pelgrimstocht naar Leiden.
Misverstanden
Een hardnekkig misverstand wil dat de pilgrims in dit hofje gewoond zouden hebben. Dat klopt niet: hun huisjes raakten na hun vertrek snel in verval. John Robinson zelf is niet meegereisd — hij stierf in 1625 en ligt begraven in de Pieterskerk, die op de wandeltour ligt.

Eén van de pelgrims heette Philippe de Lannoy; hij werd in 1603 gedoopt in de Vrouwekerk, de kerk waar Jean Pesyn en Maria de Lannoy later werden begraven. Ook hier bestaat een misverstand: Marie de Lannoy, medestichtster van dit hofje (zie de stichters), was niet zijn moeder.