Secondo la leggenda, fu portato in Francia da S. Gregorio, vescovo d’Armenia, che rifugiatosi in convento a Pithiviers, ne custodiva segretamente la ricetta offrendolo a tutti i suoi visitatori. La presenza abbondante delle spezie tra gli ingredienti sembra confermare le origini storiche del dolce all’interno dei conventi: a quei tempi infatti le spezie come cannella, noce moscata e chiodi di garofano, erano rare e costosissime e il loro utilizzo era esclusivo delle classi più agiate e dei religiosi. All’inizio chiamato pane d’amore, divenne poi nel tempo pane di spezie e si diffuse, grazie alla sua bontà, in tutti i paesi d’Europa.
La ricetta base prevedeva farina di segale, miele, anice, coriandolo, zenzero, cannella, ma variava di paese in paese a seconda dei gusti e della disponibilità degli ingredienti. Nel corso dei secoli, dopo l’uscita dai conventi e la diffusione nei mercati e nelle fiere di paese, assunse spesso forme molto particolari: un fallo per curare l’impotenza, corna per i mariti ingannati, seni e glutei per i buontemponi. Restava comunque sempre anche una specialità di alcuni ordini religiosi e, secondo alcune fonti, in Italia la ricetta era gelosamente custodita dai gesuiti e il nome venne cambiato, per la sua forma a zuccotto, da pan di spezie in “Pan del Papa”.
In seguito all’arrivo del cacao in Italia e alla sua aggiunta alla ricetta, il nome del dolce cambiò ancora diventando “panpepato” richiamando le proprietà afrodisiache del cioccolato. La diffusione del pan di spezie è continuata in tutta Europa e oggi mantiene la sua importanza in Europa settentrionale e centrale, dove viene venduto alle fiere a forma di cuori, porcellini o omini, ricordando le antiche tradizioni. In Ungheria, ancora oggi nei mercati vendono dei panpepati a forma di cuore, decorati al centro con un piccolo specchio. L’innamorato lo regala alla sua ragazza, perché lei veda riflessa “l’immagine di chi governa il suo cuore”.