Il più delle volte i pellegrini del medioevo vivevano la loro esperienza itinerante come un'avventura non priva di incontri pericolosi. Capitava infatti d'imbattersi in individui di natura sospetta, coi quali si condivideva un pezzo di strada. La prudenza non era mai troppa. Insieme ai romei circolavano compagni di viaggio un po' particolari. Finché si trattava di suonatori e giocolieri, andava bene, il viaggio era allietato da musica e danze. Ma quando si trattava di persone di pochi scrupoli, bisognava stare attenti alle proprie tasche e alla propria pelle. Pronti a raggirarti o a farti fuori per un misero bottino, erano briganti, banditi, lestofanti, emarginati dalla società che, per sopravvivere, ricorrevano alla violenza. Essi assalivano i viandanti preferibilmente quando percorrevano in salita passi alpini. Aggressioni contro i pellegrini diretti verso Roma avvenivano con frequenza presso la Chiusa di Salorno a sud di Bolzano. Racconta Liutprando di Cremona che a Frassineto, a poca distanza da Nizza, un covo di briganti saraceni faceva strage di "cristiani e pellegrini che si recavano in massa alla soglia degli Apostoli Pietro e Paolo", varcando le Alpi. Anche le autorità doganali non erano tanto tenere coi romei. Per riscuotere i pedaggi, i doganieri, muniti di lancia, percuotevano con quella il pellegrino che non intendeva, e a ragione, pagare l'imposta. La quale imposta solo ai mercanti era richiesta, ne erano esenti i pellegrini, vittime di circostanza di esattori disonesti.