Sua residência principal era em Fanjeaux e Carcassona. Fanjeaux ele escolheu por sua proximidade com Notre Dame de Prouille e Carcassona por outro motivo. “Por que você não mora em Toulouse ou na diocese?” foi uma pergunta que um dia lhe fez. “Conheço muitas pessoas em Toulouse”, respondeu ele, “e elas me respeitam; mas em Carcassona, todos estão contra mim.” 

Eles certamente eram: era sua diversão tratar o frade humilde e descalço que era visto nas ruas como um tolo; antes, digamos, eles deram o testemunho mais verdadeiro de sua semelhança com seu Senhor pela semelhança de como o trataram. Eles costumavam segui-lo, jogando terra nele e cuspindo em seu rosto; amarrando palhas ao seu manto e chapéu, e perseguindo-o com gritos de riso zombeteiro. Ele nunca parecia dar-lhes atenção, ou deixar a singular quietude de sua alma ser perturbada uma vez por essas afrontas. Às vezes, seus insultos eram acompanhados de juramentos blasfemos e ameaças de morte. “Não sou digno do martírio”, foi a única resposta que conseguiram tirar dele.