Noch bevor 1735 die neue Kirche St. Franz Xaver geweiht wurde, war Vesela Gora schon ein berühmter Wallfahrtsort. 1730 wurden am Hang die Kapellen des Kreuzweges gebaut. Jedes Jahr versammelten die Menschen sich zum Kreuzweg und zu Wallfahrten. Außer der Bevölkerung der Ortschaften der Region Dolenjska und einem Großteil von Štajerska nahmen auch Bewohner aus Bela Krajina, Kroatien und Gorenjska an den Wallfahrten teil. Auf der Vesela Gora machten auch Pilger auf den Kum halt.
Die Pilger blieben auf der Vesela Gora auch über Nacht. Die angesehensten Personen übernachteten im Pfarrhaus, andere im Pilgerhaus mit Gaststätte, in Häusern im Dorf, im Freien und auch in der Kirche. Um sündige Gelegenheiten und Anstößigkeit zu vermeiden, erteilte der Bischof von Görz 1751 ein Übernachtungsverbot auf der Vesela Gora. Damit ging die Zahl der Pilger zurück, es kamen nur noch jene, die am selben Tag bis zur Kirche und wieder nach Hause kamen. 1761 wurde das große neue Pfarrhaus gebaut. 1782 verbot Kaiser Joseph II.
Wallfahrten, Bruderschaften und außerordentliche kirchliche Andachten. Bis dahin waren die Pfarrer auf der Vesela Gora der Kirchenverwaltung noch nicht an Šentrupert gebunden, sondern gehörten unmittelbar zur Propstei von Novo mesto und unter die Herrschaft der Bischöfe von Pedena (heute Pićan, in im kroatischen Istrien). Sie hatten auch besondere Befugnisse bei den Ablässen. Mit finanziellen Mitteln unterstützten sie die Kirche, ein Teil davon ging auch an die Armen und Kranken. Nach dem Jahr 1801 lasen Geistliche aus Šentrupert die Messen auf der Vesela Gora.
Große Pilgerversammlungen, Prozessionen und Feierlichkeiten, wie einst zu Pfingsten, am Tag der hl. Margareta, zur so genannten kleinen Messe oder zum Engelssonntag gab es nicht mehr. Trotz des Verbotes kamen mit der Zeit wieder Pilger, doch es waren nicht mehr so viele, teilweise auch wegen der Nähe anderer Wallfahrtskirchen in der Umgebung. Den Menschen war die Verehrung von Maria oder anderer Heiliger näher als die Verehrung des hl. Franz Xavers. In die Kirche auf der Vesela Gora wurde im 19. Jahrhundert eine Statue der Mutter Gottes von Lourdes gebracht. Mehr als an den hl. Franz wandten sie sich mit ihren Fürbitten an Maria, den hl. Anton aus Padova, an Schutzengel, besonders Mütter beteten zur hl. Anna. Dass der hl. Franz Xaver einst als mächtiger Fürbitter für die glückliche letzte Stunde, einen festen Glauben, genügend alltägliches Brot und gegen die Viehpest und gegen Gewitter galt, wissen heute nur noch wenige Bewohner von Vesela Gora.
Die Zeit der Wallfahrten war für die Bewohner von Vesela Gora die Zeit des guten Verdienstes. Die Kirche war in gutem Zustand, kamen doch bei der Opfergabe bei Feierlichkeiten ziemliche Geldsummen im Samtsäckchen zusammen, obwohl viele Pilger arm waren. Die Kirche unterstützten auch die Grafen, die die Burg bis zum zweiten Weltkrieg bewohnten. Nach deren Fortgang wurde in der Burg ein Gasthaus eröffnet.
Ein Gasthaus bzw. einen so genannten Puschelschank hatte damals jedes Haus, außer der Küster. Um keine Steuern zahlen zu müssen, wurde hausgemachter Wein ausgeschenkt, was die Gendarmen nicht verhindern konnten. Mancherorts wurden den Pilgern auch warme Mahlzeiten angeboten. In den reichsten Gasthäusern wurden in der Wallfahrtszeit mehrere Schweine und Kälber geschlachtet und verkauft. Die einheimischen Kinder – Hirten – stellten den Pilgern Hüte auf. So konnten sie einige Kreuzer verdienen und hin und wieder auch Bonbons, die die Pilger an Ständen kauften.