Die weithin bekannte Wallfahrt begann kurz nach dem Ende des Dreißigjährigen Kriegs, als das namengebende Vesperbild zunächst bei einer Linde aufgestellt wurde. 1673 errichtete man eine kleine steinerne Kapelle und gut fünfzig Jahre später einen ersten Zentralbau, der jedoch wegen seiner ungenügenden Gründung recht bald schon baufällig wurde. So konnte nach Plänen des späteren Wallersteiner Hofbaumeisters Johann Georg Hitzelberger die heutige harmonisch-proportionierte Saalkirche mit dem eleganten Turm von 1754 bis 1756 in reifen Rokokoformen errichtet werden. Hitzelbergers Architektur prägen in den Grundformen die Prinzipien, die Dominikus Zimmermann mit der Günzburger Frauenkirche in Schwaben eingeführt hatte: Weitung der Langhausmauern, Nischenbildung bei den Seitenaltären und konkave Schmalseiten beim Turmachteck. Zu den Markenzeichen Hitzelbergers freilich gehört die sorgfältige plastische Gliederung seiner Kirchtürme, die bei Zimmermann nicht so zu finden ist.

Aus der Bauzeit haben sich die filigranen Rokokostuckaturen und die besonders beachtenswerten Fresken erhalten. Sie charakterisiert der warmtonige, fast aquarellhaft zarte Malstil. Im Zentrum des Hochaltars steht das frühbarocke Gnadenbild der Pietà. Die heutige Altarausstattung stammt aus den 1960er Jahren und ersetzt in Formen des Rokoko die stilistisch unpassende Dekoration aus dem 19. Jahrhundert. Altar und Kanzel haben auch deswegen Seltenheitswert, weil es aus den 1960er Jahren nahezu keine Vergleichsbeispiele im Neorokoko-Stil gibt. Ungeachtet dessen blieben qualitätvolle Barockfiguren und zahlreiche alte Votivgaben aus älterer Zeit erhalten.

Beeindruckend ist auch die nahegelegene Fatima-Grotte nördlich des Schlosses Seyfriedsberg, wohin durch einen lichten Buchenwald von der Wallfahrtskirche ein Kreuzweg führt. Hier wurden als Dank für Gebetserhörungen weit über 1000 Votivtafeln angebracht. Um die Fatima-Madonna brennen riesige Votivkerzen aus aller Welt.