An feindlichen Überfällen hatte St. Veit schon vorher zu leiden, doch der Türkensturm 1529 ist die erste in allen Geschichtsbüchern behandelte traumatische Zäsur. Allerdings übertreiben so manche Berichte, wenn sie Totalverluste angeben. Die Spuren in den Grundbüchern sind schlimm genug, aber wesentlich moderater. Zur ersten Türkenbelagerung berichten sie von einer „Anzahl erschlagener oder in Gefangenschaft geführter Einwohner und verbrannter Häuser.“ Einige Häuser blieben für Jahrzehnte Ruinen.

Nach dem Ende der zweiten Türkenbelagerung 1683 waren laut Grundbuch 27 der 97 Häuser St. Veits von den Türken verwüstet und deren Familien umgekommen. Weiters lagen viele Weingärten und einige Wiesen und Äcker brach. Allen, die verwüstete Häuser, Felder und Weingärten wieder urbar machten, wurde von der Grundherrschaft vier- bis zehnjährige Abgabenfreiheit zugesichert. Schloss und Kirche dürften unter der ersten Belagerung massiver zerstört worden sein als unter der zweiten.

Auch Seuchen wie Pest und Cholera dezimierten die Bevölkerung St. Veits wiederholt. Besonders schlimm war die Pest im Jahr 1713, der laut Aufzeichnung in den Pfarrmatriken 385 St. Veiter zum Opfer fielen. Damals wohnten in 87 Häusern etwa 800 Menschen.