Anhydrit ist ein gesteinsbildendes Mineral. Als solches findet es sich in sedimentären Abfolgen von Evaporiten, in denen es zumeist aus der diagenetischen Dehydratation von Gips hervorgegangen ist, der wiederum aus salzübersättigtem Meerwasser ausgefallen ist. Nur bei Wassertemperaturen von mehr als 35 °C kann Anhydrit direkt ausgefällt werden, was in der Regel nur im Gezeitenbereich möglich ist. In Evaporiten kommt Anhydrit primär zumeist entweder mit Calcit, Dolomit und Gips oder mit Gips und Halit vor. Seltenere Begleitminerale sind unter anderem Coelestin, Magnesit, Polyhalit, Sylvin und Schwefel. Als häufige Mineralbildung ist Anhydrit an vielen Fundorten anzutreffen, wobei bisher (Stand: 2015) rund 1400 Fundorte als bekannt gelten. Erwähnenswert aufgrund von außergewöhnlichen Kristallfunden ist unter anderem Naica in Chihuahua (Mexiko), in der Drusen mit bis zu 20 cm langen Anhydritkristallen gefunden wurden sowie Wieliczka in Polen, wo bis zu 2 cm große Kristalle zutage traten. In Deutschland tritt Anhydrit unter anderem im Schwarzwald, bei Heilbronn, Müllheim und der Schwäbischen Alb in Baden-Württemberg; im Frankenland und Oberbayern; bei vielen Orten in Hessen und Niedersachsen; bei Aachen, Rheinberg und im Sauerland in Nordrhein-Westfalen; in der rheinland-pfälzischen Eifel; bei Saarbrücken und Saarlouis im Saarland; im Harz von Niedersachsen bis Thüringen (z. B. Kohnstein); im Erzgebirge und bei Zwickau in Sachsen; bei Bad Segeberg in Schleswig-Holstein sowie bei Gera, im Kyffhäuser und im Thüringer Wald auf. In Österreich findet sich das Mineral unter anderem bei Pöttsching im Burgenland, in den Gailtaler Alpen und den Karnischen Alpen in Kärnten, am Semmering in Niederösterreich, an mehreren Orten von Salzburg und der Steiermark, in Nordtirol sowie in Oberösterreich. In der Schweiz wurde Anhydrit an mehreren Orten im Kanton Wallis, bei Felsenau/Leuggern und Schafisheim im Kanton Aargau, bei Leissigen im Kanton Bern, in den Graubündner Tälern Val Cristallina und Val Milà, bei Airolo und Lavorgo im Tessin, in den Salz- und Schwefelbergwerken nahe Bex und Sublin im Kanton Waadt sowie an mehreren Stellen während des Baus des Gotthardtunnels nachgewiesen. Weitere Fundorte liegen unter anderem in Afghanistan, Ägypten, Algerien, Argentinien, Armenien, Australien, Bolivien, Brasilien, Bulgarien, Chile, China, Dänemark, Ecuador, Frankreich, Griechenland, Guatemala, Indonesien, Iran, Irland, Island, Israel, Italien, Japan, Kanada, Kasachstan, Katar, Kolumbien, Demokratische Republik Kongo, Kuba, Litauen, Madagaskar, Malta, Marokko, Mexiko, Mongolei, Namibia, Neuseeland, Niederlande, Norwegen, Pakistan, Panama, Papua-Neuguinea, Peru, die Philippinen, Rumänien, Russland, Saudi-Arabien, Schweden, Serbien, Simbabwe, Slowakei, Slowenien, Spanien, Südafrika, Taiwan, Thailand, Tschechien, Tunesien, Türkei, Ukraine, Ungarn, Usbekistan, das Vereinigte Königreich, die Vereinigten Staaten von Amerika. Auch in Gesteinsproben des Mittelatlantischen Rückens, des Zentralindischen Rückens, der Bismarcksee, des Chinesischen Meeres und des Ostpazifischen Rückens sowie außerhalb der Erde auf dem Mond (Mare Crisium) konnte Anhydrit gefunden werden. Anhydrit kann zudem durch Brennen von Gips entstehen. Bei Temperaturen um 100 °C verbleibt im Gipsstein etwas Kristallwasser, wodurch Halbhydrat entsteht; bei höheren Temperaturen wird das gesamte Kristallwasser entzogen und es entsteht Anhydrit.