La composition chimique des différentes zéolithes est proche de celle des argiles : ce sont des aluminosilicates plus ou moins hydratés. La différence très importante sur le plan cristallographique est que les argiles présentent une structure feuilletée (phyllosilicates) ou fibreuse (sépiolite et palygorskite), tandis que les zéolites présentent une structure tridimensionnelle. C'est la même différence qu'entre le graphite (structure en feuillets hexagonaux) et le diamant (assemblage de structures tétraédriques). Globalement, une zéolite est formée de trois composants : Le squelette (Si1-bAlbO2), où la fraction d'aluminium b peut varier entre 0 et 1, et Al ou Si être remplacé par un autre élément ; Un cation de forme Mb/a, assurant la neutralité électrique de l'ensemble ; Une phase adsorbée, généralement formée initialement par de l'eau, (H2O)c . Par exemple : La natrolite a pour formule Na2(Si3Al2O10), 2 H2O ; L'heulandite a pour formule (Ca,Na2)2(Si7Al2O18), 6 H2O. Chacun des quatre sommets du tétraèdre est occupé par un anion d'oxygène O, et chaque anion d'oxygène est partagé par deux tétraèdres. De ce fait, le squelette d'une zéolite a toujours deux atomes d'oxygène pour un atome métallique. La proportion Al/Si d'aluminium par rapport au silicium peut théoriquement varier de entre 0 et 1. En pratique, la proportion ne peut pas dépasser 1/2, du fait de la répulsion électrostatique entre les tétraèdres d'alumine qui ne favorise pas l'assemblage pour des proportions plus importantes. Quand la proportion d'aluminium est nulle, l'assemblage de tels tétraèdres forme de la silice, qui est un solide électriquement neutre. Chaque AlO4 tétraédrique présent dans la structure apporte une forte charge négative qui doit être contrebalancée par un ou plusieurs cations, tels Ca, Mg ou K. L'eau présente lors de la synthèse participe initialement à la structure cristalline, en occupant les vides du squelette. Cette phase adsorbée et d'éventuels cations organiques peuvent être supprimés par traitement thermique ou par oxydation, tout en préservant le squelette cristallin. Les tétraèdres utilisés dans la structure ne sont pas limités à Al et Si, mais peuvent être centrés sur des atomes variés du moment qu'ils sont suffisamment peu électronégatifs : Si, Al, P, Zn, etc. Ces substitutions conduisent à des squelettes de structures similaires, mais qui peuvent présenter des propriétés originales : zincosilicates, borosilicates, gallosilicates, germanosilicates, etc. Les germanosilicates ont un squelette électriquement neutre, de même que les aluminophosphates de type AlPO4.
