Carrollita recebeu esse nome de onde foi descoberto - Carroll County, em Maryland, EUA. O mineral é encontrado em depósitos hidrotérmicos e geralmente está associado a vários outros minerais, como pirita, calcocita, calcopirita e muitos outros. O mais belo de seus cristais octaédricos vem das minas da República Democrática do Congo.