Die Siedler, die etwa vor 800 Jahren in unsere Gegend kamen, nannten ihre neue Heimat auf Grund der felsigen Berge ”Steynberc (später Steynberg)”. Sie brachen am Fuße des kleinen Windmühlenberges Steine und bauten zum Teil auf die frei werdenden Flächen ihre Häuser in den Berg hinein (Hauptstraße 7, 11, 13, 17, 19, 21, 22). 
Auf alten Karten sind deutlich die alten Abbruchstellen zu erkennen: Südhang (Beiersdorfer Straße), Westseite (Lindenplatz) und Ostseite, weitere 3 Stellen zwischen kleinem und großem Brandberg. 
Der industrielle Abbau begann etwa 1900. Die ersten Steinbrucharbeiter sind uns jedoch schon 1886 mit Karl Gottlob Schulze, Heinrich Heinitz und Friedrich Keilitz bekannt. 
Die Arbeit im Steinbruch bedeutete harte körperliche Arbeit. Die Steine mussten gebrochen und zu Schotter geschlagen werden. Männer und auch Frauen knieten stundenlang auf Strohkissen und zerklopften mit schwerem Hammer den ”Knackschlag”. 
Auf einem Schiebbock wurden die ”guten” Steine zum ”Bossierer” gefahren, der sie zu Pflastersteinen zurechtschlug. Im Sommer war die Hitze im Bruch unerträglich, im Winter trug man dicke Jacken. 
1904 lieferten aus Großsteinberger Brüchen Ernst Schreiber und Otto Rößler der Gemeinde Packlager für den Straßenbau. 
1906 beantragt Steinbruchbesitzer Alban Vetterlein (ein Zementfachmann aus Glauchau) mit seinem Meister Hempel den Bau von Wohn-, Lager- und Stallgebäuden und eine Brecheranlage, 1908 eine Zementfabrikationshalle zur Herstellung von Zementröhren. Die Steinbrüche von Rößler & Co. und von Engelmann wurden später einverleibt. 
1913 wurden bei Vetterlein 70 Arbeiter beschäftigt, die vorwiegend aus Großsteinberg, aber auch aus Pomßen, Grethen, Beiersdorf und Grimma kamen. Davon arbeiteten 20 in der Zementfabrik und stellten Pflastersteine her. Obwohl recht bald Anschlussgleise gelegt wurden, transportierten sogenannte 4-Zoll-Wagen, von schweren Pferden gezogen, die Steine zu den Baustellen. 
In weiteren kleinen Brüchen am „Grimmaischen Fußweg” wurden zum Beispiel 1922 in mühsamer Arbeit die Steine zum Bau des ”Naturfreundehauses” (zwischenzeitlich Erich-Weinert-Jugendherberge) gebrochen und in Schubkarren zur Baustelle gefahren.

Bis 1934 bestand noch ”Wolfs Steinbruch” am Osthang des Windmühlenberges. Aus diesem stammt das Grethener Straßenpflaster. Später wurde hier die Werkstatt der LPG gebaut. Heute gehört das Gelände „Asbit-Chemie“, einem Baustoffhändler aus Großsteinberg mit Namen Alexander Neumann. 
Zwei Wohnhäuser wurden errichtet. Eines davon hat in geschickter Weise die Reste des Brecherfundamentes in den Bau einbezogen.

Auch aus dem Grethener Bruch (Kunze) und dem Klingaer Bruch (Möbius) wurden Steine nach Großsteinberg transportiert, die ersteren noch bis 1952 mit der Hand in Waggons geladen, die anderen mittels einer Kleinbahn von einer Laderampe in die Waggons abgekippt.

Nach Alban Vetterlein übernahm der Industrielle Hans Herrmann den Steinbruch. Seine späteren Besitzer Kahnes &Wagner stellten mit einer Abteilung Betonwaren auch vorwiegend farbige Gehwegplatten her. 1937 produzierte dieser Betrieb 91300t Steine. 
Aus diesem Bruch ist inzwischen seit 1954 das hochmodernisierte Werk ”VEB Vereinigte Splittwerke Hohnstädt/Röcknitz, Betriebsteil Großsteinberg“ geworden. 1957/59 wurde das Werk erweitert und vollmechanisiert, so dass 1962 bereits 586000 t, 1971 891000 t produziert werden konnten. Weitere Rekonstruktionsmaßnahmen mit einem Investitionsaufwand von ca. 12 Mio. (DDR-)Mark folgten 1971/75. Dazu erfolgte eine großzügige Erweiterung sozialer Einrichtungen, wie Sozialgebäude mit Speisesaal, moderne Küche usw. 1987 arbeiteten ca. 140 Belegschaftsmitglieder in 3 Schichten.

Heute wird der Steinbruch von der „Sächsische Quarzporphyrwerke GmbH Röcknitz“ mit Sitz in Thallwitz betrieben.