W 1946 roku przy stacjonującym w Ełku 62. Pułku Piechoty założono Wojskowy Klub Sportowy (WKS) Mazur Ełk. Równocześnie, w tym samym roku, powstał Kolejowy Klub Sportowy (KKS) Ełk, który w 1949 roku przyjął nazwę ZKS (Związkowy Klub Sportowy) Kolejarz Ełk. W 1952 roku WKS Mazur Ełk po 6 latach istnienia zmienił nazwę na GWKS (Garnizonowy Wojskowy Klub Sportowy) Ełk. Rok później w ramach odgórnego polecenia o utajnieniu miejsca stacjonowania jednostek wojskowych, nazywał się on już KS (Klub Sportowy) Ełk, by z końcem 1953 r. w ogóle zostać rozwiązanym. Tymczasem wciąż istniejący klub KKS Kolejarz Ełk przejął w 1955 roku nazwę Mazur, pod którą występuje do dziś. W roku 1954 Kolejarz Ełk osiągnął historyczny awans do III ligi . W swoim pierwszym sezonie już jako Mazur Ełk zajął 10 lokatę i utrzymał się w lidze. W 1959 III ligę zastąpiła liga okręgowa. Zwycięzcy poszczególnych grup grali w barażach o awans do II ligi. Mazur pięciokrotnie się do nich kwalifikował, ale nigdy nie udało mu się wywalczyć awansu do II ligi. Najwyższą lokatę w tych barażach zdobył w sezonie 1962/63. Mazur grał wówczas w III grupie. Zwycięzcy czterech grup awansowali do II ligi.
W połowie lat 60. przeprowadzono kolejną reformę rozgrywek. Klasa okręgowa została czwartym poziomem ligowym i utworzono ponownie III ligę. Mazur trzykrotnie awansował do III ligi, lecz zawsze żegnał się z nią po jednym sezonie. Dopiero od sezonu 1976/77 się zadomowił w III lidze na dłużej, a w latach 80. został jedną z czołowych drużyn III-ligowych i klikakrotnie mało zabrakło do awansu do II ligi. W 1991 roku zaczęły się chude lata w ełckim klubie. Mazur grał w IV lidze oraz lidze okręgowej (czwarty i piąty poziom rozgrywek) i taki stan utrzymuje się do dziś. W sezonie 2008/2009 Mazur uzyskał awans do nowej III ligi (IV poziom). Do dziś Mazur Ełk jest najbardziej znanym ełckim klubem piłkarskim. Przed sezonem 2010/2011 ma nastąpić fuzja Mazura z lokalnym rywalem – Płomieniem.
Za najlepszy sezon Mazura uznaje się sezon 1985/1986, kiedy Mazurowi zabrakło dwóch punktów do awansu do II ligi.
W sezonie 1986/1987 Mazur zajął jedenastą lokatę i opuścił szeregi III ligi.
Mazur w sezonie 2008/09 strzelił najwięcej goli spośród wszystkich czwartoligowych drużyn w kraju.
