Klubi u themelua në vitin 1947 me emrin Rinia nga disa atletë, qëllimi i të cilave ishte të merrnin pjesë në gara të ndryshme dhe turne të organizuara në atë kohë.

Në vitin 1952, klubi nuk u regjistrua zyrtarisht dhe atë vit filloi aktivitetet e saj të organizuar dhe mori pjesë në gara të rregullta.

Në vitin 1965, ai ndërroi emrin nga Rinia në Ballkan.

Rezultatet e Ballkanit ishin të shumta. Ishte anëtare e Lidhjes së Parë të Kosovës, në vitet 1973-74 dhe pastaj që nga fillimi i viteve 1977-78.

Deri në vitin 2000 ishte anëtar i elitës. Ballkani pas shumë vitesh mungesë në Superligë u kthye në vitin 2018.