Lo Xanthi fu fondato nel 1967 dalla fusione di due società locali, l'Aspida e l'Orfeas. Il nome della squadra era Athlitikos Omilos Xanthi (in greco Αθλητικός Όμιλος Ξάνθη), o AO Xanthi, ufficialmente fino al 1992. Lo Xanthi giocò per la prima volta in Alpha Ethniki (la massima serie greca) nel 1989. Nel 1991 la Viamar S.A., l'importatore ufficiale di veicoli Škoda in Grecia, comprò la società e la rinominò Škoda Xanthi FC.
La squadra è una delle migliori di Grecia, specialmente per il potere finanziario e per il vivaio. Nella stagione 2004-2005 lo Xanthi ha terminato al quarto posto nella classifica della Super League, miglior piazzamento nella storia del club. Lo Xanthi ha partecipato alla Coppa UEFA nel 2002-2003 nel 2005-2006, nel 2006-2007 e nel 2013-2014. È stata finalista perdente di Coppa di Grecia nel 2014-2015, sotto la guida di Răzvan Lucescu (3-1 per l'Olympiakos).
Nel 2016, scaduto il contratto con la Škoda, la squadra è tornata a chiamarsi Xanthī Athlītikos Omilos.
Lo Xanthi ha lasciato il vecchio stadio, lo stadio Skoda Xanthi (capacità di 9.500 spettatori), situato vicino al centro della città, per la Xanthi FC Arena, nel 2004. Il nuovo stadio fuori dalla città può contenere 7.361 spettatori, ma ha solo tre tribune. Quando la quarta e ultima tribuna sarà completata, la nuova capacità salira a circa 9.000 posti.