Dopo aver giocato con Sportist e con una squadra minore in Bulgaria, nel 1950 diviene un calciatore della CSKA Sofia. Diverrà una bandiera ed uno dei migliori attaccanti della formazione della capitale. Con il CSKA Sofia vince 11 campionati bulgari e 4 Coppe dell'Esercito Sovietico. Inoltre partecipa a diverse edizioni della Coppa dei Campioni riuscendo a segnare in cinque edizioni tra il 1957 e il 1962: il miglior risultato del CSKA Sofia in Coppa Campioni, in quegli anni, sono i quarti di finale raggiunti nell'edizione 1956-57. Panajotov segna 3 reti nel 1956-57, 2 reti nelle successive due edizioni (1 nel 1957-58 e l'altra nel 1958-59), 1 nella stagione di Coppa Campioni 1960-61 e l'ultima rete in Coppa Campioni nell'edizione 1962-63. Chiude la carriera con il CSKA Sofia con 217 presenze in campionato e 60 reti, prima di trasferirsi a Belgrado per una breve esperienza con la Stella Rossa.