Olszewski, dopo non essere stato scelto nel Draft NFL 2019, firmò con i New England Patriots. Debuttò nella vittoria della settimana 1 per 33–3 contro i Pittsburgh Steelers, ritornando due punt per 35 yard.[1] La prima ricezione la fece registrare nella settimana 6 contro i New York Giants, chiudendo con 2 prese per 29 yard.[2] Fu inserito in lista infortunati il 19 novembre 2019 a causa di problemi alla caviglia e a un tendine del ginocchio.[3]
Nella settimana 13 della stagione 2020 contro i Los Angeles Chargers, Olszewski ritornò un punt per 70 yard in touchdown. In quella partita segnò anche il primo touchdown su ricezione in carriera nel quarto periodo. A fine stagione fu inserito nel First-team All-Pro dall'Associated Press dopo avere guidato la NFL con 346 yard su ritorno di punt.[4]