Seržas Piteris Karlovas gimė Jungtinėse Amerikos Valstijose. Tačiau jo vaikystė prabėgo Vokietijoje, kur jis studijavo Suarsmor koledže.
Nors už mokslus nereikėjo mokėti nė cento, mat gaudavo JAV teikiamą pilnutėlę stipendiją, S.P.Karlovas mokslų koledže nebaigė.
Mokslai nutrūko 1942-aisiais. 1942-aisiais metai jo gyvenime įvyko ypač reikšmingi pasikeitimai. Jaunuoliui buvo suteiktas JAV karinių jūrų pajėgų leitenanto laipsnis. Sulaukęs leitenanto laipsnio Seržas čia pat buvo pasiųstas tarnauti į Strateginių tarnybų valdybą (STV).
