Osobný život

Sám seba opisuje ako "diletantského atleta". Býva vo Windsdore a chodí na Shiplake Collage blízko Henley-on-Thames v Oxfordshire a na Lambrook Haileybury v Bracknellu. Millfieldu školu v Somersete opustil, aby mohol chodiť na dramatickú školu. Keď práve nepracuje, rád sa lyžuje, baletí, tancele alebo hrá hokej.
Po natáčaní sa s nikým zo školy o filme nebaví, pretože Ewan McGregor, jeho kolega z práce mu poradil, aby nemiešal svoj osobný život s kariérou. Pettyfer sa rozhodol, že opustí škole a bude sa naplno vedovať hereckej kariére, rovnako tak štúdiu na dramatickej škole.