Джеффери — второй[1] из шести детей Джеффа Тейлора, который играл непродолжительное время в НБА, а затем продолжил карьеру в Швеции, где и проживает по сей день[2]. Тейлор младший имеет двойное гражданство (США и Швеции по рождению), до 2006 года он жил в Швеции и выступал за Norrköping Ungdomsbasket Förening, а позже, проживая уже в Соединённых Штатах, он как-то сказал в одном из своих интервью: «…если кто-нибудь меня спросит, откуда я, я скажу из Швеции.» Тем не менее, как игрок он вырос в городе Хобс (штат Нью-Мексико), где его отец был школьной звездой в конце 70-х.