Павел Петрович Панков был женат на Инне Осиповой-Панковой, у супругов было двое сыновей Андрей и Иван.