[[File:A. S. Panina.jpg|thumb|180 px|Александра Сергеевна]]
Жена (с 29 апреля 1823 года) — '''Александра Сергеевна Толстая''' (1800—1873), сестра декабриста [[Толстой, Владимир Сергеевич|В. С. Толстого]], внучка князя [[Долгоруков, Пётр Петрович|П. П. Долгорукова]] и племянницеплемянница тех Долгоруковых, которые пользовались благосклонностью молодого Александра I. Бракосочетание состоялось в Москве в домовой церкви деда жениха графа [[Орлов, Владимир Григорьевич (граф)|В. Г. Орлова]] на Никитской улице. По свидетельству родственника, в молодости Александра Сергеевна была очень приветлива, весела и вносила в свой семейный круг много оживления милыми и забавными затеями<ref>Биографический очерк графа В. Г. Орлова. Т. 2. — СПб., 1878. — С. 284. </ref>. По выходе мужа в отставку, с 1839 года жила с ним в Москве. Согласно воспоминаниям их внучки княгини А. [[Голицын, Павел Павлович|Н. Голицыной]], в семейной жизни бабушка и дедушка очень ревновали друг друга, из-за чего страдали их дочери (особой близость между которыми не было), особенно доставалось младшей Марии, которой приходилось скакать между родителями курцгалопом. Последние годы своей жизни графиня Панина проживала зимой во флигели московского дома на Б. Никитской, а летом в своем имении Васильевском. Всегда была занята благотворительностью и состояла помощницей председательницы совета Попечительства о бедных. Похоронена рядом с мужем в Донском монастыре. В браке имела детей:
* Софья Александровна (1825—1905), была замужем за действительным статским советником князем [[Щербатов, Григорий Алексеевич|Г. А. Щербатовым]].
* Елена Александровна (ум. 19.02.1828), упала на голову с дивана и умерла от воспаления мозга.
