После смерти Александра Артемьевича Загряжского имение досталось его сыновьям Ивану и Николаю — отцу и дяде Натальи Ивановны Гончаровой. Имение требовало больших затрат, так что Иван Александрович заложил его в 1806 году, незадолго до своей смерти, за 21 тысячу рублей в Московский опекунский совет.
Храм с приделами был и местом упокоения владельцев Кариана. В трапезной при церкви похоронены последние владельцы имения из рода Загряжских — генерал-лейтенант Иван Александрович с женой Александрой Степановной и сыном Александром Ивановичем, действительным камергером. К 1813 году в живых остался только дядя Николай Александрович.
Сюда, к родственникам, перед самым рождением младшей дочери Натальи прибыло семейство Гончаровых, гонимое наступающей французской армией. В конце августа Николай Афанасьевич писал неизвестному корреспонденту:
«Несчастливый переворот политических дел Европы и загоревшаяся неожиданная война в отечестве возвели, наконец, бедствия домашних неустройств наших до той степени, которой, кажется, уже никакие удары судьбы превзойти не в силах. Вам известны они будут в полной мере, когда, думая найти в прародительском доме семейство ваше, с ужасом застаете лишь стены собственности прежней, сделавшейся жертвой вероломных хищников и варваров, столь нагло нарушивших священный союз с Россией! Сии надвинувшиеся громовые тучи на любезный край наш и предчувствия вящих нещастий решили меня, между страхом и надеждою за своих колеблющегося, спасти жену, в то время на сносе беременною и невинных изнемогающих болезнию младенцев от когтей Тигров, соорудивших погибель вселенной.
Итак, для всякой осторожности назначил я дорогим сердцу моему мирным убежищем деревню шурина моего Загрязского, село Кареян, где они теперь все находятся с 19-го числа августа. Служба моя при гражданском губернаторе в Калуге, требуя меня налицо, заставила против воли бросить все заведения наши, ибо естьлиб не был при нем, то по понуждению дворянства идти на ратное поле конечно б и я не миновал участи протчих. Должностным невозможно было в таких смутных положениях получить отпуски, ибо строго запрещалось оставлять город, но выезжать лишь тогда, когда приказано будет губернатору и всей его канцелярии в случае неизбежной опасности и лишь тогда выбираться вместе с присутственными местами. Меня ж, к щастию, по особенному препоручению, освободили выездом прежде, и теперь соединился я уже с моим семейством там же в Кареяне, где ожидаем гибель или спасение. Бога ради, дайте себя видеть и удостовериться нам, что имеем еще близкого сердцу нашему и истинного друга в числе живых. Все те, которые решились принять меры осторожности, отправились в Тамбовскую губернию или в самый город Тамбов; в числе последних выслал туда же сам губернатор Каверин своих детей, так как в край отдаленный от центра России, где и до сих пор все жители спокойны.
Маршрут: из Калуги на Тулу, на г. Богородицк, на г. Козлов, на г. Амбур и в Тамбов, откудова всякой рассказать может дорогу в Село Знаменское, Кареян тож.
Искренной друг по гроб Н. Гончаров».
Его третья дочь появилась на свет 27 августа, на следующий день после Дня святой Натальи, как его празднуют в православии. 28 августа 1812 года Калужская губерния была по приказу М. И. Голенищева-Кутузова объявлена на военном положении.
Губернатор Павел Никитич Каверин, при котором и состоял Н. А. Гончаров, вступил в управление Калужской губернией 19 января 1811 года. Еще в начале августа 1812-го он предписал вооружить жителей и организовать в уездах кордоны для защиты от неприятельских фуражиров и мародеров, а также от беглых русских солдат. С августа по октябрь этими кордонами было убито и взято в плен свыше трех с половиной тысяч человек. Он же руководил и эвакуацией присутственных мест и государственного имущества, а также доставкой продовольствия в действующую армию, организацией госпиталей для раненых и транспортировкой военнопленных. Гончарову было поручено сопровождать казенное добро в Тамбовскую губернию. Туда же были эвакуированы и дети губернатора. Старший его сын, будущий приятель Пушкина Петр Павлович Каверин, узнав о войне с французами, спешно вернулся в Россию из-за границы, прервав обучение в Геттингенском университете, и отправился на театр военных действий.
Наталью крестили в Знаменской церкви, давшей второе название селу. Крестины состоялись на 13-й день по рождению, 8 сентября 1812 года, в праздник Рождества Пресвятой Богородицы, то есть в Натальин день по григорианскому календарю, как он отмечается ныне. Такой выбор дня крещения Натальи Гончаровой, скорее всего, принадлежал ее весьма набожной матери и тезке, чей день рождения приходился непосредственно на 26 августа — Натальин день. Ей явно было хорошо известно, что в католичестве и лютеранстве Натальин день празднуется одновременно с Рождеством Богородицы и именно от него производен, так как Natalius и означает на латыни рожденная или природная. В православии Натальин день ныне отмечается 8 сентября по новому стилю, а Рождество Богородицы — 21 сентября.
Читать дальше