Граф Николай Шереметев, родной внук первого русского графа, сподвижника Петра I Б. П. Шереметева, после покупки дома на Воздвиженке повенчался с крепостной актрисой своего театра Прасковьей Ковалевой-Жемчуговой.

Дом стал их зимней московской резиденцией. Летом они жили в Останкине или Кускове, где давали спектакли домашнего театра Шереметева. Еще до свадьбы граф отличался уважительным отношением к своим крепостным актерам, писал в театральных программках их имена с отчествами, и сам придумал давать им красивые сценические псевдонимы по именам драгоценных камней. В 1798 году полюбившаяся графу Прасковья Жемчугова получила от него вольную, а 6 ноября 1801 года состоялось их тайное венчание в церкви Симеона Столпника на Поварской — недалеко от их нового дома. Граф Шереметев как-то признался, что в избраннице сердца его пленили больше, чем красота, «украшенный добродетелью разум, искренность, человеколюбие, ...привязанность к святой вере и усерднейшее богопочтение».

Известно, что именно по настоянию Прасковьи Николай Шереметев стал строить на Сухаревской площади Странноприимный дом (в здании ныне размещается Институт Скорой помощи им. Склифосовского). Первый параграф его устава гласил: «Оказывать помощь бедным и убогим, не спрашивая роду и племени».

Все свои личные средства Жемчугова завещала на пособия для неимущих невест, для семей нуждающихся ремесленников, на выкуп должников и погребение бедных. Через 20 дней после родов, 23 февраля 1803 года Прасковья умерла. Шереметев стал заканчивать Странноприимную больницу как памятник супруге, хотя сам не дожил года до ее открытия. Граф умер от простуды в январе 1809 года, больница же до советских времен называлась Шереметевской. В куполе ее Троицкой церкви был изображен в парящих облаках его с Прасковьей сын — маленький граф Дмитрий Николаевич.

В пожар 1812 года усадьба Шереметевых сильно пострадала от пожара, многие здания обгорели. На Моховой площади в 1817 году было построено здание Манежа, река Неглинная была заключена в трубу, а около Кремлевской стены, на месте ее русла, был устроен Александровский сад.
После пожара 1812 года храм Знамения долгое время был в сильном запустении. И только в 1840-х годах возрождением храма занялась супруга Дмитрия Шереметева Анна Сергеевна; восстановление храма было поручено архитектору А. Г. Григорьеву. Их сын Сергей Дмитриевич Шереметев в своих воспоминаниях писал: «Моя мать обратила особое внимание на эту церковь, тем более, что очень чтила икону Знамения. Она горячо принялась за дело возобновления древнего храма. …В своих заботах о восстановлении церкви она находила сочувственную поддержку со стороны митрополита Филарета». 

Порученные графиней А. С. Шереметевой архитектору А. Г. Григорьеву работы по ремонту фасадов храма касались также и переделок его интерьеров. Пространство восьмерика храма было отделено (в целях утепления) деревянным перекрытием в форме плоского восьмигранного купола с лепной отделкой. Была разобрана восточная стена трапезной с тремя арочными проходами, объединив, таким образом, трапезную с четвериком. Путем растески увеличили оконные и дверные проемы. Самостоятельные приделы прпп. Варлаама Хутынского и Сергия Радонежского объединили с центральным алтарем. При этом входы в приделы с гульбища были заложены, устроены новая солея и каменные полы.

Новые медные иконы на иконостас сделаны были иконописцами Калмыковым и Широковым.

Освящение храма совершилось торжественно 21 сентября 1847 года, служил митрополит Филарет.

 «У нас все слава Богу, — писала А. С. Шереметева вскоре, — всякий день обедня в церкви; вот уже четвертая неделя, что храм вновь освящен и очень хорош, более походит на приходскую церковь, чем на домовую».

С. Д. Шереметев вспоминал:  «…в детстве водили меня в эту церковь с другого конца дома, где я жил. Нужно было пройти чрез целый ряд комнат и зал. Широкий коридор оканчивался стеклянною дверью, за которою начиналась церковь…
…Здесь у каждого почти прихожанина или члена семьи было свое определенное, излюбленное место.

…Служил неизменно будущий соборный Успенский протоиерей, тогда еще молодой священник Петр Ильич Виноградов; служил он истово, повторяя возгласы своим выразительным, звучным басом.

Позднее его заменил приходской Воздвиженский священник Александр Васильевич Вишневский, человек высокой жизни; и служение его было умилительно…

…Позднее, перед войною 1877 года, когда мы еще живали в старом большом доме, — не прекращалась служба в церкви Знамения. …Поредела семья, но все еще сходилась, становясь на заветных местах. Особенно памятна мне служба с преосвященным Амвросием, только что возведенным в епископа Дмитровского (протоиерей Л. О. Ключарев). Он произнес красноречивое блестящее слово, разъясняя в нем значение «Знамения». Как все лучшие проповеди его, она осталась незаписанною, но впечатление живого, неподготовленного слова было сильное.

…Много воды утекло с тех пор. Еще более сомкнулась семья и теперь почти уже некому сходиться в церкви Знамения, некому помянуть прошедшие дни. Незаметно надвинулось новое и молодое поколение; но ему неведомо это минувшее. Да сохранится же в нем чувство уважения и любви к родным и семейным заветам!»

В первой половине XIX века многие усадьбы в центре Москвы перешли в общественное пользование. В 1833 году усадьба Пашковых был приобретена Московским университетом, для нужд которого здание перестроили по проекту М. Д. Быковского. В 1837 году здесь был выстроен флигель по Большой Никитской улице с каменной полуротондой церкви Святой Мученицы Татьяны (арх. Е. Тюрин). Вторая усадьба Нарышкиных (Воздвиженка, 3) была занята Горным управлением, позже здесь разместился Московский архив Коллегии иностранных дел, в усадьбе Талызиных (Воздвиженка, 5) находилась Казенная палата.

В застройке владения Шереметевых серьезные изменения произошли в 1870–1880-х и 1900-х годах, когда здесь были возведены новые доходные дома и реконструированы старые усадебные строения. Часть помещений отдавалась внаем под жилье, главный дом снимался Городской Шестигласной Думой (1873–1892). Городская Дума проводила свои заседания в главном корпусе до 1892 года. Когда для нее построили собственное здание на Воскресенской площади, в бывшем Шереметевском особняке разместился Охотничий клуб. В клубе проводились маскарады, выставки, охотничьи беседы, обеды по субботам и семейные вечера. На сцене клуба играли для непритязательной публики шуточные спектакли артисты-любители, составившие потом труппу Московского Художественного театра.

Тем не менее до 1917 года дворец оставался во владении семьи Шереметевых.

По материалам издания  «Церковь Знамения иконы Божией Матери на Шереметьевом дворе», 2009