В настоящее время здание перестроено. Только круглый внутренний двор дает возможность судить о его прежнем облике. Четыре симметрично расположенные двери, ведущие во двор, имеют строгие обрамления в классическом ренессансном стиле. Такой же строгий красивый карниз увенчивает стену. Несколько простых окон лишены обрамлений. Над одной из дверей можно прочесть девиз.

Сам облик дома Мантеньи делает понятной ту любовь, с которой мастер к нему относился, и то горестное разочарование, которое ему должно было принести крушение мечты о мирной старости в его красивых стенах, среди любимых произведений античного искусства. Несмотря на получение новых земельных угодий от Франческо Гонзага, художник все более запутывался в материальных делах. В 1499 г. его поставило в затруднительное положение выделение крупной суммы в приданое младшей дочери. И, видимо, в это время ему пришлось расстаться с домом у ворот Пустерла, передав его в собственность Гонзага, рядом с маленьким дворцом которых он находился.

В 1504 г., удрученный невзгодами и болезнями старый художник написал завещание, разделив имущество между сыновьями и поручив заботам Лодовико своего незаконного сына Джованни Андреа до его совершеннолетия. Значительную сумму он выделил на оборудование и роспись погребальной капеллы, которую он приобрел для себя и своей семьи в церкви Сант-Андреа. Установили гараж, тогда не забудьте и про ворота для гаража

Вскоре после этого новые огорчения омрачили его старость. Сыновья Мантеньи, Лодовико и Франческо, приносили ему все большие неприятности. Видимо, близость ко двору не прошла бесследно для молодых людей, сделав их жадными к деньгам и к житейским наслаждениям. Можно предположить, что они разоряли отца, и без того постоянно нуждавшегося в деньгах. Наконец, в 1505 г. один из них за тяжелые провинности был изгнан из Мантуи. Об облике второго можно судить хотя бы по тому, что он уже после смерти отца вымогал у жены брата доставшееся ей по завещанию Мантеньи имущество и чуть ее не зарезал. Изабелла дЭсте, просившая в письме к мужу о прощении изгнанного сына Мантеньи, несмотря на его большую вину, ради заслуг и высоких достоинств отца, писала, что старый художник пришел к ней «весь в слезах и так подавленный своим горем, что он казался скорее мертвым, чем живым». Однако Франческо, прося жену передать Мантенье о глубоком к нему уважении, отказал в помиловании сына.