Несколько последних лет здание пустует, а доступ к нему практически не ограничен.
По факту пожара ярославские градозащитники обратились к директору областного департамента культуры с просьбой найти виновных и оградить здание от посторонних.
«Жители соседних домов, обнаружившие пожар 16 мая в 9.00, вызывали пожарных, силами которых пожар был потушен 17 мая в 17-00. Позже возникали единичные очаги возгорания. По информации МЧС, пожару присвоена 1-я степень, говорится в обращении градозащитников. - Горели помещения на всех трех этажах внутри здания в 1-м пожарном отсеке (это-половина здания), ближе к ул. Калмыковых, дым шел со стороны двора (где входы в здание) и, особенно, со стороны фабрики. Зданию нанесен ущерб: пострадали кирпичная кладка, внутренние конструкции, конструкции крыши, выгорели рамы окон.Представители общественности и жители соседних домов предполагают, что это умышленный поджог».
Это не первое возгорание так называемых корпусов на ул. Калмыковых. 2-3 марта 2014 года в здании по ул. Калмыковых, 6, произошел сильнейший пожар, тогда огонь тушили двое суток.
Градозащитники просят руководство департамента культуры обязать собственника провести работы по консервации памятников «Казармы для рабочих Ярославской Большой мануфактуры», закрыть окна и двери, прекратить доступ посторонних, огородить территорию памятников, обеспечить надежную охрану.
В Ярославле горело здание ЯГПУ имени Ушинского 
Лесной пожар под Рыбинском охватил территорию 1,9 га 
Под Рыбинском вспыхнул лесной пожар 
В Рыбинске сгорел частный автосервис 
В Ярославле сгорел памятник архитектуры