このように苦労して作られた国分寺ですが、なくなってしまったのは意外と早かったようです。もともと民衆のために作られたものではなく、国を守るために作られたものなので、平安時代になって国の力が衰えてくると国分寺の修理もあまり行われなくなってしまいました。上野国分寺が作られてから250年ほどたった頃の記録が残っていますが、それには塔や金堂などの中心部はなんとか残っているものの、まわりの築垣や門などは既になくなっていると書かれています。わずかに残っていた建物もその後ほどなくして壊れてしまったようです。