Siempre te quedarás con la cultura que te marque cuando conseguiste ese edificio.
La única forma de aumentársela es cuando pases de capítulo, usar las restauraciones reales sobre él.
Recuerda que necesitarás tantas restauraciones reales como cuadritos tenga el edificio, por lo que si el edificio mide 2x3, necesitarás 6 restauraciones.
Si por el contrario el edificio mide 4x5 necesitarás 20 restauraciones para mejorarlo.
De todas formas, las restauraciones reales no te aconsejo que las gastes en cualquier edificio, sino en aquellos que te proporcionen un gran beneficio actual (y futuro) y te interese aumentarlos capítulo a capítulo porque sean muy difíciles de conseguir.
Los que solo dan cultura (o solo cultura y población) mejor que no los mejores y te ahorres esas restauraciones, pues siempre habrá otros culturales futuros que seguro te proporcionarán más que ellos y podrás sustituirlos.
Un saludo.