En los siglos modernos, especialmente en los siglos XVI y XVII Sevilla era el centro del mundo debido a la llegada de los productos americanos, entre ellos, el tabaco. Es por ello que la primera fábrica del mundo de tabacos estuvo en Sevilla. Una pena que ya no éste por no interesar al capital.
La primitiva Fábrica de Tabacos de Sevilla se hallaba, al menos desde 1620, en un recinto situado entre la iglesia de San Pedro y la del Buen Suceso, donde había existido anteriormente un corral de comedias, es decir, en la actual Plaza de San Pedro. El recinto, integrado por varias construcciones de dos plantas, fue paulatinamente transformado y ampliado en 1632, 1687 y 1726.
Precisamente, en 1725 con ocasión de la estancia en Sevilla de Próspero Jorge de Verbom, Teniente General e Ingeniero General de España, surgió 1a idea de encomendarle al ingeniero Ignacio Sala el proyecto de las nuevas fábricas, al mismo tiempo que ampliaba el viejo edificio. Sin embargo, aún tardaría en presentar el proyecto tres años, concretamente el 25 de Enero de 1728.
Para la ubicación del edificio se pensó en varios lugares extramuros inmediatos a la Puerta de Jerez. Uno de los sitios propuestos fue entre el Palacio de San Telmo y la Torre del Oro; otro, las Atarazanas; finalmente se eligió el lugar llamado de las Calaveras, por haber servido de enterramiento en época romana y de donde han salido algunas inscripciones publicadas por Hübner, el famoso arqueólogo alemán. Se trata del terreno comprendido entre la Huerta de la Alcoba (en el Alcázar), San Telmo y el convento de San Diego, edificio desaparecido que se hallaba enclavado delante de lo que hoy es el Casino de Exposición. El terreno pertenecía fundamentalmente al Ayuntamiento y al Real Colegio Seminario de San Telmo.
Las obras se iniciaron el 28 de Septiembre de 1728 por Diego Bordick, en 1735 se suspendieron hasta 1750 nombrándose a Van Der Borcht. Éste hizo lo más representativo del edificio. En 1757 se estrenó la fábrica oficialmente.
La fábrica tenía dos edificios anexos: la cárcel y la capilla. Actualmente la cárcel está ocupada por el Departamento de Historia Moderna de la Facultad de Geografía e Historia de la Universidad de Sevilla. Junto a la cárcel había un cuerpo de guardia, que tendría soldados del cuerpo de Dragones en las garitas; este cuerpo se encargó de la vigilancia del establecimiento desde su inauguración hasta la década de 1820. En el extremo opuesto, junto a la capilla, había unas cocheras. Enfrente, al otro lado de la calle, están delineadas 20 viviendas para funcionarios. Precisamente a la altura de la puerta principal se sitúa en ese frente de viviendas el "cuerpo de guardia menor de piquete y resguardo de la puerta de entrada y calle nueba». La casa que ocupaba estaba retranqueada respecto a la línea de fachadas de la calle, creando una especie de plazuela o barreduela. Este cuerpo de guardia debió permanecer allí, probablemente, hasta el derribo de la muralla en 1862. Como curiosidad hay que indicar que no es la única vez que el edificio de la fábrica tuvo un cuerpo armado. Por la fortificación del edificio (su foso, sus garitas, su muralla delantera) y su ubicación estratégica en el acceso sur de la ciudad, durante el siglo XIX fue frecuente la presencia militar en el recinto, en concreto en el ala Este, la que da al Prado de San Sebastián. Entre los episodios militares, cabe destacar la famosa incursión del General carlista Miguel Gómez durante la Primera Guerra Carlista, en mayo de 1836. El pánico se desató en la ciudad ante la cercanía de sus tres mil hombres y la posibilidad de que las tropas reales no pudieran controlar la insurrección; ya habían ocupado Córdoba y se encontraban en Lora del Río. El tesoro catedralicio -incluida la custodia de Juan de Arfe- y de numerosas iglesias se guardó en la fábrica, como improvisada fortificación. Se trasladó abundante artillería al edificio, especialmente en el ala oriental. Finalmente, no hubo que usarla pues Gómez cambió su rumbo y nunca llegó a pasar por Sevilla. Este uso militar del edificio fue siempre eventual hasta final de la centuria. En 1883 se instala el Regimiento Montado de Artillería "Brunete" nº 1 en el costado oriental del edificio (que luego será Facultad de Derecho). Se aisló la zona, interior y exteriormente, del espacio fabril. Se le conocía como el "cuartel del foso" y sus componentes solían hacer sus prácticas en el cercano Prado de San Sebastián, como cuenta Joaquín González Moreno en su libro "Calles de Sevilla". Allí permaneció hasta 1929 en que estuvo listo el cuartel de Pineda. Pero poco después la fábrica volvería a ser la sede del Tercer Batallón del Regimiento de Carros de Combate "Alcázar de Toledo" así como el batallón C.C.C. nº XXVI, que no desalojarían el edificio hasta el 16 de septiembre de 1950, cuando se prepara para el uso universitario.
En cuanto a la capilla, la Hermandad de Columnas y Azotes, a pesar de poseer capilla propia en Los Terceros (la cual aún posee) se trasladó en 1904 a la capilla de la Fábrica de Tabacos. Por ello a partir de entonces se la fue conociendo como Las Cigarreras. En 1965 se trasladó a la capilla de la nueva fábrica de Los Remedios, donde se encuentra actualmente. De este modo se trasladó a la antigua capilla la Hermandad de Los Estudiantes en 1966, radicando allí hasta la actualidad.
El traslado de la factoría al barrio de Los Remedios lo decidió el Ministerio de Hacienda en 1944 tras ceder la antigua factoría, hoy sede del Rectorado de la Hispalense, al Ministerio de Educación para usos de la
Universidad de Sevilla. Fue construida por la empresa Dragados en la primera mitad de la década de los 50, con algunas modificaciones para su ampliación hasta 1964.
La Fábrica de Tabacos de Sevilla siempre perteneció a una empresa estatal: Tabacalera. Los antecedentes de Tabacalera se remontan a la fundación, el año 1636, de la Institución del Estanco del Tabaco en España. En 1887 se crea una sociedad, la Compañía Arrendataria de Tabacos (CAT), que se encarga de la gestión del monopolio de tabacos. En marzo de 1945 cambia su nombre por el de Tabacalera, S.A., empresa que sería privatizada en abril de 1998 y fusionada en 1999 con Seita convirtiéndose en Altadis, S.A. (Alliance Tobacco Distribution). Precisamente a finales del año 1999 se estableció en España Imperial Tobacco, dentro de su apuesta por expandirse internacionalmente. La apertura de las nuevas oficinas en Madrid tuvo lugar bajo el nombre de John Player, S.L, y desde aquí se pasaron a controlar las acciones de marketing y ventas en el Sur de Europa. En septiembre del 2002, debido al crecimiento del Grupo en todos los mercados de Europa occidental, se produce una nueva distribución regional, estableciéndose con base en Madrid la zona geográfica denominada Iberia, compuesta por España, Portugal, Andorra y Gibraltar. Es por ello que el último día del 2007 la Fábrica de Tabacos más antigua del mundo cerró definitivamente sus puertas, quedando en el recinto únicamente la Hermandad de Las Cigarreras en su capilla, sin saberse aún que se va a hacer con dicho recinto.