En 17 de abril de 1780, Miguel María Francisco Panés González de Quijano y Vizarrón, IV marqués de Villapanés, compraba la biblioteca que había pertenecido al marqués de la Cañada, noble erudito de la cercana ciudad de El Puerto de Santa María. Al igual que los Panés, los Tirry había forjado su mayorazgo gracias al comercio.
A la muerte de Guillermo Tirry, su viuda acometió la tarea de saldar las distintas deudas contraídas por su esposo. Con este objetivo de sanear la hacienda del mayorazgo, María Francisca de Lacy Alverville emprenderá la “venta de los bienes que nada fructifican”. Así, explicaba la marquesa: “hize visible que la librería y colección de estampas quedadas por el fallecimiento de mi marido nada producían por sí, y se hallaban expuestas a un incendio y corrupción mientras menos se usaban”. Con el jerezano marqués de Villapanés, a cuenta de varios censos, la deuda sumaba los 110.400 reales.
Enterado de la intención de la marquesa de liberarse de este “caudal muerto” Villapanés acordó con la viuda saldar las citadas deudas recibiendo la biblioteca como pago. Como ésta fue valorada en 136.185 reales, Panés “sólo” tuvo que pagar 21.626 reales y 6 maravedíes por esta colección bibliográfica llena de libros “raros y estimables”, como la describiera Ponz tras haberla visitado años atrás. Aunque Ponz habla de 7.000 volúmenes, lo cierto es que el testamento de la marquesa indica que a la muerte del Guillermo Tirry la colección de libros y estampas estaba compuesta por 4.516 volúmenes. La compra se efectuó en tres pagas, una por año, de 7.208 reales cada una.
Además de la compra de la biblioteca del marqués de la Cañada, Miguel María Panés se hará con otras bibliotecas, como fue la de presbítero y erudito local Antonio Dávila. Los manejos de Panés dentro del cabildo municipal para hacerse con la biblioteca de Dávila frustró la compra que la institución municipal pretendía hacer de la interesante colección de impresos y manuscritos de temática jerezana y que Dávila había heredado de su familiar Mateo Dávila Sigüenza. Se debe afirmar, por tanto, que la configuración de la biblioteca de Villapanés, que llegó a contar con 12.000 volúmenes, estuvo en gran parte determinada por otros lectores, bibliófilos o bibliómanos, quedando la propia sed de conocimientos del marqués desdibujada dentro de ella.
Pero para finalizar, es ineludible referir el supuesto naufragio de la biblioteca a la muerte de Villapanés. El librero e historiador Joaquín Portillo difundirá la especie de que la biblioteca se había perdido en las aguas del Mediterráneo tras sufrir naufragio el barco que la llevaba a Génova en 1828. Según Portillo, este curioso traslado había sido decisión del marqués, que así lo había mandado en su testamento. Sin embargo, el hallazgo del testamento de Panés, realizado en Madrid en 1825, contradice la versión de Portillo. Esto y la existencia de algunos manuscritos contenidos en la biblioteca de Dávila nos hace poner en cuestión la romántica y quizás interesada versión de Portillo.
Sobre las bibliotecas jerezanas del XVIII y la historia de la biblioteca de Villapanés:
