Constituye el símbolo de la larga historia de la ciudad. Del original castillo ducal no quedó nada más que una cuadrada torre maciza de ladrillo del s. XIII, el resto de los edificios consumió el incendio del 1503. Las construcciones del castillo que se reedificaban muchas veces, recibían numerosos personajes celebres, tales como: Elżbieta Rakuszanka (la futura esposa de Casimiro Jagiellón), el rey checo Ladislao Jagiellón o Bona Sforza de Milán (la futura esposa del rey Segismundo el Viejo). Actualmente, en el edificio principal del castillo se encuentran las salas del Museo de Oświęcim con las colecciones histórico-etnográficas.