Тракай был основан в 1341 году как крепость и резиденция литовских великих князей. Роль столицы Литвы город играл в 14-15 веках, хотя никогда не был крупным экономическим центром. Своеобразие Тракаю придавало его необычное население. В конце 14 века князь Витовт привез из Крыма в Тракай несколько сот татарских и караимских семей. Выходцы из этих семей служили в качестве личной гвардии литовских князей. Потомки караимов и татар на протяжении столетий сохраняли в Литве свой язык и культуру. В городе сохранился деревянный караимский храм первой половины 19 века. Значительная часть территории вокруг Тракая входит в ландшафтный заказник.
Островной замок возвышается на одном из многочисленных островов озера Гальве. Замок строился как оборонительная крепость в 14-15 веках, но после Жальгирисской битвы потеряла свое оборонительное значение. Именно этот замок выбрал в качестве своей резиденции князь Витовт и здесь он скончался 27 октября 1430 года. Много позже замок использовали как тюрьму, а в 17 веке он был совершенно запущен. С 1962 года здесь действует исторический музей. Островной замок - один из наиболее посещаемых историко-архитектурных памятников Литвы, где проходят фестивали, концерты и другие мероприятия национального значения.
Замок на полуострове — один из самых больших замков Литвы, построен в 14 веке во времена правления Кейстута. Замок занимал площадь в 4 га и имел 11 башен разного размера. Во время войны между Россией и Швецией в 1655 году замок был разрушен. В настоящее время сохранилось несколько оборонительных башен и руины оборонительной стены.
В 18 веке на территории полуостровного замка доминиканские монахи начали строить костел. Но строительство было не закончено. В 19 веке южное крыло недостроенного храма было переделано в монастырские кельи, а из части северного крыла сделали небольшой костел. Ныне в здании Доминиканского монастыря находится администрация Тракайского исторического музея.
Костел святой Девы Марии — первый приходской костел в Тракае — был построен в 1409 году при содействии великого князя Витовта. Войны и пожары не раз наносили ему серьезный ущерб, и в 1717 году костел был перестроен. В главном алтаре находится икона Девы Марии с Младенцем. Считается, что эта икона чудотворна, ограждает верующих от бед. Архитектура костела содержит элементы стилей готики и барокко.