Венеціанські барони Ханьи запросили у Венеції дозвіл на будівництво фортеці Сфакіон, щоб захищатися від піратів і повстанців-вихідців з місцевого населення.
Але Сенат відмовився, оскільки це будівництво обійшлося б їм занадто дорого. Будівництво фортеці почалося у 1371 році і було закінчено в 1374 році. Тим часом, місцеве населення намагалося перешкодити будівництву руйнуючи вночі те, що було побудовано днем. Новий замок був названий Франгокастелло (замок Франков, тобто, католиків), що ще більше збільшило невдоволення місцевого населення щодо завойовників.
Сьогоднішній замок Франгокастелло нічим - точна копія замку на венеціанських креслень. Замок був побудований у відповідності зі старими принципами будівництва укріплень
Наземні будівлі, що збереглися у внутрішньому дворі, відносно недавно були реконструйовані поверх руїн стін, побудованих в останню стадію. Це ряд прямокутних кімнат, в яких повинні були розміщуватися солдати або які могли використовуватися для інших цілей (як склади, кухонь). За картками і зображень можна побачити, що вони виглядали також і в період Венеціанського правління. На цих картах також зображена церква святого Марка у дворі зміцнення. Однак Г.Герола відзначав, що руїни цієї церкви знаходяться за межами кріпосних стін з південного боку. Це були фундаменти стін невеликих будівель, на яких залишалися сліди настінного розпису.
Церква була зруйнована під час реставрації замку Мустафою Наілі-пашею. Як уже зазначалося, замок Франгокастелло не раз реставрувався. Перша реставрація імовірно була проведена в 1593-1597 рр, Генералом ректором Ніколою Дона, а ще через кілька років Ректор Скаф провів великі ремонтні роботи. У 1645 році під час війни з Османською імперією, яка намагалася завоювати Крит, на ремонтні роботи було виділено 1000 фунтів. Однак найбільші ремонтні роботи були проведені Мустафою Наілі-пашею під час Критської революції 1866-1869 рр. Під час реставраційних робіт були знайдені цікаві об'єкти венеціанської кераміки, в основному 16 століття, монети і друку.
