A construção de uma fortaleza na margem norte do Tejo, para defender a barra, estava prevista desde o tempo de D. João II. No entanto, foi no reinado de D. Manuel I que Francisco de Arruda, um arquiteto experiente em estruturas defensivas, projetou e dirigiu as obras de execução da Torre dedicada a São Vicente, desde cedo designada por Torre de Belém.