O topónimo de Vila do Touro deriva de “taurus”, estando provavelmente relacionado com o culto da ganadaria, anterior à Nacionalidade. Segundo a tradição popular, o topónimo Touro tem a ver com uma lenda que refere ter sido encontrado um bezerro de ouro, num terreno circundante. Refira-se que ainda hoje, a nordeste da antiga vila, existe o Ribeiro do Bezerrinho.

No Tombo dos bens da comenda de Vila do Touro faz-se a seguinte descrição do castelo: “sobre a dicta villa contra o norte tem a hordem huu castello em huu cçerro de penedia alto. o qual estaa de todo derroído e as casas delle todas em pardieiros honde se mostra auer em outro tempo oito casas. e tem huua çerca arredor que da banda do norte tem ajnda huu lanço de muro forte e boom de cantaria. e asi ao sul tem outro e nelle huu portal forte e bem obrado. o comendador da dicta comenda he alcaide do dicto castello e nom haa outro alcaide se nom elle. O chão que dentro do dicto castello estaa antre barrocaaes e os ditos pardieiros. traz ora lopo afomsso e paga delle de Renda em cada huu anno dous alqueires de pam. abaixo da porta do dicto castello quanto seja huu jogo de melham. tem a hordem huu chão que se diz seer em outro tempo adega da hordem. e leua oito varas de longo e sete de largo. parte ao norte com chãoo d ante porta do dicto castello e das outras bandas com Ruas publicas”