Não se sabe quando terá sido mandado edificar e que monarca o terá ordenado, no entanto alguns autores defendem que teria sido o rei D. Dinis, uma vez que existem referências a obras na Praça de Vinhais com construção de algumas torres durante o seu reinado. Pela sua localização fronteiriça, o castelo teve grande importância militar, pois o território desde sempre foi cobiçado por monarcas vizinhos.

Pode-se verificar no seu interior que a malha urbana evoluiu, organizando-se à volta de um largo no qual se encontra o pelourinho, os Paços Medievais Concelhios e a Igreja paroquial de N.ª Sra. da Assunção.

Ao longo da história esta muralha foi rampa de várias lutas, heroicamente salva pelos seus habitantes.

Em 1666 o general espanhol D. Baltasar Pantoja invadiu a vila durante as guerras da Restauração. A possante resistência que esta nobre vila obstou ao inimigo consta de um manuscrito da autoria de Inácio Xavier de Morais Sarmento do Mariz:

«Direi hua verdadeira noticia da villa de Vinhaes e do sitio que lhe pôz o general das armas catholicas D. Balthazar de Roxas Pantoxa no Reynado do Senhor D. Afonsso sexto em que Portugal se fez tão glorioso na mais justamente defensiva e sanguinolenta guerra. (…)»

O documento narra os feitos deste período com algum humor, como ilustra o excerto que menciona a expulsão dos castelhanos:

«(…) Andavão alguns soldados castilhanos a roubar pellas cazas e como o muro das freiras hera então baixo entrarão dois castilhanos a cerca para levarem hua colcha branca estofada que hua criada da comodidade de Curopos ou Val Paço lugares vizinhos tinha deixado a enxugar.

Chama-se esta moça Victoria e vendo os castilhanos hir com a colcha como hera lavradora rustica sahio a elles e a pegar della que lha deixassem e asim forcejavão o que lha não havião de levar principiarão as freiras e moças das genellas em altos gritos a moça, Victoria, Victoria, Victoria, os sinos a repiquar a caixa a tocar entrão os castilhanos a fugir para o araial gritando que vinha o poder do mundo sobre elles o Pantoxa deixou o comer ao lume e a caldeirinha de prata ao Barrabas e montando a cavallo entrarão todos a fugir, e desapareceu tudo pellas lamas de Rio de Fornos e Muymenta ficando por testemunha as cadeias de ferro portateis de feitio de serra do Pantoxa a caldeirinha donde tinha o comer que tudo hoje se conserva nesta villa. (…)» (Alves, Francisco Manuel, Memórias Arqueológico-Históricas do Distrito de Bragança, 11 vols., Bragança, 1981-1982).