Тут нужно учитывать, что в начале войны перед Белой Гаванью была поставлена задача,- строить корабли . А а на это нужны были большие ресурсы, в том числе и людские.
В конце войны, когда короля Робба и Вендела убили, а старший сын Вилис попал в плен, то лорд Мандерли понял, что рассчитывать теперь ему придётся в основном на собственные силы и начал увеличивать свой воинский контингент. В мирное время у него не было нужды содержать столько солдат и кавалерии. Это весьма обременительно.
После того, как к нему попал Векс, Мандерли узнал , что прежде всего придётся разбираться с Болтонами, а значит нужно собрать большее чем у них войско.
Сейчас у Белой Гавани по словам лорда Вимана " В число моих знаменосцев входят дюжина мелких лордов и сотня рыцарей-землевладельцев." Предположительно , что в начале войны у Мандерли не было столько рыцарей, но потом он стал приглашать межевых и безземельных воинов и давать им для мотивации небольшие земляные наделы.
Скорее всего их собирали за пределами севера, что бы не вызывать подозрений.
Так же к нему стали стекаться из обедневших мест все солдаты кто выжил после сражений. Ведь каждый воин, кроме своих политических предпочтений должен был подумать о том где лучше выжить зимой. Белая Гавань соответствует этому удобнее всего.
В пользу этой версии говорит то, что видно, как лорд Виман любил своих сыновей, но на войну они отправились без сильного рыцарского сопровождения.
Если бы они тогда существовали в большом количестве, то несомненно захотели принять участие в войне, защищать своих лордов, прославиться, получить трофеи и т.д. (например у Карстарков ни кто из сыновей не захотел остаться дома).
Вот по этому сейчас у Мандерли собралось столько армии, а не потому, что лорд Виман её изначально прятал.