Родившийся в Уолтоне Джексон играл на позиции правого крайнего поузащитника сначала за Арсенал, а потом и за Лейтон Ориент, откуда он и перешел в Ливерпуль в ноябре 1951 года. Тогда ему было всего 18 лет. Дебютный гол он забил в матче против Болтона, но он стал единственным в первом сезоне. Регулярным игроком основы он так никогда и не был. Самымвысоким показателем Джексона в графе "Сыгранные матчи" была цифра 27, и стояла она напротив сезона 1953-54.

В июле 1958 он перебрался в Порт Вейл, где сыграл 178 игр, забил 34 гола перед очередной сменой месты работы - на этот раз Брайан перебрался в Линкольн Сити. Также он отыграл немало матчей за любительские Бартон Альбион и Бостон Юнайтед.