В первом для себя клубе Фолкирк Гиллеспи капитанил уже в 17-летнем возрасте, что стало рекордом в истории шотландского футбола. Следующим клубом Гарри был английский Ковентри, где он провёл 6 лет, отыграв около 200 матчей. В 1983 году срок действия его соглашения подходил к концу. Гари ввёл переговоры с Арсеналом, но Ливерпуль сумел перехватить игрока у лондонцев, и Гари Гиллеспи стал первым приобретением "Красных" под руководством Джо Фэгана. Новобранец Ливерпуля разрушил знаменитую связку Лоуренса и Хансена в центре защиты. 

Самым впечатляющим периодом его выступлений является 1986-88, когда Далглиш перевёл Лоуренса на край защиты, закрепив центр за Хансеном и Гиллеспи. Эта тройка в некоторых матчах формировала центр защиты команды.

Количество появлений Гари резко снизилось в период 1988-90 из-за множества травм, но за последний год предводительства Далглиша на тренерском мостике Гиллесппи сыграл в 35 матчах. Новый тренер Ливерпуля Грэм Сунесс не включал в свои планы использовать Гари, поэтому летом 1991 года он отправился туда, где и начинал карьеру - в Селтик, в котором провёл три года. Затем Гиллеспи вновь перешёл в Ковентри, которым руководил бывший "Красный" Фил Нил. Позже Гари занял место Нила в тренерском кресле клуба.