В Ливерпуле Ирвин, как правило, подменял Алана Хансена или Фила Томпсона в центре обороны, либо Алана Кеннеди на левом фланге. Он прошел через все уровни молодежных команд на "Энфилде" и дебютировал в матче против Вест Бромвича 25 августа 1979. Многообещающее начало карьеры во взрослой команде продолждилось и в следующей игре, когда Колин забил гол в ворота Саутгемптона, хотя "Красные" и проиграли 2-3. Но после матча против Динамо Тбилиси в начале октября Ирвин потерял место в основе и появился в старте только в апреле следующего года. В сезоне 1980-81 он провел 30 матчей за клуб, но он стал последним для него, как для игрока первой команды.

Когда в августе 1981 Марк Лоуренсон перешел в Ливерпуль, Ирвину ничего не оставалось, кроме как перейти в Суонси Джона Тошака. Ирвин стал капитаном новой команды, но травма колена, заработанная в одном из матчей, заставила Колина завершить карьеру в возрасте 26 лет. Когда в 1985 Фил Нил был назначен играющим тренером Болтона, он включил Ирвина в тренерский штаб. Там он оставался до конца сезона 1986-87.