Молодой полузащитник, которого описывали, как игрока, владеющего хорошим видением поля и искусным обращением с мячом. Рафа Бенитез хотел использовать его в качестве альтернативы на позиции правого защитника, но шансы игрока на попадание в основной состав были весьма малы. Поэтому в начале сезона 2007-08 Пелтье был отдан в аренду в клуб третьего по рангу дивизиона Йовил Таун, а в январе 2008 был выкуплен окончательно за небольшую, но нераскрытую клубами трансферную стоимость.

В конце июня 2009 года Хаддерсфилд Таун объявил о подписании с Пелтье трехлетнего контракта сразу после прохождения им медицинского обследования. Тренер Хаддерсфилда Ли Кларк был восхищен игроком во время просмотра в клубе Норвич, где на тот момент исполнял функции ассистента главного тренера. Кларк продолжал следить за прогрессом молодого игрока, учитывая тот факт, что им интересуются и другие клубы из более высоких дивизионов. Кларк так прокомментировал переход Пелтье: “Он фантастический спортсмен и очень зрел в работе с мячом, чему, я полагаю, его обучили в Ливерпуле. Мы рады видеть Ли здесь. Он будет отличным дополнением. Он также может сыграть на позиции опорного полузащитника или центрального защитника. Универсальные игроки дают мне больше свободы“.

Ли сыграл 42 матча в Первом Дивизионе в 2009-10 году, а Хаддерсфилд закончил сезон на 6-м месте и попал в серию игр за выход в Чемпионшип. Пелтье доказал, что является важным и популярным членом команды, получив в конце первого сезона награду «Лучший игрок» по мнению команды.

Пелтье продолжил регулярные выступления за Хаддерсфилд в сезоне 2010-11, втором из трех положенных контрактом лет. Несмотря на то, что в основном игрок использовался в качестве центрального защитника, он доказал свою универсальность, сыграв несколько матчей не только на других оборонительных позициях, но и на более выдвинутых вперед. В рамках Первого Дивизиона Ли вышел на поле в 40 матчах, в двух из которых отличился забитым мячом, а Хаддерсфилд снова достиг зоны плей-офф. Он также сыграл в 7 домашних матчах в рамках Кубка. Ли целиком отыграл финальный матч за выход в Чемпионшип, проходивший на Олд Траффорд перед 50000 болельщиков и закончившийся поражением от клуба Питерборо Юнайтед.