Петер стал третьим венгром, присоединившимся к Ливерпулю в рамках сотрудничества с МТК, после Кристиана Немета и Андраша Шимона в 2007 году. Изначально он находился в Мерсисайде на правах аренды. Он сыграл выдающуюся роль в завоевании подопечными тогда еще Гари Аблетта кубкового "требла" на уровне резервных команд. Петер понравился тренерскому штабу и уже спустя год подписал с Ливерпулем перманентное соглашение. Случилось это в последний день трансферного окна 2008-09. Сам футболист прокомментировал этот факт так:

"Я горжусь контрактом с таким клубом, как Ливерпуль. Быть в этой команде и работать плечом к плечу с таким вратарем, как Пепе Рейна, - воплощение моей мечты. Когда после года аренды мне предложили задержаться здесь, я не раздумывая подписал соглашение. Это что-то невероятное".

С того момента Гулачи играл все лучше и лучше. Он стал основным вратарем в составе сборной в возрастной категории до 21 года и даже вызывался в главную команду страны. Однако тогда, в мае 2008 года, он не вышел на поле в матче с хорватами, который завершился со счетом 1-1.

Самым выдающимся достижением этого вратаря на международном уровне стал чемпионат мира U-20 в 2009 году. Во многом благодаря ему, венгры дошли до полуфинала, а затем одержали победу в противостоянии за третье место. В этом матче против сборной Коста-Рики он отразил три одиннадцатиметровых штрафных и принес, таким образом, бронзовые медали своим соотечественникам.

Первую половину сезона 2008-09 он провел в резервной команде Ливерпуля, а затем, в зимнее трансферное окно, перебрался на правах аренды в Херефорд, который выступал в третьем по классу дивизионе Англии. Одно дело - выступать в сильной резервной лиге, а совсем другое - в профессиональном турнире, пусть и не наивысшего уровня. 18 матчей дали венгру то, ради чего, собственно, это соглашение и было подписано - бесценный опыт игры. Уже в первом матче он начал оправдывать надежды: в противостоянии с Лидс Юнайтед он отразил пенальти, сделал невероятное количество сэйвов, благодаря чему команда одержала памятную победу.

Он продолжил надежно защищать рамку ворот "Быков", однако так и не смог предотвратить вылет команды в низший дивизион. Не смотря на это, безупречная игра голкипера заставляет тренерский штаб Ливерпуля задуматься о роли Гулачи в рамке ворот их команды.

То же он доказывал на протяжении следующего сезона - когда надежно отстоял в воротах дублирующего состава "Красных", не дав конкурентам на место никаких шансов. После одного из матчей - а именно противостояния с Болтоном, которое, увы, было проиграно - Джон Макмэхон, тренер резервной команды, в очередной раз выразил восхищение игрой голкипера:

"Это фантастика, что у нас в команде есть Петер. Он очень надежный, и каждый матч мы видим в его исполнении несколько отличных сэйвов. Жаль, что мы пропустили в концовке встречи. Ведь он полностью заслужил клин-шит".

Летом 2010 года Диего Кавальери, второй вратарь Ливерпуля, был продан, и на его место был куплен Брэд Джонс. Таким образом, положение Гулачи осталось прежним. Он продолжал то сидеть на скамейке запасных, то и вовсе не попадать в заявку на матч. Венгр также успел поиграть в аренде в Херефорде (18 матчей), в Транмир Роверс (17 игр за два арендных срока) и в Халл Сити (15 матчей).

В июне 2013 года Гулачи, который за пять лет пребывания в Ливерпуле не провёл ни одного официального матча в составе первой команды, подписал долгосрочный контракт с австрийским Ред Буллом из Зальцбурга.