Отличился в боях за м. Бальберишки Каунасского уезда Литовской ССР. 17.07.1944 г. майор Я.И. Гуляев, находясь в боевых порядках своего батальона в непосредственной близости от противника, трижды отражал его контратаки. Благодаря грамотному руководству в бою атаки противника были отбиты с большими для него потерями. Далее при наступлении майор Гуляев, рискуя жизнью, вёл бойцов, находясь впереди цепи батальона. Во взаимодействии с другими подразделениями захватил м. Бальберишки, показав пример отваги и мужества. В близкой схватке с противником получил ранение, но продолжал командовать батальоном.
Приказом войскам 5 А 3 БелФ № 110 от 21.08.1944 г. майор Гуляев Я.И. посмертно награжден орденом Александра Невского.
Умер от ран 25.07.1944 г. Захоронен: мемориальный комплекс на братской могиле советских воинов на Антокальнисском кладбище в г. Вильнюсе (Литва).
Источники: ЦАМО. Ф. 33. Оп. 11458, Д. 404; ЦАМО. Ф. 33. Оп. 690155. Д. 3601.