Родился Яков Корнеевич Поляков в 1895 году, в селе Новая Осиновка Саратовской губернии в крестьянской семье, учился в сельской школе.
В мае 1915 года призван в русскую армию, участник Первой мировой войны, служил в конном артиллерийском дивизионе, демобилизовался в звании фейерверкера.
20 ноября 1918 года в Аткарске был призван в РККА. Участвовал в Гражданской войне младшим командиром артиллерийской батареи, затем командиром артиллерийской батареи, воевал на Кавказском и Южном фронтах, в 1920 году окончил артиллерийскую школу комсостава Юго-Западного фронта, тогда же вступил в ВКП(б). В 1921 году участвовал в подавлении Тамбовского восстания.
После Гражданской войны служил командиром артиллерийской батареи легкого артиллерийского дивизиона, в 1926 году окончил артиллерийские КУКС, был назначен помощником командира, затем командиром артиллерийского дивизиона, с 1929 года — помощник командира зенитного артиллерийского полка по хозяйственной части.
В декабре 1931 года был направлен на КУКС зенитной артиллерии в Севастополе, после их окончания, в 1932 году был назначен командиром полка ПВО (Гомель) Белорусского военного округа. В августе 1937 года окончил шестимесячные КУКС ПВО в Москве и назначен командиром 1-й отдельной бригады ПВО.
31 октября 1938 года Я. К. Поляков назначен начальником Управления ПВО РККА с досрочным присвоением звания комдив.
При нём были приняты меры по модернизации артиллерии ПВО, проведена реорганизация двух училищ ПВО в Москве и Ленинграде, разработаны предложения по дополнительному формированию четырёх училищ, принята на вооружение первая аппаратура радиообнаружения самолетов РУС-1.
Им практиковались частые проверки боеготовности соединений и частей ПВО Москвы, Ленинграда и Баку. С присоединением к СССР новых территорий, были разработаны предложения по включению в число пунктов ПВО важнейших городов западных областей Украины и Белоруссии, Прибалтийских республик и Молдавии (впоследствии были утверждены постановлениями СНК СССР 1940 года).
Несмотря на все усилия Я. К. Полякова по развитию ПВО, в мае 1940 года, при приеме Наркомата Обороны С. К. Тимошенко от К. Е. Ворошилова специальной комиссией были выявлены серьёзные недостатки в системе ПВО. 4 июня 1940 года Я.К. Поляков был отстранён от занимаемой должности.
В июне 1940 года был назначен помощником по ПВО командующего Фронтовой (Читинской) группой (Дальний Восток), с августа 1940 года — помощник по ПВО командующего Дальневосточным фронтом, одновременно, с мая 1941 года — командующий Дальневосточной зоны ПВО.
Во время Великой Отечественной войны Я. К. Поляков на той же должности. Дальневосточная зона ПВО осуществляла воздушное прикрытие Дальневосточного фронта, в неё входили Ново-Покровский, Куйбышевский, Хабаровский, Иманский, Сахалинский, Ворошиловский, Владивостокский и Приморский районы ПВО.
14 марта 1945 года назначен командиром Приамурской армией ПВО, созданной на базе Дальневосточной зоны ПВО. Во время Советско-японской войны армия входила в состав войск 2-го Дальневосточного фронта, прикрывала Хабаровск, Комсомольск-на-Амуре, Николаевск-на-Амуре, объекты Приамурской и Дальневосточной ж/д, а также ряд объектов на Северном Сахалине. В зоне ответственности Приамурской армии ПВО японские самолеты не появлялись, её истребители применялась для разведки и сопровождения транспортных самолетов. Так же части армии участвовали в Сунгарийской и Южно-Сахалинской операциях.
После войны, с 29 октября 1945 года — командующий Дальневосточной армией ПВО, с июня 1946 года — заместитель командующего Дальневосточного округа ПВО. С июля 1947 года в запасе по болезни.
Умер в 1963 году в Москве, похоронен на Введенском кладбище.