Уже в ноябре 1941 года по его инициативе был создан Минский подпольный горком КП(б)Б, который он возглавил. Действуя под псевдонимами Иван Гаврилович, Стрельский и Невский, Ковалев координировал работу десятков групп.

При непосредственном участии подпольного горкома под руководством Ковалева было создано более 20 партизанских отрядов и три партизанские бригады. Подпольщики вели диверсионную работу, распространяли листовки, собирали разведданные и организовывали побеги военнопленных.

Осенью 1942 года Ковалев был арестован гитлеровцами вместе с другими руководителями подполья. Его подвергали ужасным пыткам, но он не выдал соратников. По сведениям подпольщиков, Ковалев был сожжен в лагере смерти «Тростенец» в начале 1943 года.

После войны имя Ковалева было очернено: его обвинили в предательстве и сотрудничестве с оккупантами. Лишь в 1990 году ЦК КПБ реабилитировал его, постановив: «Считать несоответствующим действительности ранее инкриминируемое И.К. Ковалеву предательство членов Минского подпольного горкома партии, сотрудничество с гитлеровскими оккупантами».

Сегодня память героя увековечена: его именем названа улица в Минске, на фасаде дома №43 установлена мемориальная доска.

Эти и другие сведения о подвигах наших героев в годы Великой Отечественной войны хранятся в Президентской библиотеке Республики Беларусь.