Иван Козловский родился 24 марта 1900 года в украинском селе Марьяновка в крестьянской семье. С ранних лет будущий певец занимался с родителями музыкой: отец учил его играть на гармонике, а мать — петь. Детство Козловского прошло в Киеве, где он учился в церковной школе. В семь лет будущего певца отдали в хор при Михайловском Златоверхом монастыре. Козловский пел и в школьном коллективе. Позднее исполнитель вспоминал: «В школе не только пел в хоре, но и получил право проводить занятия в одной из его групп». На одном из концертов Козловского заметил композитор Александр Кошица. По его предложению исполнитель стал выступать в хоре Троицкого народного дома в Киеве.
Иваном Козловским было создано более пятидесяти вокально-драматических образов, в каждом из них он сумел найти и передать черты подлинной человечности, любви и близости к природе, к людям. Искусство перевоплощения было освоено Иваном Семёновичем в полной мере. Его концертный репертуар огромен. Он включает сотни романсов и песен зарубежных и отечественных композиторов — Людвига Бетховена, Жюля Массне, Роберта Шумана, Франца Шуберта, Вольфганга Моцарта, Михаила Глинки, Александра Бородина, Александра Даргомыжского, Петра Чайковского и других.