Родился во второй половине XIV века в семье бояр Аносовых (по другим источникам-Амосовых).
В юношеском возрасте пришел в Троицкий монастырь к преподобному Сергию Радонежскому, от которого принял монашеский постриг. Несколько лет жил в Троицкой обители.
В 1392 году поселился в глухом лесу у железных рудников, в месте Железный Борок, на берегу реки Тебзы,
Примерно в это время стал известен как предсказатель и целитель, к преподобному Иакову стали приходить ученики. Так была основана Железно-Боровская пустынь
В 1429 году при появлении войск Казанского ханства в окрестностях монастыря, ушел с учениками скрылся в глухих лесах. Монастырь был разрушен, преподобный Иоанн организовал его возрождение и по просьбе братии стал игуменом обители.
Скончался 11 апреля 1442 года и был погребен в Предтеченской церкви Железно-Боровского монастяря
Нетленные мощи святого были обретены 5 мая 1613 года. При вскрытии раки с мощами в 1929 году они обнаружены не были. По одной из версий мощи были изьяты и спрятаны монахами, опасавшимися глумлением над останками святого большевиков. В настоящее время местонахождение мощей неизвестно.
Был канонизирован ранее 1628 года.