В 1867 году купец Иван Афанасьевич Талдыкин построил под Ельцом мельницу и заложил усадьбу. Прежде чем заняться мукомольным делом, он вместе с женой Анной Антоновной содержал в городе несколько лавок, где супруги торговали тканями, а также чаем, кофе, пряностями, поставляемыми из-за границы. 11 июня 1868 года Иван и Анна Талдыкины были убиты в своём доме родным племянником.