Безымянный тогда переулок возник в середине XIX века соединяет площадь Павловскую с улицей Кооперативная. Несмотря на отсутствие имени, здесь располагались многоэтажные дома, первые этажи которых были усеяны различными лавками.
.
Первый дом в переулке по нечетной стороне, один из самых красивых и богатых, принадлежал инженеру-технологу Николаю Салтыкову, причем он сдавал его в аренду, проживая на Чернышевской. Одни из ловких дельцов, Редлих и Бергман, сняв квартиру, превратили ее в контору по продаже кирпича и со складом черепицы. В этом же доме располагался магазин «Торты», которые пекли в ресторане «Центральный», распространяя приторно-ванильный аромат.
.
Следом, где сейчас расположена стоматологическая поликлиника, был построен дом Адольфом Мюнхом, который в 1909 году был германским подданным, а уже в 1916 году оказался шведским консулом.
.
Далее дом, принадлежавший Якову Сладкевичу, который стал арендовать некий Левин, торговавший заготовками для обуви. В этом же доме располагалась и обувная мастерская «Чобиток», сменяя ванильный запах тортов на запах сапожного клея с негромким постукиванием молотка. Также в этом доме вел прием и врач Кацнельсон по современной классификации венеролог.
.
Последний дом на этой стороне с щедро украшенным фронтоном принадлежал купцу Сурикову, а затем и его потомкам – 4 сыновьям и дочери. Правда, жил тут лишь один из сыновей, а большую часть дома сдавал в наем.
.
Стоит отметить, что в переулке, в 4 из 8 домов, была торговля грибами, распространяя по улице грибной запах вперемешку с запахом сырости. Менялись хозяева домов, а торговля продолжалась, поскольку весной разливалась река Харьков и подтопляла часть домов, не высыхая в подвалах почти до осени.
.
Из известных домов на противоположной стороне переулка, два самых длинных, принадлежало одному семейству Голевых, вдове Анне и почетному гражданину Ивану Голеву.
.
Свое же название переулок получил в честь одного из городских голов (мэра) Харькова Сергея Костюрина, который к тому же был купцом первой гильдии и имел три винные лавки и заведение «Капернаум» на соседней Рыбной, нынешней кооперативной улице. Человеком он был хлебосольным, колоритным и весельчаком, но эта уже другая интересная история.