Красивое здание с полукруглым фасадом построено московскими архитекторами А. А. Галкиным и А. Н. Карнауховым в 1938 году. Плоская кровля, ниши, лоджии и балконы говорят о стремлении авторов учесть жаркий климат. Архитектура здания проста и лаконична, её членение основано на классических принципах, — пишет энциклопедия «Ташкент», изданная в 1981 году.

Во Дворце культуры текстильщиков вплоть до 1990-х годов работали многочисленные детские кружки: оперные, театральные, хоровые, танцевальные, детская киностудия и другие. С особой теплотой ташкентцы вспоминают изостудию и уроки хореографии.

В 1939 году под грифом «совершенно секретно» второй и третий этажи оборудовали под госпиталь для офицеров Красной армии. Здесь лечились легендарные полководцы, а на первом этаже работали кружки детского творчества.

После полёта Ю. А. Гагарина в 1961 году дворцу было присвоено его имя.

В годы независимости в здании разместилось Министерство лёгкой промышленности, сейчас в нём работает Комитет по межнациональным отношениям и делам соотечественников за рубежом.

В 2015 году в сквере перед зданием установлен памятник А. С. Пушкину.