Музей был открыт в 2009 году по инициативе тогдашнего акима Южно-Казахстанской области Аскара Мырзахметова.

К слову, в Казахстане всего несколько музеев Абая. Шымкентский посвящен его биографии и творчеству. В нем собраны копии документов, фотографии, этнографические экспонаты, книги и периодические издания, связанные с периодами жизни Хакима Абая, его литературные произведения и их переводы на разные языки, а также книги и исследования о самом Кунанбаеве.

Музей состоит из нескольких залов. «Первый зал — биографический. В нем представлена жизнь Абая с детского периода, показаны этапы становления его личности. Воссоздано внутреннее устройство и убранство традиционного казахского киіз үй XIX века в урочище Жидебай, где рос будущий поэт и философ. Именно в такой обстановке он ребенком играл, слушал песни, сказки, кюи в исполнении бабушки. Там у него и зародился интерес к поэзии, литературе. Также в этом зале на стендах можно познакомиться с родословной Абая и его потомков.

Интересно сделан «переход» во второй зал: на огромных фотостендах напечатаны стихи поэта на фоне природы в разные времена года именно на родной земле Абая, в Жидебай.

Второй зал — зал Хаким Абая (его рабочая комната). Здесь отражено образование Абая — как в начальной мусульманской, так и светской русской школе в городе Семипалатинске, его связи и увлеченность русской литературой, вылившиеся впоследствии в переводческую деятельность. Абай Кунанбаев перевел на казахский язык произведения русских и европейских поэтов — басни Ивана Крылова, стихотворения Михаила Лермонтова, Александра Пушкина, произведения Гете, Байрона, Шандора Петефи, Адама Мицкевича.

Центром этого зала является рабочий кабинет поэта. Он воспроизведен по оригинальному образцу из государственного историко-культурного и литературно-мемориального заповедника-музея Абая «Жидебай-Бөрілі» — для этого сотрудники шымкентского музея ездили туда со специальной рабочей командировкой.

Третий зал «Абайтану», или абаеведения, посвящен изучению творчества поэта. В нем представлены как художественные, так и научные труды. В частности, роман-эпопея «Путь Абая» Мухтара Ауэзова, описывающий жизнь Абая Кунанбаева, труды алашординцев, Мекемтаса Мырзахметова и других абаеведов. Кроме того, в музее есть медиазона, книги Абая и ученых на стеклянных витринах, скульптуры и изображения Абая.

Всего в фонде 771 книга и 50 экспонатов. Среди наиболее ценных и уникальных  старинные издания XIX и первой половины XX веков, а также уголок Мекемтаса Мырзахметова, в котором собраны подаренные им лично музею личные вещи — блокнот с записями, документы, награды, головной убор, а также его 10-томник об Абае.

10 августа в музее Абая пройдет масштабный День открытых дверей.