Berdiri secara resmi pada tanggal 2 Mei 1993, Perpustakaan Umum Daerah Kotamadya Yogyakarta pertama dirintis dan dikelola Oleh Cabang Dinas Pendidikan Dan Kebudayaan Kotamadya Yogyakarta. Kelembagaan Perpustakaan Umum Daerah Kotamadya Yogyakarta berubah menjadi Unit Pelaksana Teknis (UPT) Perpustakaan di bawah naungan Dinas Pendidikan Kota Yogyakarta. Kelembagaan Perpustakaan sebagai UPT Perpustakaan Dinas Pendidikan Kota Yogyakarta secara resmi terbentuk pada tahun 2005.

Pada tahun 1993 Pengelolaan arsip berada di bawah Bagian Umum di Sub Bagian Tata Usaha Pimpinan dan Keuangan Sekretariat Wilayah Daerah. Kemudian tahun 1999 Pengelolaan surat menyurat dan pembinaan pejabat fungsional arsiparis berada di bawah Sub Bagian Tata Usaha. Tahun 2001 Pengelolaan Arsip, pembinaan kearsipan dan pengembangan kearsipan berada di bawah dua seksi yaitu Seksi Pengelolaan Arsip dan Seksi Pembinaan dan Pengembangan Kearsipan. Selanjutnya tahun 2005 Pengelolaan arsip dan pembinaan kearsipan berada di bawah Unit Pelaksanan Teknis (UPT) Arsip.

Sehubungan dengan Peraturan Daerah Kota Yogyakarta Nomor 9 tahun 2008 tentang Pembentukan Susunan, Kedudukan dan Tugas Pokok Lembaga Teknis Daerah dalam Lembaran Daerah Kota Yogyakarta tahun 2008 Nomor 66 seri D yang ditindaklanjuti dengan  Peraturan Walikota Nomor 68 tahun 2008 tentang Fungsi, Rincian Tugas dan Tata Kerja Kantor Arsip dan Perpustakaan Daerah Kota Yogyakarta Nomor 79 seri D. Arsip dan Perpustakaan menjadi satu yang sekarang ini menjadi Kantor ARPUSDA atau Kantor Arsip dan Perpustakaan Daerah Kota Yogyakarta

Berdasarkan  Peraturan Daerah Kota Yogyakarta Nomor 5 tahun 2016 tentang Pembentukan dan Susunan Perangkat Daerah Kota Yogyakarta pada tanggal 20 Oktober 2016 maka terjadi perubahan kelembagaan pada Kantor Arsip dan Perpustakaan Daerah menjadi Dinas Perpustakaan dan Kearsipan Tipe  A  yang  menyelenggarakan urusan pemerintahan bidang perpustakaan dan bidang kearsipan.