SMA Muhammadiyah 2 Yogyakarta didirikan pada tanggal 2 Oktober1950 di Jalan Kauman No. 44 Gondomanan. Tujuan didirikannya sekolah ini adalah untuk menampung peserta didik yang tidak dapat tertampung lagi di SMA Muhammadiyah 1 Yogyakarta. Antara tahun 1951 dengan tahun 1976, sekolah ini telah beberapa kali berpindah alamat. Terhitung sejak tanggal 8 Januari1976, sekolah ini menetap di Jalan Kapas No. 7 Umbulharjo hingga saat ini.[3]
Daftar kepala sekolah
Berikut ini adalah daftar orang yang pernah menjabat sebagai Kepala SMA Muhammadiyah 2 Yogyakarta sejak tahun 1950 hingga saat ini.[3] Posisi kepala sekolah saat ini dijabat oleh Drs. H. Slamet Purwo sejak tahun 2013.
Kampus SMA Muhammadiyah 2 Yogyakarta memiliki luas sebesar 6.885 m2 dan terdiri dari empat gedung yang masing-masing diberi nama dengan nama tokoh Muhammadiyah atau ilmuwanIslam.[4] Berikut ini adalah nama keempat gedung di area kampus beserta letaknya menurut arah mata angin.
Keempat gedung tersebut mengelilingi lapangan utama yang terdapat di tengah-tengah kampus. Lapangan tersebut dapat dipergunakan sebagai lapangan upacara bendera, olahraga, ataupun kegiatan-kegiatan lain. Di luar area kampus—tepatnya di seberang tenggara kampus—terdapat asrama putri milik sekolah yang bernama Asrama Putri Khadijah.
PR IPM SMA Muhammadiyah 2 Yogyakarta merupakan pimpinan ranting organisasi Ikatan Pelajar Muhammadiyah di SMA Muhammadiyah 2 Yogyakarta. Ikatan Pelajar Muhammadiyah (IPM) adalah satu-satunya organisasi siswa yang secara sah diakui keberadaanya oleh sekolah.