Таганрогская гимназия имени А. П. Чехова была основана в 1806 году как коммерческая мужская гимназия. В 1833 году она перешла в ведение одесского Ришельевского лицея, а в 1837 году была преобразована в семиклассную классическую гимназию. В 1865 году гимназия получила статус реальной, но уже в 1866 году была возвращена в ряды классических гимназий. В дореволюционный период гимназия пережила расцвет, когда были организованы кружки и общества, преподавали талантливые педагоги, и был разбит сквер у гимназии. Среди преподавателей были Павел Филевский, автор "Истории города Таганрога", и Эдмунд Дзержинский, отец революционера Феликса Дзержинского. В гимназии было хорошо поставлено обучение естественным наукам, и велось метеорологические наблюдения. В 1878 году при гимназии был учреждён первый в городе историко-географический музей. Среди учеников гимназии были писатель А. П. Чехов, поэт Н. Ф. Щербина, архитектор и инженер Н. А. Белелюбский, художник К. А. Савицкий, композиторы С. М. Майкапар и В. Г. Захаров, артист МХАТ А. Л. Вишневский и многие другие.
В 1917 году в Таганрог прибыла 3-я Киевская школа прапорщиков, и часть юнкеров была расквартирована в здании гимназии. В 1920 году городской Совет передал школу Таганрогскому металлургическому заводу. В 1929 году в здании гимназии разместилась фабрично-заводская школа № 2. В 1935 году школа получила имя А. П. Чехова. В 1941 году выпускники школы стали участниками Таганрогского подполья. В 1949 году школа была восстановлена. В 1950 году был создан музей истории школы, работающий и по сегодняшний день. В 1963-65 годах школа № 2 стала участницей ВДНХ по разделу краеведческого воспитания и была удостоена диплома I степени.
В 1975 году уроки начались в новом четырёхэтажном здании, построенном рядом со старой гимназией к 115-летию со дня рождения А. П. Чехова. В 1984 году начато обучение детей шестилетнего возраста. В 1994 году школе № 2 был присвоен статус школы-гимназии. В 2006 году гимназия отпраздновала 200-летний юбилей, и была издана подарочная книга "Два века Таганрогской гимназии". В 2008 году гимназия вошла в реестр "Лучшие школы России".