Саймон и Гарфанкел познакомились и начали работать вместе во время учебы в школе Хай Хиллс в Нью-Йорке. Первая совместная запись была сделана в 1957 (сингл Hey Schoolgirl) и попала в американские чарты. Это был единственный успех дуэта до 1964 года. За это время музыканты успели разойтись и собраться снова, чтобы записать дебютный альбом Wednesday Morning, 3 A.M., не получивший признания слушателей. Музыканты снова расстались. Несмотря на это, продюсер дуэта Том Уилсон, не информируя Саймона, взял с их дебютного альбома композицию The Sound Of Silence, аранжировал ее и выпустил отдельным синглом. Песня имела громадный успех, возглавив американский хит-парад. Узнав об этом, Саймон, живший в Англии, возвратился в США и воссоединился с Гарфанкелем. На волне успеха сингла вышел одноименный альбом с хитами Homeward Bound и I Am A Rock, также очень успешный. Следующие работы дуэта Parsley, Sage, Rosemary And Thyme (1967) и The Graduate (1968) закрепили популярность группы. Особый успех имела песня Mrs. Robinson (1968). Поклонники дуэта были покорены необычайной лиричностью и человечностью песен Пола Саймона, удачным вокальным исполнением и простыми, но яркими мелодиями и аранжировками.
В это период музыканты порядком устали друг от друга; негативную роль сыграло также неудовлетворенное творческое самолюбие Арта Гарфанкела, который как композитор постоянно оставался в тени Саймона. В 1970 музыканты снова разошлись, успев выпустить, пожалуй, свой самый успешный альбом Bridge Over Troubled Water, который дал миру знаменитые хиты The Boxer, Cecilia, El Condor Pasa (обработка перуанской народной мелодии), а также Bridge Over Troubled Water). Альбом занял первые места в хит-парадах по обе стороны Атлантики и держался на верхней позиции 9 недель в США и 13 недель в Великобритании. Тем не менее Саймон и Гарфанкел твердо решили расстаться, несмотря на ошеломляющий успех. Саймон продолжил весьма успешную сольную карьеру; Гарфанкел преуспел меньше.
Музыканты собрались вновь для записи песни Саймона My Little Town в 1975, а потом опять сконцентрировались на сольной работе. В 1981 дуэт дал концерт в Центральном парке Нью-Йорка, на котором присутствовали около 400 тыс. поклонников. В 1990 имя Simon and Garfunkel было занесено в Зал славы рок-н-ролла. В новом тысячелетии музыканты также организовали совместный тур, прошедший в 2003-2004.
Песни дуэта исполнялись многими музыкантами. Особо стоит отметить аранжировку композиции Bridge Over Troubled Water оркестром Поля Мориа.