На оперной сцене Каррерас дебютировал в 1957 году в возрасте 11 лет: в знаменитом барселонском театре Grand Teatro de Liceo он выступил как сопрано, исполнив детскую партию в опере Мануэля де Фальи "Балаганчик мастера Педро", а также в роли второго плана во втором акте "Богемы".

По настоянию отца, Хосе Каррерас поступил в Барселонский университет на химический факультет, но через два года ушел оттуда.

Учился в музыкальном лицее и брал частные уроки вокала.

В 1970 году он исполнил небольшую роль Флавио из оперы "Норма" в театре Liceo, которая оказалась судьбоносной. Талант молодого тенора заметила знаменитая Монтсеррат Кабалье и пригласила его на роль Дженнаро в опере Доницетти "Лукреция Борджиа", где она исполняла главную партию.

В 1971 году Каррерас победил на международном конкурсе певцов "International Verdi Singing Competition" в итальянском городе Парма. Премия включала также приглашение на роль Рудольфа в опере "Богема".

Международным дебютом Хосе Каррераса стало исполнение роли в опере Доницетти "Мария Стюарт" в Лондоне, где Каррерас вновь пел с Монтсеррат Кабалье. В оперном театре Нью-Йорка New York City Opera он спел свою первую арию (Пинкертон в опере "Мадам Бовари") в 1972 году; его дебют в Metropolian Opera в роли Каварадосси ("Тоска") состоялся в 1974 году, в этом же году его выступления в London's Covent Garden, Vienna's Staatsoper и Scala of Milano в опере Верди "Бал-маскарад" стали настоящим триумфом. К 1975 году он завоевал все ведущие оперные сцены мира.

Герберт фон Караян пригласил Каррераса исполнить реквием Верди во время "Пасхального фестиваля" в Зальцбурге в 1976 году. За ним последовали записи различных работ, которые сопровождались интенсивным сотрудничеством и тесной дружбой маэстро и тенора.

За партии в операх "Федора" Умберто Джордано в La Scala и "Стиффелио" Джузеппе Верди в Covent Garden Каррерас был удостоен престижной награды - Премии сэра Лоренса Оливье (Sir Laurence Olivier Award).

В 1987 году, когда Каррерас находился на вершине славы, врачи поставили ему диагноз: острая лейкемия. Певец, переживший пересадку костного мозга, сумел справиться с болезнью. Эта болезнь прервала карьеру Каррераса на целый год.

В 1988 году он основал "Международный фонд Хосе Каррераса по борьбе с лейкемией" (Jose Carreras International Leukaemia Foundation) - организацию, собирающую пожертвования для финансирования исследований в области лечения лейкемии. Доходы Каррераса от его концертов поступают в этот фонд.

В июле 1990 года в преддверии чемпионата мира по футболу в Италии образовалось знаменитое трио теноров. Тогда прошел благотворительный концерт, зрителями которого стали около 800 миллионов слушателей по всему миру. Этот концерт, первоначально задумывавшийся как способ помочь фонду Каррераса, стал началом традиционных встреч Каррераса и двух его великих коллег Лучано Паваротти и Пласидо Доминго.

Дискография певца состоит из более чем 150 пластинок, на которых записаны 50 полнометражных опер, ораторий, концертов популярной и классической музыки. Он был награжден золотыми и платиновыми дисками почти во всех странах мира.

Хосе Каррерас неоднократно приезжал с гастролями в Россию. Впервые он выступил на сцене Большого театра в 1989 году в дуэте с Монтсеррат Кабалье в благотворительном концерте в фонд пострадавших от землетрясения в Армении.

В мае 2009 года Хосе Каррерас объявил о завершении своей оперной карьеры. По словам тенора, он не в состоянии более выдерживать изнурительных нагрузок, которые требует от него карьера оперного исполнителя. Как пояснил Каррерас, он сосредоточится, главным образом, на концертной деятельности и турне.

Хосе Каррерас - обладатель многочисленных национальных и международных премий и наград. Он является Кавалером Большого креста ордена "За заслуги перед Итальянской Республикой", Великим офицером ордена "За заслуги перед Итальянской Республикой", Кавалером ордена Почетного легиона Французской Республики, Золотой медали изящных искусств, лауреат Премии Принца Астурийского и др.

Почетный доктор ряда университетов. Посол Доброй Воли ЮНЕСКО.

В Испании в честь великого земляка названы консерватория, несколько музыкальных школ и концертных залов.

Первой женой певца в 1971 году стала его соотечественница — актриса Мерседес Перес. У них родились двое детей – сын Альберт (1972) и дочь Хулия (1977). В 1992 году Хосе и Мерседес развелись.

В 2006 году Каррерас женился на бывшей австрийской стюардессе Джутте Джаггер.