Comenzó su carrera en el teatro, rama que nunca abandonó y en la que continuó realizando numerosos papeles protagonistas.
Empezó con pequeños papeles donde destacan títulos de directores como Pedro Lazaga y Rafael Gil. Pero consiguió la popularidad gracias a la televisión, con varios papeles en espacios interpretativos de TVE como Estudio 1 (1971-1975) o Novela (1971-1976) y más tarde con su papel de El estudiante en Curro Jiménez (1976-1978), serie de televisión que fue dirigida en diversos episodios por varios directores de la talla de Pilar Miró, Mario Camus, Antonio Drove, Rafael Romero Marchent, Francisco Rovira Beleta y otros.
Veinte años más tarde José Sancho vuelve a protagonizar otra serie de televisión, Carmen y familia (1996), junto a Beatriz Carvajal y su antiguo compañero en Curro Jiménez, Álvaro de Luna. Un año después, se une a Rocío Dúrcal en Los negocios de mamá (1997).
Entre sus numerosos papeles en cine, destaca su colaboración con Pedro Almodóvar en Carne trémula (1997), junto a Javier Bardem, que le valió un Premio Goya en la categoría de Actor de reparto en 1997. También colaboró con Almodóvar en la película Hable con ella (2002). Otros filmes destacados de su historial son: El Dorado y ¡Ay, Carmela! de Carlos Saura, Todos a la cárcel y París-Tombuctú de Luis García Berlanga, Libertarias de Vicente Aranda, Flores de otro mundo de Icíar Bollaín, Los lobos de Washington y Kasbah de Mariano Barroso, La Lola se va a los puertos de Josefina Molina, Montoyas y Tarantos y El virgo de Visanteta de Vicente Escrivá, Camino de Santiago de Robert Young (protagonizada por Charlton Heston), El deseo de ser piel roja de Alfonso Ungría o El desenlace, película por la que obtuvo el Premio al Mejor Actor de la Asociación de Cronistas del Espectáculo de Nueva York, también apareció en una película protagonizada por Jackie Chan titulada: Los Supercamorristas.
Su muerte en el primer capítulo es uno de los puntos de partida de la historia.
En el año 2004 se incorporó al elenco de colaboradores de La isla de los famosos junto a Luisa Martín, Enrique San Francisco o Miki Nadal entre otros y presentado por Nuria Roca.
En el año 2006 protagonizó la serie Cartas a Sorolla, producida por RTVV y dirigida por José Antonio Escrivá, donde interpretaba al gran pintor valenciano Joaquín Sorolla. Volvería a trabajar con este director en la adaptación televisiva de Flor de mayo, novela de Vicente Blasco Ibáñez.
Interviene en varias películas y su actividad teatral es intensa, pero es su papel de estricto empresario franquista, Don Pablo, en la serie de TVE, Cuéntame cómo pasó, el que le reporta gran popularidad y reconocimiento desde 2001 hasta 2008.
De igual modo, en los últimos años ha primado su carrera televisiva, protagonizando series como Plan América (2008); 23-F: el día más difícil del rey (2009), como Jaime Miláns del Bosch; Un burka por amor (2009); Tarancón, el quinto mandamiento (2010), sobre la vida y obra del Cardenal Vicente Enrique y Tarancón; la serie de Canal Plus Crematorio, sobre la novela de Rafael Chirbes; y en las superproducciones históricas de Antena 3, Hispania, la leyenda e Imperium, como el pretor Quinto Servilio Escipión.
A pesar de que sus trabajos en cine y televisión son más conocidos, Pepe Sancho ha desarrollado una espléndida carrera por todos los teatros de España. Debutó con la obra Los árboles mueren de pie, de Alejandro Casona, en 1964. Desde entonces realizó obras de diferentes autores como Alfonso Paso, Neil Simon o Miguel Mihura. Trabajó con directores internacionales: con Michael Cacoyannis en un montaje de Medea de Eurípides, y con Maurizio Scaparro en Memorias de Adriano, adaptación de la novela de Marguerite Yourcenar.
Entre los últimos trabajos del actor se encuentran las producciones Enrique IV (2008-2009); que él mismo dirigió cosechando muy buenas críticas Calcetines Opus 124 (2009), junto a Joaquín Kremel; Los intereses creados (2010-2012), de Jacinto Benavente; y Los cuernos de Don Friolera (2012), de Valle-Inclán, estas dos últimas producciones también dirigidas por él con el mismo éxito de público y crítica.