Cursó en Valladolid la licenciatura de Derecho, y se trasladó a Madrid a estudiar el doctorado. Más adelante estudió Filosofía y Letras en la Universidad de Salamanca. En 1920 editó su primera obra, un poemario titulado Epístolas para amigos. Se convirtió en figura habitual de las tertulias madrileñas y colaboró en publicaciones como El Sol, Revista de Occidente y ABC. En 1948 ingresó en la Real Academia Española con el discurso «Lope de Vega, personaje de sus comedias» y ocupó el sillón G. Fue director de los cursos para extranjeros de la Universidad Internacional Menéndez Pelayo y participó en la fundación de la revista Cruz y raya, junto con José Bergamín, en 1933. Con Antonio Díaz-Cañabate inició una tertulia en el café Aquarium de Madrid, y luego la trasladaron al café Kutz y por fin al Lyon d'Or, como cuenta en su Historia de una tertulia (1952) el primero.
Experto y gran aficionado al mundo taurino, fue amigo de toreros como José Gómez "Joselito", Ignacio Sánchez Mejías, Rafael Ortega "El Gallo", Pepe Luis Vázquez, Antonio Bienvenida y Domingo Ortega. En 1934 inició la redacción de su monumental obra dedicada a la tauromaquia, Los toros, en cuatro volúmenes, publicados entre 1943 y 1961.
Uno de sus colaboradores en su magna obra sobre la tauromaquia fue el poeta Miguel Hernández. Parece ser que, tras la Guerra Civil, Cossío, bien relacionado en el bando de los vencedores, utilizó sus influencias para lograr que a Hernández se le conmutase la condena a muerte por la cadena perpetua. Fue amigo también de poetas de la generación del 27 como Gerardo Diego, con quien mantuvo una extensa correspondencia.
De todos es conocida la prodigalidad de José María de Cossío para con sus amigos durante largos años. Los últimos años vivió en la casona familiar solariega de Tudanca donde compartió comidas y largas sobremesas con el matrimonio formado por la poeta cántabra Matilde Camus y Justo Guisández.
Escribió abundantemente sobre autores españoles del Siglo de Oro, como Alonso de Ercilla, Luis de Góngora y Baltasar Gracián, entre muchos otros. Es autor de una obra de referencia sobre la mitología en la poesía española, Fábulas mitológicas en España (1952).
Tuvo una especial vinculación con Cantabria. Escribió varios libros sobre autores montañeses, sobre todo José María de Pereda, de quien editó las Obras completas. Aficionado también al fútbol, ejerció la presidencia del Racing de Santander entre 1932 y 1936.
En el año 1962 fue elegido presidente del Ateneo de Madrid.
