Fils de David Abraham Cohen, un financier juif, et de son épouse, née Rosalie Benjamin, Hermann Cohen étudia le piano dès l'âge de 4 ans et donna ses premiers concerts à 11 ans. L'année suivante, il se rendit à Paris avec sa mère pour devenir l'élève de Franz Liszt, dont il fut le protégé et qui le surnommait « le mélancolique Puzzi ». Dans cette ville, il se joignit à un cercle brillant que fréquentaient notamment George Sand et Marie d'Agoult.

De 1842 à 1846, Hermann Cohen voyagea à travers l'Europe en compagnie de sa mère et de sa sœur. Il effectua une tournée de concerts à Venise, Paris, Londres et dans différentes villes d'Allemagne, tout en composant des œuvres pour piano.

Au mois de mai 1847, un jour qu'il dirigeait les chœurs à l'église Saint-Valère, il se sentit touché par une grâce divine au moment de l'élévation du Saint-Sacrement, puis, après une expérience du même ordre à Ems, il décida de se convertir au christianisme. Son confesseur était le père Théodore Ratisbonne, lui-même juif converti. Hermann Cohen reçut le baptême le 28 août, avec la duchesse de Rauzan pour marraine. Puis il entra au noviciat des Carmes du Broussey, fit sa profession de foi le 7 octobre 1850 et fut ordonné prêtre le 19 avril de l'année suivante.

Son éloquence passionnée et la sensation qu'avait causée sa conversion firent de lui un prédicateur en vogue, malgré l'insuffisance de ses études. Ce fut à la suite de l'un de ses sermons que Bernard Bauer se convertit lui aussi au catholicisme et devint carme déchaux. Le Père Hermann fut également aumônier du Collège Stanislas, et il joua un rôle dans la fondation de monastères à Bagnères-de-Bigorre (1853), Lyon (1857), Tarasteix près de Lourdes (1857), et Londres (1862), où il s'était fait connaître pendant sa carrière d'artiste. Il institua avec Mgr de La Bouillerie, évêque de Carcassonne, la pratique de l'adoration nocturne.

Il passa quelques années en Angleterre, à la demande du cardinal Wiseman et avec la bénédiction du pape Pie IX, afin d'y restaurer l'ordre du Carmel, banni depuis la Réforme anglicane. Il fit ensuite une tournée de prédications à travers l'Allemagne et la France, qui s'acheva au monastère du Saint-Désert de Tarasteix. Au début de la guerre franco-allemande, Hermann Cohen s'enfuit en Suisse. Par la suite, il prit la charge du lazaret à Spandau, où il contracta la variole en soignant des prisonniers de guerre français, maladie dont il mourut.