La formación, desde su nacimiento, siempre ha sido estable, teniendo como baterísta a Adrian Huge, Adrian Stout al contrabajo y liderando con su voz de falsette Martyn Jacques, que además, suele tocar el piano, acordeón y ukelele.

A lo largo de su carrera se han ido caracterizando por su extraño y oscuro sentido del humor, el flirteo con diversos géneros musicales, inclusive el de la ópera, y han colaborado con artistas de la talla de Kronos Quartet ó Alexander Hacke de la banda de rock industrial alemana Einstürzende Neubauten, e incluso han colaborado en la composición de diversos libros.

Las temáticas de su canciones normalmente son plenamente reprobables, en donde abundan las extrañas costumbres sexuales, las blasfemias, personajes deformes pertenecientes a circos de freaks y el mundo del proxenetismo.

Sus shows siempre son únicos aderezados -siempre- de una gran teatralización y un público devoto. Imprescindibles.

Births, Marriages and Deaths (1994)
Spit Bucket (1995)
Ad Nauseam (1995)
The Brothel to the Cemetery (1996)
Goodbye great nation (with Contrastate) (1996)
Farmyard Filth (1997)
Low Life Lullabies (1998)
Shockheaded Peter (1998)
Bad Blood and Blasphemy (1999)
Circus Songs (2000)
Bouquet of Vegetables – The Early Years (2000)
2 Penny Opera (2001)
The Sea (2003)
The Gorey End (2003)
Live in Russia 2000-2001 (2003)
Punch and Judy (2004)
Death and the Bible (2004)
Huinya (2005)
Die Weberischen (2006)
The Little Match Girl (2006)
Urine Palace (2007)
Live in Soho (2007)
Love and War (2007)
Seven Deadly Sins (2008)
Sinderella (2009)
Freakshow (2009)
Live at the New Players Theatre – London 2009 (2009)
Cockatoo Prison (2010)
Here I am Human! (2010)