Parish animait alors ce qu'il décrit comme un "groupe de percussion expérimentale", où, six mois plus tard, il a intégré la jeune fille comme chanteuse. "Beaucoup de gens m'ont dit alors : 'C'est une grosse erreur, elle n'est vraiment pas bonne'. Et je leur répondais : 'Oui, mais attendez, elle va progresser'. Ce sont les mêmes qui se sont extasiés à ses débuts." Parish est l'un des premiers à qui PJ Harvey a fait écouter ses chansons. Il l'a aidée à réaliser ses maquettes. Il juge de façon mitigée les deux albums qu'elle a enregistrés avec son premier groupe : "Dry reste le disque de quelqu'un de très jeune. Rid Of Me rend de façon très fidèle le son de son groupe à l'époque, où il y avait de grandes tensions." Avant de rectifier : "Je suis un critique très dur parce que je trouve qu'elle est fabuleuse."

Après un séjour désastreux à Londres, où une inadaptation à la vie urbaine, puis une rupture sentimentale, l'ont fait sombrer dans une sérieuse dépression, la chanteuse est retournée à la campagne pour écrire To Bring You My Love : Parish considère que ce disque, auquel il a participé comme coproducteur, avec Flood, mais aussi guitariste et percussionniste, accompagnant son amie en tournée, est le premier où elle soit totalement elle-même. Batteur de formation (il voue encore un culte à John Bonham, l'extraordinaire batteur de Led Zeppelin, mais aussi guitariste et pianiste (il joue également du trombone), Parish a connu tous les bouts de la chaîne : fils d'une famille modeste où le père chantait de l'opéra et la mère pratiquait la danse classique, tous deux en amateurs, il a participé en 1979 à un obscur groupe new-wave avant d'animer Automatic Dlamini avec PJ Harvey, puis d'aider l'Américain Marc Moreland, l'ancien guitariste de Wall of Voodoo, tout en gagnant sa vie à enseigner la musique dans une école et produire les disques des autres.

Voisin de Polly Jean Harvey, il lui a fait écouter un morceau instrumental qu'il avait enregistré seul. Spontanément, elle a eu envie d'y ajouter son chant. Prise au jeu, elle a ensuite suggéré à Parish de créer d'autres morceaux et de réaliser cet album à quatre mains. Très à l'aise dans le collage de sonorités différentes - comme une guitare "slide" très blues et un cliquètement de percussions métalliques - il a juxtaposé avec une grande concision les différents éléments qui composent l'univers de PJ Harvey : blues marécageux, dissonances venues du free-jazz et, par éclairs, saturations de guitare venues d'un punk-rock avant-gardiste et déstructuré. Un travail remarquable qui rappelle la production des derniers disques de Tom Waits, ce qui n'est pas un mince compliment.