OPINION: CroqMac contre ChatGPT, playlist powerpop, le troisième round

Après Jacques Dutronc et les Zombies, défions ChatGPT sur un autre exercice pour cette troisième partie. Je lui ai demandé de générer une playlist de dix morceaux, dans les mêmes conditions que ma playlist powerpop californienne.

Voici le script exact donné à ChatGPT: Peux tu me faire une playlist de dix morceaux de powerpop californienne sortis entre 1976 et 1981.

Voici sa proposition:

Bien sûr ! Voici une playlist de dix morceaux de power pop californienne sortis entre 1976 et 1981 :

1. The Knack – “My Sharona” (1979)
2. Cheap Trick – “Surrender” (1978)
3. The Romantics – “What I Like About You” (1980)
4. The Plimsouls – “A Million Miles Away” (1983)
5. The Records – “Starry Eyes” (1979)
6. 20/20 – “Yellow Pills” (1979)
7. The Quick – “Pretty Please Me” (1976)
8. The Beat – “Mirror in the Bathroom” (1980)
9. The Shoes – “Too Late” (1979)
10. The Dwight Twilley Band – “I’m on Fire” (1975)

Mon analyse:

• Cheap Trick et The Shoes sont en réalité du Midwest.
• les Romantics sont de Detroit
• Dwight Twilley Band et les Plimsouls sont recevables mais les morceaux proposés ne correspondent pas à la période demandée.
• Le morceau des Quick n’est pas de 1976 mais de 1978.
• ChatGPT mélange les English Beat (Mirror in the Bathroom) avec le Paul Collins Beat (groupe powerpop californien).
• The Records sont eux Britanniques !
• The Knack et 20/20: nickel. J’ai moi même choisi ces deux groupes mais avec des titres un peu moins connus que je préfère.

Il y a deux propositions sur les dix qui correspondent parfaitement aux critères et ne comportent pas d’erreur. Au moins neuf des dix morceaux sont effectivement de la powerpop ! Je refais l’exercice, en modifiant un peu le script: Une playlist de dix morceaux de powerpop sortis entre 1976 et 1981. Les groupes doivent être californiens.

Deuxième proposition de ChatGPT:

1. The Knack – “My Sharona” (1979)
2. The Plimsouls – “A Million Miles Away” (1983)
3. The Quick – “Pretty Please Me” (1976)
4. The Rubinoos – “I Think We’re Alone Now” (1977)
5. 20/20 – “Yellow Pills” (1979)
6. The Nerves – “Hanging on the Telephone” (1976)
7. The Shoes – “Too Late” (1979)
8. The Records – “Starry Eyes” (1979)
9. The Textones – “Vacation” (1983)
10. The Pop – “Down on the Boulevard” (1979)

Ce que je note:

• Aucune erreur sur The Knack, The Rubinoos, 20/20 et The Nerves
• Erreur sur les dates de sorties des morceaux de The Quick (1978), The Textones (1980) et The Pop (1977)
• Deux groupes géographiquement hors sujet (The Records et The Shoes).
• tous les morceaux sont effectivement powerpop

Je tente un troisième tour. Voici mon script, suivi de sa proposition: The Shoes et The Records ne sont pas des groupes californiens. Peux tu faire une playlist de dix morceaux de powerpop sortis entre 1976 et 1981. Les groupes doivent impérativement être californiens.

1. The Knack – “My Sharona” (1979)
2. The Rubinoos – “I Wanna Be Your Boyfriend” (1977)
3. The Pop – “Down on the Boulevard” (1979)
4. 20/20 – “Yellow Pills” (1979)
5. The Nerves – “Hanging on the Telephone” (1976)
6. The Dickies – “Banana Splits (The Tra La La Song)” (1979)
7. The Plimsouls – “A Million Miles Away” (1983)
8. The Zippers – “She’s Gonna Get You” (1981)
9. The Last – “L.A. Explosion” (1979)
10. The Textones – “Number One Is to Survive” (1980)

C’est presque bien! Une erreur sur la date de sortie du morceau des Pop (mais presque acceptable car le morceau est sur l’album de 1979) et choix d’un morceau de 1983 pour les Plimsouls (hors période demandée). J’aurais pas forcément mis les Dickies (plus punk que powerpop) mais c’est OK comme choix. Les Zippers et The Last sont des ajouts intéressants.

À mon avis les deux plus gros défauts de cette sélection sont l’absence de certaines figures (les Flamin Groovies, The Beat) et le choix des morceaux pour certains groupes. Je pense que my sharona par exemple est une proposition logique en terme de succès commercial mais pas forcément sur un plan esthétique. Elle ne me semble pas forcément représentative du son powerpop des Knack.

mes conclusions

Après Dutronc et les Zombies, voici une nouvelle expérience avec ChatGPT. Après trois itérations, je trouve le résultat assez qualitatif avec quelques nuances.

L’exercice n’a rien à voir avec le fait de rédiger une chronique musicale. Cette dernière nécessite en effet une réflexion autour de l’angle et des informations mobilisées dans le texte. L’exercice d’une liste me semble plus conforme avec un travail réalisable de manière automatisée. Encore faut-il être capable de proposer un script que la machine comprend et aussi de repérer les erreur de l’intéressée. Il m’a fallu trois versions pour arriver sur un résultat qui me semble satisfaisant par rapport à la question. Pourtant comme vous pouvez le constater: mes scripts étaient bien définis dès le départ. ChatGPT a clairement pris des libertés avec ce que j’ai demandé, sans le mentionner !

Pour moi ça reste un des problèmes importants de ce type d’outil: dans quelle mesure sommes nous sûrs des informations que ChatGPT écrit ? Rien n’est sourcé: difficile de pouvoir vérifier la qualité des données collectées par la machine. Vous noterez d’ailleurs que ChatGPT a parfois indiqué de mauvaises informations sur les années ou en confondant deux groupes. Le “pire” reste certainement que ChatGPT répond à coté de la plaque en proposant un groupe anglais par exemple. Pourtant je fais bien l’effort de borner mon sujet.

Je ne suis pas du tout contre ce type d’outils. Je pense que ça peut aider éventuellement à débroussailler un sujet. Cependant, il faut systématiquement vérifier la qualité des informations suggérées par ChatGPT, même sur un exercice où l’on tient par la main la machine en la réduisant à une sorte de moteur de recherche amélioré.

Illustrations: toujours ce cher moteur bing je lui ai demandé des groupes powerpop 70s californiens ou nord-américains