Principalement pour mon plaisir j’ai cherché à extraire le plus grand nombre possible de fils publiés entre janvier 2025 et juillet 2026 concernant Paul St-Pierre Plamondon (PQ), Christine Fréchette (CAQ), ainsi que Charles Milliard (PLQ). Mon but initial était de dresser un portrait des opinions et tendances sur r/quebec, par contre, les anomalies observées dans les données m'ont poussé à enquêter plus en profondeur. Je vous incite a lire la méthodologie en bas sinon voici mes échantillons:
- Analyse de sentiment Pro/Anti parti/politicien (sur r/Quebec seulement : 261 fils, 4590 commentaires analysés, correspondant au top 24 des commentaires par fil selon Reddit, pour une moyenne de 17.58 commentaires par fils).
- Analyse générale + stylométrique (Analyse #1 : 494 fils, 15 972 commentaires, incluant quelques QuébecLibre ; Analyse #2 : 671 fils et 22 072 commentaires) : J'ai tenté d'extraire tous les commentaires, mais il est possible qu'il en manque quelques-uns.
Graphiques les plus intéressants:
https://imgur.com/a/section-ZjgFvWq
Trop Long ; Pas Lu
- Les données montrent qu'une poignée de comptes produisent une part disproportionnée du contenu favorable à PSPP et du contenu défavorable à Fréchette et à Milliard. Je vous laisse juger par vous-même s'il s'agit d'une action organisée (astroturfing) ou d'une mobilisation non organisée de militants pro-PQ très motivés.
- Ces mêmes top utilisateurs pro-PSPP contrôlent le narratif sur le sub en soumettant une majorité des fils de discussion politique.
- Je n'ai trouvé aucune preuve statistique ni aucun indice suggérant l'utilisation de comptes multiples (sockpuppets) ou une coordination directe laissant croire que plusieurs de ces comptes sont gérés par la même personne.
Données intéressantes
r/Quebec n'aime pas nos politiciens.
| Sujet |
Commentaires |
Opinion nominale totale¹ |
Opinion nominale/commentaire |
Score Reddit net total |
Score net/commentaire |
Résultat pondéré/commentaire² |
|
|
| Fréchette / CAQ |
786 |
−414 |
−0,527 |
7 966 |
10,135 |
−5,836 |
| Milliard / PLQ |
416 |
−274 |
−0,659 |
6 769 |
16,272 |
−11,642 |
| PSPP / PQ |
2 795 |
−239 |
−0,086 |
59 535 |
21,301 |
−4,795 |
¹ Opinion nominale : commentaire favorable = +1, mitigé = 0 et défavorable = −1, sans tenir compte du score Reddit.
² Résultat pondéré : somme de l’orientation de chaque commentaire multipliée par son score Reddit net, divisée par le nombre de commentaires. Reddit fournit un score net, et non le nombre exact de votes positifs et négatifs.
Domaines les plus cités
| Domaine |
Occurrences |
Part |
|
|
| ici.radio-canada.ca |
27 |
9,89 % |
| youtube.com |
22 |
8,06 % |
| reddit.com |
21 |
7,69 % |
| lapresse.ca |
20 |
7,33 % |
| youtu.be |
19 |
6,96 % |
| journaldemontreal.com |
11 |
4,03 % |
| ledevoir.com |
11 |
4,03 % |
| fr.wikipedia.org |
7 |
2,56 % |
| facebook.com |
6 |
2,20 % |
| journaldequebec.com |
5 |
1,83 % |
| Autres domaines |
124 |
45,42 % |
Hypothèse d'astroturfing pro-PQ
Définition : L'astroturfing est la pratique consistant à publier des opinions ou des commentaires sur Internet ou dans les médias en les faisant passer pour des opinions spontanées du public, alors qu'ils proviennent d'un groupe politique ou d'une entreprise, dans le but de simuler un fort soutien populaire [source Cambridge : https://dictionary.cambridge.org/us/dictionary/english/astroturfing]
Quelques points qui supporte une "campagne de manipulation" pro-PSPP.
- La quasi-totalité des comptes les plus actifs sont tous pro-PSPP, alors qu'en réalité environ 30,5 % des utilisateurs de r/Quebec ont une opinion généralement positive sur PSPP (dans mon échantillon).
- Il y a des pics beaucoup plus intenses dans l'activité des publications concernant PSPP, et ce, même s'il y a beaucoup plus de commentaires pour ce sujet que pour n'importe quel autre. Cela ne semble pas logique pour une participation organique (voir la catégorie Actualité, où la courbe est beaucoup plus stable et arrondie). Ces pics suggèrent plutôt une action coordonnée de personnes individuelles que les commentaires sont possiblement produits par un effort d'astroturfing.
- Les fils d'actualité incluent proportionnellement beaucoup plus de participants uniques que ceux de PSPP, ce qui montre que l'activité des fils sur PSPP est gonflée par une minorité d'utilisateurs et non par un réel engouement.
- Les fils concernant Milliard, qui portent généralement sur des controverses et qui sont postés par une très petite minorité pro-PSPP. Cependant, Milliard et Fréchette restent impopulaires chez l'ensemble des utilisateurs.
- Si on exclut les top 20% des utilisateurs sans aucun regard à leur opinion, il y a une a une plus importante érosion du soutien du PQ et de PSPP. On perd dans ce cas 70,6 % des commentaires positifs sur PSPP, alors que les commentaires défavorables baissent de 59,7 %. (positif passe de 34.9% à 29.4% positif et négatif de 44.2% à 51.2% negatif)
- Les utilisateurs supprimés sont généralement plus favorables à PSPP.
- La principale des augmentations de l'appui pro-PSPP semble provenir de nouveaux comptes qui ont apparue temporairement dans mon échantillon, et non d'utilisateurs ayant changé d'opinion (convertis). En dehors des quelques utilisateurs les plus actifs, ce sont principalement de nouveaux comptes arrivant directement avec une position favorable qui soutiennent PSPP mais qui ne reste pas. À l'inverse, l'opposition à PSPP affiche une base de « fidèles défavorables » plus large et durable dans le temps, ce qui traduit une présence communautaire stable plutôt qu'un afflux éphémère.
- Les top utilisateurs soumettent la quasi-totalité de tous les fils, ce qui donne un contrôle narratif à ceux-ci.
- Si on regarde la nature et le type de fils et commentaires partagés par certains utilisateurs, plusieurs diffusent ont dirait systématiquement l'ensemble des points de presse du PQ et de ses candidats. Certains utilisateurs ont affirmé être membres du PQ, tandis que d'autres ont mentionné avoir reçu des messages privés les invitant à rejoindre un sous-reddit fan de PSPP. Tous ces éléments viennent renforcer cette hypothèse, bien que je ne les ai pas intégrés à cette analyse.
Je crois que la conclusion est clair si on regarde les donnés directement. Le soutien pro-PSPP sur r/Quebec est hautement concentré autour d'une poignée de comptes parmi les plus actifs du subreddit. Comme le montrent les données ci-jointes, ces utilisateurs propagent des positions non représentatives de la majorité du sub (69,5 % des utilisateurs ayant une position mitigée ou défavorable). Qu'il s'agisse de l'activité organique de quelques militants très dévoués ou d'une campagne de promotion coordonnée (astroturfing), les impacts sur la communauté peuvent être identiques:
Le problème est que la forte présence de quelques comptes pro-PSPP pourrait donner l'impression que cette opinion est beaucoup plus populaire qu'elle ne l'est réellement. À force de voir toujours la même position, les utilisateurs qui pensent autrement peuvent finir par croire qu'ils sont minoritaires sur le subreddit (https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0147617#sec006). La publication fréquente et rapide de fils et de commentaires favorables pourrait aussi créer un effet d'entraînement en donnant l'impression qu'un consensus existe déjà, ce qui peut encourager d'autres utilisateurs à suivre cette tendance (https://www.researchgate.net/publication/255716248_Social_Influence_Bias_A_Randomized_Experiment). Lorsqu'une petite minorité de comptes soumet une grande partie des fils politiques, elle peut également influencer les sujets dont la communauté parle et ce que les utilisateurs finissent par considérer comme important (https://academic.oup.com/poq/article-abstract/36/2/176/1853310). Voir constamment la même orientation politique pourrait pousser certaines personnes qui ont une opinion différente à moins commenter, à éviter certains sujets ou à s'autocensurer, ce qui renforcerait encore plus l'impression que tout le monde pense de la même façon.
Analyse stylométrique (fils principalement de r/Quebec)
La stylométrie est un domaine de la linguistique qui utilise la statistique pour décrire les propriétés stylistiques d'un texte. Elle est utilisée pour identifier le style d'un auteur, par exemple celui de textes anciens ou d'un auteur anonyme dans le domaine judiciaire. https://fr.wikipedia.org/wiki/Stylométrie
Résultats en images: https://imgur.com/a/NlSf1aG
J'ai analysé les commentaires disponibles afin de rechercher des similarités d'écriture, des coprésences temporelles répétées et des chevauchements de fils entre certains des comptes les plus actifs. L'objectif était de rechercher des signes de coordination ou de déterminer si plusieurs comptes pouvaient être contrôlés par la même personne. Seul un nombre limité de comptes a pu faire l'objet de comparaisons approfondies. Bien qu'aucune hypothèse ne puisse être définitivement exclue, je n'ai trouvé aucun résultat permettant d'établir une coordination entre les comptes ou le contrôle de plusieurs comptes par la même personne.
J'ai fait une autre expérience de dernière minute en recueillant au hasard de nombreux fils provenant de plusieurs subreddits et en relançant l'analyse sur 671 fils et 22 072 commentaires. Cependant, cela n'apporte aucun changement à aucune de mes conclusions. https://imgur.com/a/81SepXf
Méthodologie
J'ai extrait la structure des fils et des commentaires ainsi que les métadonnées associées. J'ai ensuite testé plusieurs IA locales et différentes formulations de prompts pendant un peu plus d'une semaine afin de trouver une combinaison satisfaisante. Environ 100 nouveaux commentaires ont été vérifiés manuellement pendant chaque mise au point. (environ une vingtaine de tests) J'ai ensuite effectué une seconde classification avec un autre modèle local et réexaminé les divergences évidentes. L'ensemble du projet a nécessité environ trois semaines. J'ai initiallement fait les graphiques moi même avec python et j'ai demandé au IA de les mettre plus beau et plus clairs (dans les scripts directement).
Pour la stylométrie, l'analyse se concentre principalement sur des caractéristiques formelles de l'écriture, notamment les n-grammes de caractères, les mots-outils et la ponctuation, ainsi que sur certaines métadonnées temporelles. Je me suis fié seulement aux résultats de mon analyse ainsi qu'à la liste de fils que j'ai extraite.
La catégorie "Actualité" regroupe des fils non affiliés à un politicien précis, même si certains portent sur des sondages ou des enjeux politiques. Le but était de présenter une série de discussions plus générales et neutres face à l'actualité.
La liste contient 622 fils avec lesquels j'ai travaillé. Ceux qui sont bons en mathématiques se rendront compte que je n'ai pas extrait 100 % des fils et qu'il est possible que certains manquent ou que j'aie raté quelques commentaires ; je le concède! Cependant, j'ai pris la décision d'estimer que j'avais assez de données et que je ne travaillerais pas là-dessus pendant un mois. Les fils de QuébecLibre servaient principalement à l'analyse stylométrique, et les deux fils de CanadaPolitics n'ont pas été extraits. J'avais suffisamment de données lors de ma première extraction pour satisfaire mes besoins. Le but n'étant pas de faire une étude « scientifique » extrêmement rigoureuse qui ferait la première page des Débrouillards.
Après un dernier review manuel, j'estime le taux d'erreurs conservateur à moins de 5 %, après avoir révisé plusieurs commentaires manuellement et fait un test avec Codex sur un échantillon ; j'avais un taux de 99,5 % d'accords.
Fun fact : Une analyse rapide m'a donné 5,6 % comme taux de sarcasme dans les commentaires.
Fils
https://pastebin.com/DCzqbXCu