L’essai d’introduction au roman raconte la ville natale de l’auteur - Salem, ses ancêtres - les fanatiques puritains, son travail dans les coutumes de Salem et les gens qu’il devait affronter. «Ni la porte d'entrée ni la porte arrière des douanes ne mène au paradis», et le service dans cette institution ne contribue pas à la floraison de bonnes inclinations chez les gens. Une fois, en fouillant dans les papiers entassés dans une immense pièce au troisième étage des douanes, l'auteur a trouvé un manuscrit d'un certain Jonathan Pugh, décédé il y a quatre-vingts ans. C'était une biographie d'Esther Prien, qui vivait à la fin du XVIIe siècle. Un chiffon rouge a été conservé avec les papiers, après un examen plus approfondi, il s'est avéré être incroyablement brodé avec la lettre "A"; lorsque l'auteur l'a mis sur sa poitrine, il lui a semblé qu'il avait ressenti une brûlure. Rejeté après la victoire des Whig, l'auteur est retourné aux études littéraires, pour lesquelles les fruits du travail de M. Pugh lui ont été très utiles.

De la prison de Boston arrive Esther Prien avec un bébé dans les bras. Elle porte une belle robe qu'elle a cousue pour elle-même en prison, sur sa poitrine sa broderie écarlate sous la forme de la lettre «A» - la première lettre du mot adultère (adultère). Tout le monde condamne le comportement d'Esther et sa tenue de défi. Elle est conduite sur la place du marché jusqu'à la plate-forme, où elle devra se tenir debout dans l'après-midi sous les regards hostiles de la foule - une telle punition lui a été infligée par le tribunal pour son péché et pour avoir refusé de donner le nom du père à sa fille nouveau-née. Debout au pilori, Esther se souvient de sa vie passée, de son enfance dans la vieille Angleterre, un scientifique courbé d'âge moyen avec lequel elle a lié son destin. En regardant autour de la foule, elle remarque dans les rangées arrière un homme qui prend immédiatement possession de ses pensées. Cet homme n'est pas jeune, il a le regard pénétrant d'un chercheur et le dos courbé d'un travailleur infatigable. Il demande aux autres qui elle est. Ils sont surpris qu'il n'ait rien entendu d'elle. Mais il explique qu'il n'est pas ici, a longtemps été asservi aux Gentils, et maintenant l'Indien l'a amené à Boston pour recevoir une rançon. On lui dit qu'Esther Prien est l'épouse d'un scientifique anglais qui a décidé de déménager en Nouvelle-Angleterre. Il a envoyé sa femme en avant et il s'est attardé en Europe. Au cours de ses deux années à Boston, Esther n'a reçu aucune nouvelle de lui: il est probablement décédé. Le tribunal condescendant a tenu compte de toutes les circonstances atténuantes et n'a pas condamné à mort la femme tombée, mais l'a condamné à rester debout pendant trois heures sur la plate-forme au pilier honteux, puis à porter le signe du déshonneur sur sa poitrine pour le reste de sa vie. Mais tout le monde est scandalisé qu'elle n'ait pas nommé le complice du péché. Le plus vieux prêtre de Boston, John Wilson, convainc Esther de révéler le nom du séducteur, suivi d'un jeune pasteur, Dimsdale, dont elle était la paroissienne, brisant son excitation. Mais la jeune femme est obstinément silencieuse, tenant son bébé contre sa poitrine.

Quand Esther revient en prison, le même inconnu qu'elle a vu sur la place vient vers elle. Il est médecin et s'appelle Roger Chillingworth. D'abord, il calme l'enfant, puis donne le médicament Esther. Elle a peur qu'il ne l'empoisonne, mais le médecin promet de ne venger ni la jeune femme ni le bébé. C'était trop présomptueux de sa part d'épouser une belle jeune fille et d'attendre un sentiment réciproque de sa part. Esther a toujours été honnête avec lui et n'a pas prétendu qu'elle l'aimait. Donc, tous les deux se sont fait du mal et même. Mais Chillingworth veut connaître le nom de sa bien-aimée Esther, le nom de la personne qui a fait du mal à tous les deux. Esther refuse de le nommer. Chillingworth lui fait jurer qu'elle ne révélera à personne son vrai nom et sa relation avec lui. Laissez tout le monde croire que son mari est mort. Il décide, par tous les moyens, de découvrir avec qui Esther a péché et de venger son amant.

Après avoir quitté la prison, Esther s'installe dans une maison abandonnée à la périphérie de Boston et gagne sa vie comme une couture. Elle est une brodeuse si compétente qu'elle n'a pas de fin pour les clients. Elle ne s'achète que le nécessaire et distribue le reste de l'argent aux pauvres, entendant souvent des insultes au lieu de gratitude en retour. Sa fille Pearl est belle, mais a une disposition passionnée et changeante, donc Esther n'est pas facile avec elle. Pearl ne veut obéir à aucune règle. Sa première impression consciente fut la lettre écarlate sur la poitrine d'Esther.

Le sceau du rejet appartient à la fille: elle n'est pas comme les autres enfants, ne joue pas avec eux. Voyant les bizarreries de la jeune fille et cherchant désespérément à savoir qui est son père, certains citoyens la considèrent comme un rejeton diabolique. Esther ne rompt jamais avec sa fille et l'emmène partout avec elle. Une fois qu'ils sont venus chez le gouverneur pour lui rendre une paire de gants de cérémonie brodés commandés par lui. Le gouverneur n'est pas chez lui et ils l'attendent dans le jardin. Le gouverneur revient avec les prêtres Wilson et Dimsdale. Sur le chemin, ils ont parlé de Pearl étant un enfant du péché et devraient le prendre à sa mère et le transférer à d'autres mains. Lorsqu'ils signalent cela à Esther, elle n'accepte pas d'abandonner sa fille. Le pasteur Wilson décide de savoir si Esther l'élève dans un esprit chrétien. Pearl, qui en sait encore plus que ce qui est censé être à son âge, obstinément et répond à la question de savoir qui l'a créée, répond que personne ne l'a créée, sa mère vient de la trouver dans un rosier à la porte de la prison. Les pieux messieurs sont horrifiés: la fille a déjà trois ans et elle ne sait pas qui l'a créée. Ils décident de prendre Pearl à leur mère et elle ne parvient à garder sa fille à la maison que grâce à l'intercession du pasteur Dimsdale.

La connaissance de la médecine et de la piété a gagné le respect des habitants de Boston pour Chillingworth. Peu de temps après son arrivée, il a élu le révérend Dimsdale comme son père spirituel. Tous les paroissiens apprécient beaucoup le jeune théologien et s'inquiètent de sa santé, qui s'est fortement détériorée ces dernières années. Les gens ont vu le doigt de Providence à leur arrivée chez leur médecin qualifié et ont insisté pour que M. Dimsdale se tourne vers lui pour obtenir de l'aide. En conséquence, le jeune prêtre et le vieux médecin se sont fait des amis, puis se sont même installés ensemble. Chillingworth, qui s'est mis à enquêter sur les secrets d'Esther avec l'impartialité sévère d'un juge, tombe de plus en plus sous le pouvoir d'un seul sentiment - la vengeance, qui subjugue toute sa vie. Sentant la nature ardente d'un jeune prêtre, il veut pénétrer dans les profondeurs cachées de son âme et pour cela ne s'arrête à rien. Chillingworth provoque tout le temps Dimsdale, lui parlant de pécheurs impénitents. Il affirme que la maladie corporelle de Dimsdale est basée sur une blessure mentale et persuade le prêtre de lui révéler, au médecin, la cause de sa souffrance émotionnelle. Dimsdale s'exclame: "Qui êtes-vous pour <...> vous tenir entre le malade et son Seigneur?" Mais une fois qu'un jeune prêtre s'endort sur une chaise pendant la journée et ne se réveille pas même lorsque Chillingworth entre dans la pièce. Le vieil homme s'approche de lui, pose sa main sur sa poitrine et détache des vêtements que Dimsdale n'a jamais ôtés en présence d'un médecin. Chillingworth triomphe - "c'est ainsi que Satan se comporte lorsqu'il est convaincu qu'une précieuse âme humaine est perdue pour le ciel et gagnée pour l'enfer." Dimsdale ressent de l'hostilité envers Chillingworth et se reproche d'elle-même, ne trouvant aucune raison pour elle, et Chillingworth - "une misérable et solitaire, encore plus misérable que sa victime" - essaie de toutes ses forces d'aggraver le tourment mental de Dimsdale.

Une nuit, Dimsdale se dirige vers la place du marché et se tient au pilori. À l'aube, passez devant Esther Prien et Pearl. Le prêtre les appelle, ils montent sur l'estrade et se tiennent à côté de lui. Pearl demande à Dimsdale s'il se tiendra ici avec eux demain après-midi, mais il répond que le jour du Jugement dernier, ils se présenteront tous les trois devant le trône du grand juge, mais ce n'est pas le moment et la lumière du jour ne devrait pas les voir trois. Le ciel sombre s'allume soudainement - c'est probablement la lumière d'un météore. Ils voient non loin de la plate-forme de Chillingworth, qui les regarde inséparablement. Dimsdale dit à Esther qu'il ressent une horreur inexprimable devant cet homme, mais Esther, liée par un serment, ne lui révèle pas les secrets de Chillingworth.

Les années passent. Pearl a sept ans. Le comportement parfait d'Esther et son aide désintéressée aux affligés conduisent au fait que les habitants de la ville commencent à la traiter avec une sorte de respect. Même la lettre écarlate ne leur semble pas un symbole du péché, mais une force intérieure. Une fois, en marchant avec Pearl, Esther rencontre Chillingworth et s'étonne du changement qui s'est produit en lui ces dernières années. Le visage calme et sage du scientifique acquit une expression prédatrice et cruelle, un sourire le regarde avec une grimace. Esther lui parle, c'est leur première conversation depuis le moment où il lui a prêté serment de ne pas révéler son vrai nom. Esther lui demande de ne pas torturer Dimsdale: la souffrance que Chillingworth lui fait subir est pire que la mort. De plus, il est tourmenté par les yeux de son ennemi juré, ne sachant même pas qui il est. Esther demande pourquoi Chillingworth ne se venge pas d'elle; il répond qu'une lettre écarlate le vengeait. Esther supplie Chillingworth de changer d'avis, il peut encore être sauvé, car cette haine l'a transformé d'une personne sage et juste au diable. Il est en son pouvoir de pardonner, le pardon des gens qui l'ont offensé sera son salut. Mais Chillingworth ne peut pas pardonner; son destin est la haine et la vengeance.

Esther décide de révéler à Dimsdale que Chillingworth est son mari. Elle cherche une rencontre avec le prêtre. Enfin, elle le rencontre dans la forêt. Dimsdale lui raconte comment il souffre du fait que tout le monde le considère comme pur et immaculé, alors qu'il s'est taché de péché. Il est entouré de mensonges, de vide, de mort. Esther révèle à celui qui se cache sous le nom de Chillingworth. Dimsdale est enragé: par la faute d'Esther, il «a exposé sa faible âme criminelle aux yeux de celui qui se moquait d'elle en secret». Mais il pardonne à Esther. Tous deux croient que le péché de Chillingworth est encore pire que leur péché: il a empiété sur le sanctuaire du cœur humain. Ils comprennent - Chillingworth, sachant qu'Esther va révéler son secret à Dimsdale, invente de nouvelles intrigues. Esther propose à Dimsdale de courir et de commencer une nouvelle vie. Elle convient avec le capitaine du navire naviguant vers Bristol qu'il prendra à bord deux adultes et un enfant.

Le navire doit naviguer dans trois jours et, à la veille de Dimsdale, il est sur le point de lire un sermon le jour du scrutin. Mais il sent son esprit s'embrouiller. Chillingworth lui offre son aide, mais Dimsdale refuse. Les gens se rassemblent sur la place du marché pour entendre le message de Dimsdale. Esther rencontre un capitaine d'un navire Bristol dans la foule, et il l'informe que Chillingworth naviguera également avec eux. Elle voit de l'autre côté de Chillingworth Square qui lui sourit d'un air menaçant. Dimsdale prononce un brillant sermon. La procession festive commence, Dimsdale décide de se repentir du peuple. Chillingworth, réalisant que cela soulagera le tourment de la victime, et sentant que la victime s'éloigne de lui, se précipite vers lui, suppliant de ne pas faire honte à sa sainte dignité. Dimsdale demande à Esther de l'aider à monter sur la plate-forme. Il se tient au pilori et se repent de son péché devant le peuple. En conclusion, il arrache l'écharpe sacerdotale, exposant sa poitrine. Son regard s'estompe, il meurt, ses derniers mots - louange au Tout-Puissant. Différentes rumeurs circulent dans la ville: certains disent qu’il y avait une lettre écarlate sur la poitrine du prêtre - une similitude exacte avec celle portée par Esther Prien. D’autres, au contraire, affirment que la poitrine du prêtre était propre, mais, sentant l’approche de la mort, il a voulu abandonner l’esprit dans les bras d’une femme déchue afin de montrer au monde combien la justice des personnes les plus immaculées est douteuse.

Après la mort de Dimsdale, Chillingworth, qui avait perdu le sens de la vie, devint immédiatement décrépit, et sa force spirituelle et physique le quitta immédiatement. Pas même un an ne s'était écoulé avant sa mort. Il légua toute sa grande fortune à la petite Pearl. Après la mort de l'ancien médecin, Esther et sa fille ont disparu et l'histoire d'Esther est devenue une légende. Plusieurs années plus tard, Esther est revenue et a de nouveau volontairement revêtu l'emblème de la honte. Elle vit seule dans sa vieille maison à la périphérie de Boston. Pearl, apparemment heureuse, s'est souvenue de sa mère, lui a écrit, lui a envoyé des cadeaux et serait heureuse si Esther vivait avec elle. Mais Esther voulait vivre là où son péché s'était produit - elle croyait que l'expiation devrait également y être faite. À sa mort, elle a été enterrée à côté du pasteur Dimsdale, mais un espace a été laissé entre les deux tombes, comme si même après la mort, les cendres de ces deux-là n'avaient pas le droit de se mêler.