Im Frühjahr 1888 lud Dr. Watson Sherlock Holmes zu einem Spaziergang im Park ein. Bei ihrer Rückkehr in die Baker Street erfahren sie von dem Diener, dass sie von einem sehr nervösen Herrn besucht wurden, der, nachdem er eine Weile auf Holmes gewartet hatte, das Haus verließ und versprach, bald zurückzukehren. Der nervöse Besucher vergaß seine Pfeife im Wohnzimmer, und Holmes machte mit seiner deduktiven Methode mehrere nachträglich bestätigte Schlüsse über das Aussehen und den Charakter des Gastes.
Der nervöse Besucher ist Mr. Monroe, der Hopfenhändler. Er bittet Holmes, ihm zu helfen, die schwierige Familiensituation zu verstehen. Vor drei Jahren lernt Monroe einen gewissen Effie Hebron kennen, eine fünfundzwanzigjährige Witwe eines Anwalts aus Atlanta, USA. Zu einer
Sechs Wochen vor Monroes Besuch in Holmes kommt Folgendes vor: Effie fragte Monroe £ 100, weigerte sich aber zu erklären, warum sie diesen Betrag brauchte. Nach einigen Tagen, während der Wanderung, sieht Monroe, dass das unbewohnte Cottage neben der Villa, in dem sie mit seiner Frau leben, von jemandem bewohnt wird, da in der Nähe des Hauses viele Knoten und Koffer sind.
Der interessierte Monroau geht in der Nähe des Hauses spazieren, in der Hoffnung, seine neuen Nachbarn zu sehen, aber plötzlich in einem Fenster im zweiten Stock sieht er ein schreckliches, tödlich-gelbes Gesicht. Monroe beschließt, die Nachbarn kennenzulernen, aber die Frau, die die Tür öffnete, unterbrach trocken und grob Monroes Versuche, mit ihr zu reden. In der Nacht schläft Monroe, gestört durch die Vision eines schrecklichen gelben Gesichts,
Am nächsten Tag kehrt Monroe nach einer kurzen Abwesenheit von zu Hause zurück und sieht seine Frau aus einem geheimnisvollen Cottage auftauchen. Die Frau erklärt dies, indem sie einfach ihre neuen Nachbarn besucht, aber als Monroe versucht, das Haus zu betreten, fleht ihn Effy an, dies nicht zu tun. Monroe stimmt zu, setzt aber eine Bedingung für die Frau: Nie wieder dieses seltsame Haus besuchen. Und als er und seine Frau in ihre Villa gehen, dreht sich Monroe um und sieht einen Mann mit einem schrecklichen gelben Gesicht, das sie durch das Fenster beobachtet.
Zwei Tage später findet Monroe, der früh von der Arbeit zurückkehrt, seine Frau nicht zu Hause. Mit Recht beurteilend, dass sie höchstwahrscheinlich in einem mysteriösen Haus ist, bricht Monroe in die Hütte ein, aber findet dort niemanden. Aber in dem Raum, in dem die mysteriöse Kreatur mit einem gelben Gesicht sein sollte, entdeckt Monroe ein Foto seiner Frau, das er vor drei Monaten auf sein Drängen hin gemacht hat. Nach Hause zurückkehrend, gibt Monroe seiner Frau eine Beschuldigung, ihr Versprechen zu verletzen und verlässt das Haus. Danach geht Monroe nach London, um Sherlock Holmes zu helfen.
Extrem interessiert an dieser Geschichte, fragt Holmes Monroe nach ihrem ersten Ehemann, Effi. Aber Monroe bestätigt, dass er Beweise für seinen Tod gesehen hat. Als nächstes schlägt Holmes vor, dass Monroe nach Hause zurückkehren, vorsichtig dem fremden Haus folgen, aber keine weiteren Versuche machen, dort einzubrechen. Und Holmes selbst verspricht, morgen mit Watson zur endgültigen Lösung dieser mysteriösen Angelegenheit zu kommen.
Nach dem Verlassen von Monroe erklärt Holmes Watson seine Vision dieses Rätsels. Höchstwahrscheinlich starb Effie Monroes erster Ehemann nicht, sondern war entweder psychisch krank oder leprakrank. Und wahrscheinlich hatte jemand, der dieses schreckliche Geheimnis kannte, ihren ersten Ehemann nach England gebracht, ihn in einem Cottage untergebracht und angefangen, diesen Effi zu erpressen und Geld zu erpressen. Ein solches Szenario ist nach Holmes ‚Überzeugung das logischste.
Am nächsten Abend kommen Holmes und Watson nach Norbury, wo sie von Monroe empfangen werden. Er berichtet, dass er einem mysteriösen Haus folgte und bietet an, sofort dorthin zu gehen, um alles herauszufinden. Schon vor der Tür des Hauses wird der Weg zu ihnen von Effie Monroe blockiert, die ihren Mann bittet, nicht hineinzugehen. Allerdings hört Monroe nicht auf sie, und die drei, zusammen mit Holmes und Watson, betreten den Raum im zweiten Stock, wo sie ein kleines Mädchen finden, das mit ihrem Rücken in einem roten Kleid und langen weißen Handschuhen steht. Wenn ein Mädchen ihr Gesicht zu ihnen dreht, wird klar, dass das „schreckliche gelbe Gesicht“ eine Maske ist, die auf das Kind gelegt wird. Holmes entfernt die Maske vom Mädchen und es stellt sich heraus, dass das Mädchen eine Negerin ist.
Eingetragen von Effie Monroe erklärt alles. Dies ist ihre Tochter aus erster Ehe, die während der Fieberepidemie überlebte und die Effy heimlich aus den USA mitbrachte, weil sie von ihrer kleinen Tochter sehr vermisst wurde. Effi ließ ihre Tochter zusammen mit einem treuen Diener neben sich in der Hütte nieder. John Hebron, Effies erster Ehemann, war ein Neger, und zu dieser Zeit galt die Ehe zwischen Menschen mit unterschiedlicher Hautfarbe wegen rassistischer Vorurteile als schändlich, ebenso wie die Anwesenheit einer „weißen“ Frau mit einem „schwarzen“ Kind. Aber Herr Monroe benimmt sich äußerst edel, er nimmt das Mädchen und seine Frau an die Hand und bietet an, über alles zuhause zu sprechen. Es ist offensichtlich, dass die erschütterte Ehe sicher wiederhergestellt wurde und eine kleine Negerin in Monroes Gesicht ihren zweiten Vater finden wird.
Holmes lädt Watson ein, sich ruhig zurückzuziehen und bittet Watson, nachdem er nach Hause zurückgekehrt ist, ihn an diesen Fall zu erinnern, wenn plötzlich Watson scheint, dass Holmes sich entweder zu sehr auf seine Fähigkeiten verlässt oder eine gründliche Untersuchung irgendeines Rätsels durchführt. So stellt Holmes klar, dass sich selbst ein großer Detektiv manchmal irren kann, und dass sogar ein großer Detektiv gelegentlich daran erinnert werden muss.