Le film débute à Londres, où le professeur Moriarty (Ernest Torrence) vient d'être arrêté grâce à la perspicacité de Sherlock Holmes (Clive Brook). Au tribunal, Moriarty prononce un discours dans lequel il promet que les trois personnes impliquées dans sa condamnation mourront avant lui: le juge Erskin, le colonel Gore-King et Sherlock Holmes. Pendant ce temps, Holmes prévoit de commencer une nouvelle vie à la ferme avec sa fiancée Alice Faulkner. Peu après, Moriarty parvient à s'évader de prison en tuant ses gardiens. Holmes est appelé pour enquêter sur la disparition du juge Erskine, qui a présidé le jugement de Moriarty. Holmes trouve Erskine pendu dans un placard caché dans son bureau, et démontre que c'est Moriarty qui l'a obligé à écrire la fausse lettre de suicide qui a été trouvée. Au cours d'une fête foraine, Moriarty retrouve dans un musée de cire une bande de gangsters étrangers qu'il a fait venir à Londres: Homer Jones, Hans Dreiaugen, Manuel Lopez et Gaston Roux. Homer Jones (Stanley Fields) ne tarde pas à expliquer son plan pour mettre en place à Londres un racket à l'américaine auprès des tenanciers de pubs londoniens: ces derniers devront accepter de payer une « protection » aux gangsters (se faisant passer pour des professionnels en sécurité) pour éviter d'éventuelles attaques, organisées par ce même gang pendant la nuit. Plus tard, Holmes est amené à s'attendre à une visite de Jones, et envoie le Docteur Watson (Reginald Owen) mettre à l'abri Alice. Selon un plan mis en œuvre par Moriarty, le colonel Gore-King (Alan Mowbray) arrive au même instant chez le détective, et ce dernier lui tire dessus en le prenant pour Jones. Néanmoins, malgré les apparences, c'est en réalité Sherlock Holmes qui tient les ficelles lors de cette séquence: le détective avait compris les intentions de Moriarty et Gore-King est complice de Holmes en se laissant passer pour mort.