En 1962, à Hong Kong, le journaliste Chow Mo-Wan emménage avec son épouse dans l'immeuble de Madame Suen, qui accueille des émigrés de Shanghai. Peu de temps avant, la secrétaire Su Li-zhen s'installait dans un autre appartement avec son mari. Chow et Su se croisent fréquemment et ont l'occasion de fraterniser, leurs conjoints étant souvent en voyage pour des raisons professionnelles. Mais à la suite de coïncidences troublantes, ils acquièrent la certitude que leurs époux respectifs entretiennent une liaison. Cette double trahison les rapproche, et leur amitié se transforme en amour. Mais leurs scrupules les empêchent de céder à cette passion.