Le général De Gaulle s'installe d'abord au 7 Curzon Place, à côté de Hyde Park, suite à sa fuite de la France. Il est rapidement rejoint par d'autres Français et s'installe à St-Stephens House, sur le quai Victoria. C'est de là que le Comité national français provisoire soutient officiellement le gouvernement britannique. Plus tard, le 2 juillet 1940, les Français libres s'installent à Carlton Gardens, où ils resteront jusqu'en 1943. Ils utilisent les 70 bureaux exigus du bâtiment. C'est depuis ce bâtiment que, le 18 juin 1940, le général De Gaulle s'adressa à la nation française dans son célèbre discours :

A tous les Français

La France a perdu une bataille ! Mais la France n'a pas perdu la guerre.

Certains gouvernants ont pu capituler, cédant à la panique, oubliant l'honneur, livrant le pays à la servitude. Mais rien n'est perdu ! Rien n'est perdu parce que cette guerre est une guerre mondiale. Dans le monde libre, des forces gigantesques n'ont pas encore été déployées. Un jour, ces forces anéantiront l'ennemi. Ce jour-là, la France doit être présente à la victoire. Elle retrouvera ainsi sa liberté et sa grandeur. Tel est mon but, mon seul but ! C'est pourquoi j'invite tous les Français, où qu'ils soient, à s'unir à moi dans l'action, dans le sacrifice et dans l'espoir. Notre pays est en danger de mort. Luttons tous pour la sauver!

Vive la France!

Aujourd'hui, son discours est commémoré sur une plaque à l'extérieur de la maison rappelant, en français, ses célèbres paroles durant les jours sombres de 1940, lorsqu'il tentait d'inspirer l'espoir au peuple français.

Une plaque bleue est également apposée à l'angle du bâtiment pour rappeler la présence de Charles De Gaulle. De l'autre côté de la rue, face à la place, se trouve une statue du Général.

La statue a été inaugurée en 1993, après que Mary Soames, la fille de Sir Winston Churchill, a travaillé à la création d'un mémorial durable en son honneur et en celui de la France libre. Chaque année, le 18 juin, des représentants de l'ambassade de France assistent à une cérémonie de commémoration.