Such questions tend to be hard to answer, because people may begin using a concept, and understand it quite well, before the concept has a name, notation or a definition. The statement $\Delta(1/r)=\delta_0$ has two parts:
- $\Delta(1/r)=0$ outside of singularity $r=0$ (easy)
- $\Delta(1/r)$ is $-4\pi $ times the $\delta$ function at $0$ (whatever that means)
The first part was already known to Laplace. See the paper by G. Green, "An essay on the application of mathematical analysis to the theories of electricity and magnetism II", J. Reine Angew. Math., 44 (1852) pp. 356–374. (You can find it in online archives of Journal für die reine und angewandte Mathematik.) After defining
$$V=\int \frac{\rho'\,dx'\,dy'\,dz'}{r'}$$
Green says on page 357:
Laplace has shown, in his Mc. Celeste, that the function $V$ has the property of satisfying the equation
$$0=\frac{d^2V}{dx^2}+\frac{d^2V}{dy^2}+\frac{d^2V}{dz^2}$$
I leave it for someone else to find where exactly in Mécanique céleste Laplace did that.
Detailed computations for the first part are also found in a 1839 memoir by Gauss "Allgemeine Lehrsatze in Beziehung Auf Die Im Verkehrten Verhaltnisse Des Quadrats Der Entfernung Wirkenden Anziehungs- Und Abstossungs-Krafte", which you can read here. On page 8 Gauss says
Die bekannte Gleichung
$$\frac{\partial^2 V}{\partial x^2}+\frac{\partial^2 V}{\partial y^2}+\frac{\partial^2 V}{\partial z^2}=0$$ gilt also für alle Punkte des Raumes, die ausserhalb der wir kenden Massen liegen.
Now let's turn to the singularity issue. It seems that Laplace did not understand it at all, because he did not exclude it from the domain in which he claimed Laplace's equation to hold. See page 54 of historical comments to the aforementioned memoir by Gauss:
Dieselbe ist von Laplace in der bei Art. 2 und 3 citirten Arbeit, sowie in der Mecanique Celeste aufgestellt, doch ohne die nöthige Einschrän kung auf Punkte ausserhalb der Masse.
On page 54 we also read that Poisson was the first to point out the oversight of Laplace. He understood what the inhomogeneous term should be, but could not prove it rigorously.
Poisson hat zuerst (Bulletin de la societe philomatique 1812 t. 3 p. 388) darauf aufmerksam gemacht, dass die Laplace'sche Gleichung nur für Punkte ausserhalb der Masse gültig sei, und er hat dann für Punkte der Masse die Laplace'sche Gleichung durch die nach ihm selbst genannte ersetzt; doch ist es ihm nicht gelungen, diese Gleichung auf strenge Art zu be weisen. Dies blieb vielmehr Gauss in der vorliegenden Darstellung vorbehalten.
Wikipedia article on Poisson concurs that the 1839 proof by Gauss was first.
The statement with $-4\pi$ (sans not yet known $\delta$) appears on page 12:
... der Werth von $\frac{\partial^2 V}{\partial x^2}+\frac{\partial^2 V}{\partial y^2}+\frac{\partial^2 V}{\partial z^2}$ äqual wird dem Producte ans $-4\pi$ in die in $O$ stattfindende Dichtigkeit.