với $x,y\geq 0$ pt(1) $\Leftrightarrow \frac{5(x-y)(3-\sqrt{xy})}{\sqrt{x}+\sqrt{y}}=\frac{y-x}{\sqrt{x+1}+\sqrt{y+1}}$
$\Leftrightarrow \left[ {\begin{matrix} x=y(3)\\ \frac{5(\sqrt{xy}-3)}{\sqrt{x}+\sqrt{y}}=\frac{1}{\sqrt{x+1}+\sqrt{y+1}}(4) \end{matrix}} \right.$
thay (3) vào (2) ta được 8x=15 $\Rightarrow x=y=\frac{15}{8}$
với xy $\geq 9$
(4) $\Leftrightarrow \frac{25(xy-6\sqrt{xy}+9)}{x+y+2\sqrt{xy}}=\frac{1}{x+y+2+2\sqrt{x+y+xy+1}}$
đặt $x+y=u\geq 6,\sqrt{xy}=v\geq 3$
ta có hệ $\begin{cases}u+6v=15 \\ \frac{25(v^{2}-6v+9)}{u+2v}=\frac{1}{u+2+2\sqrt{u+v^{2}+1}} \end{cases}$
bằng pp thế ta sẽ thu được nghiệm của hệ. đến đây mình xin để bạn tự giải.