$x^2-x\sqrt y-2xy+2y\sqrt y=0$$\Leftrightarrow x(x-\sqrt y)-2y(x-\sqrt y)=0$
$\Leftrightarrow (x-2y)(x-\sqrt y)=0$
TH1. $x=2y$
$\sqrt{8-4y^2}+\sqrt{2-y}=3$
$\Leftrightarrow f(y)= 2\sqrt{2-y^2}+\sqrt{2-y}=3$
Do $y\in [0,\sqrt2]$ nên vế trái là hàm nghịch biến
$f(0)=2\sqrt2+\sqrt2>3$
$f(\sqrt2)=\sqrt{2-\sqrt2}<3$
Nên PT có nghiệm duy nhất $y=1$
TH2. $x=\sqrt y$
$\sqrt{8-y}+\sqrt{2-y}=3$
$\Leftrightarrow \frac{6}{\sqrt{8-y}-\sqrt{2-y}}=3$
$\Leftrightarrow \sqrt{8-y}-\sqrt{2-y}=2$
Từ đây tính được
$\sqrt{8-y}=\frac{5}{2}\Rightarrow y=\frac{7}{4}$