Từ dữ liệu đề bài , ta có $y=\frac{-x^2y^2-1}{2}$, thay vào $P$, ta được:$P=\frac{xy}{3(\frac{-x^2y^2-1}{2})+1}=\frac{2xy}{-3x^2y^2-1}$
Đặt $t=xy$, ta sẽ có hàm $f(t)=\frac{2t}{-3t^2-1}\Rightarrow f'(t)=\frac{6t^2-2}{(3t^2+1)^2}$
Cho $f'(t)=0\Rightarrow t=\frac{1}{\sqrt{3}}$ hay $t=-\frac{1}{\sqrt{3}}$
Tính $f(\frac{1}{\sqrt{3}})=-\frac{1}{\sqrt{3}}<f(-\frac{1}{\sqrt{3}})=\frac{1}{\sqrt{3}}$
Vậy $P_{max}=f_{max}=\frac{1}{\sqrt{3}}$ khi $t=-\frac{1}{\sqrt{3}}\Rightarrow xy=-\frac{1}{\sqrt{3}}$, từ đó tính được: $\begin{cases}x= \frac{\sqrt{3}}{2}\\ y=-\frac{2}{3} \end{cases}$
và $P_{min}=f_{min}=-\frac{1}{\sqrt{3}}$ khi $t=\frac{1}{\sqrt{3}}\Rightarrow xy=\frac{1}{\sqrt{3}}$, từ đó tính được: $\begin{cases}x=-\frac{\sqrt{3}}{2} \\ y=-\frac{2}{3} \end{cases}$