Đặt $a=x-2>0,b=y-1>0,c=z>0$Ta có: $x^2+y^2+z^2-2(2x+y-3)=x^2-4x+4+y^2-2y+1+z^2+1=(x-2)^2+(y-1)^2+z^2+1=a^2+b^2+c^2+1$
và $y(x-1)(z+1)=(b+1)(a+1)(c+1)$
$\Rightarrow P=\frac{1}{2\sqrt{a^2+b^2+c^2+1}}-\frac{1}{(a+1)(b+1)(c+1)}$
Ta có: $a^2+b^2\geq \frac{(a+b)^2}{2}(1)$
tương tự: $c^2+1^2\geq \frac{(c+1)^2}{2}(2)$
Từ $(1),(2)$ suy ra: $a^2+b^2+c^2+1\geq \frac{1}{2}[(a+b)^2+(c+1)^2]\geq \frac{1}{4}(a+b+c+1)^2$
Từ đây, suy ra: $\frac{1}{2\sqrt{a^2+b^2+c^2+1}}\leq \frac{1}{a+b+c+1}$
Ta có $(a+1)(b+1)(c+1)\leq \frac{(a+1+b+1+c+1)^3}{27}\Rightarrow -\frac{1}{(a+1)(b+1)(c+1)}\leq -\frac{27}{(a+b+c+3)^3}$
Đặt $t=a+b+c+1(t>1)$
ta sẽ được: $P\leq \frac{1}{t}-\frac{27}{(t+2)^3},t>1$
kshs $f(t)=\frac{1}{t}-\frac{27}{(t+2)^3},t>1$
Sẽ tìm đc $f_{max}=4$ khi $t=4\Rightarrow a=b=c=1\Rightarrow x=3,y=2,z=1$