Theo mình đề bài nên sửa thành như sau
 \[(x^2-6x+11)\sqrt{x^2-x+1}=2(x^2-4x+7)\sqrt{x-2}\]
Khi đó ta đặt $u=\sqrt{x^2-x+1}>0$ và  $v=\sqrt{x-2}>0$, thì PT đã cho trở thành:
\[(u^2-5v^2)u=(2u^2-6v^2)v \Leftrightarrow u^3-5uv^2=2u^2v-6v^3\]
Nếu $v=0$ thì $x=2$ không phải là nghiệm ta có thể đặt $t=\frac{u}{v}$ ,ta được \[t^3-2t^2-5t+6=0\]  và ta có $t=-2,1,3$
Với $t=-2$ là điều vô lý. ($u,v>0$)
Với $t=1 \Leftrightarrow u=v$ và $t=3 \Leftrightarrow u=3v$, thay trở lại $u,v$ ta được  $x=5\pm\sqrt{6}$.

Đặt $t = \tan \frac{x}{2}$.
PT $\Leftrightarrow \frac{2t}{1+t^2}+\frac{1-t^2}{1+t^2}=\frac{2t}{1-t^2}\Leftrightarrow t^4-4t^3-2t^2+1=0$
$\Leftrightarrow t^4-4t^3+4t^2=6t^2-1\Leftrightarrow \left[ {t(t-2)} \right]^2=6t^2-1$
Ta thêm vào tham số $a$ như sau,
$\Leftrightarrow \left[ {t(t-2)} \right]^2+2a.t(t-2)+a^2=(6+2a)t^2-4at+a^2-1$
$\Leftrightarrow (t^2-2t+a)^2=(6+2a)t^2-4at+a^2-1         (*)$
Đặt $f(a)=(6+2a)t^2-4at+a^2-1$. Bây giờ giả sử $a$ là số thỏa mãn
$\Delta'_f=4a^2-(6+2a)(a^2-1)=0\Leftrightarrow a^3+a^2-a-3=0       (**)$
Khi đó vế phải của PT $(*)$ có nghiệm duy nhất $t=-\frac{2a}{3+a}$. Và lúc đó
$\Leftrightarrow (t^2+t+a)^2=(6+2a)\left (t+\frac{2a}{3+a} \right )^2           (***)$
Chú ý rằng ràng buộc $(**)$ là ràng buộc có nghĩa vì PT bậc $3$ luôn có nghiệm, và nghiệm này được chọn thỏa mãn $6+2a>0$.
Như vậy từ $(***)$ ta thu được hai PT bậc hai và có thể giải tiếp được.