Cách hơi cùn, tính toán nhiều kiểm tra lại giùm nhé
Không mất tính tổng quát, giả sử min
Trên \rm OA,OB lấy \rm A',B' sao cho \rm OA'=OB'=c
Khi đó ta có đẳng thức \mathrm{ \frac{V_{OA'B'C}}{V_{OABC}}= \frac{OA'}{OA}.\frac{OB'}{OB}}=\frac{c^2}{ab}
\Rightarrow \mathrm{V_{OABC}}=\frac{ab}{c^2}.\mathrm{V_{OA'B'C}}
Dễ thấy \rm OA'B'C là tứ diện đều. Gọi \rm I là tâm của \triangle\rm A'B'C đều, kẻ \rm CH\perp A'B
Áp dụng định lí cosin trong \triangle \rm OA'B', ta có \rm A'B'^2=OA'^2+OB'^2-2OA'OB'.\cos \alpha
\Leftrightarrow \rm A'B'^2=2c^2(1-\cos \alpha)
Ta có \rm OI=\sqrt{OC^2-CI^2}=\sqrt{c^2-\frac{A'B'^2}{3}}=c\sqrt{\frac{1+2cos \alpha}3}
\Rightarrow \mathrm {V_{OA'B'C}=\frac 13OI.S_{A'B'C}=\frac 13OI.A'B'^2.\frac{\sqrt 3}{4}}=\frac{c^3(1-\cos \alpha)\sqrt{1+2\cos \alpha}}{6}
\Rightarrow \mathrm {V_{OABC}}=\frac{abc}{6}(1-\cos \alpha)\sqrt{1+2\cos \alpha}
=\frac{abc}{6}.\sqrt{(1-\cos \alpha)(1-\cos \alpha)(1+2\cos \alpha)}
\overset{\mathrm {AM-GM}}{\le } \frac{abc}{6}.\sqrt{\left(\frac{1-\cos \alpha+1-\cos \alpha+1+2\cos \alpha}{3}\right)^3}=\frac{abc}{6}
Khi \alpha=\frac{\pi}{2} thì thể tích đạt giá trị lớn nhất là \frac{abc}{6}