Система неравенств

нет, так делать нельзя.

Второе неравенство
5y >= 3x + 2
y >= 3x/5 + 2/5
Это полуплоскость над прямой y = 3x/5 + 2/5
Первое неравенство сложнее. Нам надо избавиться от члена xy. Замена
{ x = x'*cos a - y'*sin a
{ y = x'*sin a + y'*cos a
5(x'*cos a - y'*sin a)^2 - 2(x'*cos a - y'*sin a)(x'*sin a + y'*cos a) + 9(x'*sin a + y'*cos a)^2 =
= 5(x'^2*cos^2 a - 2x'y'*cos a*sin a + y'^2*sin^2 a) -
- 2(x'^2*sin a*cos a - x'y'*sin^2 a + x'y'*cos^2 a - y'^2*sin a*cos a) +
+ 9(x'^2*sin^2 a + 2x'y'*sin a*cos a + y'^2*cos^2 a) =
= x'^2*(5cos^2 a - 2sin a*cos a + 9sin^2 a) +
+ x'y'*(-10sin a*cos a + 2sin^2 a - 2cos^2 a + 18sin a*cos a) +
+ y'^2*(5sin^2 a + 2sin a*cos a + 9cos^2 a)
Чтобы избавиться от x'y', приравняем к 0 коэффициент и найдем угол поворота а.
2sin^2 a - 2cos^2 a + 8sin a*cos a = 0
sin^2 a + 4sin a*cos a - cos^2 a = 0
tg^2 a + 4tg a - 1 = 0
D/4 = 4 + 1 = 5
tg a = -2 - √5 < 0 - не подходит,
tg a = -2 + √5 = √5 - 2, tg^2 a = 5 - 4√5 + 4 = 9 - 4√5
sin a = tg a / √(1 + tg^2 a) = (√5 - 2) / (10 - 4√5) = (√5 - 2)(10 + 4√5)/20 = 2√5/20 = √5/10
cos a = √(1 - 5/100) = √95/10
Подставляем это в уравнение
x'^2*(5cos^2 a - 2sin a*cos a + 9sin^2 a) +
+ x'y'*(2sin^2 a - 2cos^2 a + 8sin a*cos a) +
+ y'^2*(5sin^2 a + 2sin a*cos a + 9cos^2 a) =
= x'^2*(5*95/100 - 2*√5/10*√95/10 + 9*5/100) + y'^2*(5*5/100 + 2*√5/10*√95/10 + 9*95/100) =
= x'^2/20*(95 - 2√19 + 9) + y'/20*(5 + 2√19 + 9*19) <= 1
x'^2/10*(52 - √19) + y'/10*(88 + √19) <= 1
Это область внутри эллипса.
Осталось вычислить, в каких точках эллипс пересекается с прямой.
Ответ - область над прямой, находящаяся внутри эллипса.

Первое умножим на 4, второе возведем в квадрат