нашел твой задачник и подобрал методом тыка определение этой ортогональной компоненты.
ортогональная компонента вектора а на объект б = вектор-проекция вектора а на объект б, причем:
если б - вектор, то проекция коллинеарна б
если б - плоскость, то проекция лежит на прямой пересечения б и плоскости, проходящей через а и нормаль к б.
рисунок:

x - заданный вектор (т.е. а)
n - нормаль
1 или 2 - искомая "ортогональная компонента", в зависимости от того, чем является б. ортогональная компонента лежит на б

решение твоей задачи:
в твоем случае ищем 1 (2 мы уже нашли, оно проще ищется):
видно, что сумма векторов 1 и 2 и будет нашим х. тогда ответ:
(1,1,9) - (-2,2,8) = (3,-1,1)
совпало с ответом из задачника

решение в общем случае (ортогональная компонента вектора а на б):

• если б:
  • плоскость, тогда n = нормаль к плоскости б
  • вектор, тогда n = б
    
• ищем вектор t - проекцию вектора а на вектор n
• если б:
  • плоскость, тогда результат = а - t
  • вектор, тогда результат = t