gamecreator, вполне школьная на самом деле.
обозначу синус/косинус фи/тета 1/2 как sf_1, ct_1, st_2 и т.д.
во-первых, можно параметрически задавать плоскость просто как линейную комбинацию точек A и B. Если тебе прям нужно в стандартном виде, то можно так: определитель матрицы
x y z
r st_1 cf_1 r st_1 sf_1 r ct_1
r st_2 cf_2 r st_2 sf_2 r ct_2
равен 0. при раскрытии будет (r везде вынесется и сократится)
(st_1 sf_1 ct_2 - st_2 sf_2 ct_1) x + (ct_1 st_2 cf_2 - ct_2 st_1 cf_1) y + (st_1 cf_1 st_2 sf_2 - st_2 cf_2 st_1 sf_1) z = 0
так, это я плоскость нашёл но забыл что надо было. тебе в каком виде это вообще надо? например, система из уравнения плоскости и уравнения сферы норм.

немножко подумав: у тебя есть нормаль к плоскости так что ты автоматически получаешь соотношение в сферических координатах на точку окружности (f, t)
(st_1 sf_1 ct_2 - st_2 sf_2 ct_1) (st cf) + (ct_1 st_2 cf_2 - ct_2 st_1 cf_1) (st sf) + (st_1 cf_1 st_2 sf_2 - st_2 cf_2 st_1 sf_1) (ct) = 0
если нужно именно уравнение, то можно перенести третье слагаемое вправо, поделить на косинус тета и у тебя будет уравнение на тангенс тета от фи.

сорри если задача уже протухла