да я уже нашел решение. провел плоскость через центр и 2 точки и перешел в полярные координаты. дальше все просто.
вышло уравнение a*sin(θ)+b*cos(θ)=0, где a и b - жуткие функции от остальных 5 параметров (лень переписывать, да и незачем). оттуда нашел θ=θ(φ).
а у тебя вообще непонятно написано, мог бы и в блокноте позаменять. а через арктангенс лучше не решать: потеряется половина углов.