Посчитай длины векторов, затем по теореме косинусов угол между ними. Затем подставь в формулу a*b=|a|*|b|*cosα.