if it is in plusquamperfekt form, then should not it be hätte gesollt and not hätte sollen
It's not Plusquamperfekt but Konjunktiv II Perfekt but the answer is the same. With the modals and some verbs of perception, you don't use the Partizip II but the so called Ersatzinfinitiv when building the perfect tenses.
Es kann diesmal klappen.
Es hat diesmal klappen gekonnt.
Es hat diesmal klappen können. ← Perfekt mit Ersatzinfinitiv
Some verbs as sehen allow both:
Er sieht es kommen.
Er hat es kommen gesehen. ← normales Perfekt
Er hat es kommen sehen. ← Perfekt mit Ersatzinfinitiv
The second part of the sentence is a relative clause and thus must follow subordinate clause word order in which all verbs go to end, then why 'hätte' is in middle and
This is a special word order rule that comes into effect when there's a perfect with Ersatzinfinitiv in a dependent clause: haben leads the predicate then instead of following it.
Du weißt, dass es diesmal klappen kann.
Du weißt, dass es diesmal hat klappen können.
Again, some verbs as sehen allow both, and the word order changes accordingly:
Du weißt, dass er es kommen sieht.
Du weißt, dass er es kommen gesehen hat.
Du weißt, dass er es hat kommen sehen.
third why it is there at all, I don't get it. In english : 'should have made' is basically modal verb + past perfect but I don't understand why in german a 'haben' is there. Should not it be simply sollen (in conjunctive 2 form) + machen , like: "das mich glücklich machen sollte."
Es sollte mich glücklich machen.
as a Konjunktiv II form is about the non-past while
Es hätte mich glücklich machen sollen.
is about the past.