ChadGadya, see http://beta.hebrewbooks.org/pdfpager.aspx?req=53344&pgnum=236
According to Rav Charlap (Mei Marom Bamidbar vol. 11 p. 167)
עצם הדין שהבועל ארמית חייב מיתה אינו אלא בזמן שיש קנאים. שאלה מתוך הרגשתם בקדושת ישראל ורוממותם, באים לגלות את הקדושה הזאת, ומתוך זה מתחייב הלה מיתה. אבל כאשר אין קנאים, ואין כאלו המתעוררים על עומק קדושתם של ישראל, באמת אין הלה חייב מיתה. חיוב המיתה מכח הקנאי הוא בא, ולא מצד הבועל. ובזה מובן … כיצד היה מותר לו (=לזמרי) להרוג את פינחס, עד שאפילו לא יתחייב על כך. אבל לדברינו שחיוב המיתה בא דווקא כאשר הקנאים פוגעים בו ולא קודם לכן, נמצא שלפני שנהרג זמרי, לא היה הוא באמת חייב מיתה
In any case, the deed must be done in front of ten Jews exactly at the time of the deed (Rambam, Hilchot Issurei Biah 11:4). If the boel kills the kanai he is exempt from punishment. I would imagine that there would have to be a trial to determine if the killer is really a kanai. There might even be a determination by the authorities in their right and duty to maintain public order (mishpat hamelech) that no one today is on that level, as Rav Charlap suggests.