Normalerweise scannen Tools wie Nmap nur die am häufigstgen verwendeten Ports , denn ein Scan aller 65535 Ports ist meist zu zeitaufwendig (Bei Nmap sind es die häufigsten 1000 Ports). Wenn du also für deinen SSH Service einen Port wählst, der nicht in einem normalen Scan abgefragt wird, dann fällt das wahrscheinlich fast nie auf.