Probablemente te han dicho que expulsar el pendrive sin usar el icono Quitar hardware de forma segura puede dañarlo, pero posiblemente ya has expulsado el pendrive sin usar dicha herramienta y no ha pasado nada ¿verdad? Windows mismo dice que no es necesario usar la opción Quitar hardware de forma segura. Eso sí, asegúrate de no desenchufarlo cuando se estén escribiendo datos en él (guardando algún archivo), porque esto si puede dañar los datos que se están guardando en ese momento. Hay algunos dispositivos USB que cuentan con una luz que dice cuando está en uso, si tu dispositivo no cuenta con ella es mejor asegurarse de que ningún programa en el fondo este escribiendo en la unidad USB. 
Para estar seguro de que tu dispositivo no está en uso puedes usar la herramienta mencionada anteriormente. En conclusión, quitar el pendrive sin el modo seguro no va a dañar el pendrive, pero si puede dañar los datos si no se ha asegurado de que el dispositivo USB no esté en funcionamiento.
