これって適応障害ですか？それともただの甘えですか？

私は大学生で週一でアルバイトをしています。中学生の頃に部活で嫌がらせを受けてから人と関わるとひどく疲れたり、人を信用できなくなってしまいました。人の顔色ばかり伺い、少しでも機嫌が悪そうだとひどく不安に襲われます。テレビが眩しく感じたり掃除機の音や雷が怖いので多分HSPだと思います。
HSPのせいなのかアルバイトがしんどいです。アルバイトのことを考えるだけで涙が出たり不安に襲われたりします。アルバイトの前日は寝る前に「寝たら明日が来る。どうしよう。」と思います。頭痛もします。
アルバイト始めてまだ1カ月ですが辞めようと考えています。ただ、週5で働いている人がいるのに週一でこんなに不安に襲われるのは私が自分に甘いからでしょうか。心療内科に行くべきでしょうか。