여수 인구감소, 숫자가 아닌 구조의 문제다