1462 yılında Fatih Sultan Mehmet, Midilli Adası’nı teslim almış. İşte Küçükköy bu tarihte doğmuş. Ada yeniden korsanlar ve diğerlerinin eline geçmesin diye şimdiki “Küçükköy’ün” olduğu yere de yeniçeriler yerleştirilmiş ve köyün ismi de yeniçeri köyü anlamına gelen “Yeniçarhion” olmuş... Zamanla burada yönetimi Rumlar ele geçirmiş ve onlar da buraya “Küçükköy” demişler.
Küçükköy’de çoğunluğu 1912’de Karadağ, Sancak ve Saraybosna’dan gelen göçmenler ve bir kısım Midilli Adası’ndan gelen adalılar etnik yapıyı oluşturmakta. Küçükköy’ün içinde 19. yüzyıldan kalma Rum mimarisine ait çok sayıda eser var. Rumlar zamanında burada 3 kilise ve 3 manastır bulunuyordu. Bunlardan şimdi cami olarak kullanılan Aya Athanasiu Kilisesi sapasağlam durmakta.
