Taş Kahvenin tarihi hikayesi Osmanlı İmparatorluğunun uzak adasında, yani Girit'te, Adile'den doğma Nuri oğlu mübadil Giritli Hüseyin Bey ile başlar.

Bilindiği gibi Girit, Osmanlı topraklarına en son katılan ve Osmanlı egemenliğinin en gevşek örüldüğü coğrafyadır. Burada başta Resmo, Hanya ve Kandiya olmak üzere Müslümanlarla Rumlar 150 yıl dostça yaşamışlardır. Ancak Osmanlı çözülüp, parçalanmaya ve milliyetçilik akımları etkisini göstermeye başlayınca bu tablo hızla değişir. Girit'te de Yunan isyanı sırasında bir süredir yaşanan isyanlar artar. Özellikle Resmo ve Hanya'da yoğun çatışmalar yaşanmaya başlar.

Giritli Hüseyin Bey, Resmo'da diğer Giritler gibi çiftliklerinde ve zeytinliklerinde çalışmakta hem de meydandaki büyük çınarın altındaki "TAŞ KAHVE"yi (1885) babası Nuri bey ile beraber çalıştırmaktadır.

Ama özellikle Mora isyanından sonra ortaya çıkan milliyetçi akımlar Giritli Hüseyin Bey ve ailesi için o zamana kadar hiç duymadıkları ve bilmedikleri endişeler yaşamalarına neden olmuştur. Giritçe konuşan Rumlar ve Türkler artık dostluklarını sorgular, ayrı kahvelere gider olmuşlardır. 1912-1922 yılları Balkanlar'da, Ege Adalarında ve Anadolu'da büyük acıların yaşandığı yıllardır.

Yunanistan'da yerleşik Müslümanlarla Türkiye'de yerleşik Ortodoks Rumların zorunlu göçünü öngören Mübadele Sözleşmesinin imzalandığı bu yıllar, 1922 yılında Lozan Barış Konferansı toplandığında, buralarda yaşayanlara hiç sormadan iki milyon civarında insan yurtlarından kopartılarak, yeni yerleşim bölgelerinde yaşamaya mecbur edilmiştir.

Adada Müslüman halk için 19. yüzyıl sonlarında başlayan göç Türkiye-Yunanistan Nüfus Mübadelesi ile zorunlu hale gelmiştir. Baba Nuri bey'in yüreği kökünden koparılmaya dayanamaz. Girit'ten ayrılamadan vefat eder. Hüseyin bey annesi Adile Hanım babasının mezarını ve yüreklerini Girit'te bırakarak onları Türkiye'ye götürecek olan vapura binerler.

Yıl 1923 Anne oğul için yeni vatan artık mübadillere gösterilen Ayvalık Cunda adasıdır. Anne Adile Hanım hep "burası Girit'e benziyor" diyerek hasretini gizlemeye ve oğlunun yeni vatanda kök salmasına destek olmaya çalışır. Burada onlara verilen kahve Girit Resmo'daki kahveleri gibi büyük bir kahve değildir. Ama artık vatan burasıdır. Hüseyin Bey hem annesini hem de ailesini geçindirmek zorundadır. Yeni vatanında ve yeni kahvesinde mutludur.

Yıl 1927 Bir gün Hüseyin Bey tesadüfen şimdiki "Taş Kahve"nin satılacağını öğrenir. Hemen yanındakilere kırık Türkçesi ile "benim param var ve burayı çok sevdim mutlaka satın almalıyım" der. Artık çok sevdiği Taş Kahve' onundur.