CLFAGS="-I/usr/include/mysql" CXXFLAGS="-I/usr/include/mysql" LDFLAGS="-L/usr/lib/mysql/lib -lmysql" ./configure
А взагалі, у configure.ac повинен бути відповідний кавалок, що перевіряє наявність mysql, якщо він є - configure --help має вказати опції, за допомогою яких можна вказати розміщення lib та include mysql.
Якщо mysql має щось типу mysql-config чи користується pkg-config, всі ці шляхи мають визначатися за допомогою них, й якщо той кавалок коду є, незрозуміло, чому воно не визначилося автоматично.
Якщо кавалку нема - шукайте у /usr/share/aclocal відповідний m4 й вивчайте.