Αποτέλεσε έναν από τους άνδρες που συζητήθηκαν όσοι λίγοι στην «χρυσή» κινηματογραφική δεκαετία του`60. Το ίδιο πολύ συζητήθηκε - και τότε αλλά και αργότερα - η σχέση του Κώστα Βουτσά με την Μάρθα Καραγιάννη. Ο ηθοποιός μίλησε για την σχέση του με τις γυναίκες, δηλώνοντας ότι παρά τα όσα έχουν ακουστεί, ποτέ δεν είχε κάτι με την Μάρθα Καραγιάννη.

«Εμάς, οι δύο γυναίκες που μας έχουν μείνει από αυτήν την εποχή είναι η Ζωή Λάσκαρη και η Μάρθα Καραγιάννη. Εσείς ποια θεωρούσατε πιο σέξι, που τις ζήσατε από κοντά;», ρωτήθηκε από τον Πέτρο Κωστόπουλο, όπου ήταν καλεσμένος. «Είναι θέμα γούστου. Αλλά για μένα ήταν πιο πολύ σέξι η Μάρθα Καραγιάννη. Και η Ζωή ήταν καλή γιατί και οι δύο ήταν γυναίκες που τις ήθελες. Αλλά για εμένα πιο σέξι ήταν η Μάρθα».

«Είχατε ποτέ κάτι;», συνέχισε ο Πέτρος Κωστόπουλος. «Όχι, δεν είχα ποτέ κάτι με την Μάρθα Καραγιάννη».

Ο Κώστας Βουτσάς, τον οποίο οι σύντροφοί του έχουν χαρακτηρίσει ως έναν από πιο «άτακτους» και άπιστους άνδρες που μπορεί να συναντήσει μία γυναίκα, δήλωσε πως δεν είχε συνειδητοποιήσει ότι άρεσε στις γυναίκες, γι’αυτό τις κυνηγούσε. «Εγώ δεν το ήξερα ότι είμαι όμορφος ή ωραίος ή συμπαθητικός. Ο Μπάρκουλης για παράδειγμα, ο Κούρκουλος ο Κακκαβάς, το ήξεραν. Εγώ όχι. Ετσι δεν περίμενα, αλλά κυνηγούσα. Ημουν… κυνηγιάρης».

Αποκάλυψε, δε, ότι η πρώτη του σεξουαλική επαφή ήταν σε ηλικία 12 ετών, σε οίκο ανοχής.