普通、自然界に存在する物質の多くは、同じ重さのものを比べると、液体よりも固体のほうが体積は小さくなります（同じ体積のものを比べると、液体よりも固体のほうが重くなっています）。つまり、液体よりも固体のほうが密度は大きいのです。これは、液体に比べて固体のほうは原子（分子）が整列してぎっしりと詰まることができるからです。
エタノールの場合も、液体よりも固体のほうが密度は大きくなります。だから、固体のエタノールは、液体のエタノールに徐々に溶けながら沈みます。

さて、少々難しい話になりますが、水の場合はどうでしょう？
水はかなり特殊な物質で、固体（氷）のとき整列して並ぶのは多くの物質と同じなのですが、ぎっしりと詰まることはせず、かなり隙間のある並び方を します。下の図に氷の結晶構造の一部を模式的に示しましたが、Aの酸素分子の周りに水素 原子を介して4つの酸素分子があります。この構造は見てお分かりの通り、六角形の大き な穴があるような形をしています。

温度が上昇して氷から水になるとき、この結晶構造の一部分（水素結合の部分）が壊れて水分子が自由に動き回れるようになると、自由になった水分子が氷の結晶構造の隙間に入り込むような構造をとると考えられています。すると、密度は固体の氷のときより液体の水のときのほうが密度は大きくなります（密度が最大になるのは約４℃のときで、４℃を境に低温・高温になるにしたがって密度が小さくなります）。つまり、固体の水（氷）は液体の水よりも密度が小さいため、氷は水に浮くのです。