GridViewColumnHeader
의 IsHitTestVisible
속성을 False
로 설정하시면 됩니다.
<ListView.View>
<GridView AllowsColumnReorder="False">
<GridView.Columns>
<GridViewColumnHeader Content="Value" IsHitTestVisible="False"/>
...
</GridView.Columns>
</GridView>
</ListView.View>
IsHitTestVisible
이 False
일 경우 AllowsColumnReorder
속성은 안 줘도 될 것 같습니다.