linearlayoutを入れ子にします。
<?xml version="1.0" encoding="utf-8"?>
<LinearLayout
    xmlns:android="http://schemas.android.com/apk/res/android"
          android:padding="16dp"
        android:orientation="horizontal"
          android:layout_width="match_parent"
          android:layout_height="wrap_content">
    <ImageView
        android:id="@+id/icon"
        android:src="@mipmap/ic_launcher"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        />
    <LinearLayout
        android:layout_weight="1"
        android:orientation="vertical"
        android:layout_width="0dp"
        android:layout_height="wrap_content"
        >
        <TextView
            android:id="@+id/name"
            android:text="yamada"
            android:textSize="24sp"
            android:layout_width="match_parent"
            android:layout_height="wrap_content"
            />
        <TextView
            android:id="@+id/loc"
            android:text="tokyo"
            android:textSize="16sp"
            android:textColor="#999999"
            android:layout_width="match_parent"
            android:layout_height="wrap_content"
            />
    </LinearLayout>
</LinearLayout>
