上図のように選択する対象を「グループ」→「レイヤー」に変えておくと、
Ctrl＋クリックしたオブジェクトにレイヤーが切り替わるので、すぐ編集できます。

さらに、「自動選択」にチェックを入れると、ctrlキーなしに、クリックしたらすぐ触れるようになります。
（私は、選択範囲をつくるとき、よくドラッグして範囲指定するクセがあるので、誤作動防止のために、ctrl付で使いますけどね。）