サイドバー (sidebar.php)でのサイドバーウィジェット表示部分は以下なので、ウィジェットの有無関わらず表示したいものはphp ifの上に書く。

<?php if (!function_exists('dynamic_sidebar') || !dynamic_sidebar() ) : // begin primary sidebar widgets ?>
この間
<?php endif; ?>

ウィジェット部分のhtmlを弄りたい場合、テーマのための関数 (functions.php)を弄る。

<?php
if ( function_exists('register_sidebar') )
    register_sidebar(array(
        'before_widget' => '<li id="%1$s" class="widget %2$s">',
        'after_widget' => '</li>',
        'before_title' => '<h2 class="widgettitle">',
        'after_title' => '</h2>',
    ));
?>

（例）

<?php
if ( function_exists('register_sidebar') )
register_sidebar(array(
'before_widget' => '<li id="%1$s" class="widget %2$s">',
'after_widget' =>'</li>',
'before_title' => '<h3>',
'after_title' => '</h3>',
));
?>